在卡夫卡的作品中，有没有一种方法可以清除这个话题?

我把一个太大的消息推到我本地机器的kafka消息主题中，现在我得到一个错误:

kafka.common.InvalidMessageSizeException: invalid message size

增加取回。size在这里并不理想，因为我实际上并不想接受那么大的消息。

当前回答

虽然公认的答案是正确的，但该方法已被弃用。主题配置现在应该通过kafka-configs来完成。

kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic

通过该方法设置的配置可以通过命令显示

kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic

其他回答

另一种手动清除主题的方法是:

在经纪人中:

停止kafka broker Sudo服务kafka停止删除所有分区日志文件(应该在所有代理上执行) sudo rm - r /kafka-storage/kafka-logs/<some_topic_name>-* .

动物园管理员:

运行zookeeper命令行界面 sudo /usr/lib/zookeeper/bin/zkCli.sh 使用zkCli删除主题元数据 rmr /代理/主题/ < some_topic_name >

在经纪人那里:

重新启动代理服务 Sudo服务kafka启动

Thomas的建议很好，但不幸的是zkCli在旧版本的Zookeeper(例如3.3.6)中似乎不支持rmr。例如，比较现代Zookeeper 3.3版本中的命令行实现。

如果你面对的是旧版本的Zookeeper，一个解决方案是使用客户端库，比如zc。zk代表Python。对于不熟悉Python的人，您需要使用pip或easy_install安装它。然后启动一个Python shell (Python)，你可以做:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic')

甚至

zk.delete_recursive('brokers')

如果你想从卡夫卡中删除所有的主题。

在Kafka 0.8.2中测试，作为快速启动的例子: 首先，添加一行到服务器。配置文件夹下的属性文件:

delete.topic.enable=true

然后，执行以下命令:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

然后重新创建它，以便客户端继续对空主题进行操作

kafka没有清除/清理主题(队列)的直接方法，但可以通过删除该主题并重新创建它来实现。

首先，确保服务器。属性文件有，如果没有添加delete.topic.enable=true

然后，删除主题 bin/kafka-topics.sh——zookeeper localhost:2181——delete——topic myTopic

然后重新创建它。

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2

我使用的是Kafka 2.13工具。现在——zookeeper是kafka-topics.sh的不可识别选项。删除主题。

bin/kafka-topics.sh --bootstrap-server [kafka broker]:9092 --delete --topic [topic name]

只是要考虑到，如果你在删除的主题中有很多数据，再次创建相同的主题可能需要一段时间。当你尝试创建相同的主题时，你可能会得到这样的错误:

Topic: Topic “[主题名]”被标记为删除。

推荐文章