在卡夫卡的作品中，有没有一种方法可以清除这个话题?

我把一个太大的消息推到我本地机器的kafka消息主题中，现在我得到一个错误:

kafka.common.InvalidMessageSizeException: invalid message size

增加取回。size在这里并不理想，因为我实际上并不想接受那么大的消息。

当前回答

来自kafka 1.1

清除一个主题

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100

等待至少1分钟，以确保卡夫卡清除主题删除配置，然后转到默认值

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms

其他回答

要清除队列，可以删除主题:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

然后重新创造它:

bin/kafka-topics.sh --create --zookeeper localhost:2181 \
    --replication-factor 1 --partitions 1 --topic test

我使用的是Kafka 2.13工具。现在——zookeeper是kafka-topics.sh的不可识别选项。删除主题。

bin/kafka-topics.sh --bootstrap-server [kafka broker]:9092 --delete --topic [topic name]

只是要考虑到，如果你在删除的主题中有很多数据，再次创建相同的主题可能需要一段时间。当你尝试创建相同的主题时，你可能会得到这样的错误:

Topic: Topic “[主题名]”被标记为删除。

在Kafka 0.8.2中测试，作为快速启动的例子: 首先，添加一行到服务器。配置文件夹下的属性文件:

delete.topic.enable=true

然后，执行以下命令:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

然后重新创建它，以便客户端继续对空主题进行操作

下面的命令可以删除kafka topic中所有已有的消息:

kafka-delete-records --bootstrap-server <kafka_server:port> --offset-json-file delete.json

删除的结构。Json文件应该如下:

｛ “分区”:( ｛ “主题”:“foo”, “分区”:1、 “抵消”:1 ｝ ), “版本”:1 ｝

offset:-1将删除所有记录的地方这个命令已经在kafka 2.0.1中测试过了

Thomas的建议很好，但不幸的是zkCli在旧版本的Zookeeper(例如3.3.6)中似乎不支持rmr。例如，比较现代Zookeeper 3.3版本中的命令行实现。

如果你面对的是旧版本的Zookeeper，一个解决方案是使用客户端库，比如zc。zk代表Python。对于不熟悉Python的人，您需要使用pip或easy_install安装它。然后启动一个Python shell (Python)，你可以做:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic')

甚至

zk.delete_recursive('brokers')

如果你想从卡夫卡中删除所有的主题。

推荐文章