我把一个太大的消息推到我本地机器的kafka消息主题中，现在我得到一个错误:
kafka.common.InvalidMessageSizeException: invalid message size
增加取回。size在这里并不理想，因为我实际上并不想接受那么大的消息。
当前回答
Thomas的建议很好，但不幸的是zkCli在旧版本的Zookeeper(例如3.3.6)中似乎不支持rmr。例如，比较现代Zookeeper 3.3版本中的命令行实现。
如果你面对的是旧版本的Zookeeper，一个解决方案是使用客户端库，比如zc。zk代表Python。对于不熟悉Python的人，您需要使用pip或easy_install安装它。然后启动一个Python shell (Python)，你可以做:
import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic')
甚至
zk.delete_recursive('brokers')
如果你想从卡夫卡中删除所有的主题。
其他回答
虽然公认的答案是正确的，但该方法已被弃用。主题配置现在应该通过kafka-configs来完成。
kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic
通过该方法设置的配置可以通过命令显示
kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic
如果您希望在Java应用程序中以编程方式完成此操作，可以使用AdminClient的API deleterrecords。使用AdminClient可以删除分区和偏移量级别上的记录。
根据JavaDocs, 0.11.0.0或更高版本的代理支持此操作。
这里有一个简单的例子:
String brokers = "localhost:9092";
String topicName = "test";
TopicPartition topicPartition = new TopicPartition(topicName, 0);
RecordsToDelete recordsToDelete = RecordsToDelete.beforeOffset(5L);
Map<TopicPartition, RecordsToDelete> topicPartitionRecordToDelete = new HashMap<>();
topicPartitionRecordToDelete.put(topicPartition, recordsToDelete);
// Create AdminClient
final Properties properties = new Properties();
properties.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, brokers);
AdminClient adminClient = AdminClient.create(properties);
try {
adminClient.deleteRecords(topicPartitionRecordToDelete).all().get();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (ExecutionException e) {
e.printStackTrace();
} finally {
adminClient.close();
}
另一种手动清除主题的方法是:
在经纪人中:
停止kafka broker Sudo服务kafka停止 删除所有分区日志文件(应该在所有代理上执行) sudo rm - r /kafka-storage/kafka-logs/<some_topic_name>-* .
动物园管理员:
运行zookeeper命令行界面 sudo /usr/lib/zookeeper/bin/zkCli.sh 使用zkCli删除主题元数据 rmr /代理/主题/ < some_topic_name >
在经纪人那里:
重新启动代理服务 Sudo服务kafka启动
下面的命令可以删除kafka topic中所有已有的消息:
kafka-delete-records --bootstrap-server <kafka_server:port> --offset-json-file delete.json
删除的结构。Json文件应该如下:
｛ “分区”:( ｛ “主题”:“foo”, “分区”:1、 “抵消”:1 ｝ ), “版本”:1 ｝
offset:-1将删除所有记录的地方 这个命令已经在kafka 2.0.1中测试过了
Thomas的建议很好，但不幸的是zkCli在旧版本的Zookeeper(例如3.3.6)中似乎不支持rmr。例如，比较现代Zookeeper 3.3版本中的命令行实现。
如果你面对的是旧版本的Zookeeper，一个解决方案是使用客户端库，比如zc。zk代表Python。对于不熟悉Python的人，您需要使用pip或easy_install安装它。然后启动一个Python shell (Python)，你可以做:
import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic')
甚至
zk.delete_recursive('brokers')
如果你想从卡夫卡中删除所有的主题。
