正文 

当前位置： 首页 > java > java教程

kafka常用命令(代码片段)

      2023-03-02     217

关键词：

kafka常用命令

1、启动kafka服务

bin/kafka-server-start.sh config/server.properties &

2、停止kafka服务

./kafka-server-stop.sh

3、创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的消息保留时长（72小时）

./kafka-topics.sh --zookeeper(host:port) --create --topic demo-topic --replication-factor 3 --partitions 2 --config retention.ms=259200000

4、列出指定主题（topic）的详细信息

./kafka-topics.sh  --zookeeper(host:port) --describe  --topic demo-topic

5、查看所有的主题

./kafka-topics.sh --list --zookeeper(host:port) kafka-host(host:port)

6、查看所有主题的详细信息

./kafka-topics.sh --zookeeper(host:port) --describe

7、删除一个主题

./kafka-topics.sh --zookeeper(host:port) --topic demo-topic --delete

8.向kafka指定topi写入数据

./kafka-console-producer.sh --broker-list kafka-host(host:port)--topic demo-topic

9、命令行消费某个topic消息

#加了--from-beginning 从头消费所有消息
./kafka-console-consumer.sh --bootstrap-server kafka-host(host:port) --topic demo-topic --from-beginning   
#不加--from-beginning 从最新的一条消息开始消费
./kafka-console-consumer.sh --bootstrap-server kafka-host(host:port) --topic demo-topic

10、查看某个topic对应的消息数量

time为-1时表示最大值，time为-2时表示最小值 --partitions num 指定分区

./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list kafka-host(host:port) --topic demo-topic --time -1

11、kafka重置分组已经消费的偏移量offest

./kafka-consumer-groups.sh --bootstrap-server=kafka-host(host:port) --execute --reset-offsets --topic=demo-topic --group=testPlatform --to-earliest

12、topic增加分区

./kafka-topics.sh --alter --zookeeper(host:port) --topic demo-topic --partitions 12

13、指定topic创建消费者分组

./kafka-console-consumer.sh  --bootstrap-server=kafka-host(host:port) --topic demo-topic --consumer-property group.id=testPlatform

14、查看消费组组所属topic的消费情况

./kafka-consumer-groups.sh --bootstrap-server=kafka-host(host:port)  --group=demo-group --describ

15、显示所有消费者

./kafka-consumer-groups.sh --bootstrap-serverkafka-host(host:port) --list

16、获取正在消费的topic的group的offset

./kafka-consumer-groups.sh --describe --group demo-group --bootstrap-serverkafka-host(host:port）

17、重设 consumer group的offset

#确定topic作用域:
 --all-topics   为consumer group下所有topic的所有分区调整位移
 --topic t1 --topic t2  为指定的若干个topic的所有分区调整位移
 --topic t1:0,1,2     为指定的topic分区调整位移

#确定位移重设策略
--to-current                            把位移调整到分区当前位移.       
--to-datetime <String: datetime>       把位移调整到大于给定时间的最早位移处.datetime. Format: 'YYYY-MM-DDTHH:mm:SS.sss'  2020-07-01T12:00:00.000
--to-earliest                           把位移调整到分区当前最小位移
--to-latest                             把位移调整到分区当前最新位移        
--to-offset <Long: offset>              把位移调整到指定位移处
--shift-by N： 把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
--by-duration <duration>：把位移调整到距离当前时间指定间隔的位移处，duration格式是PnDTnHnMnS，比如PT0H5M0S
--from-file <file>：从CSV文件中读取调整策略
例：（--dry-run 不运行只查看结果，类似k8s里面；--execute执行）
#按时间点重置（--to-datetime）
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --topic=test --group=testPlatform  --execute --reset-offsets --to-datetime 2022-01-18T12:00:00.000 

按offset重置 (--to-offset )
#重置消费组下指定topic
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --topic=test --group=testPlatform --execute --reset-offsets --to-offset 359905139  

#重置消费组下面所以topic
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --all-topics --group testPlatform --reset-offsets  --to-latest  --execute

18、指定offset与partition导出消息

./kafka-console-consumer.sh --bootstrap-server=kafka-host(host:port) --topic --topic=demo-topic  --offset 825000 --partition 0 >> messages.log

19.修改topic的参数

kafka-configs.sh --zookeeper(host:port) --entity-type topics --entity-name demo-topic --alter --add-config max.message.bytes=1048576

20.测试生产者性能脚本

./kafka-producer-perf-test.sh --topic demo-topic --num-records 10000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=kafka-host(host:port) acks=-1 linger.ms=2000 compression.type=lz4

21.测试消费者性能脚本

./kafka-consumer-perf-test.sh --broker-list kafka-host(host:port) --messages 10000000 --topic demo-topic

kafka常用命令(代码片段)

一、topic相关1.1、新建一个topiccreate创建主题zookeeper指定zookeeper地址replication-factor设置主题的副本数，每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败... 查看详情

kafka常用命令(代码片段)

kafka常用命令1、启动kafka服务bin/kafka-server-start.shconfig/server.properties&2、停止kafka服务./kafka-server-stop.sh3、创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的消息保留时长（72... 查看详情

kafka常用topic操作命令汇总(代码片段)

offsettopicconsumer-groupconsumerproducerproducer-golangtopic工具https://cwiki.apache.org/confluence/display/KAFKA/Replication+toolsoffset相关#最大offsetbin/kafka-run-class.shkafka.tools.GetOffsetShell--broker-listlocalhost:9092--topictest_topic--time-1#最小offsetbin/kafka-run-class.shkafka.... 查看详情

kafka常用命令(代码片段)

1. 启动1.zookeeper集群启动bin/kafka-server-start.sh-daemonconfig/server.properties2.KRaft集群启动bin/kafka-server-start.sh-daemonconfig/kraft/server.properties2.关闭1.zookeeper集群关闭bin/kafka-server-stop.shconfig/server.properties2.KRaft集群关闭bin/kafka-server-stop.shconfig/k... 查看详情

kafka系列十kafka常用管理命令(代码片段)

一、Topic管理1、创建topickafka-topics.sh--zookeeper47.52.199.52:2181--create--topictest-15--replication-factor1--partitions32、新增partitionkafka-topics.sh--zookeeperzk.server--alter--topictest--replication-factor1--partitions3注：topic一旦创建，partition只能增加，不能减少3... 查看详情

kafka常用命令行(代码片段)

启停（下面操作，都已配置环境变量）先启动zookeeper$zkServer.shstatus#查看zookeeper状态JMXenabledbydefaultUsingconfig:/home/whr/workbench/zookeeper/bin/../conf/zoo.cfgMode:follower启动kafka#后台启动，需要配置参数#不加-daemon，会是一个阻塞进程，可以方... 查看详情

kafka命令行详细介绍(代码片段)

常用的几个命令如下：kafka-server-start.shkafka-console-consumer.shkafka-console-producer.shkafka-topics.sh在这几个命令中，第一个仅用于启动Kafka，后两个console常用于测试，用途最多的是最后一个命令，所以下面命令中主要介绍的就是kafka-topics.... 查看详情

java程序创建kafkatopic，以及数据生产消费，常用的命令(代码片段)

...：Java程序创建KafkaTopic，以及数据生产消费，常用的命令_Zyy_z_的博客-CSDN博客_javakafka创建topicKafka简介：Kafka是一个分布式发布——订阅消息传递系统。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将... 查看详情

kafka常用操作(代码片段)

查看Kafka版本：find/-name\\*kafka_\\*|head-1|grep-o'\\kafka[^\\n]*' 查看详情

kafka常用操作(代码片段)

查看Kafka版本：find/-name\\*kafka_\\*|head-1|grep-o'\\kafka[^\\n]*' 查看详情

kafka常用操作(代码片段)

查看Kafka版本：find/-name\\*kafka_\\*|head-1|grep-o'\\kafka[^\\n]*' 查看详情

kafka常用指令(代码片段)

查看消费组详情:./bin/kafka-consumer-groups.sh--bootstrap-serverlocalhost:9092--describe--grouptest-consumer-group查看topic详情：./bin/kafka-topics.sh--topicmytopic--describe--bootstrap-serverlocalhost:9092创建topic 查看详情

kafka与zookeeper常用命令和知识点(代码片段)

zookeeper启动ZK服务：bin/zkServer.shstart查看ZK服务状态：bin/zkServer.shstatus停止ZK服务：bin/zkServer.shstop重启ZK服务：bin/zkServer.shrestart连接服务器：zkCli.sh-server192.168.10.11:2181查看节点：ls[path]path为节点路径创建节点... 查看详情

监控kafka消费进度(代码片段)

...要。其中，在监控消费进度的过程中，主要关注消费Lag。常用监控Kafka消费进度的方法有三种，分别是使用Kafka自带的命令行工具、使用KafkaConsumerAPI和Kafka自带的JMX监控指标，这里介绍前两种方法。注：内网IP：10.12.100.12610.12.100.1... 查看详情

kafka最佳实践(代码片段)

...看消费位点，查看kafka是否活跃，是否在重平衡。常用命令docker中查看消费位点:dockerexec-itkafka/bin/bashcd/opt/kafka/binkafka-consumer-groups.sh--bootst 查看详情

学习笔记kafka——kafka安装配置——kafka单代理及常用操作(代码片段)

一、Linux环境准备Centos7，1CPU，2GMemory，20GDisk，VirtualSystemJDKZookeeper二、Kafka安装下载Kafka安装包官网：http://kafka.apache.org/downloads解压安装包：tar-zxvfkafka_2.11-2.3.1.tgz-C/ 查看详情

学习笔记kafka——kafka安装配置——kafka单代理及常用操作(代码片段)

一、Linux环境准备Centos7，1CPU，2GMemory，20GDisk，VirtualSystemJDKZookeeper二、Kafka安装下载Kafka安装包官网：http://kafka.apache.org/downloads解压安装包：tar-zxvfkafka_2.11-2.3.1.tgz-C/ 查看详情

kafka常用命令

以下是kafka常用命令行总结：0.查看有哪些主题：./kafka-topics.sh--list--zookeeper192.168.0.201:121811.查看topic的详细信息./kafka-topics.sh-zookeeper127.0.0.1:2181-describe-topictestKJ12、为topic增加副本./kafka-reassign-partitions.sh-z 查看详情