正文

kafka常用命令大全(代码片段)

墨痕诉清风  墨痕诉清风  2023-01-30  262

关键词：

启动kafka服务

停止kafka服务

创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的消息保留时长（72小时）

kafka重置分组已经消费的偏移量offest

获取正在消费的topic的group的offset

重设 consumer group的offset

指定offset与partition导出消息

修改topic的参数

测试生产者性能脚本

测试消费者性能脚本

启动kafka服务

bin/kafka-server-start.sh config/server.properties &

停止kafka服务

./kafka-server-stop.sh

创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的消息保留时长（72小时）

./kafka-topics.sh --zookeeper(host:port) --create --topic demo-topic --replication-factor 3 --partitions 2 --config retention.ms=259200000

列出指定主题（topic）的详细信息

./kafka-topics.sh  --zookeeper(host:port) --describe  --topic demo-topic

查看所有的主题

./kafka-topics.sh --list --zookeeper(host:port) kafka-host(host:port)

查看所有主题的详细信息

./kafka-topics.sh --zookeeper(host:port) --describe

删除一个主题

./kafka-topics.sh --zookeeper(host:port) --topic demo-topic --delete

向kafka指定topic写入数据

./kafka-console-producer.sh --broker-list kafka-host(host:port)--topic demo-topic

命令行消费某个topic消息

#加了--from-beginning 从头消费所有消息
./kafka-console-consumer.sh --bootstrap-server kafka-host(host:port) --topic demo-topic --from-beginning   
#不加--from-beginning 从最新的一条消息开始消费
./kafka-console-consumer.sh --bootstrap-server kafka-host(host:port) --topic demo-topic

查看某个topic对应的消息数量

# time为-1时表示最大值，time为-2时表示最小值 --partitions num 指定分区
./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list kafka-host(host:port) --topic demo-topic --time -1

实例：
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic app-aaaa

kafka重置分组已经消费的偏移量offest

./kafka-consumer-groups.sh --bootstrap-server=kafka-host(host:port) --execute --reset-offsets --topic=demo-topic --group=testPlatform --to-earliest

topic增加分区

./kafka-topics.sh --alter --zookeeper(host:port) --topic demo-topic --partitions 12

指定topic创建消费者分组

./kafka-console-consumer.sh  --bootstrap-server=kafka-host(host:port) --topic demo-topic --consumer-property group.id=testPlatform

查看消费组组所属topic的消费情况

./kafka-consumer-groups.sh --bootstrap-server=kafka-host(host:port)  --group=demo-group --describ

显示所有消费者

./kafka-consumer-groups.sh --bootstrap-serverkafka-host(host:port) --list

获取正在消费的topic的group的offset

./kafka-consumer-groups.sh --describe --group demo-group --bootstrap-serverkafka-host(host:port）

重设 consumer group的offset

确定topic作用域:
 --all-topics   为consumer group下所有topic的所有分区调整位移
 --topic t1 --topic t2  为指定的若干个topic的所有分区调整位移
 --topic t1:0,1,2     为指定的topic分区调整位移

确定位移重设策略
--to-current                            把位移调整到分区当前位移.       
--to-datetime <String: datetime>       把位移调整到大于给定时间的最早位移处.datetime. Format: 'YYYY-MM-DDTHH:mm:SS.sss'  2020-07-01T12:00:00.000
--to-earliest                           把位移调整到分区当前最小位移
--to-latest                             把位移调整到分区当前最新位移        
--to-offset <Long: offset>              把位移调整到指定位移处
--shift-by N： 把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
--by-duration <duration>：把位移调整到距离当前时间指定间隔的位移处，duration格式是PnDTnHnMnS，比如PT0H5M0S
--from-file <file>：从CSV文件中读取调整策略
例：（--dry-run 不运行只查看结果，类似k8s里面；--execute执行）
按时间点重置（--to-datetime）
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --topic=test --group=testPlatform  --execute --reset-offsets --to-datetime 2022-01-18T12:00:00.000 

按offset重置 (--to-offset )
重置消费组下指定topic
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --topic=test --group=testPlatform --execute --reset-offsets --to-offset 359905139  

重置消费组下面所以topic
./kafka-consumer-groups.sh --bootstrap-server=localhost:9092 --all-topics --group testPlatform --reset-offsets  --to-latest  --execute

指定offset与partition导出消息

./kafka-console-consumer.sh --bootstrap-server=kafka-host(host:port) --topic --topic=demo-topic  --offset 825000 --partition 0 >> messages.log

修改topic的参数

kafka-configs.sh --zookeeper(host:port) --entity-type topics --entity-name demo-topic --alter --add-config max.message.bytes=1048576

测试生产者性能脚本

./kafka-producer-perf-test.sh --topic demo-topic --num-records 10000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=kafka-host(host:port) acks=-1 linger.ms=2000 compression.type=lz4

测试消费者性能脚本

./kafka-consumer-perf-test.sh --broker-list kafka-host(host:port) --messages 10000000 --topic demo-topic

kafka命令大全(代码片段)

创建主题：创建主题（4个分区，2个副本）kafka-topics.sh--create--zookeeper192.168.130.37:2181,192.168.130.38:2181,192.168.130.39:2181--replication-factor2--partitions4--topictest查看集群详情：kafka-topics.sh--describe--zookeeper192.168.130.37:2181,192.168.130.38:2181,192.168.1... 查看详情

windowscmd常用命令大全（值得收藏）(代码片段)

WindowsCMD常用命令大全前言1.常用命令1.1cd命令1.2查看目录文件1.3创建目录和删除目录1.4查看本机ip1.5清除屏幕1.6复制文件1.7移动文件1.8删除文件1.9ping1.10taskkill1.11netstat查看网络连接状态1.12find1.13tracert2.查看cmd下的命令3.辅助符号或... 查看详情

windowscmd常用命令大全（值得收藏）(代码片段)

kafka常用命令(代码片段)

一、topic相关1.1、新建一个topiccreate创建主题zookeeper指定zookeeper地址replication-factor设置主题的副本数，每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败... 查看详情

redis--数据库常用命令大全(代码片段)

...库操作指令2.操作key相关指令3.String类型1.内存存储模型2.常用操作命令4.List类型1.内存存储模型2.常用操作指令5.Set类型1.内存存储模型2.常用命令6.ZSet类型1.内存模型2.常用命令7.hash类型1.内存模型2.常用命令NoSQL的引言NoSQL(NotOnlySQL)... 查看详情

kubectl常用命令大全(代码片段)

...ectl的各种命令可以实现各种功能,是在使用kubernetes中非常常用的工具。Kubectl常用参数分类一.基础命令：create，delete，get，run，expose，set&#x 查看详情

git常用命令及方法大全(代码片段)

Git常用命令及方法大全原文链接：https://blog.csdn.net/web_csdn_share/article/details/79243308 下面是我整理的常用Git命令清单。几个专用名词的译名如下。Workspace：工作区Index/Stage：暂存区Repository：仓库区（或本地仓库... 查看详情

git常用命令大全(代码片段)

gitbranch#查看当下分支gitbranch-r#查看远程分支gitremote-v#查看git仓库地址gitcheckout分支名#切换分支gitcheckout-bdevorigin/dev#作用是checkout远程的dev分支，在本地起名为dev分支，并切换到本地的dev分支gitcloneurl#从链接处克隆git代码（默认mas... 查看详情

docker常用命令大全（持续更新）(代码片段)

文章目录一、docker操作二、镜像操作三、容器操作结尾一、docker操作启动dockersystemctlstartdocker重启dockersystemctlrestartdocker停止dockersystemctlstopdockerdocker开机自启动chkconfigdockeron二、镜像操作查找镜像dockersearch<IMAGE_ID/NAME>下载镜像... 查看详情

git常用命令大全(代码片段)

希望可以帮到需要帮助的人。用户每次push都需要输账号密码解决办法参考 http://git.oschina.net/oschina/git-osc/issues/2586 git使用教程参考 http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 1.安装完成后在Git 查看详情

kafka常用命令(代码片段)

kafka常用命令1、启动kafka服务bin/kafka-server-start.shconfig/server.properties&2、停止kafka服务./kafka-server-stop.sh3、创建一个叫demo-topic的主题（topic)，有两个分区，每个分区3个副本，同时指定该主题的消息保留时长（72... 查看详情

redis的常用命令和8大数据类型常用操作大全(代码片段)

文章目录redis基本操作命令Key(键)String(字符串)Hash(哈希)List(列表)Set(集合)sortedset(zset有序集合)HyperLogLog(基数)geospatial(地理位置)bitmap(位图)redis基本操作命令进入redis某台客户端命令redis-cli-hhost-pport-apassword启动redis进程redis-serverxxx.co... 查看详情

kafka常用topic操作命令汇总(代码片段)

offsettopicconsumer-groupconsumerproducerproducer-golangtopic工具https://cwiki.apache.org/confluence/display/KAFKA/Replication+toolsoffset相关#最大offsetbin/kafka-run-class.shkafka.tools.GetOffsetShell--broker-listlocalhost:9092--topictest_topic--time-1#最小offsetbin/kafka-run-class.shkafka.... 查看详情

git常用命令使用大全(代码片段)

查看、添加、提交、删除、找回，重置修改文件githelp<command>#显示command的helpgitshow#显示某次提交的内容gitshow$idgitco--<file>#抛弃工作区修改gitco.#抛弃工作区修改gitadd<file>#将工作文件修改提交到本地暂存区gitadd.#将... 查看详情

kafka常用命令(代码片段)

1. 启动1.zookeeper集群启动bin/kafka-server-start.sh-daemonconfig/server.properties2.KRaft集群启动bin/kafka-server-start.sh-daemonconfig/kraft/server.properties2.关闭1.zookeeper集群关闭bin/kafka-server-stop.shconfig/server.properties2.KRaft集群关闭bin/kafka-server-stop.shconfig/k... 查看详情

kafka系列十kafka常用管理命令(代码片段)

一、Topic管理1、创建topickafka-topics.sh--zookeeper47.52.199.52:2181--create--topictest-15--replication-factor1--partitions32、新增partitionkafka-topics.sh--zookeeperzk.server--alter--topictest--replication-factor1--partitions3注：topic一旦创建，partition只能增加，不能减少3... 查看详情

常用linux命令大全（100%收藏食用❤️）(代码片段)

...操作四、文件操作五、文件权限六、打包与解压七、其他常用命令八、系统管理“博主肝文章的分格一贯是先看小姐姐再写干货”一、基础知识1.1Linux系统的文件结构/bin二进制文件，系统常规命令/boot系统启动分区，系统... 查看详情