关键词:
kafka基本命令查看博客《kafka2.5.0基本命令》
本博文所使用kafka版本2.5.0,操作系统centos8.
1)创建主题
创建my-topic主题,该主题有 1 个副本,8个分区:
$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 8 --topic my-topic Created topic my-topic.
2)列出主题
$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092
my-topic
test
3) 更改主题分区个数:
注意:分区个数只能改多,不能改少,这里从8个分区改为16个:
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic my-topic --partitions 16 artitions 16
验证分区扩建,cd 到kafka默认日志数据目录下: /tmp/kafka-logs,可以查看到16个分区文件夹:
drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-0 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-1 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-10 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-11 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-12 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-13 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-14 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-15 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-2 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-3 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-4 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-5 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-6 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:17 my-topic-7 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-8 drwxrwxr-x. 2 joyce joyce 141 Jun 21 05:24 my-topic-9
每个分区文件夹的核心文件是.log文件:
[joyce@192 kafka-logs]$ cd my-topic-0 [joyce@192 my-topic-0]$ ll total 4 -rw-rw-r--. 1 joyce joyce 10485760 Jun 21 05:17 00000000000000000000.index -rw-rw-r--. 1 joyce joyce 0 Jun 21 05:17 00000000000000000000.log // 0就代表便宜量,20个0代表可以存储4亿亿的数据! -rw-rw-r--. 1 joyce joyce 10485756 Jun 21 05:17 00000000000000000000.timeindex -rw-rw-r--. 1 joyce joyce 8 Jun 21 05:17 leader-epoch-checkpoint
end.
kafka2.5.0基本命令(代码片段)
1)启动zookeeper演示用的话,直接启动kafka自带的zookeeper即可:cdkafkaDirectory/kafka_2.12-2.5.0bin/zookeeper-server-start.shconfig/zookeeper.properties生产上建议连接到zookeeper集群,需更改配置文件config/server.properties 里更改zookeepe 查看详情
kafka2.5.0自定义分区器(代码片段)
自定义分区器:importorg.apache.kafka.clients.producer.Partitioner;importorg.apache.kafka.common.Cluster;importorg.apache.kafka.common.PartitionInfo;importjava.util.List;importjava.util.Map;/***@authorKing老师* 查看详情
kafka2.5.0详解核心配置文件server.properties(代码片段)
$cat-nconfig/server.propertiesbroker.id=0 //brokerID, 集群模式下该ID必须唯一,且永恒不变 listeners=PLAINTEXT://your_host_name:9092 // 配置你的应用所在IP地址,我理解为访问白名 查看详情
kafka2.5.0生产者与消费者配置详解(代码片段)
1)引入maven依赖我这里使用的是springboot2.1.3.RELEASE 版本:<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency>会引入一对的ka 查看详情
kafka2.5.0自定义数据序列化类(代码片段)
kafka只接收bytes字节数组,所以自定义序列化器内部实现需按照bytes字节数组转换为标准。重点:本例子只是提供参考怎样写自定义序列化器,因为关系到性能,一般默认使用StringSerializer即可,效率很高。小知识:Kafka支持Avro序... 查看详情
springboot整合rabbitmq(topic主题模式)(代码片段)
在direct模式基础上改,但是此次使用注解方式消费者修改对应的consumer,用注解方式定义交换机和队列的关系@Service@RabbitListener(bindings=@QueueBinding(value=@Queue(value="duanxin.topic.queue",durable="true",autoDelete="false"),exchange=@Exchange(v 查看详情
activemq-初识mq--主题topic(代码片段)
1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工 查看详情
activemq-初识mq--主题topic(代码片段)
1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工 查看详情
activemq之topic主题模式(代码片段)
开发环境我们使用的是ActiveMQ5.11.1Release的Windows版,官网最新版是ActiveMQ5.12.0Release,大家可以自行下载,下载地址。需要注意的是,开发时候,要将apache-activemq-5.11.1-bin.zip解压缩后里面的activemq-all-5.11.1.jar包加入到classpath下面,这... 查看详情
kafka常用命令大全(代码片段)
目录启动kafka服务停止kafka服务创建一个叫demo-topic的主题(topic),有两个分区,每个分区3个副本,同时指定该主题的消息保留时长(72小时)列出指定主题(topic)的详细信息查看所有的主题查看所... 查看详情
springboot2.5.6集成rabbitmq,实现topic主题模式(代码片段)
1.application.ymlserver:port:8184spring:application:name:rabbitmq-demorabbitmq:host:127.0.0.1#ip地址port:5672username:admin#连接账号password:123456#连接密码template:retry:enabled:true#开启失败重试initial-interval:100 查看详情
kafka小笔记(代码片段)
文章目录一、kafka命令1.查看所有主题2.创建主题3.查看topic详情4.查看所有topic详情5.删除topic6.消费topic7.生产者topic二、彻底删除kafka的topic三、kafka中的acks参数一、kafka命令进入到kafka目录的bin下:1.查看所有主题./kafka-topics.sh--... 查看详情
activemq-初识mq--主题topic(代码片段)
1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工厂获取连接connection获取session创建目的地q... 查看详情
kafka0.8.2官方文档中文版系列-topic配置参数(代码片段)
...Kafka0.8.2官方文档中文版系列-API Topic-levelconfiguration(主题级别的参数配置) 与主题相关的配置具有全局默认值(参考broker部分)和每个主题可选重写(broker部分有明确提示)。如果主题没有重写这些配置,使用全局默认... 查看详情
kafka常用命令(代码片段)
...2、停止kafka服务./kafka-server-stop.sh3、创建一个叫demo-topic的主题(topic),有两个分区,每个分区3个副本,同时指定该主题的消息保留时长(72小时)./kafka-topics.sh--zookeeper(host:port)--create--topicdemo-topic--replication-... 查看详情
rabbit主题交换机(代码片段)
主题交换机类型为:topic。是直连交换机的一种。只是比直连交换机更灵活,在路由键上引入了通配符的概念topic交换机支持通配符的路由键.*表示匹配一个词。#匹配所有 生产者:packagecom.kf.queueDemo.exchange.topic;importjava.io.IOExce... 查看详情
kafka常用命令(代码片段)
一、topic相关1.1、新建一个topiccreate创建主题zookeeper指定zookeeper地址replication-factor设置主题的副本数,每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败... 查看详情
hp下kafka的实践(代码片段)
...记录,Kafka将消息种子(Feed)分类,每一类的消息称之为一个主题(Topic)。broker:以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker;消费者可以订阅一个或多个主题(topic),并从Broker 查看详情