kafka2.5.0主题topic(代码片段)

zhuwenjoyce zhuwenjoyce     2022-11-29     778

关键词:

kafka基本命令查看博客《kafka2.5.0基本命令

本博文所使用kafka版本2.5.0,操作系统centos8.

1)创建主题

创建my-topic主题,该主题有 1 个副本,8个分区:

$ bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 8 --topic my-topic
Created topic my-topic.

2)列出主题

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092
my-topic
test

3)  更改主题分区个数:

注意:分区个数只能改多,不能改少,这里从8个分区改为16个:

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic my-topic --partitions 16
artitions 16

 验证分区扩建,cd 到kafka默认日志数据目录下: /tmp/kafka-logs,可以查看到16个分区文件夹:

drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-0
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-1
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-10
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-11
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-12
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-13
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-14
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-15
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-2
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-3
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-4
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-5
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-6
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:17 my-topic-7
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-8
drwxrwxr-x. 2 joyce joyce  141 Jun 21 05:24 my-topic-9

 每个分区文件夹的核心文件是.log文件:

[joyce@192 kafka-logs]$ cd my-topic-0
[joyce@192 my-topic-0]$ ll
total 4
-rw-rw-r--. 1 joyce joyce 10485760 Jun 21 05:17 00000000000000000000.index
-rw-rw-r--. 1 joyce joyce        0 Jun 21 05:17 00000000000000000000.log        // 0就代表便宜量,20个0代表可以存储4亿亿的数据!
-rw-rw-r--. 1 joyce joyce 10485756 Jun 21 05:17 00000000000000000000.timeindex
-rw-rw-r--. 1 joyce joyce        8 Jun 21 05:17 leader-epoch-checkpoint

 

 

 

end.

kafka2.5.0基本命令(代码片段)

1)启动zookeeper演示用的话,直接启动kafka自带的zookeeper即可:cdkafkaDirectory/kafka_2.12-2.5.0bin/zookeeper-server-start.shconfig/zookeeper.properties生产上建议连接到zookeeper集群,需更改配置文件config/server.properties 里更改zookeepe 查看详情

kafka2.5.0自定义分区器(代码片段)

自定义分区器:importorg.apache.kafka.clients.producer.Partitioner;importorg.apache.kafka.common.Cluster;importorg.apache.kafka.common.PartitionInfo;importjava.util.List;importjava.util.Map;/***@authorKing老师* 查看详情

kafka2.5.0详解核心配置文件server.properties(代码片段)

$cat-nconfig/server.propertiesbroker.id=0    //brokerID, 集群模式下该ID必须唯一,且永恒不变 listeners=PLAINTEXT://your_host_name:9092    // 配置你的应用所在IP地址,我理解为访问白名 查看详情

kafka2.5.0生产者与消费者配置详解(代码片段)

1)引入maven依赖我这里使用的是springboot2.1.3.RELEASE 版本:<dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId></dependency>会引入一对的ka 查看详情

kafka2.5.0自定义数据序列化类(代码片段)

kafka只接收bytes字节数组,所以自定义序列化器内部实现需按照bytes字节数组转换为标准。重点:本例子只是提供参考怎样写自定义序列化器,因为关系到性能,一般默认使用StringSerializer即可,效率很高。小知识:Kafka支持Avro序... 查看详情

springboot整合rabbitmq(topic主题模式)(代码片段)

在direct模式基础上改,但是此次使用注解方式消费者修改对应的consumer,用注解方式定义交换机和队列的关系@Service@RabbitListener(bindings=@QueueBinding(value=@Queue(value="duanxin.topic.queue",durable="true",autoDelete="false"),exchange=@Exchange(v 查看详情

activemq-初识mq--主题topic(代码片段)

1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工 查看详情

activemq-初识mq--主题topic(代码片段)

1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工 查看详情

activemq之topic主题模式(代码片段)

开发环境我们使用的是ActiveMQ5.11.1Release的Windows版,官网最新版是ActiveMQ5.12.0Release,大家可以自行下载,下载地址。需要注意的是,开发时候,要将apache-activemq-5.11.1-bin.zip解压缩后里面的activemq-all-5.11.1.jar包加入到classpath下面,这... 查看详情

kafka常用命令大全(代码片段)

目录启动kafka服务停止kafka服务创建一个叫demo-topic的主题(topic),有两个分区,每个分区3个副本,同时指定该主题的消息保留时长(72小时)列出指定主题(topic)的详细信息查看所有的主题查看所... 查看详情

springboot2.5.6集成rabbitmq,实现topic主题模式(代码片段)

1.application.ymlserver:port:8184spring:application:name:rabbitmq-demorabbitmq:host:127.0.0.1#ip地址port:5672username:admin#连接账号password:123456#连接密码template:retry:enabled:true#开启失败重试initial-interval:100 查看详情

kafka小笔记(代码片段)

文章目录一、kafka命令1.查看所有主题2.创建主题3.查看topic详情4.查看所有topic详情5.删除topic6.消费topic7.生产者topic二、彻底删除kafka的topic三、kafka中的acks参数一、kafka命令进入到kafka目录的bin下:1.查看所有主题./kafka-topics.sh--... 查看详情

activemq-初识mq--主题topic(代码片段)

1.导入依赖<dependency><groupId>org.apache.activemq</groupId><artifactId>activemq-all</artifactId><version>5.15.9</version></dependency>2.编写生产者代码编写生产者步骤获取连接工厂获取连接connection获取session创建目的地q... 查看详情

kafka0.8.2官方文档中文版系列-topic配置参数(代码片段)

...Kafka0.8.2官方文档中文版系列-API Topic-levelconfiguration(主题级别的参数配置) 与主题相关的配置具有全局默认值(参考broker部分)和每个主题可选重写(broker部分有明确提示)。如果主题没有重写这些配置,使用全局默认... 查看详情

kafka常用命令(代码片段)

...2、停止kafka服务./kafka-server-stop.sh3、创建一个叫demo-topic的主题(topic),有两个分区,每个分区3个副本,同时指定该主题的消息保留时长(72小时)./kafka-topics.sh--zookeeper(host:port)--create--topicdemo-topic--replication-... 查看详情

rabbit主题交换机(代码片段)

主题交换机类型为:topic。是直连交换机的一种。只是比直连交换机更灵活,在路由键上引入了通配符的概念topic交换机支持通配符的路由键.*表示匹配一个词。#匹配所有 生产者:packagecom.kf.queueDemo.exchange.topic;importjava.io.IOExce... 查看详情

kafka常用命令(代码片段)

一、topic相关1.1、新建一个topiccreate创建主题zookeeper指定zookeeper地址replication-factor设置主题的副本数,每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败... 查看详情

hp下kafka的实践(代码片段)

...记录,Kafka将消息种子(Feed)分类,每一类的消息称之为一个主题(Topic)。broker:以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker;消费者可以订阅一个或多个主题(topic),并从Broker 查看详情