正文

2021年大数据kafka：kafka生产者数据分发策略

Lansonli  Lansonli  2023-02-08  580

关键词：

全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！

新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。

系列历史文章

生产者数据分发策略

策略一:用户指定了partition

策略二:用户发生数据的时候指定了key没有指定partition ,采用hash算法

策略三: 当用户既没有指定partition也没有key。采用粘性的划分策略(Sticky Partitioning Strategy)方案(2.4以上版本新特性,老版本为轮询)

总结

系列历史文章

2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️

2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️

2021年大数据Kafka（十）：kafka生产者数据分发策略

2021年大数据Kafka（九）：kafka消息存储及查询机制原理

2021年大数据Kafka（八）：Kafka如何保证数据不丢失

2021年大数据Kafka（七）：Kafka的分片和副本机制

2021年大数据Kafka（六）：❤️安装Kafka-Eagle❤️

2021年大数据Kafka（五）：❤️Kafka的java API编写❤️

2021年大数据Kafka（四）：❤️kafka的shell命令使用❤️

2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️

2021年大数据Kafka（二）：❤️Kafka特点总结和架构 ❤️

2021年大数据Kafka（一）：❤️消息队列和Kafka的基本介绍❤️

生产者数据分发策略

kafka在数据生产的时候，有一个数据分发策略。默认的情况使用DefaultPartitioner.class类。这个类中就是定义数据分发的策略

策略一:用户指定了partition

生产就不会调用DefaultPartitioner.partition() 方法 , 数据分发策略的时候，可以指定数据发往哪个 partition 。当ProducerRecord 的构造参数中有 partition 的时候，就可以发送到对应 partition 上

策略二:用户发生数据的时候指定了key没有指定partition ,采用hash算法

注意: 如果 key 一直不变，同一个 key 算出来的 hash 值是个固定值。如果是固定值，这种 hash 取模就没有意义。 Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions

策略三: 当用户既没有指定partition也没有key。采用粘性的划分策略(Sticky Partitioning Strategy)方案(2.4以上版本新特性,老版本为轮询)

Sticky Partitioning Strategy会随机地选择一个分区并会尽可能地坚持使用该分区——即所谓的粘住这个分区。

原因：

kafka 在发送消息的时候 , 采用批处理方案 , 当达到一批后进行分送 , 但是如果一批数据中有不同分区的数据 , 就无法放置到一个批处理中, 而老版本中轮询方案 , 就会导致一批数据被分到多个小的批次中 , 从而影响效率 , 故在新版本中 , 采用这种粘性的划分策略

总结

📢博客主页：https://lansonli.blog.csdn.net
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 Lansonli 原创，首发于 CSDN博客🙉
📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨

2021年大数据kafka：❤️kafka的javaapi编写❤️(代码片段)

...前面的知识重点。目录系列历史文章Kafka的javaAPI编写一、生产者代码第一步:需求第二步:准备工作第三步:代码开发二、消费者代码系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka... 查看详情

2021年大数据kafka：kafka生产者数据分发策略

...，帮助大家回顾前面的知识重点。目录系列历史文章生产者数据分发策略策略一:用户指定了partition策略二:用户发生数据的时候指定了key没有指定partition,采用hash算法策略三:当用户既没有指定partition也没有key。采用粘性的划... 查看详情

2021年大数据kafka：kafka消息存储及查询机制原理

...据积压问题❤️2021年大数据Kafka（十）：kafka生产者数据分发策略2021年大数据Kafka（九）：kafka消息存储及查询机制原理2021年大数据Kafka（八）：Kafka如何保证数据不丢失2021年大数据Kafka（七&... 查看详情

2021年大数据kafka：❤️kafka特点总结和架构❤️

2021年大数据kafka：kafka的分片和副本机制

2021年大数据kafka：kafka消息存储及查询机制原理

...制系列历史文章2021年大数据Kafka（十）：kafka生产者数据分发策略2021年大数据Kafk 查看详情

2021年大数据kafka：❤️kafka配额限速机制❤️(代码片段)

2021年大数据kafka：❤️kafka的shell命令使用❤️(代码片段)

2021年大数据kafka：❤️消息队列和kafka的基本介绍❤️

2021年大数据kafka：❤️kafka的消费者负载均衡机制和数据积压问题❤️

2021年大数据kafka：kafka如何保证数据不丢失

...目录系列历史文章Kafka如何保证数据不丢失一、如何保证生产者数据不丢失1）消息生产分为同步模式和异步模式2）消息确认分为三个状态3）在同步模式下4）在异步模式下二、如何保证broke 查看详情

2021年大数据kafka：❤️kafka的javaapi编写❤️(代码片段)

...前面的知识重点。目录系列历史文章Kafka的javaAPI编写一、生产者代码第一步:需求第二步:准备工作第三步:代码开发二、消费者代码系列历史文章2021年大数据Kafka（五）：❤️Kafka的javaAPI编写查看详情

2021年大数据kafka：❤️安装kafka-eagle❤️(代码片段)

...据积压问题❤️2021年大数据Kafka（十）：kafka生产者数据分发策略2021年大数据Kafka（九）：kafka消息存储及查询机制查看详情

2021年大数据kafka：❤️kafka的集群搭建以及shell启动命令脚本编写❤️(代码片段)

...据积压问题❤️2021年大数据Kafka（十）：kafka生产者数据分发策略2021年大数据Kafka（九&# 查看详情

2021年大数据kafka：❤️kafka的shell命令使用❤️(代码片段)

全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章Kafka的shell命令使用一、创建topic二、生产消息到kafka三、从kafka中消费消... 查看详情

❤️2021年大数据kafka：kafka特点总结和架构

...点总结二、Kafka架构架构图专业术语系列历史文章❤️2021年大数据Kafka（二）：Kafka特点总结和架构2021年大数据Kafkaÿ 查看详情

2021年大数据kafka：kafka的分片和副本机制

...制一、分片机制二、副本机制三、总结系列历史文章2021年大数据Kafka（七）：Kafka的分片和副本机制2021年大数据Kafka（六查看详情

2021年大数据kafka：❤️kafka配额限速机制❤️(代码片段)

...限制consumer端的速率取消kafka的Quota配置系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制查看详情