关键词：
全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！
新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。
目录
系列历史文章
❤️2021年大数据Kafka（二）：Kafka特点总结和架构
2021年大数据Kafka（一）：❤️消息队列和Kafka的基本介绍❤️
一、Kafka特点总结
- kafka是大数据中一款消息队列的中间件产品, 最早是有领英开发的, 后期将其贡献给了apache 成为apache的顶级项目
- kafka是采用Scala语言编写 kafka并不是对JMS规范完整实现 仅实现一部分 , kafka集群依赖于zookeeper
- kafka可以对接离线业务或者实时业务, 可以很好的和apache其他的软件进行集成, 可以做流式数据分析(实时分析)
kafka特点总结
-
高可靠性 : 数据不容易丢失, 数据分布式存储, 集群某个节点宕机也不会影响
-
高可扩展性 : 动态的进行添加或者减少集群的节点
-
高耐用性 : 数据持久化的磁盘上
-
高性能 : 数据具有高吞吐量
-
非常快: 零停机和零数据丢失 (存在重复消费问题)
二、Kafka架构
架构图
专业术语
- kafka cluster: kafka的集群
- broker: kafka集群中各个节点
- producer: 生产者
- consumer: 消费者
- topic: 主题 话题 类似于大的容器
- shard: 分片 类似于将大的容器切分为多个小的容器分片数量是否受限于集群节点数量呢? 不会的
- replicas: 副本 对每个分片构建多个副本, 保证数据不丢失副本数量是否会受限于集群节点的数据呢? 是 最多和节点是一致的
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨
2021年大数据kafka：kafka的分片和副本机制
...制一、分片机制二、副本机制三、总结系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafkaÿ... 查看详情
2021年大数据kafka：❤️kafka配额限速机制❤️(代码片段)
...限制consumer端的速率取消kafka的Quota配置系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafkaÿ... 查看详情
2021年大数据kafka：❤️kafka的javaapi编写❤️(代码片段)
...备工作第三步:代码开发二、消费者代码系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka... 查看详情
2021年大数据kafka：❤️消息队列和kafka的基本介绍❤️
...见的消息队列的产品五、Kafka的基本介绍系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka&#x... 查看详情
2021年大数据kafka：❤️kafka的shell命令使用❤️(代码片段)
...、删除topic 八、使用kafkaTools操作Kafka 系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafkaÿ... 查看详情
2021年大数据kafka：❤️kafka的消费者负载均衡机制和数据积压问题❤️
...数据积压情况第二步:解决数据积压问题系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka... 查看详情
2021年大数据kafka：kafka消息存储及查询机制原理
...Kafka数据存储机制二、Kafka数据查询机制系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka... 查看详情
2021年大数据kafka：kafka生产者数据分发策略
...(2.4以上版本新特性,老版本为轮询)总结系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafkaÿ... 查看详情
2021年大数据kafka：kafka如何保证数据不丢失
...端：四、总结生产者端broker端消费端系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka&#x... 查看详情
2021年大数据kafka：❤️kafka配额限速机制❤️(代码片段)
...限制consumer端的速率取消kafka的Quota配置系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制 查看详情
2021年大数据kafka：❤️kafka的javaapi编写❤️(代码片段)
...备工作第三步:代码开发二、消费者代码系列历史文章2021年大数据Kafka（五）：❤️Kafka的javaAPI编写 查看详情
2021年大数据kafka：❤️安装kafka-eagle❤️(代码片段)
...执行权限7、启动kafka_eagle8、访问Kafkaeagle系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka&#x... 查看详情
2021年大数据kafka：❤️消息队列和kafka的基本介绍❤️
...消息队列的产品五、Kafka的基本介绍系列历史文章❤️2021年大数据Ka 查看详情
2021年大数据kafka：❤️kafka的消费者负载均衡机制和数据积压问题❤️
...数据积压情况第二步:解决数据积压问题系列历史文章2021年大数据Kafka（十 查看详情
2021年大数据kafka：❤️kafka的集群搭建以及shell启动命令脚本编写❤️(代码片段)
...置执行权限6、执行一键启动、一键关闭系列历史文章2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️2021年大数据Kafka... 查看详情
2021年大数据kafka：❤️kafka的shell命令使用❤️(代码片段)
全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章Kafka的shell命令使用一、创建topic二、生产消息到kafka三、从kafka中消费消... 查看详情
2021年大数据kafka：❤️安装kafka-eagle❤️(代码片段)
全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章安装Kafka-Eagle一、开启KafkaJMX端口JMX接口开启KafkaJMX二、安装Kafka-Eagle1、... 查看详情
2021年大数据kafka：❤️kafka的集群搭建以及shell启动命令脚本编写❤️(代码片段)
全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章Kafka的集群搭建以及shell启动命令脚本编写一、搭建Kafka集群1、将Kafka的... 查看详情