关键词：
一、入门
1、简介
Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
<ignore_js_op>
2、Topics/logs
一个Topic可以认为是一类消息，每个topic将被分成多个partition(区),每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字，它是唯一标记一条消息。它唯一的标记一条消息。kafka并没有提供其他额外的索引机制来存储offset，因为在kafka中几乎不允许对消息进行“随机读写”。
<ignore_js_op>
kafka和JMS（Java Message Service）实现(activeMQ)不同的是:即使消息被消费,消息仍然不会被立即删除.日志文件将会根据broker中的配置要求,保留一定的时间之后删除;比如log文件保留2天,那么两天后,文件会被清除,无论其中的消息是否被消费.kafka通过这种简单的手段,来释放磁盘空间,以及减少消息消费之后对文件内容改动的磁盘IO开支.
对于consumer而言,它需要保存消费消息的offset,对于offset的保存和使用,有consumer来控制;当consumer正常消费消息时,offset将会"线性"的向前驱动,即消息将依次顺序被消费.事实上consumer可以使用任意顺序消费消息,它只需要将offset重置为任意值..(offset将会保存在zookeeper中,参见下文)
kafka集群几乎不需要维护任何consumer和producer状态信息,这些信息有zookeeper保存;因此producer和consumer的客户端实现非常轻量级,它们可以随意离开,而不会对集群造成额外的影响.
partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).
3、Distribution
一个Topic的多个partitions,被分布在kafka集群中的多个server上;每个server(kafka实例)负责partitions中消息的读写操作;此外kafka还可以配置partitions需要备份的个数(replicas),每个partition将会被备份到多台机器上,以提高可用性.
基于replicated方案,那么就意味着需要对多个备份进行调度;每个partition都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader跟进,同步消息即可..由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个partitions就意味着有多少个"leader",kafka会将"leader"均衡的分散在每个实例上,来确保整体的性能稳定.
Producers
Producer将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等.
Consumers
本质上kafka只支持Topic.每个consumer属于一个consumer group;反过来说,每个group中可以有多个consumer.发送到Topic的消息,只会被订阅此Topic的每个group中的一个consumer消费.
如果所有的consumer都具有相同的group,这种情况和queue模式很像;消息将会在consumers之间负载均衡.
如果所有的consumer都具有不同的group,那这就是"发布-订阅";消息将会广播给所有的消费者.
在kafka中,一个partition中的消息只会被group中的一个consumer消费;每个group中consumer消息消费互相独立;我们可以认为一个group是一个"订阅"者,一个Topic中的每个partions,只会被一个"订阅者"中的一个consumer消费,不过一个consumer可以消费多个partitions中的消息.kafka只能保证一个partition中的消息被某个consumer消费时,消息是顺序的.事实上,从Topic角度来说,消息仍不是有序的.
kafka的设计原理决定,对于一个topic,同一个group中不能有多于partitions个数的consumer同时消费,否则将意味着某些consumer将无法得到消息.
Guarantees
1) 发送到partitions中的消息将会按照它接收的顺序追加到日志中
2) 对于消费者而言,它们消费消息的顺序和日志中消息顺序一致.
3) 如果Topic的"replicationfactor"为N,那么允许N-1个kafka实例失效.
二、使用场景
1、Messaging
对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)
2、Websit activity tracking
kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等
3、Log Aggregation
kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统.
三、主要配置
1、Broker配置
<ignore_js_op>
2.Consumer主要配置
<ignore_js_op>
3.Producer主要配置
<ignore_js_op>
源码来源：http://minglisoft.cn/technology
有兴趣的朋友们可以加球球哦~：2042849237
kafka入门：简介使用场景设计原理主要配置及集群搭建（转）
...存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafkaisadistributed,partitioned,replica 查看详情
kafka入门：简介使用场景设计原理主要配置及集群搭建（转）
...存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafkaisadistributed,partitioned,replica 查看详情
kafka入门：简介使用场景设计原理主要配置及集群搭建（转）
...存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafkaisadistributed,partiti 查看详情
kafka入门：简介使用场景设计原理主要配置及集群搭建（转）
...存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafkaisadistributed,partiti 查看详情
kafka入门：简介使用场景设计原理主要配置及集群搭建（转）
...存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息... 查看详情
中间件|kafka简介使用场景设计原理主要配置及集群搭建
开源Java学习公众号一、入门1、简介Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer... 查看详情
消息中间件
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建 http://www.cnblogs.com/likehua/p/3999538.html zookeeperhttp://www.cnblogs.com/likehua/tag/zookeeper/ 查看详情
kafka的入门及安装使用(代码片段)
Kafka学习之路（一）Kafka的简介Kafka学习之路（二）Kafka的架构Kafka学习之路（三）Kafka的高可用Kafka学习之路（四）Kafka的安装Kafka学习之路（五）Kafka在zookeeper中的存储二：Kafka架构原理（一）Kafka应用场景Kafka是最初由Linkedin公司... 查看详情
kafka简介基本原理执行流程与使用场景
一、简介ApacheKafka是分布式发布-订阅消息系统，在kafka官网上对kafka的定义：一个分布式发布-订阅消息传递系统。它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设... 查看详情
kafka入门概述部署与api的简单使用(代码片段)
Kafka入门（一）概述、部署与API的简单使用MQ传统架构的问题MQ简介MQ的优缺点优点缺点同步与异步P2P模式订阅发布模式Kafka概述简介特点名称解释BrokerProducerConsumerConsumerGroupTopicPartition分区副本SegmentOffset对比Kafka集群架构部... 查看详情
kafka入门篇
文章目录初识Kafka什么是KafkaKafka的基本术语Kafka的特性（设计原则）Kafka的使用场景Kafka的消息队列点对点模式的消息队列发布-订阅模式的消息队列Kafka系统架构核心APIKafka为何如此之快broker端配置broker.idportzookeeper.connectlog.dirsnum.r... 查看详情
kafka快速入门——kafka架构(代码片段)
Kafka快速入门（二）——Kafka架构一、Kafka架构简介1、Kafka架构简介2、RecordRecord即Kafka消息，是Kafka处理的主要对象。3、TopicTopic是承载Kafka消息数据的逻辑容器，用于区分具体的业务，但在物理上，不同Topic的消息分开存储，逻辑... 查看详情
kafka--01---简介
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka定义==Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue==），主要应用于大数据实时处理领域... 查看详情
kafka学习之路kafka的简介
一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献... 查看详情
kafka学习之路kafka的简介
一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献... 查看详情
day449.kafka概述&快速入门-kafka(代码片段)
Kafka概述一、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。二、消息队列1、传统消息队列的应用场景MQ传统应用场景之异步处理异步、削峰、解耦使用消息队... 查看详情
kafka快速入门——kafka简介(代码片段)
Kafka快速入门（一）——Kafka简介一、ApacheKafka简介1、ApacheKafka简介ApacheKafka是一款开源的消息引擎系统，同时也是分布式流处理平台。消息引擎系统是一组在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递的规... 查看详情
kafka快速入门——confluentkafka简介(代码片段)
Kafka快速入门（八）——ConfluentKafka简介一、ConfluentKafka简介1、ConfluentKafka简介2014年，Kafka的创始人JayKreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了ConfluentKafka。ConfluentK... 查看详情