关键词：
文章目录
kafka消息队列大数据实战教程-第二篇（kafka集群搭建）
文章目录前言一、准备工作二、安装Zookeeper集群2.1.下载2.2解压2.3配置环境变量2.4修改conf文件夹配置2.5创建data、log文件夹2.6启动三、安装Kafka集群3.1.下载3.2解压3.3创建存储kafka数据地址3.4修改配置文件3.5启动3.6测试四、启动脚本4... 查看详情
kafka消息队列大数据实战教程-第二篇（kafka集群搭建）
文章目录前言一、准备工作二、安装Zookeeper集群2.1.下载2.2解压2.3配置环境变量2.4修改conf文件夹配置2.5创建data、log文件夹2.6启动三、安装Kafka集群3.1.下载3.2解压3.3创建存储kafka数据地址3.4修改配置文件3.5启动3.6测试四、启动脚本4... 查看详情
kafka消息队列大数据实战教程-第二篇（kafka集群搭建）
文章目录前言一、准备工作二、安装Zookeeper集群2.1.下载2.2解压2.3配置环境变量2.4修改conf文件夹配置2.5创建data、log文件夹2.6启动三、安装Kafka集群3.1.下载3.2解压3.3创建存储kafka数据地址3.4修改配置文件3.5启动3.6测试四、启动脚本4... 查看详情
kafka消息队列大数据实战教程-第四篇（kafka客户端producerapi）(代码片段)
...录前言一、创建生产者1.1引入Maven依赖包1.2构建Producer1.3消息acks应答机制1.3.1数据可靠性分析1.3.2数据完全可靠条件1.3.3数据重复分析1.3.4数据有序1.3.5数据乱序总结前言提示：本章我们将使用原生API客户端的方式来连接到Kafka集群... 查看详情
kafka消息队列大数据实战教程-第四篇（kafka客户端producerapi）(代码片段)
...录前言一、创建生产者1.1引入Maven依赖包1.2构建Producer1.3消息acks应答机制1.3.1数据可靠性分析1.3.2数据完全可靠条件1.3.3数据重复分析1.3.4数据有序1.3.5数据乱序总结前言提示：本章我们将使用原生API客户端的方式来连接到Kafka集群... 查看详情
kafka消息队列大数据实战教程-第三篇（kafka分区和副本的创建）
...的三种规则2.1指明partition的情况2.2没有指明partition但是有消息key的情况2.3既没有指明partition又没有key的情况三、自定义分区策略3.1需求：假设发送数据的包含0的发送到0号分区，包含1的发送到1号分区四、生产者如何提高吞吐量4.... 查看详情
kafka消息队列大数据实战教程-第三篇（kafka分区和副本的创建）
...的三种规则2.1指明partition的情况2.2没有指明partition但是有消息key的情况2.3既没有指明partition又没有key的情况三、自定义分区策略3.1需求：假设发送数据的包含0的发送到0号分区，包含1的发送到1号分区四、生产者如何提高吞吐量4.... 查看详情
kafka消息队列大数据实战教程-第五篇（broker工作原理以及节点服役）
文章目录前言一、zookeeper存储1.1启动zookeeper客户端1.2查看kafka的broker的ids信息1.3查看kafka的broker里的topics信息1.4查看kafka集群的leader信息二、节点服役2.1服役新节点2.1.1克隆新节点，修改IP地址，主机名称2.1.2修改新节点配置文件2.1... 查看详情
kafka消息队列大数据实战教程-第五篇（broker工作原理以及节点服役）
文章目录前言一、zookeeper存储1.1启动zookeeper客户端1.2查看kafka的broker的ids信息1.3查看kafka的broker里的topics信息1.4查看kafka集群的leader信息二、节点服役2.1服役新节点2.1.1克隆新节点，修改IP地址，主机名称2.1.2修改新节点配置文件2.1... 查看详情
kafka一文读懂(代码片段)
...Kafka简介 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列应用场景消息队列优点解耦可恢复性缓冲灵活性&峰值处理能力异步通信消息队列模式点... 查看详情
锁屏面试题百日百刷-kafk篇
...什么是ApacheKafka？ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。2.请说明什么是传统的消息传递方法？传统的消息传递方法包括两种：排队：在队列中，一组用户可以从服务器中... 查看详情
kafka消息队列(代码片段)
1.Kafka概念Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。1.1消息队列应用场景好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样... 查看详情
kafka从入门到实战(代码片段)
第1章Kafka概述1.1消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这... 查看详情
大数据实战之spark安装部署
楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好... 查看详情
kafka源码解析与实战
...。AKRELEASE2.5.0APRIL15,2020Kafka的基本组成Kafka集群中生产者将消息发送给以Topic命名的消息队列Queue中，消费者订阅发往以某个Topic命名的消息队列Qu 查看详情
kafka——kafka概述
目录一、Kafka定义二、消息队列2.1、传统消息队列的应用场景2.2、消息队列的两种模式2.2.1、点对点模式2.2.2、发布/订阅模式三、Kafka基础架构一、Kafka定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列... 查看详情
kafka安装到实战教程(python版)(代码片段)
...kafaka是Apache旗下的顶级开业产品，的本质就是一个消息队列，把数据的实时处理转变为异步处理，也是当下最常用的一款产品1.1kafka的应用场景1.应用解耦合2.同步处理转换为异步处理3.限流削峰（秒杀活... 查看详情
kafka实战解惑(代码片段)
一、Kafka简介Kafka是LinkedIn使用Scala开发的一个分布式消息中间件，它以水平扩展能力和高吞吐率著称，被广泛用于日志处理、ETL等应用场景。Kafka具有以下主要特点：消息的发布、订阅均具有高吞吐量：据统计数字表明，Kafka每秒... 查看详情