关键词：
Kafka集群安装部署（超详细操作演示）—— Linux
简介
Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。- 同
RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。 Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。
安装
前提条件：
- 确保已经跟随前面的安装教程，安装并部署了
JDK和Zookeeper服务
Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper
没安装的可以看完之前的博客：
Linux系统安装部署Tomcat（超详细操作演示）
Zookeeper集群安装部署（超详细操作演示）
1、【在node1操作】 下载并上传Kafka的安装包
# 下载安装包
wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz
也可以下载好，再上传：
rz
查看是否上传成功：
2 、【在node1操作】 解压
# 此文件夹如果不存在需先创建
mkdir -p /export/server
# 解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/
查看是否解压成功：
# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
3、【在node1操作】 修改Kafka目录内的config目录内的server.properties文件
cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
按
Esc退出插入模式，输入/dirs搜索：
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
按
Esc退出插入模式，输入/connect搜索：
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181
按
Esc退出插入模式，输入:wq保存退出。
4、【在node1操作】 将node1的kafka复制到node2和node3
cd /export/server
# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD
5、【在node2操作】
# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
按
Esc退出插入模式，输入:wq保存退出。
6、【在node3操作】
# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka
cd /export/server/kafka/config
vim server.properties
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092
按
Esc退出插入模式，输入:wq保存退出。
7、启动kafka
# 请先确保Zookeeper已经启动了
# 方式1：【前台启动】分别在node1、2、3上执行如下语句 （一般很少用！）
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties
# 方式2：【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &
8、验证Kafka启动
# 在每一台服务器执行
jps
测试Kafka能否正常使用
1、创建测试主题
# 在node1执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
2、运行测试，请在FinalShell中打开2个node1的终端页面
# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
左边输入，右边能同步输出，就成功啦！
超详细部署kafka教程
部署Kafka#官方文档http://kafka.apache.org/quickstart1、环境准备#在三个节点提前部署jdk和zookeeper[root@node1~]#java-versionopenjdkversion"1.8.0_342"[root@node1~]#zkServer.shversion/usr/bin/javaZooKeeperJMXenabledbydefaultU 查看详情
kafka集群的部署
1.zookeeper集群部署不在简介zk对外提供2181端口分别部署在三台机器上面，也是下面的三台2.hosts文件一定要做否则kafka系统启动不起来[[email protected] bin]# cat /etc/hosts192.168.56.11 linux-node1192.168.56.12 lin 查看详情
yumerastcdwww3992019com环境安装部署18669144441
超详细的CentOS环境安装部署Kubernetes集群前提条件需要2台或以上安装有CentOS的机器超详细的CentOS环境安装部署Kubernetes集群启动一个集群分享下怎么在CentOS系统搭建Kubernetes集群。通过手动配置，更容易去理解所有底层的包、服务... 查看详情
kafka产线集群部署(代码片段)
单机构成的Kafka伪集群只能用于日常测试用，根本无法满足实际的线上生产需要，而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定，本文分别从操作系统、磁盘、磁盘容量和带宽等方面来... 查看详情
云原生|kubernetes-kubeadm部署k8s集群（超详细）(代码片段)
...的一个简单上手的部署工具。不用把大量时间花费在搭建集群上面。只需通过两条命令就可以部署一个k8s集群#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin安装Kubeadm实验环境：CentOS7.9前期准备确认linux内... 查看详情
解开kafka神秘的面纱：kafka单机部署和集群部署(代码片段)
...ka单机安装2.1下载压缩包2.2zookeeper安装2.3kafka安装三、kafka集群安装3.1zookeeper安装3.2kafka的安装3.3两种Topic四、尾声一、前言本文主要介绍kafka的单机和集群模式部署。二、kafka单机安装2.1下载压缩包需要先到官网下载zookeeper和kafka... 查看详情
kafka集群安装(centos7环境下)
...软件版本Kafka版本为：0.10.0.0二、软件的基础准备由于Kafka集群需要依赖ZooKeeper集群来协同管理，所以需要事先搭建好ZK集群。此文主要介绍搭建Kafka集群环境。三、详细安装搭建步骤1.下载压缩包kafka_2 查看详情
kafka集群安装部署(代码片段)
1集群安装部署1、下载安装包（http://kafka.apache.org）https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgzkafka_2.11-1.1.0.tgz2、规划安装目录/bigdata/install3、上传安装包到服务器中通过FTP工具上传安装包到node01服务器上4、解压安装包到指... 查看详情
k8s最新版本集群部署超详细（k8s版本1.5.1）docker版本19.03.1以及基本操作和服务介绍。(代码片段)
更新：今天抽时间写了昨天部署的一键脚本：date:Aug3,2019《Kubernetes最新版本1.15.1，shell脚本一键部署，刚刚完成测试，实用。》最近利用空闲时间，把之前部署和学习k8s时的整个过程和遇到的问题总结了一... 查看详情
kafka快速入门——kafka集群部署(代码片段)
Kafka快速入门（六）——Kafka集群部署一、Kafka集群部署方案规划1、操作系统选择通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下：（1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在W... 查看详情
zookeeper-kafka（集群版）安装部署以及java调用工具类
Kafka安装部署文档■文档版本V1.0■操作系统CentOSLinuxrelease7.3.1611■编写人员闫立雄■文档日期2019-01-06 一. 概述该文档详细描述了在Linux环境下安装Kafka和ZooKeeper的全过程，文档... 查看详情
clouderamanager6.3.1&cdh6.3.2集群部署（超详细，亲测可用）(代码片段)
...Manager环境部署1.1.CM简介1.1.1.CM简介ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内， 查看详情
kafka集群部署与测试(代码片段)
目录Kafka集群部署与测试一、安装Kafka二、启动kafka服务 Kafka集群部署与测试一、安装Kafka①、Alt+P拷贝安装包 cd/opt/moduletar-zxvf/opt/software/kafka_2.11-2.0.0.tgz-C/opt/module/②、修改配置文件vi/opt/module/kafka_2.11-2.0.0/config/server.prop 查看详情
流量分析系统---kafka集群部署
1、集群部署的基本流程Storm上游数据源之Kakfa下载安装包、解压安装包、修改配置文件、分发安装包、启动集群2、基础环境准备安装前的准备工作（zk集群已经部署完毕）?关闭防火墙chkconfigiptablesoff&&setenforce0?创建工作目录... 查看详情
kafka单机和集群（全分布）的安装部署过程(代码片段)
目录一：安装准备二：单机安装三：集群安装（全分布）一：安装准备1.必须安装了zookeeperzookeeper安装操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛... 查看详情
超详细从零记录hadoop2.7.3完全分布式集群部署过程
...详细从零记录Ubuntu16.04.13台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日）主机名/hostnameIP角色hadoop1192.16... 查看详情
kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载安装和配置（图文详细教程）绝对干货
...fka ，需要依赖 zookeeper，你可以使用已有的zookeeper集群或者利用kafka自带的zookeeper。 单机模式，用的是kafka自带的zookeeper， 分布式模式，用的是外部安装的zookeeper，即公共的zookeeper。见博客 4kafka集群部署及生... 查看详情
kafka集群管理工具kafka-manager部署安装(代码片段)
kafka集群管理工具kafka-manager部署安装kafka-manager是雅虎开源的apache-kafka管理工具，是用Scala写，所以在web页面进行操作即可。github地址:https://github.com/yahoo/CMAK安装步骤下载并编译源码wgethttps://github.com/yahoo/kafka-manager/archive/1.3.3.7.zipu... 查看详情