ubuntu18.04下kafka安装与部署

wmqblog wmqblog     2022-11-30     166

关键词:

Apache Kafka是分布式发布-订阅消息系统,Apache Kafka与传统消息系统相比,有以下不同:

它被设计为一个分布式系统,易于向外扩展;
它同时为发布和订阅提供高吞吐量;
它支持多订阅者,当失败时能自动平衡消费者;
它将消息持久化到磁盘,因此可用于批量消费;
本篇文章是基于Ubuntu18.04来安装Kafka。

一、安装Java
更新软件包

sudo apt-get update
安装openjdk-8-jdk

sudo apt-get install openjdk-8-jdk
查看java版本,看看是否安装成功

[email protected]:~$ java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)
二、安装Zookeeper
请看我这篇文章:ZooKeeper的安装与部署

三、安装Kafka
下载地址:https://kafka.apache.org/downloads,ubuntu下可以用wget直接下载,我是下载到了/home/wzj/kafka目录

wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
解压

tar -zxvf kafka_2.11-1.0.0.tgz
创建日志存储目录

[email protected]:~$ cd kafka/
[email protected]:~/kafka$ mkdir logs-1
进入kafka解压目录,修改kafka-server 的配置文件

vim config/server.properties
修改配置文件中21、31、36和60行

broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://host_ip:9092
log.dirs=/home/wzj/kafka/logs-1
四、功能验证
1、启动Zookeeper,Zookeeper部署的是单点的。

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
查看是否启动成功

 

2、启动Kafka服务,使用 kafka-server-start.sh 启动 kafka 服务
bin/kafka-server-start.sh config/server.properties
3、创建topic

使用 kafka-topics.sh 创建单分区单副本的 topic test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看 topic 列表

bin/kafka-topics.sh --list --zookeeper localhost:2181
4、产生消息,创建消息生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
5、消费消息,创建消息消费者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
在生产消息的窗口,输入内容,在消费窗口就可以打印出来

 

6、查看Topic消息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
[email protected]:~/kafka/kafka_2.11-1.0.0$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test Partition: 0 Leader: 1 Replicas: 1 Isr: 1
第一行给出了所有分区的摘要,每个附加行给出了关于一个分区的信息。 由于我们只有一个分区,所以只有一行。
    “Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。
    “Replicas”: 是复制此分区日志的节点列表,无论它们是否是领导者,或者即使他们当前处于活动状态。
    “Isr”: 是一组“同步”副本。这是复制品列表的子集,当前活着并被引导到领导者。
---------------------
作者:dmfrm
来源:CSDN
原文:https://blog.csdn.net/u010889616/article/details/80641922
版权声明:本文为博主原创文章,转载请附上博文链接!

ubuntu18.04下载与安装(阿里云官方镜像站)

Ubuntu18.04下载与安装ubuntu18.04出来了,抱着试一试的心态,尝试着启用vmbox虚拟化工具安装了ubuntu系统,接下来的时间就要好好学习使用ubuntu下的开发环境了。登录阿里云官方镜像站:https://developer.aliyun.com/mirror/?spm... 查看详情

ubuntu18.04下安装中文输入法(代码片段)

阅读目录阐述第一步:首先需要给Ubuntu18.04安装Chinese语言包支持gnome界面unity界面第二步:ibus输入法安装(先Ctrl+Alt+T调出Terminal窗口)第三步在键盘输入来源(Inputsources)中添加中文拼音输入法阐述Ub... 查看详情

ubuntu18.04/20.04下安装搜狗输入法

https://pinyin.sogou.com/linux/guide 查看详情

kafka集群部署与测试(代码片段)

目录Kafka集群部署与测试一、安装Kafka二、启动kafka服务 Kafka集群部署与测试一、安装Kafka①、Alt+P拷贝安装包  cd/opt/moduletar-zxvf/opt/software/kafka_2.11-2.0.0.tgz-C/opt/module/②、修改配置文件vi/opt/module/kafka_2.11-2.0.0/config/server.prop 查看详情

阿里云下ubuntu18.04安装部署emqx消息服务器(代码片段)

EMQX服务器简介EMQX(Erlang/Enterprise/ElasticMQTTBroker)是基于Erlang/OTP平台开发的开源物联网MQTT消息服务器。EMQX设计目标是实现高可靠,并支持承载海量物联网终端的MQTT连接阿里云后台开启端口EMQX消息服务器默认占用的TCP端口包括:1... 查看详情

ubuntu18.04安装cuda

参考技术AUbuntu16.04重装系统安装完所需的三个文件后,进入mnistCUDNN文件夹,对cpp程序进行编译后直接运行出现TestPassed即可!nvidia-smi后出现如下信息:NVIDIA-SMIhasfailedbecauseitcouldn'tcommunicatewiththeNVIDIAdriver.MakesurethatthelatestNVIDIAdriver... 查看详情

ubuntu18.04版本下安装ros系统

...各种网络上别人安装的方法安装,出现各种问题,在配置ubuntu安装源时出现E:Malformedentry60inlistfile/etc/apt/sources.list(Component)E:Thelistofsourcescouldnotberead.等等,都是源配置问题。下面是本人最后安装成功的步骤。Ubuntu18.04 对应的ROS... 查看详情

ubuntu18.04系统下安装win10

...术AWindows系统安装Linux很容易,直接格式化安装就可以。Ubuntu系统下安装Windows就很麻烦,由于硬盘格式不同win下的是ntfs,Ubuntu是gpt【这不重要,可能记错了】解决方案:转自百度经验:https://jingyan.baidu.com/article/fedf0737552c5635ac8977e... 查看详情

树莓派4b安装ubuntu18.04与melodic版ros(代码片段)

使用的树莓派RaspberryPi4——8GB在这个连接中http://old-releases.ubuntu.com/releases/bionic/或http://cdimage.ubuntu.com/releases/18.04/release/找到该镜像:ubuntu-18.04.5-preinstalled-server-armhf+raspi4.img.xz下载后 查看详情

zookeeper接入kafka,安装部署cmak监控kafka,windows环境(代码片段)

zookeeper接入kafka,安装部署CMAK监控kafka,Windows环境(1)先在Windows下安装部署kafka。kafka连接zookeeper配置搭建环境、安装和启动,Windows环境下_zhangphil的博客-CSDN博客_kafkazookeeper配置kafka,分布式集群架构下&#x 查看详情

ubuntu18.04下openfoam2.3.1安装及配置

参考技术AOpenFOAM2.3.1是Ubuntu14.04下发布的,尝试N次在18.04下安装失败后,求助Bruno大神,随后Bruno在OpenFOAMwiki上放出了howtoinstallOpenFOAMinUbuntu18.04,完美安装。Sourceguide的编译出现问题,OpenFOAM2.3.1版本的SourceGuide在Ubuntu环境下用Doxygen... 查看详情

kafka安装部署

Kafka安装部署Kafka依赖zookeeper,默认kafka有自带的zookeeper,但是一般情况使用自建的好一些1、   安装zookeeper1)     创建目录mkdir/data/kafka/zookeeper/log,data-p2)     下 查看详情

ubuntu18.04安装lrzsz(代码片段)

前言    因为项目需要,服务客户局域网内部署,经常有文件传输的需要,方便传输,安装lrzsz来窗口传输文件;正文安装方式在线安装离线安装在线安装sudoapt-getinstalllrzsz离线安装下载压缩包下载链接:http://www.ohse.de/uwe/software/lrzsz.html... 查看详情

在ubuntu18.04安装gitlab国内镜像加速[转]

在Ubuntu18.04安装gitlab国内镜像加速代码发表于11个月前(05-08)3条评论 现在部署私有的gitlab已经非常的方便,唯一的问题在国内下载速度太慢了。幸好清华大学有镜像。本文步骤参考官方文档,当前的gitlab版本10.7.3Ubuntu版本18.04L... 查看详情

ubuntu18下opencv3.4的安装与使用示例(代码片段)

Ubuntu18下OpenCV3.4的安装与使用示例安装环境:VirtualBox虚拟机Ubuntu18.04系统OpenCV版本:3.4.14本机环境:Windows10文章目录Ubuntu18下OpenCV3.4的安装与使用示例一、认识OpenCV二、安装OpenCV1.下载OpenCV3.4.11数据包2.解压安装3.配置... 查看详情

解决ubuntu18.04系统下网易云音乐安装后无法打开问题

第一步:在终端修改sudoerssudogedit/etc/sudoer#在打开的文本编辑器中,最后添加一行(felix为我的用户名)felixALL=NOPASSWD: /usr/bin/netease-cloud-music#保存退出第二步:修改网易云音乐的启动图标sudogedit/usr/share/applications/netease-cloud-music... 查看详情

docker部署ubuntu18.04深度学习环境——cuda11.1cudnn8.0.5pytorch1.8.0(代码片段)

目录前言1安装nvidia显卡驱动2安装docker3Docker修改容器默认存储位置4安装dockercompose5安装nvidia-docker6下载nvidiaCUDA镜像7安装python3.8环境8安装pytorch1.89提交容器成为新镜像常用命令附录前言一次部署,无限安装😊1安装nvidia显卡驱动... 查看详情

安装部署kafka集群(代码片段)

kafka是一个开源的分布式消息订阅系统(消息中间件)安装过程1.下载kafka_2.11-0.10.1.0.gz(ps:千万不要下错了,博主就是下到了src文件上去了,kafka中的zookeeper起不起来)2.上传至/usr/local/src3.解压缩,并且移动到上级目录4.进入主目... 查看详情