正文 

当前位置： 首页 > 开发 > java教程

zookeeper接入kafka，安装部署cmak监控kafka，windows环境(代码片段)

zhangphil zhangphil     2022-10-23     602

关键词：

zookeeper接入kafka，安装部署CMAK监控kafka，Windows环境

（1）先在Windows下安装部署kafka。

kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下_zhangphil的博客-CSDN博客_kafka zookeeper配置kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）：Windows 10环境zookeeper单机伪集群部署和配置_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/disthttps://blog.csdn.net/zhangphil/article/details/123086790

关于zookeeper的配置，几个关键的配置文件内容D:\\program\\zookeeper\\zk1\\program\\conf\\zoo.cfg：

tickTime=2000
initLimit=10
syncLimit=5

dataDir=D:/program/zookeeper/zk1/data
dataLogDir=D:/program/zookeeper/zk1/log

clientPort=2181

server.1=127.0.0.1:2889:3889

server.1对应的myid里面只需写一个数字1即可，D:\\program\\zookeeper\\zk1\\data\\myid:

1

如果是分布式集群，因为zoo.cfg里面有server.1,server.2,server.3...，每个节点的myid文件写上对应的数字编号1，2，3。

Windows环境下，如果是自己编写.bat命令控制台，则可以根据自己的Java环境自定义配置JAVA_HOME：

set JAVA_HOME=C:\\program\\java\\jdk
set path=C:\\Windows\\System32;%JAVA_HOME%\\bin;C:\\Windows\\System32\\wbem;
start cls

kafka中，把config/server.properties里面的listener打开和定义：

 把以上代码保存为.bat文件，打开寻址到bin/windows/下，找到kafka-server-start.bat,启动kafka的命令：

kafka-server-start.bat D:/program/kafka/kafka/config/server.properties

(2)部署安装kafka的监控系统CMAK

在这个地址页面

Releases · yahoo/CMAK · GitHubCMAK is a tool for managing Apache Kafka clusters. Contribute to yahoo/CMAK development by creating an account on GitHub.https://github.com/yahoo/CMAK/releases下载CMAK。解压，最好放到Windows根目录下。

进入/conf目录下，修改配置文件application.conf，里面比较重要的配置项

 这四行，可以把kafka-manager开头的两行注释掉，只保留cmak的配置项目，在本例中，这四行最终只保留一行：

cmak.zkhosts="localhost:2181"

另外，默认的CMAK启动的端口是9000,如果该端口被其他程序占用，可以在application.conf新增加一行写入：

http.port=9001

指定启动端口，上述配置指定cmak在端口9001服务。

（3）启动CMAK。

以上配置完成后，先启动zookeeper，再启动kafka，然后启动cmak，启动cmak，只需要到bin目录下，找到cmak.bat，直接运行即可。

在浏览器访问 localhost:9000 ，进入后是这样一个web管理界面：

需要添加集群。

勾选以上选择项目。

然后再次打开 http://localhost:9000/

就可以看到集群的节点了。

（4）监控kafka性能

需要打开kafka的JMX，找到kafka-server-start.bat文件，在这个位置

增加一行： 

set JMX_PORT="9999"

变为

然后重启Kafka，jmx就有数据展示了：

20190426部署zookeeper集群

...dis相似，但是优于redis，支持消息并列与通知，实验:部署zookeeper集群：安装思路及环境：先安装Java环境，再安装zookeeper，后安装kafka，：安装思路及环境：先安装Java环境，再安装zookeeper，后安装kafka，zookeeper版本下载网址：http:/... 查看详情

kafka单机模式部署安装，zookeeper启动

    在root的用户下1）：前提安装JDK环境，设置JAVA环境变量2）：下载kafka，命令：wget http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz3）：下载zookeeper，命令：wget http://mirror.bit.edu 查看详情

zookeeper原理zk部署应用kafka

TopNSDARCHITECTUREDAY07案例1：Zookeeper安装步骤一：安装Zookeeper案例2：Kafka集群实验案例3：Hadoop高可用案例4：高可用验证1案例1：Zookeeper安装1.1问题本案例要求：搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色1.... 查看详情

解开kafka神秘的面纱：kafka单机部署和集群部署(代码片段)

文章目录一、前言二、kafka单机安装2.1下载压缩包2.2zookeeper安装2.3kafka安装三、kafka集群安装3.1zookeeper安装3.2kafka的安装3.3两种Topic四、尾声一、前言本文主要介绍kafka的单机和集群模式部署。二、kafka单机安装2.1下载压缩包需要先... 查看详情

kafka单机配置部署(代码片段)

一、zookeeper安装1、下载zookeeper安装包cd/usr/local/src/wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz2、安装zookeeper#首先创建Zookeeper项目目录mkdir-p/data0/zookeepercd 查看详情

centos7.2中kafka，zookeeper的单机部署，伪分布式部署以及真正的分布式部署

由于kafka依赖于zookeeper，所以这里先安装zookeeper。安装环境先列一下安装环境：操作系统：centos7.2JDK版本：1.8.1kafka版本：2.11-0.10.1.1zookeeper版本：zookeeper-3.4.9 zookeeper的下载、配置、启动 zookeeper下载链接：http://mirror.bit.edu.c... 查看详情

zookeeper集群和kafka的相关概念就部署(代码片段)

目录一、zookeeper概述1、zookeeper定义2、zookeeper工作机制3、zookeeper特点4、zookeeper数据结构5、zookeeper应用场景6、zookeeper选举机制第一次启动选举机制非第一次启动选举机制二、部署zookeeper集群1、安装前准备2、安装zookeeper三、消息... 查看详情

kafka笔记2--kafka图形管理工具cmak

kafka笔记2--kafka图形管理工具CMAK​​CMAK简介​​​​CMAK安装​​​​注意事项​​​​说明​​CMAK简介CMAK是一个管理ApacheKafkaclusters的工具，之前被叫做KafkaManager。其具备如下功能：管理多个集群很容易检测集群状态运行首选... 查看详情

kafka集群管理工具kafka-manager部署安装(代码片段)

...在解压后的conf目录中打开application.conf文件，修改成自己zookeeper地址。#kafka-manager.zkhosts="localhost:2181"kafka-manager.zkhosts="192.168.1.200:2181"启动bin/kafka-managerkafka-manager默认的端口是9000，可通过-Dhttp.port，指定端口;-Dconfig.f... 查看详情

zookeeper-kafka（集群版）安装部署以及java调用工具类

...bsp;一. 概述该文档详细描述了在Linux环境下安装Kafka和ZooKeeper的全过程，文档中以kafka_2.11-1.1.0.tgz和zookeeper-3.4.12.tar.gz为例。 二. 安装ZooKeeper2.1 下载ZooKeeper    方式1  http://mirrors.shu.edu.cn/apache/zoo... 查看详情

4.kafka的安装部署

...些重点概念,topic,broker,producer,consumer,message,partition,依赖于zookeeper,kafka是一种消息队列,他的服务端是由若干个broker组成的，broker会向zookeeper，producer生成者对应一个topic主题生产的数据分成多个partition分区放在不同的broke 查看详情

kafka监控工具之cmak

...提供现成的编译包的，需要我们自己编译打包，老版本的安装可以参阅博文Kafka监控工具之Ka 查看详情

kafka监控工具之cmak

...提供现成的编译包的，需要我们自己编译打包，老版本的安装可以参阅博文Kafka监控工具之Ka 查看详情

centos7安装kafka+zookeeper实践(代码片段)

...。二、部署2.1环境准备本次采用Centos7.9安装，因为kafka和zookeeper都需要用到jdk，这次安装的使用oraclejdk8https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html在服务器上下载jdk软件包在服务器上安装jdk软件包检查java... 查看详情

zookeeper/kafka设置开机自启/nginx安装部署

参考技术Asystemctldaemon-reloadsystemctlenablezookeeper启动zk：systemctlstartzookeeper停止zk：systemctlstopzookeeperreboot验证安装目录：/usr/local/kafka_2.13-2.7.0/数据目录：/kafka/data服务端口：9092设置开机启动：/etc/systemd/system/文件夹下创建一个启动脚... 查看详情

kafka集群安装部署（超详细操作演示）——linux(代码片段)

...f1a;确保已经跟随前面的安装教程，安装并部署了JDK和Zookeeper服务Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper没安装的可以看完之前的博客：Linux系统安装部署Tomcat（超详细操作演示）Zookeeper集... 查看详情

docker配置kafka+zookeeper，golang接入示例

参考技术A配置zookeeper使用kafka/bin/下自带的zk运行报错卒。配置低了docker-compose.yml报错换云搬瓦工的机器试一下但是dockerps-a发现只有zookeeper启动了，kafka失败,检查日志发现kafka运行需要java环境，而且对内存有要求，搬瓦工的vps不... 查看详情

docker部署kafka和zookeeper(代码片段)

docker安装部署kafka1.下载镜像dockerpullwurstmeister/zookeeperdockerpullwurstmeister/kafka2.启动zookeeper容器　　dockerrun-d--namezookeeper-p2181:2181-twurstmeister/zookeeper3.启动kafka容器dockerrun-d--namekafka-p9092:9092-eKAFKA_BROKER_ID=0-eKAFKA_ZOOKEEPER_CONNECT=10.2.0.19:2181-e... 查看详情