kafka安装使用和遇到的坑(代码片段)

游云浪天 游云浪天     2022-11-01     509

关键词:

下载安装

参考:https://segmentfault.com/a/1190000012730949

? https://kafka.apache.org/quickstart

关闭服务

关闭zookeeper bin/zookeeper-server-stop.sh

关闭kafka bin/kafka-server-stop.sh

遇到的坑

问题1

[2018-04-08 11:20:32,999] WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:744)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)

上面问题说明无法连接到zookeeper服务中,原因是没有启动zk,或者启动zk后又关闭了

解决方法

1、单独在一个linux终端运行bin/zookeeper-server-start.sh config/zookeeper.properties 启动zk,再开一个linux终端启动kakfa服务,然后再开一个linux终端创建topic

2、使用守护进程启动zk和kafka

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

bin/kafka-server-start.sh -daemon config/server.properties

docker简单使用和遇到的坑(代码片段)

安装环境:alios7.2 安装:1安装源#yuminstallepel-release–y#yumcleanall#yumlist2:安装docker#yuminstalldocker-io–y#systemctlstartdocker3:检查docker#dockerinfo4启停查看#systemctlstartdocker#运行Docker守护进程#systemctlstopdo 查看详情

kafka异常使用spring-kafka遇到的坑(代码片段)

查看一下压缩策略bin/kafka-topics.sh--describe--zookeeperxxxx:2181--topicSHI_TOPIC1Topic:SHI_TOPIC1PartitionCount:1ReplicationFactor:1Configs:cleanup.policy=compactTopic:SHI_TOPIC1Partition:0Leader:0Replicas:0Isr:0Configs:cleanup.policy=compact:然后再检查一下自己发送消息... 查看详情

grpc和grpc-gateway的使用以及遇到的坑(代码片段)

...,请勿转载。文章目录一、gRPC的使用1.1gPRC和Protobuf的安装1.2编写proto文件1.3编写服务端接口程序1.4编写客户端程序二、gRPC-Gateway的使用2.1安装grpc-gateway2.2编写proto文件2.3编写服务端代码2.4编写http转发代码2.5测试三、可能遇到... 查看详情

grpc和grpc-gateway的使用以及遇到的坑(代码片段)

...,请勿转载。文章目录一、gRPC的使用1.1gPRC和Protobuf的安装1.2编写proto文件1.3编写服务端接口程序1.4编写客户端程序二、gRPC-Gateway的使用2.1安装grpc-gateway2.2编写proto文件2.3编写服务端代码2.4编写http转发代码2.5测试三、可能遇到... 查看详情

使用vue-cli创建project遇到的坑(代码片段)

环境:  win10/node(v10.2.1)/npm(v5.6.0)准备:  1.安装node:上node官网下载node版本进行安装  2.安装vue-cli:npminstall--globalvue-cli  注:闲速度慢可以把镜像切换到国内镜像,再进行安装  npminstall-gcnpm--registry=https://registry.npm.ta... 查看详情

grpc和grpc-gateway的使用以及遇到的坑(代码片段)

...,请勿转载。文章目录一、gRPC的使用1.1gPRC和Protobuf的安装1.2编写proto文件1.3编写服务端接口程序1.4编写客户端程序二、gRPC-Gateway的使用2.1安装grpc-gateway2.2编写proto文件2.3编写服务端代码2.4编写http转发代码2.5测试三、可能遇到... 查看详情

supervisor遇到的坑(代码片段)

今天在给服务器安装supervisor的时候遇到了一些坑,花了好长时间才跳过去!首先,supervisor的被监控进程必须是前台运行的,所以nohub和&的程序是不能被监控的;不然就会出现如下情况:2018-10-1823:29:14,364WARNreceivedSIGTERMindicating... 查看详情

docker安装(阿里云服务器)和在虚拟机安装遇到的坑(代码片段)

Docker安装(阿里云服务器)Docker官方centos安装教程卸载旧版本$sudoyumremovedocker\\docker-client\\docker-client-latest\\docker-common\\docker-latest\\docker-latest-logrotate\\docker-logrotate\\docker-engine使用存储库安装在新主机上首次安装 查看详情

使用逆向工程遇到的坑(代码片段)

...成JAVAPOJO类,并同时生成Mapper.xml和Mapper接口的东东。2,使用方法 1)由于建立的是maven工程,所以先在pom.xml文件中导入jar包,如图: 2)根据mybatisgenerator官方文档,新建mpg.xml并copy相关代码。<?xmlversion="1.0"encoding 查看详情

在vue中使用async/await遇到的坑(代码片段)

...现async出现问题:好吧,只能google之。查到相关资料后:安装了babel-plugin-transform-runtime还有babel-runtime,并在.b 查看详情

supervisord守护prometheus遇到的坑(代码片段)

...不爽。所谓的第三方服务,我这里把不能通过yum或apt进行安装的,统统归拢为第三方;当然使用systemd来进行管理也很不错,不过在服务exit的时候需要自己写脚本来进行重启和重试操作。不例外的,Prometheus我还是采用了supervisord... 查看详情

kafka的安装和使用(代码片段)

1、安装:下载:去官网https://kafka.apache.org/downloads下载二机制版本https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.12-1.1.0.tgz直接网页下载或者命令行下载wget-chttp://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2. 查看详情

constractlayout遇到的坑(代码片段)

总结下ConstraintLayout的使用:1.位置约束因为ConstraintLayout采用约束的方式控制控件的位置,所以至少要保证水平和垂直方向都至少有一个约束才能确定控件的位置。例如让TextView的顶部和界面顶部对齐,左部和界面左部... 查看详情

kafka:安装和命令行使用(代码片段)

在讲kafka使用之前,可以简要介绍一下安装local版本:在linux下安装本地版(localhost):1.首先下载kafka:http://kafka.apache.org/downloads2.其次解压(命令:tar-xzfkafka_2.12-2.6.0.tgz)到某个文件夹下,假设选的版本是 kafka_2.12-2.6.0.tgz,... 查看详情

centos7安装和使用kafka(代码片段)

转载请注明出处:CentOS7安装和使用kafka环境准备安装kafka之前我们需要做一些环境的准备1、centOS7系统环境2、jdk环境3、可用的zookeeper集群服务安装jdk参考文章linux软件(一)—CentOS安装jdk安装Kafka从官网下载Kafka安装包,解压安装&... 查看详情

kafka安装和使用(代码片段)

...端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。安装JDKKafka使用Zookeeper来保存相关配置信息,Kafka及Zook 查看详情

从零开始搭建kafka集群遇到的问题(代码片段)

文章目录安装kafka下载kafka_2.12-3.1.0.tgz使用Xshell将文件传入虚拟机解压启动kafka使用kakfa自带的zookeeper修改kafka配置启动kafka使用kafka创建主题查看主题生产消息消费消息搭建kafka集群搭建zookeeper集群修改配置启动zookeeper集群搭建kafka... 查看详情

稍微记录下django2.2使用mariadb和mysql遇到的坑(代码片段)

现在演示一下整个流程吧1.创建项目和应用PS:你也可以使用PyCharm直接创建项目2.注册应用先把刚刚创建的应用添加进去3.配置MySQL或者MariaDB4.PyMySQL替换默认的MySQLdbDjango使用的MySQLdb对Python3支持力度不够,我们用PyMySQL来代替这句... 查看详情