关键词:
文章目录
下载地址
https://mirror.bit.edu.cn/apache/rocketmq/
安装JDK1.8
上传jdk到linux主机/usr/local/src
解压压缩包
tar -xvf jdk-8u51-linux-x64.tar.gz
为了方便好记可以把解压后的jdk文件夹改名为jdk1.8
mv jdk1.8.0_51 jdk1.8
编辑环境变量配置文件
vim /etc/profile
#在文本最后
export JAVA_HOME=/usr/local/src/jdk1.8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib
使jdk生效
source /etc/profile
验证
java -version
安装RocketMQ
直接下载
wget https://mirror.bit.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
或上传下载好的压缩包
把rocketmq 解压到 /usr/local/ 目录
安装解压工具
yum install -y unzip zip
解压
unzip rocketmq-all-4.8.0-bin-release.zip
方便改名
mv rocketmq-all-4.8.0-bin-release rocketmq
配置环境变量方便随时使用MQ命令
vim /etc/profile
# 在文件末尾添加以下内容:
export ROCKETMQ_HOME=/usr/local/rocketmq
export PATH=$ROCKETMQ_HOME/bin:$PATH
使环境变量生效
source /etc/profile
配置MQ启动内存大小
rocketmq需要启动两个服务: name server 和 broker, name server 默认配置JVM使用的内存是4g, broker默认配置JVM使用的内存是8g.
修改 name server 内存改为 256m
cd /usr/local/rocketmq/
# 编辑 bin/runserver.sh
vim bin/runserver.sh
# 找到文件中下面这一行:
JAVA_OPT="$JAVA_OPT -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
# 将 -Xms4g -Xmx4g -Xmn2g 修改为 -Xms256m -Xmx256m -Xmn128m
JAVA_OPT="$JAVA_OPT -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
修改 broker 内存改为 256m
# 编辑 bin/runbroker.sh
vim bin/runbroker.sh
# 找到文件中下面这一行:
JAVA_OPT="$JAVA_OPT -server -Xms8g -Xmx8g -Xmn4g"
# 将 -Xms8g -Xmx8g -Xmn4g 修改为 -Xms256m -Xmx256m -Xmn128m
JAVA_OPT="$JAVA_OPT -server -Xms256m -Xmx256m -Xmn128m"
启动 rocketmq
先启动 name server
# 进入 rocketmq 目录
cd /usr/local/rocketmq/
# 启动 name server
nohup sh bin/mqnamesrv &
# 查看运行日志, 看到"The Name Server boot success."表示启动成功
tail -f ~/logs/rocketmqlogs/namesrv.log
再启动 broker
# 启动 broker, 连接name server: localhost:9876
nohup sh bin/mqbroker -n localhost:9876 &
# 查看运行日志, 看到"The broker[......:10911] boot success."表示启动成功
tail -f ~/logs/rocketmqlogs/broker.log
测试
运行测试, 启动生产者发送消息, 启动消费者接收消息
# 通过环境变量, 告诉客户端程序name server的地址
export NAMESRV_ADDR=localhost:9876
# 启动生产者来测试发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
# 启动消费者来测试接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
关闭RocketMQ
mqshutdown broker
mqshutdown namesrv
RocketMQ可视化界面
github提供了rocketmq 的管理界面: 地址:
https://github.com/apache/rocketmq-externals
使用码云的镜像, 地址:
https://gitee.com/mirrors/RocketMQ-Externals
打包项目
如果没有安装 maven, 请先执行 maven 安装命令
yum install -y maven
打包管理界面项目 rocketmq-console.
# 进入管理界面项目的文件夹
cd RocketMQ-Externals/rocketmq-console
# 执行maven 打包命令, 执行时间较长, 请耐心等待
mvn clean package -Dmaven.test.skip=true
运行启动管理界面
打包的 jar 文件在 target 目录, 进入目录执行jar文件
# 进入 target 目录
cd target
# 运行管理界面
nohup java -jar rocketmq-console-ng-1.0.1.jar --server.port=8080 --rocketmq.config.namesrvAddr=localhost:9876 &
访问管理界面
http://ip:8080
RocketMQ集群方案
4种模式介绍
多Master模式:一个集群无Slave,全是Master
多Master多Slave模式:异步复制,同步复制
Dledger:每个Master配置二个 Slave 组成 Dledger Group,可以有多个 Dledger Group,由 Dledger 实现 Master 选举,可实现动态扩容。
选择:
前三种Master Broker 挂了之后 ,没办法让 Slave Broker 自动 切换为新的 Master Broker,需要手动更改配置将 Slave Broker 设置为 Master Broker,推荐Dledger
双主双从同步-和-异步复制方案搭建
同步方案
整个集群由2个 name server 实例和4个 broker 实例组成
name server:
两台服务器分别启动两个name server
broker A 主从:
服务器1部署 broker A 主服务
服务器2部署 broker A 从服务
broker B 主从:
服务器2部署 broker B 主服务
服务器1部署 broker B 从服务
方便在一台机器上启动多个实例,以文件夹分开
mkdir /usr/local/rocketmq/store/
mkdir /usr/local/rocketmq/store/broker-a
mkdir /usr/local/rocketmq/store/broker-a/commitlog
mkdir /usr/local/rocketmq/store/broker-b
mkdir /usr/local/rocketmq/store/broker-b/commitlog
mkdir /usr/local/rocketmq/store/broker-as
mkdir /usr/local/rocketmq/store/broker-as/commitlog
mkdir /usr/local/rocketmq/store/broker-bs
mkdir /usr/local/rocketmq/store/broker-bs/commitlog
rocketmq/conf 目录下提供了四种集群方案的配置样例
2m-2s-async:双主双从异步复制
2m-2s-sync:双主双从同步复制
2m-noslave:双主
dledger: raft主从切换
broker-a,a主服务器配置
在服务器1修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-a.properties
在样例配置文件中,添加三项配置:
listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-a主服务器的端口使用默认的10911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-a
storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
broker-a slave,a从服务器配置
在服务器2修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-a-s.properties
在样例配置文件中,添加三项配置:
listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-a slave从服务器的端口使用11911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-as
storePathCommitLog=/usr/local/rocketmq/store/broker-as/commitlog
broker-b,b主服务器配置
在服务器2修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-b.properties
在样例配置文件中,添加三项配置:
listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-b主服务器的端口使用默认的10911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/usr/local/rocketmq/store/broker-b
storePathCommitLog=/usr/local/rocketmq/store/broker-b/commitlog
broker-b slave,b从服务器配置
在服务器1修改样例配置文件:rocketmq/conf/2m-2s-sync/broker-b-s.properties
在样例配置文件中,添加三项配置:
listenPort:我们在一台服务器上要运行两个broker实例,所以两个实例的端口要有所区分。这里broker-b slave从服务器的端口使用11911。
storePathRootDir:数据存储目录
storePathCommitLog:提交日志存储目录
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=11911
storePathRootDir=/usr/local/rocketmq/store/broker-bs
storePathCommitLog=/usr/local/rocketmq/store/broker-bs/commitlog
#支持sql92
enablePropertyFilter=true
配置要点说明
四台服务器的集群名 brokerClusterName 相同。集群名称相同的服务器共同组成服务集群 。
从服务器通过名字与主服务器关联在一起,brokerName 与主服务器相同。
brokerId为0是主服务器。从服务器的值是非零值,例如如果有四个从服务器,他们的 brokerId 应该是 1,2,3,4。
brokerRole的值为 SYNC_MASTER 是同步复制的主服务器。如果是 ASYNC_MASTER 则为异步复制的主服务器。
同步复制:消息复制到从服务器后才向生产者发回反馈信息。
异步复制:消息发到主服务器就向生产者发回反馈信息,之后再向从服务器复制。
启动
启动两个 name server
在两台服务器上启动两个 name server,它们不用做任何集群的配置,都是作为独立服务运行,它们之间也不会进行数据复制。
所有broker服务启动后,要同时连接这两个 name server,向两个 name server 进行注册。
在两台服务器上都启动 name server:
nohup sh mqnamesrv &
启动 broker a 的主从两台服务器
在服务器1上启动 broker a 主服务器:
参数说明:
-n参数:指定name server地址列表,多个地址用分号分隔
-c参数:指定配置文件,使用指定的配置文件启动 broker
nohup sh mqbroker \\
-n '192.168.126.100:9876;192.168.64.152:9876' \\
-c ../conf/2m-2s-sync/broker-a.properties \\
&
在服务器2上启动 broker a 从服务器:
nohup sh mqbroker \\
-n '192.168.126.100:9876;192.168.64.152:9876' \\
-c ../conf/2m-2s-sync/broker-a-s.properties \\
&
启动 broker b 的主从两台服务器
在服务器2上启动 broker b 主服务器:
nohup sh mqbroker \\
-n '192.168.126.100:9876;192.168.64.152:9876' \\
-c ../conf/2m-2s-sync/broker-b.properties \\
&
在服务器1上启动 broker b 从服务器:
nohup sh mqbroker \\
-n '192.168.126.100:9876;192.168.64.152:9876' \\
-c ../conf/2m-2s-sync/broker-b-s.properties \\
&
检查
jps
使用可视化管理
#使用可视化jar包
nohup java -jar rocketmq-console-ng-1.0.1.jar \\
--server.port=8080 \\
--rocketmq.config.namesrvAddr='192.168.126.100:9876;192.168.64.152:9876' \\
&
异步方案
同步方案修改主的配置参数即可
Dledger方案搭建
(一主两从,可配置多个一主两从实现扩容)
部分配置需要自行建好文件夹配置好对应机器ip
conf/dledger配置文件解释
共有三台n0主,n1从,n2从
主n0
## 集群名
brokerClusterName = myCluster
## broker组名,同一个myClusterGroup内,brokerName名要一样
brokerName=myNode00
listenPort=30911
namesrvAddr=192.168.126.100:9876;192.168.16.103:9876
storePathRootDir=/usr/local/rocketmq/store/node00
storePathCommitLog=/usr/local/rocketmq/store/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=myNode00
## n0 n1 n2 分别是broker1,broker2,broker3 的 dLegerSelfId
## 例如:dLegerPeers=n0-服务器1的IP:40911;n1-服务器2的IP:40912;n2-服务器3的IP:40913
dLegerPeers=n0-192.168.126.102:40911;n1-192.168.126.102:40912;n2-192.168.126.102:40913
## must be unique
## 这个值必须是在同一个RaftClusterGroup内唯一的
dLegerSelfId=n0
sendMessageThreadPoolNums=16
从n1
brokerClusterName = myCluster
brokerName=myNode00
listenPort=30911
namesrvAddr=192.168.126.100:9876;192.168.16.103:9876
storePathRootDir=/usr/local/rocketmq/store/node00
storePathCommitLog=/usr/local/rocketmq/store/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=myNode00
dLegerPeers=n0-192.168.126.102:40911;n1-192.168.126.102:40912;n2-192.168.126.102:40913
dLegerSelfId=n1
sendMessageThreadPoolNums=16
从n2以此类推
启动
类似之前集群一样先启动多台nameServer
nohup sh bin/mqnamesrv > nohubNameserv &
再启动三台broker(n0,n1,n2)
nohup sh mqbroker \\
-n '192.168.126.100:9876;192.168.64.152:9876' \\
-c conf/dledger/broker-n0.conf &
参数名 | 默认值 | 说明 |
---|---|---|
listenPort | 10911 | 接受客户端连接的监听端口 |
namesrvAddr | null | nameServer 地址 |
brokerIP1 | 网卡的 | InetAddress 当前 broker 监听的 IP |
brokerIP2 | 跟 brokerIP1 一样 | 存在主从 broker 时,如果在 broker 主节点上配置了 brokerIP2 属性,broker 从节点会连接主节点配置的 brokerIP2 进行同步 |
brokerName | null | broker 的名称 |
brokerClusterName | DefaultCluster | 本 broker 所属的 Cluser 名称 |
brokerId | 0 | broker id, 0 表示 master, 其他的正整数表示 slave |
storePathCommitLog | $HOME/store/commitlog/ | 存储 commit log 的路径 |
storePathConsumerQueue | $HOME/store/consumequeue/ | 存储 consume queue 的路径 |
mappedFileSizeCommitLog | 1024 * 1024 * 1024(1G) | commit log 的映射文件大小 |
deleteWhen | 04 | 在每天的什么时间删除已经超过文件保留时间的 commit log |
fileReservedTime | 72 | 以小时计算的文件保留时间 |
brokerRole | ASYNC_MASTER | SYNC_MASTER/ASYNC_MASTER/SLAVE |
flushDiskType | ASYNC_FLUSH | SYNC_FLUSH/ASYNC_FLUSH SYNC_FLUSH 模式下的 broker 保证在收到确认生产者之前将消息刷盘。ASYNC_FLUSH 模式下的 broker 则利用刷盘一组消息的模式,可以取得更好的性能。 |
enableDLegerCommitLog | 是否启动 DLedger | true |
dLegerGroup | DLedger Raft Group的名字,建议和 brokerName 保持一致 | RaftNode00 |
dLegerPeers | DLedger Group 内各节点的端口信息,同一个 Group 内的各个节点配置必须要保证一致 | n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913 |
dLegerSelfId | 节点 id, 必须属于 dLegerPeers 中的一个;同 Group 内各个节点要唯一 | n0 |
sendMessageThreadPoolNums | 发送线程个数,建议配置成 Cpu 核数 | 16 |
mac下rocketmq各种集群模式搭建实战
...nc)4、双master异步模式(2m-2s-async)5、优化和监控首先去rocketmq官网下载安装包,地址为:http://mirrors.hust.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2 查看详情
rocketmq在线集群安装
...安装jdk并配置 3、下载并安装maven 4、下载并安装rocketMQ 5、启动rocketMQ 6、MQ用户手册二、操作 1、虚拟机安装CentOS64位基础版 (1)下载镜像文件,在虚拟机中启动镜像文件,选择第一个安装: ... 查看详情
rocketmq云服务器和本地基础安装搭建及可视化控制台安装使用(代码片段)
...Linux安装2.2.1、环境要求2.2.2、环境搭建2.2.3、测试3、安装可视化控制台一、RocketMQ介绍1、RocketMQ是什么?RocketMQ是阿里开源的一款非常优秀中间件产品,脱胎于阿里的另一款队列技术MetaQ,后捐赠给Apache基金会作为一款... 查看详情
rabbitmq3.5.1原理和集群安装
...近有一个异步需要使用消息队列,或许最终会选择阿里的rocketmq性能单台TPS基本上是在2000-3000左右最新rabbitmq版本是3.6.2yum安装配置文件RPM-/etc/rabbitmq 查看详情
安装部署rocketmq集群(双主双从)
参考技术A在前面,我们介绍了如果快速安装单个RocketMQ。快速安装意味着这只是在测试环境下的小打小闹,我们在单机安装的基础上,尝试安装RocketMQ集群。本次安装为了方便,使用的是已经编译好的二进制包进行安装部署。Rock... 查看详情
rocketmq集群搭建及安装rocketmq-console(代码片段)
RocketMQ集群搭建-4.2.0版本https://juejin.im/post/5a911ea16fb9a0633f0e36a1直接在官网下载的二进制包,编译容易出现问题启动broker,报错:rocketmqCannotallocatememory可根据机器内存大小,配置jvm参数http://www.cnblogs.com/quchunhui/p/8350904.html&n 查看详情
3rocketmq可视化控制台安装与使用(代码片段)
RocketMQ提供了一些扩展项目支持,地址:https://github.com/apache/rocketmq-externals其中一个rocketmq-connect-console项目,就是我们需要的可视化控制台;我们把整个项目下载下来,打开rocketmq-connect-console项目;项目是Sp 查看详情
原创《从0开始学rocketmq》—集群搭建(代码片段)
...8.50.2。内容目录1.启动NameServer集群2.启动Broker集群3.RocketMQ可视化管理控制台:rocketmq-console4.集群测试 1.启动NameServer集群在两台服务器上分别启动NameServer,可以得到一个无单点故障的NameServer服务,服务地址分别为:192.168.50.1:... 查看详情
rocketmq安装及集群搭建(代码片段)
...里写自定义目录标题一、下载安装1.下载2.基础概念3.启动RocketMQ二、安装RocketMQconsole1.使用git拉取项目2.修改配置文件3.打包4.启动项目三、搭建双主双从集群1.创建服务器1中的消息存储路径2.修改服务器1配置文件3.创建服务器2中... 查看详情
redis集群生产环境搭建,主从搭建,动态增删步骤(代码片段)
文章目录1.解压安装初始化2.修改所有单台redis的配置文件redis.conf2.启动全部6台redis单机3.组成集群4.增加主节点70065.新增从节点->7007作为主机7006的从加入集群6.删除从节点7.删除主节点我的更多redis操作请点击1.解压安装初始化... 查看详情
rocketmq3.5.8集群安装
阿里的rocketmqRocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:1、支持严格的消息顺序;2、支持Topic与Queue两种模式;3、亿级消息堆积能力;4、比较友好的分布式特性;5、同时支持Push与Pull方式消费消息;https://gith... 查看详情
rocketmq3.5.8原理和集群安装
阿里的rocketmqRocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:1、支持严格的消息顺序;2、支持Topic与Queue两种模式;3、亿级消息堆积能力;4、比较友好的分布式特性;5、同时支持Push与Pull方式消费消息;https://gith... 查看详情
roekermq4.x可视化控制台安装(代码片段)
1、下载https://github.com/apache/rocketmq-externals2、解压文件tar-zxvf rocketmq-externals-master.zip3、移动文件并修改名字mvrocketmq-externals-master//usr/local/rocketmq/rocketmq-externals-mastercd/usr/local/rocketmq/rocketmq-externals-master/rocketmq-console/4、编译打包&n... 查看详情
springboot整合rocketmq的各种消息类型,生产者,消费者(代码片段)
...顺序消息消费者sql92过滤消息消费者事物消息消费者@RocketMQMessageListener参数解释我的rocketmq各种集群方案安装Springboot整合使用pom依赖<dependency><groupId>org.apache.roc 查看详情
rocketmq:linux环境-单机部署和主从集群部署(代码片段)
1.单机部署(单主)1.1下载安装包说明:rocketmq需要jdk环境。(1)下载jdk安装包https://www.oracle.com/technetwork/java/javase/archive-139210.html下载jdk,这边选择的是jdk-8u144-linux-x64.tar.gz(2)下载rocketmq安装包http://rocketmq.apache.org/dowlo 查看详情
rocketmq集群安装2主2从console(代码片段)
安装zip和mavenyuminstall-yunzipzipwgethttp://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo-O/etc/yum.repos.d/epel-apache-maven.repoyum-yinstallapache-mavencd/opt/rocketmqmvn-Prel 查看详情
rocketmq服务端安装(代码片段)
...为了尽量模拟实际应用场景,我们以集群的方式安装RocketMQ。从RocketMQ的组成中可以知道,RocketMQ包括Producer、Consumer、NameServer和Broker四个部分,但Producer和Consumer属于客户端,所以服 查看详情
转发rocketmq集群监控(代码片段)
RocketMQ目前有两个版本 alibaba版本和apache版本一、alibaba版本使用rocketmq命令查看集群状态,查看topic信息时比较麻烦,而且不直观,这个时候可以使用一些web页面来管理rocketmq。以前曾使用过一个老版本的工具,适用于alibaba版... 查看详情