关键词:
Docker Consul 工具一、Consul 理论知识
1.1、Consul 简介
Consul 是一个支持多数据中心分布式高可用的 服务发现 和 配置共享 的服务软件,由 HashiCorp 公司用 Go 语言开发,基于 Mozilla Public License 2.0 的协议进行开源。
主要特性:
Consul 支持健康检查,并允许 HTTP 、GRPC 和 DNS 协议调用 API 存储键值对。
一致性协议采用 Raft 算法,用来保证服务的高可用。
使用 GOSSIP 协议管理成员和广播消息, 并且支持 ACL 访问控制。
consul的实例叫agent,agent有两种运行模式:server和client 。
官方建议每个Consul Cluster数据中心至少有3个或以上的运ServerModeAgentClie节 点不限。
1.2、Consul 使用场景
Docker 容器的注册与配置共享
Coreos 实例的注册与配置共享
SaaS 应用的配置共享、服务发现和健康检查。
vitess 集群
与 confd 服务集成,动态生成 nginx 和 haproxy 配置文件
1.3、Consul 优势
市面现在有很多类似的软件比如:zookeeper 、Etcd、doozerd、eureka,Consul 相比这些软件有什么优势呢?
Consul 的优势有那几点:
使用 Raft 算法来保证一致性,比复杂的 Paxos 算法更直接。相比较而言,zookeeper 采用的是 Paxos,而 etcd 使用的则是 Raft。
支持 多数据中心,内外网的服务采用不同的端口进行监听。 多数据中心集群可以避免单数据中心的单点故 障,而其部署则需要考虑网络延迟,分片等情况等. zookeeper 和 etcd 均不提供多数据中心功能的支持。
支持 健康检查。 etcd 不提供此功能。
支持 HTTP、DNS 和 GPRS 协议接口。 zookeeper 的集成较为复杂,etcd 只支持 http 协议。
官方提供 WEB管理界面,etcd 无此功能。
1.4、consul 端口的了解
端口 说明
TCP/8300 用于服务器节点。客户端通过该端口RPC协议调用服务端口节点。
TCP/UDP/8301 用于单个数据中心所有节点之间互相通信,对LAN池信息的同步。
使得整个数据中心能够自动发现服务器地址,分布式检测节点故 障,事件广播。
TCP/UDP/8302 用于单个或多个数据中心之间的服务器节点的信息同步,对WAN信息同步。 针对互联网的高延迟进行优化,能够实现跨数据中心请求。
8500 基于HTTP协议,用于API接口或WEB UI访问
8600 作为DNS服务器,它使得我们可以通过节点查询节点信息。
二、基于Docker的Consul服务搭建
2.1、环境准备
consul服务: 192.168.66.138 Docker-ce、Compose-nginx服务、consul、Consul-template模块
容器服务: 192.168.66.129 Docker-ce、registrator
两台虚拟机,提前部署好:Docker-ce
2.2、部署Consul服务
mkdir /root/consul
cp consul_0.9.2_liunx_amd64.zip /root/consul
cd /root/consul
unzip consul_0.9.2_liunx_amd64.zip
// 使consul命令可以在任何目录下识别
mv consul /usr/bin
// 创建consul 代理agent
consul agent -server -bootstrap -ui -data-dir=/var/lib/sonsul-data -bind=192.168.66.138 -client=0.0.0.0 -node=consul-server01 &> /var/log/consul.log &
// 看consul 的8500端口服务已经启动
netstat -anpt |grep 8500
// 关闭防火墙
systemctl stop firewalld
setenforce 0
//查看集群成员信息
consul members
或者
consul info | grep leader
2.3、容器服务自动加入nginx集群
在容器服务器上安装 gliderlabs/registrator
检查容器运行状态
自动注册和注销docker容器的服务到服务配置中心
安装 Gliderlabs/Registrator
// 可检查容器运行状态自动注册,还可以注销 docker 容器的服务到服务配置中心。
// 目前支持 Consul、Etcd、SkyDNS2
// 在 192.168.66.129 节点,执行
docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=192.168.66.129 // 自己的IP地址
consul://192.168.66.138:8500 // 指向consul服务器
测试服务发现功能是否正常
docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test01 nginx
docker run -itd -p:88:80 --name test-03 -h test01 httpd
docker run -itd -p:89:80 --name test-04 -h test01 httpd
2.4、验证consul 的服务发现功能
用浏览器输入http://192.168.66.138:8500
// 单击“ NODES ”,然后再点击“ consul-server01 ”
// 会出现5个服务
或者 :在 consul服务器,查看服务
curl 127.0.0.1:8500/v1/catalog/services
2.5、部署consul-template和nginx
Consul-Template 是一个守护进程,用于实时查询Consul 集群信息,并更新文件系统上任意数量的指定模板,生成配置文件。 更新完成以后,可以选择运行shell 命令执行更新操作,重新加载Nginx。
Consul-Template可以查询 Consul 中的服务目录、Key、Key-values 等。
这种强大的抽象功能和查询语言模板可以使Consul-Template 特别适合动态的创建配置文件。
例如:创建Apache/Nginx Proxy Balancers、Haproxy Backends
1.准备 template 的 nginx 模板文件
cp consul-template_0.19.3_linux_amd64.zip /root/consul
cp nginx-1.12.2.tar.gz /root/consul
// 在 consul目录中操作
vim /root/consul/nginx.ctmpl
upstream http_backend
range service "nginx"
server .Address:.Port;
end
server
listen 1216;
server_name local|host 192.168.66.129;
access_log /var/log/nginx/kgc.cn-access.log;
index index.html index.php;
location /
proxy_set_header HOST $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header Client-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://http_backend;
2、编译安装nginx
yum install gcc gcc-c++ zlib-devel pcre-devel -y
tar zxvf nginx-1.12.2.tar.gz -C /opt
cd /opt/nginx-1.12.2
./configure --prefix=/usr/local/nginx
make && make install
3.配置nginx
vim /usr/local/nginx/conf/nginx.conf
http
include mime.types;
include vhost/*.conf; // 添加
default_type application/octet-stream;
稍后启动consul-template功能,会自动根据模板文件在vhost 目录下动态产生配置文件。
//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
//创建日志文件目录
mkdir /var/log/nginx
ln -s /usr/local/nginx/sbin/nginx /usr/bin/
//启动 nginx 服务
/usr/local/nginx/sbin/nginx
4.配置并启动 template
cd /root/consul
//解压
unzip consul-template_0.19.3_linux_amd64.zip
//使命令可以在任意目录使用
mv consul-template /usr/bin/
//启动服务,并指明nginx的配置文件名
consul-template -consul-addr 192.168.66.138:8500 -template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/kgc.conf:/usr/local/nginx/sbin/nginx -s reload" --log-level=info
另外打开一个终端查看生成配置文件
cat /usr/local/nginx/conf/vhost/kgc.conf
打开浏览器访问http://192.168.66.138:1216/,点击刷新,轮询调度访问 test01和test02容器里的nginx服务。
2.6、增加一个 nginx 容器节点
增加一个 nginx 容器节点,测试服务发现及配置更新功能
// 在容器服务
docker run -itd -p:85:80 --name test-05 -h test05 nginx
在consul服务器 监控装填会有提示自动更新
到这里,Docker Consul服务软件的自动发现和更新两个功能已经实现,并观察了 registrator 和 template的功能效果
dockerconsul(代码片段)
目录一、Dockerconsul的容器服务和发现①服务注册与发现的含义②什么是consul二、服务部署①部署consul服务(1)查看集群信息(2)通过httpapi获取集群信息②部署registrator服务器(1)安装Gliderlabs/Registrator③... 查看详情
dockerconsul的容器服务更新与发现(代码片段)
Dockerconsul的容器服务更新与发现一、Dockerconsul的容器服务更新与发现1、什么是服务注册与发现2、什么是consul?3、consul提供的一些关键特性二、Consul部署第一步:consul服务器上操作如下1.建立consul服务2.设置代理,后... 查看详情
dockerconsul的容器服务更新与发现(代码片段)
Dockerconsul的容器服务更新与发现一、Dockerconsul的容器服务更新与发现1、什么是服务注册与发现2、什么是consul?3、consul提供的一些关键特性二、Consul部署第一步:consul服务器上操作如下1.建立consul服务2.设置代理,后... 查看详情
docker------dockerconsul集群部署(代码片段)
目录一.服务注册与发现概述二.Consul的概念三.Consul的部署环境准备1.建立Consul服务(192.168.121.22)①安装consul服务②查看集群信息③通过httpapi获取集群信息2.registrator服务器(192.168.121.33)①安装Gliderlabs/Registrator②... 查看详情
docker------dockerconsul集群部署(代码片段)
目录一.服务注册与发现概述二.Consul的概念三.Consul的部署环境准备1.建立Consul服务(192.168.121.22)①安装consul服务②查看集群信息③通过httpapi获取集群信息2.registrator服务器(192.168.121.33)①安装Gliderlabs/Registrator②... 查看详情
dockerconsul(容器服务更新与发现)集群部署(代码片段)
Dockerconsul一.Consul概述(容器服务更新与发现)1.什么是服务注册与发现2.什么是consul二.部署consul一.Consul概述(容器服务更新与发现)1.什么是服务注册与发现服务注册与发现是微服务架构中不可或缺的重要组件。... 查看详情
dockerconsul(容器服务更新与发现)集群部署(代码片段)
Dockerconsul一.Consul概述(容器服务更新与发现)1.什么是服务注册与发现2.什么是consul二.部署consul一.Consul概述(容器服务更新与发现)1.什么是服务注册与发现服务注册与发现是微服务架构中不可或缺的重要组件。... 查看详情
dockerconsul的容器服务更新和服务发现(代码片段)
服务更新和服务发现一、consul服务更新和服务发现1.1什么是服务注册与发现1.2什么是consul二、consul部署1.建立consul服务2.设置代理,后台启动consul服务器3.查看集群信息4.容器服务自动加入Nginx集群5.安装Nginx、httpd测试镜像6.在c... 查看详情
dockerconsul(代码片段)
DockerConsul工具一、Consul理论知识1.1、Consul简介Consul是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件,由HashiCorp公司用Go语言开发,基于MozillaPublicLicense2.0的协议进行开源。主要特性:Consul支持健康检查,并... 查看详情
dockerconsul容器服务更新与发现(代码片段)
DockerConsul容器服务更新与发现容器服务更新与发现拓扑图在consul服务器上部署nginx代理服务,registrator检测到docker容器中的服务,注册添加到consul中,consul-template根据consul中的服务信息,注册写入创建好的template模板中,设置nginx... 查看详情
dockerconsul
目录一、Dockerconsul的容器服务和发现①服务注册与发现的含义②什么是consul二、服务部署①部署consul服务(1)查看集群信息(2)通过httpapi获取集群信息②部署registrator服务器(1)安装Gliderlabs/Registrator③部署consul-template服务器... 查看详情
dockerconsul
Consul提供的一些关键特性•service discovery:consul通过DNS或者HTTP接口使服务注册和服务发现变的很容易,一些外部服务•health checking:健康检测使consul可以快速的警告在集群中的操作。和服务发现的集成,可以防止请求转... 查看详情