正文 

当前位置： 首页 > java > java教程

中小团队落地配置中心详解(代码片段)

37y37 37y37     2022-12-25     598

关键词：

不知道配置文件上次什么时候修改的、修改了什么内容？改了配置文件还要重新发布项目或者手动触发重启服务？无缘无故发现配置文件错了影响到线上正常部署？你是否正在因为这些问题而困扰？50+线上项目，数百+配置文件，我们经常被这些配置文件虐的生无可恋，是时候作出改变了！本文将带你解决这些问题，喝着咖啡轻松运维

配置中心选型

选型的原则：简单，易落地，不挑平台，不挑语言，尽量少的依赖。

对比了Disconf、Apollo等方案，最终选择了Etcd+Confd的方案，基本符合上边的原则，且Etcd我们在部署Kubernetes的时候已经有过使用，算是轻车熟路。

配置中心架构图

技术分享图片

  • 配置中心整体采用C/S的模式，用Etcd作为服务端来存储数据，Confd作为客户端去Etcd取数据更新
  • 为了更方便的管理写了WebUI，实际上是一个Etcd服务的WebUI，主要与Etcd服务交互，去Etcd存取数据
  • Confd根据配置文件去Etcd集群拉取数据，然后根据模板文件将数据按照设定的格式填充的固定的位置生成最终的配置文件
  • 配置文件生成后还可以配合check_cmd和reload_cmd命令对配置文件进行检查和重新加载

配置中心部署

Etcd集群

  • 系统环境
    • System：Debian 8
    • Etcd：v3.3.9
  • 服务器地址
    • 192.168.107.101
    • 192.168.107.102
    • 192.168.107.103
所有服务器都需要执行以下命令来安装etcd和创建目录

1.下载etcd安装包并解压

# wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
# tar -zxvf etcd-v3.3.9-linux-amd64.tar.gz

2.拷贝程序到/usr/bin目录下方便执行，etcd为go编写，直接可运行，主要有两个文件etcd和ectdctl，

# mv etcd-v3.3.9-linux-amd64/etcd* /usr/bin/

3.创建etcd配置文件目录/etc/etcd和数据存放目录/home/data/etcd

# mkdir /etc/etcd /home/data/etcd
三个node节点etcd配置文件分别如下

node1配置

# cat /etc/etcd/etcd.conf 
name: ‘node1‘
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.101:2380
listen-client-urls: http://192.168.107.101:2379,http://127.0.0.1:2379

initial-cluster-state: ‘new‘
initial-cluster-token: ‘etcd-cluster-conf‘
advertise-client-urls: http://192.168.107.101:2379
initial-advertise-peer-urls: http://192.168.107.101:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node2配置

# cat /etc/etcd/etcd.conf 
name: ‘node2‘
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.102:2380
listen-client-urls: http://192.168.107.102:2379,http://127.0.0.1:2379

initial-cluster-state: ‘new‘
initial-cluster-token: ‘etcd-cluster-conf‘
advertise-client-urls: http://192.168.107.102:2379
initial-advertise-peer-urls: http://192.168.107.102:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node3配置

# cat /etc/etcd/etcd.conf 
name: ‘node3‘
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.103:2380
listen-client-urls: http://192.168.107.103:2379,http://127.0.0.1:2379

initial-cluster-state: ‘new‘
initial-cluster-token: ‘etcd-cluster-conf‘
advertise-client-urls: http://192.168.107.103:2379
initial-advertise-peer-urls: http://192.168.107.103:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380
每个节点配置完成后均启动

需要放在后台运行，推荐使用screen工具

# /usr/bin/etcd --config-file /etc/etcd/etcd.conf

三个节点全部启动完成后，可通过etcdctl member list命令查看集群列表，确认集群状态

# etcdctl member list
732ca490026f580d: name=node3 peerURLs=http://192.168.107.103:2380 clientURLs=http://192.168.107.103:2379 isLeader=false
bc16d35c3ad1c5ee: name=node2 peerURLs=http://192.168.107.102:2380 clientURLs=http://192.168.107.102:2379 isLeader=true
f7a043d3b65cd4a4: name=node1 peerURLs=http://192.168.107.101:2380 clientURLs=http://192.168.107.101:2379 isLeader=false

Confd

1.下载confd并放到/usr/bin/目录下方便使用

# wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64
# mv confd-0.16.0-linux-amd64 /usr/bin/confd
# chmod +x /usr/bin/confd

2.新建confd配置文件目录

# mkdir /etc/confd/conf.d,templates

3.新建资源文件，.toml文件结尾已经成了固定格式

# cat /etc/confd/conf.d/nginx.conf.toml 
[template]
src = "nginx.conf.tmpl"
dest = "/tmp/nginx.conf"

keys = [
   "/conf/project/env/nginx/nginx.conf",
]

check_cmd = "/usr/sbin/nginx -t -c .src"
reload_cmd = "/usr/sbin/service nginx reload"

这里我们新建了一个nginx配置的资源文件，参数解释：

  • src：指定模板文件的位置，也就是nginx配置文件模板tmpl的位置
  • dest：指定最终生成或更新的配置文件绝对路径，这里为了测试我们给指定到/tmp/下
  • keys：模板文件里边要用到的key，也就是etcd里边对应的这个项目配置文件的key
  • check_cmd：在更新配置文件完成后执行的check命令，这里我们就check下nginx配置文件是否有语法错误

  • reload_cmd：在check通过后可以执行这里配置的命令，上一步的check没有问题，就会执行reload命令重新加载配置文件

  • prefix：配置key的前缀，例如我们的key都是以/conf开头的，那么可以增加个配置prefix="/conf"，在下边keys里就可以省略掉/conf了
  • owner：配置生成配置文件的用户

  • mode：配置生成配置文件的权限

4.新建模板文件

# cat /etc/confd/templates/nginx.conf.tmpl 
getv "/conf/project/env/nginx/nginx.conf"
  • confd的模板语法有很多，这里不赘述，具体可查官网
  • 我们是把整个配置文件的内容作为一个value存在etcd里边的，所以这里只需要一个getv指令获取到value的值填充到目标文件就可以了

联调测试

部署好了etcd集群和confd服务，接下来我们就要测试下他们是否能够正常协同工作了

1.在Etcd服务器新建一个KV值

# etcdctl set /conf/project/env/nginx/nginx.conf ‘user  www-data;
> worker_processes 4;
> 
> pid        /var/run/nginx.pid;
> error_log  /home/logs/nginx/error.log  warn;
> 
> events  
>     use epoll;
>     worker_connections 51200;
> 
> 
> http 
>     default_type  application/octet-stream;
> 
>     server 
>         listen       80;
>         server_name  domain.com;
> 
>         root /home/project/webroot;
>         index index.shtml index.html;
>     
> ‘
# 查看设置key的内容
# etcdctl get /conf/project/env/nginx/nginx.conf
user  www-data;
worker_processes 4;

pid        /var/run/nginx.pid;
error_log  /home/logs/nginx/error.log  warn;

events  
    use epoll;
    worker_connections 51200;


http 
    default_type  application/octet-stream;

    server 
        listen       80;
        server_name  domain.com;

        root /home/project/webroot;
        index index.shtml index.html;
  • Etcd API分v2和v3版本，两个版本差别较大，v3优化了很多，但考虑兼容性等问题我们这里使用v2版本
  • 默认为v2版本，可以通过环境变量export ETCDCTL_API=3来切换到v3版本，v2通过etcdctl -v可以查看api版本，v3通过etcdctl version查看api版本

2.启动confd

# confd -watch -backend etcd -node=http://192.168.107.101:2379 -node=http://192.168.107.102:2379 -node=http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend set to etcd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Starting confd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend source(s) set to http://192.168.107.101:2379, http://192.168.107.102:2379, http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf out of sync
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf has been updated

配置参数说明

  • -watch：开启watch模式，监听etcd配置中心文件变化，一旦有变这边立即更新，没有这个选项配置中心修改client不会更新
  • -backend：后端类型，目前支持etcd、zookeeper、consul、vault、redis、file、rancher等多种类型，confd也有一些针对不通后端类型的单独配置，具体可以通过confd --help命令查看

  • -node：etcd节点地址，有多个节点的话就这么写多个-node就好了，我们etcd是三个节点的集群所以这里写三次‘-node‘

  • -onetime：可用来替换上边的-watch参数，表示运行一次就退出，如果你不想让配置文件实时更新，只是想更新一次，可以用这个参数

  • -interval：可用来替换上边的-watch参数，表示每隔多少秒去backend取一次数据，如果想降低etcd服务器压力，又想让客户端配置文件能自动更新，可以通过这个参数来控制

3.通过上边日志可以看到/tmp/nginx.conf文件已经正常同步且更新了，查看/tmp/nginx.conf确定内容正确

WebUI Kerrigan

总不能所有的配置文件更新都通过命令行的方式吧？为了方便管理，花了三天（真的是三天）写了个WebUI，命名为Kerrigan，能够实现目录树，在线查看配置、修改配置、查看配置更新历史等实用功能

配置页面，通过这个页面可以配置etcd的连接信息
技术分享图片

首页，左侧项目列表（项目信息同步CMDB）
技术分享图片

点击项目列表后，根据对应规则去etcd里边取出目录结构按树状呈现出来
技术分享图片

点击配置文件，右侧会展示当前配置文件内容
技术分享图片

点击“编辑”按钮可以编辑这个配置，新建页面一样，只是编辑不允许修改路径
技术分享图片

点击“历史”按钮，则跳转到配置文件的历史页面，这个页面展示了这个配置文件所有的修改历史
技术分享图片

写在最后

  1. 是不是要说这个界面丑爆了！没办法，前端后端测试加上线都我一人干，没有设计细胞，就这么看吧，并且最重要的不是功能好用么
  2. 为什么不用K8S的configmap？我们最初是想用K8S的configmap来做配置中心的，但是并非所有的项目都跑在K8S里，且修改configmap也需要重启容器才能生效，所以就没有采用了
  3. etcd谁都可以修改么，感觉不安全啊？实际上我们是用了账号密码认证的，且只在内网，限制IP，安全一点吧，另一种解决方案是etcd走ssl，但client端要放证书比较麻烦没有采用
  4. 怎么确认Client端配置文件更新成功了？如果你是一次性启动可以在启动命令之后判断启动命令是否正常执行，如果你是watch模式或者interval，那么。。只能人肉check了吧，我也没有好方法

技术分享图片

如果你觉得文章对你有帮助，请转发分享让更多好友看到。如果你觉得读的不尽兴，推荐阅读以下文章：







apollo微服务配置中心详解(代码片段)

Apollo微服务配置中心详解前言一、Apollo架构（一）简介（二）角色介绍（三）服务端实现（四）客服端实现二、Apollo部署（一）准备数据库（二）配置服务1.手动部署（1）Confi... 查看详情

6.dubbo之xml配置详解。(代码片段)

 配置介绍配置之间的关系?标签用途解释<dubbo:service/>服务配置用于暴露一个服务，定义服务的元信息，一个服务可以用多个协议暴露，一个服务也可以注册到多个注册中心<dubbo:reference/>[2]引用配置用于创建一个远程... 查看详情

apollo配置中心教程详解(代码片段)

目录配置的基本概念配置中心配置中心概念配置中心的功能：ApolloApollo简介为什么使用Apollo基础模型Apollo快速启动首先下载Apollo在数据库中执行sql文件在cmd中执行txt文件的内容访问8070端口，Apollo启动成功Apollo工作原理Apol... 查看详情

技术团队如何高效落地代码cr(代码片段)

📣📣📣📣📣📣📣🎍大家好，我是慕枫🎍前阿里巴巴高级工程师，InfoQ签约作者、阿里云专家博主，一直致力于用大白话讲解技术知识🎍在这里和大家分享一线互联网大厂面... 查看详情

技术团队如何高效落地代码cr(代码片段)

📣📣📣📣📣📣📣🎍大家好，我是慕枫🎍前阿里巴巴高级工程师，InfoQ签约作者、阿里云专家博主，一直致力于用大白话讲解技术知识🎍在这里和大家分享一线互联网大厂面... 查看详情

中小型研发团队架构实践三要点(转自原携程架构师张辉清)

如果你正好处在中小型研发团队……中小型研发团队很多，而社区在中小型研发团队架构实践方面的探讨却很少。中小型研发团队特别是50至200人的研发团队，在早期的业务探索阶段，更多关注业务逻辑，快速迭代以验证商业模... 查看详情

springcloudalibaba企业落地实战：一文带你掌握nacos基础应用(代码片段)

1.为什么使用选择nacosnacos在springcloud体系中作为注册中心与配置中心使用。相当于eureka与apollo的功能。一个老生常谈的问题nacos和eureka区别，下图是楼主在网上查找到。但是在楼主实际应用中还有以下有点特别称道：nacos... 查看详情

springcloudalibaba企业落地实战：一文带你掌握nacos基础应用(代码片段)

1.为什么使用选择nacosnacos在springcloud体系中作为注册中心与配置中心使用。相当于eureka与apollo的功能。一个老生常谈的问题nacos和eureka区别，下图是楼主在网上查找到。但是在楼主实际应用中还有以下有点特别称道：nacos... 查看详情

tomcat服务器配置详解(代码片段)

...个免费的开源web应用服务器，属于轻量级应用服务器，在中小型系统和并发用户不是很多的场合中被普遍使用，是开发和测试JSP程序的首选。一般来说，Tomcat虽然和apache或者Nginx这些web服务器一样，具有处理HTML页面的功能，然而... 查看详情

fastdfs公网访问配置详解(代码片段)

由于近期外包团队反应我们部署的FastDFS不能公网访问，折腾了三天，上网查资料仍无果，最终自己的灵机一动问题解决了，具体过程不说了（说多了都是眼泪），直接上所有配置文件。vim/etc/fdfs/tracker.confhttp.server_port=8080use_storag... 查看详情

详解android项目配置签名文件的完整流程(代码片段)

...根据需求为debug包与release包配置签名文件，快速满足中小型项目的需要。3.创建签名文件要将签名文件配置到项目中，首先需要创建一个签名文件。androidstudio为我们提供了图形化创建方式，这里简单赘述一下࿱ 查看详情

腾讯大咖分享|腾讯alluxio(dop)在金融场景的落地与优化实践(代码片段)

...果优化调优实践总结展望Alluxio导读近期，腾讯Alluxio团队与CDG金融数据团队、TEGsupersql团队、konajdk团队进行通力协作，解决了金融场景落地腾讯Alluxio(DOP=DataOrchestrationPla 查看详情

springcloud微服务架构（基础详解）(代码片段)

...、隔离Hystrix（停更）服务网关SpringCloudGateway服务配置SpringCloudConfig消息配置SpringCloudBus服务总线SpringCloudStream消息驱动分布式请求链路追踪SpringCloudSleuth分布式请求链路追踪SpringCloudAlibaba基础详解SpringCloudAlibaba概念SpringCloud... 查看详情

centos7部署tomcat及其负载均衡配置详解(代码片段)

...个免费的开源web应用服务器，属于轻量级应用服务器，在中小型系统和并发用户不是很多的场合中被普遍使用，是开发和测试JSP程序的首选。一般来说，Tomcat虽然和apache或者Nginx这些web服务器一样，具有处理HTML页面的功能，然而... 查看详情

（转）详解k8s组件ingress边缘路由器并落地到微服务-kubernetes(代码片段)

转：https://www.cnblogs.com/justmine/p/8991379.html写在前面Ingress英文翻译进入;进入权;进食，更准确的讲就是入口，即外部流量进入k8s集群必经之口。这到大门到底有什么作用？我们如何使用Ingress？k8s又是如何进行服务发现的呢？先看一... 查看详情

apache配置详解(代码片段)

...地址相同，端口相同主机名不同注意：所有的虚拟主机的配置我们都需要取消中心主机，也就是注释掉DocumentRoot这是配置虚拟主机的前提3.基于域名的虚拟主机例如我采用的xampp所以配置虚拟主机就在C:xamppapacheconfextrahttpd-vhosts.con... 查看详情

nacos入门学习(代码片段)

...够无缝对接Springcloud、Spring、Dubbo等流行框架之前看直播中小马哥一直在推进这个项目SpringCloudA 查看详情

config，bus，stream，sleuth+zipkin详解(代码片段)

一、Config分布式配置中心1.概述SpringCloudConfig解决了在分布式场景下多环境配置文件的管理和维护。好处：集中管理配置文件不同环境不同配置，动态化的配置更新配置信息改变时，不需要重启即可更新配置信息到服... 查看详情