正文

jenkins+ansible+gitlab自动化部署三剑客

cheyunhua  cheyunhua  2022-10-07  356

关键词：

最近一直在学习Ansible的一些playbook的写法, 所以一直没有怎么更新, 想到目前大家对诸如saltstack, docker, Ansible等自动化部署相关的工具很感兴趣, 但又苦于没有可学习的中文实例, 这里我就把我这几个月所接触到目前国外比较流行的部署经验给大家分享一下.

首先给大家介绍的是Ansible, 恩, 重要的问题说三遍, 不是Saltstack, Ansible作为一个python写的自动化部署工具, 确实较之前我所接触的Chef, saltstack, puppet更有自己的一些优势, 首先就是agentless, 无需在Linux client安装任何服务即可无缝连接Linux default ssh端口进行部署(windows需要安装winrm 开启ssh服务), 这点其实我觉得非常重要, 可以想象很多公司本身是对network管理非常严格的, 在部署一个产品的同时你需要考虑很多时间成本, 使用其他部署工具本身非常棘手的问题就是去申请开端口, client量少的话, 我们可以去等, 多的话本身你去request, waiting, unblock port等等long long process.... 最后会耗费很长时间. 这个对很多产品本身就是很致命的. 不推荐Saltstack的原因也是因为其需要在每台agent逐一去安装client service并测试, 这本身就会耗费一些时间成本.

其他呢? 其实我觉得就是容易上手, 语法简单, 有现成模板让你去学习, 加之是我们非常喜爱的python语法, why not?

Jenkins不用我多说, 估计懂行的人都在用它, 开源, 轻量级, 兼容性和扩展性强, 直观的GUI管理这都是它的优势, 配合Ansible我觉得用起来会非常easy going.

最后提一下Gitlab, 为什么要用Gitlab? 他作为一个代码版本控制系统和部署有什么关系呢? 其实这里就涉及一个我们Ansible playbook管理问题, 试想我们需要维护一个公司庞大的server集群, 我们所有需要部署的机器或者产品会对应我们相对的部署脚本, 我们使用的Ansible playbook如果只是保存在Ansible Server的具体某个目录, 这本身就不便于我们进行编写维护更新(想想每次都跑到远程去编写playbook或者每次在本地编写好后再upload到远程我都会脑补数以万计的草泥马从我眼前呼啸而来).

这里Gitlab就给我们提供一个非常方便以及直观的Playbook management. 我们需要做的其实就是在Gitlab去建立一个对应产品或者server的playbook仓库, 然后我们在本地写好后直接commit到这个仓库, 最后在部署的时候, 去让Jenkins pull这个playbook到其workspace, 并作为一个Job去run这个playbook, 这样是不是很规范, 而且便于管理?

当然Ansible本身企业版Tower也会提供一个类似管理并维护playbook以及监控ansible本身running process的GUI管理系统, 用起来也很不错, 但作为收费版本, 我们在这里就不做过多阐述了.

这里我推荐Jenkins和Ansible可以安装到同一个环境作为部署server, Gitlab作为版本控制系统可单独部署在另一台server.

总结:

Jenkins首先从Gitlab去抓取我们写好的具体产品的playbook, 并使用virtualenv下的Ansible相关命令, 保证我们在一个clean的环境下使用stable version去批量部署我们的产品到远程client.

Let‘s go.....

一. 安装环境

System: CentOS 6.7 x64 (deploy.example.com)

Jenkins: Jenkins ver. 1.650

Ansible: Ansible 2.1.0

Gitlab: GitLab 7.14.3

二. Jenkins配置

我们创建deploy用户作为jenkins_user, workspace为deploy家目录下的jenkins目录.

# su - root

# adduser deploy

# wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo

# rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key

# yum install jenkins -y

# vi /etc/sysconfig/jenkins

...
JENKINS_HOME="/home/deploy/jenkins"
JENKINS_USER="deploy"
...

# service jenkins start

浏览器访问Jenkins页面

http://deploy.example.com:8080

安装完成, 以下是我已经配置好的一些Jenkins Job.

这里我们使用一个国内PHP网站模板phpcms作为我们需要部署的产品进行本次范例演示, 在进行最终的Build前我们需要做一些准备工作, 稍后我们会回到这个界面.

三. Ansible配置

这里我们需要配置virtualenv去隔离我们ansible的发行版本为最新版本2.1.0, 默认pip或者yum安装的1.9版本因为BUG以及对windows不兼容的原因, 这里不推荐使用.

配置步骤传送门: http://www.showerlee.com/archives/1862

Ansible-playbook范例传送门: http://www.showerlee.com/archives/1649

四. Gitlab配置

部署并使用传送门: http://www.showerlee.com/archives/1285

我们最终会创建一个ansible playbook仓库 [email protected]:showerlee/Ansible-showerlee.git, 并在本地编写好我们的规则, 最终commit到这个仓库, 以便Jenkins去调用我们的部署规则.

这里博主单独clone出来一份部署phpcms的playbook仓库, 算是给大家的福利:

https://git.showerlee.com/showerlee/leon-playbook-phpcms1.1

五.最终部署

准备工作完毕, 我们接下来给大家介绍Jenkins Job配置.

1.创建一个new item

2. 创建一个freestyle Job, 命名规则"产品名-环境", 这里我们为Phpcms-Dev

3. Job配置

1). 定制Build参数.

这里Dynamic Choice Parameter用来通过Groovy脚本来抓取这个git仓库的所有branch, 并作为一个多选项, 方便我们在最终Build前去选择我们需要的这个产品Branch分支.

Groovy抓取Git branch代码:

def gettags = ("git ls-remote -h [email protected]:showerlee/phpcms.git").execute()  
gettags.text.readLines().collect { it.split()[1].replaceAll(‘refs/heads/‘, ‘‘)  }.unique()

Choice Parameter也是用来给我们Job定制Build前的可选参数, 不过这里的参数可以直接写死

deploy_environment为我们的参数名, 定义我们的部署环境名, prod, qa为我们具体的可选项, 定义我们产品的两个环境.

2). 源代码管理

我们可以利用Jenkins内置的Source Code Management工具去抓取远程Git或者SVN仓库的代码到本地, 这里我们抓取存放在我们Gitlab上的Playbook到Jenkins的workspace目录, 用来进行后续部署工作, 这个仓库如需认证, 我们可以在Credentials add这个仓库的用户账号密码, 其余均保持默认即可(默认Jenkins default不支持Git, 需要到其后台安装Git插件)

3). Execute shell进行最终的CLI部署.

这个Build模块下的Execute shell方法是Jenkins比较常用并非常核心的功能, 用来执行我们部署过程中核心的命令.

开头和结尾的set +x, set -x用来打开和关闭该部分的扩展参数及命令

开启virtualenv和加载ansible环境变量

# source /home/deploy/.virtualenv/bin/activate
# . /home/deploy/.virtualenv/ansible/hacking/env-setup -q

进入该Job的workspace目录下保存该playbook的仓库子目录下, 检查ansible版本, 并执行最终的部署命令.

cd $WORKSPACE/leon-playbook-phpcms1.1
ansible --version
ansible-playbook -i inventory/$deploy_environment ./deploy.yml -e project=phpcms -e branch=$branch_selector -e env=$deploy_environment

注: -i 用来自定义ansible host文件路径, ./deploy.yml为ansible-playbook入口文件, -e 后可跟给当前session添加的环境变量.

这里$deploy_environment $branch_selector 为该Job定义好的可选参数, 详见3-1)

配置完毕后, save保存.

4. 执行Job.

选择master分支和prod环境

查看该Job最终的console output, 也就是显示我们实际在CLI下的输出结果.

Console Output

Started by user Leon Li
Building in workspace /home/deploy/jenkins/workspace/Phpcms-Dev
 > git rev-parse --is-inside-work-tree # timeout=10
Fetching changes from the remote Git repository
 > git config remote.origin.url [email protected]:showerlee/Ansible-showerlee.git # timeout=10
Fetching upstream changes from [email protected]:showerlee/Ansible-showerlee.git
 > git --version # timeout=10
 > git fetch --tags --progress [email protected]:showerlee/Ansible-showerlee.git +refs/heads/*:refs/remotes/origin/*
 > git rev-parse refs/remotes/origin/master^{commit} # timeout=10
 > git rev-parse refs/remotes/origin/origin/master^{commit} # timeout=10
Checking out Revision 6bf787dcad68219d8eee09cecb83cbca36edbef1 (refs/remotes/origin/master)
 > git config core.sparsecheckout # timeout=10
 > git checkout -f 6bf787dcad68219d8eee09cecb83cbca36edbef1
 > git rev-list 6bf787dcad68219d8eee09cecb83cbca36edbef1 # timeout=10
[Phpcms-Dev] $ /bin/sh -xe /tmp/hudson7452069223867148990.sh
+ set +x
ansible 2.1.0 (devel 6ddea3e915) last updated 2016/02/16 16:13:32 (GMT +800)
  lib/ansible/modules/core: (detached HEAD 8d126bd877) last updated 2016/02/16 16:19:09 (GMT +800)
  lib/ansible/modules/extras: (detached HEAD f6c5ed987f) last updated 2016/02/16 16:19:40 (GMT +800)
  config file = /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/ansible.cfg
  configured module search path = /home/deploy/active-ansible-modules/

PLAY ***************************************************************************

TASK [setup] *******************************************************************
ok: [127.0.0.1]

TASK [deploy : Backup current source code] *************************************
changed: [127.0.0.1]

cmd: mv /data/deploy_dir/phpcms /data/deploy_dir/phpcms_master_1457681152

start: 2016-03-11 15:25:54.774716

end: 2016-03-11 15:25:54.927415

delta: 0:00:00.152699

TASK [deploy : Get new source code] ********************************************
changed: [127.0.0.1]

TASK [deploy : Check if caches/configs/database.php exists] ********************
ok: [127.0.0.1]

TASK [deploy : Check if test_dir exists] ***************************************
ok: [127.0.0.1]

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/test_dir exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/test_dir exists

TASK [deploy : Copy remote necessary original config to new release when Product env] ***
changed: [127.0.0.1] => (item={u‘name‘: u‘db_config‘, u‘dir‘: u‘caches/configs/database.php‘})
changed: [127.0.0.1] => (item={u‘name‘: u‘version_config‘, u‘dir‘: u‘caches/configs/version.php‘})

msg: All items completed

results: [
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
    "checksum": "91869c2faa244f8c5de8a586636c6b4f3c0a2817", 
    "md5sum": "fd88a78a4629bca012a79d22fdcecadd", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "db_config", 
      "dir": "caches/configs/database.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 302
  }, 
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
    "checksum": "d0eaedb46a36303eb3f3e2a77cc2a623062eff3c", 
    "md5sum": "7917d8199b7c6d5bc87ff3035a72670e", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "version_config", 
      "dir": "caches/configs/version.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 127
  }
]

TASK [deploy : Copy dir test_dir to new release when Product env] **************
changed: [127.0.0.1]

cmd: cp -a /data/deploy_dir/phpcms_master_1457681152/test_dir /data/deploy_dir/phpcms/

start: 2016-03-11 15:26:16.966237

end: 2016-03-11 15:26:17.069705

delta: 0:00:00.103468

TASK [deploy : Get php version] ************************************************
changed: [127.0.0.1 -> localhost]

cmd: python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com

start: 2016-03-11 15:26:17.468311

end: 2016-03-11 15:26:51.560313

delta: 0:00:34.092002

stdout: PHP/5.4.13

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": {
        "changed": true, 
        "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com", 
        "delta": "0:00:34.092002", 
        "end": "2016-03-11 15:26:51.560313", 
        "rc": 0, 
        "start": "2016-03-11 15:26:17.468311", 
        "stderr": "", 
        "stdout": "PHP/5.4.13", 
        "stdout_lines": [
            "PHP/5.4.13"
        ], 
        "warnings": []
    }
}

msg: {
  "changed": true, 
  "end": "2016-03-11 15:26:51.560313", 
  "stdout": "PHP/5.4.13", 
  "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com", 
  "start": "2016-03-11 15:26:17.468311", 
  "delta": "0:00:34.092002", 
  "stderr": "", 
  "rc": 0, 
  "stdout_lines": [
    "PHP/5.4.13"
  ], 
  "warnings": []
}

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "PHP/5.4.13"
}

msg: PHP/5.4.13

PLAY RECAP *********************************************************************
127.0.0.1                  : ok=12   changed=5    unreachable=0    failed=0   

Finished: SUCCESS

这样我们就利用Jenkins+Ansible+Gitlab, 成功部署phpcms到远程Client

jenkins+git+gitlab+ansible实现持续集成自动化部署静态网站--技术流ken(代码片段)

前言在之前已经写了关于Git,Gitlab以及Ansible的两篇博客《Git+Gitlab+Ansible剧本实现一键部署Nginx--技术流ken》，《Git+Gitlab+Ansible剧本实现一键部署动态网站（二）--技术流ken》，以及关于jenkins的简单使用《Jenkins持续集成介... 查看详情

jenkins+ansible+gitlab自动化部署三剑客--jenkinsgit集成

JenkinsGit集成1.新建项目 2.新建gitlab项目克隆地址 3.添加git选项 4.build并查看日志查看详情

jenkins+ansible+gitlab自动化部署三剑客-gitlab本地搭建

Jenkins+Ansible+Gitlab自动化部署三剑客-gitlab本地搭建实际操作准备linux初始环境关闭防火墙systemctlstopfirewalld开机自己关闭systemctldisablefirewalld设置安全配置为关闭vim/etc/sysconfig/selinux重启虚拟机reboot查看安全策略是否关闭getenforce安装g... 查看详情

jenkins+ansible+gitlab自动化部署三剑客--jenkins参数集成(代码片段)

Jenkins参数集成1.新建项目 2.添加选项 #!/bin/shecho"Currentdeployenvironmentis$deploy_env"echo"Thebuildis$version"echo"Thepaaswordis$pass"if$boolthenecho"Requestisapproved"elseecho"Requestisrejected"fi 3.BuildwithParameters&nb... 查看详情

jenkins+ansible+gitlab自动化部署三剑客--jenkinsansible集成(代码片段)

JenkinsAnsible集成准备工作参考https://www.cnblogs.com/bk770466199/p/12259007.html完成以下准备工作需要在jenkins服务器上，配置ansible2.5+python3.6虚拟环境配置jenkins.example.com主机到test.example.com主机的ssh免秘钥认证配置ansible，创建testservers文件1.... 查看详情

jenkins+ansible+gitlab自动化部署三剑客--ansible

Ansible简介Ansible是一个开源部署工具开发语言：python特点：SSH协议通讯，全平台，无需编译，模块化部署管理作用：推送Playbook进行远程节点快速部署Ansible与Chef,Saltstack的区别Chef　　Ruby语言编写，C/S架构，配置需要Git依赖，Recipe... 查看详情

jenkins+git+gitlab+ansible实现持续集成自动化部署动态网站--技术流ken(代码片段)

...流ken》中已经详细讲解了如何使用这四个工具来持续集成自动化部署一个静态的网站。如果大家可以熟练掌握以上内容，势必会在工作中减轻不小的工作量。本篇博客将再次使用这四个工具结合freestyle和pipeline来完成动态网站的... 查看详情

gitlab+jenkins+ansible集成持续发布

1.Gitlab安装gitlab10.0.1安装使用内存最少2G否则系统安装完会502报错安装如想使用Postfix来发送邮件,在安装期间请选择’InternetSite’.您也可以用sendmai或者配置SMTP服务并使用SMTP发送邮件.在Centos6系统上,下面的命令将在... 查看详情

jenkins+gitlab+ansible--playbook代码上线流程（文末有免费视频）(代码片段)

jenkins构建是支持git选择分支安装GitParameter插件在系统管理中的插件管理然后点击选插件，在右上角输入GitParameter，找到GitParameter后点击左下方的的直接安装。参数化构建过程插件安装成功后，在项目配置中后看到多了一个"... 查看详情

63-cicd持续集成工具-jenkins结合ansible实现自动化批量部署

集成Ansible的任务构建安装Ansible环境#包安装即可（新版ubuntu包安装Ansible会缺少配置文件，可copy旧版的部分）[root@jenkins~]#aptinstallansible-y[root@jenkins~]#ansible--versionansible2.10.8configfile=None-->可以看到这里缺少配置文件，本次实验使... 查看详情

ansible+jenkins+supervisor(jenkins守护进程)

安装的插件 ansible,ansible+windows,SDK,gradle3.0,groovy,svn,git,ant,maven,java-1.8.0-openjdk本博客所有的脚本都是基于centos7及windowsserver2008R2编写所有的自动化部署工具都是基于ansible#!/bin/bashif [ $( rpm -qi 查看详情

SSH 密钥未受保护的 terraform ansible jenkins

】SSH密钥未受保护的terraformansiblejenkins【英文标题】：SSHkeyunprotectedterraformansiblejenkins【发布时间】：2021-10-2010:40:42【问题描述】：我有一个gitlab存储库，其中包含我的ansible和terraform代码来部署我的基础架构。(CI/CD)我将ssh密钥存... 查看详情

自动化部署之gitlab+jenkins+docker

总结自动发布流程: Gitlab+Jenkins+Docker 查看详情

搭建jenkins,gitlab自动化打包部署项目(代码片段)

安装步骤:1.Docker-compose构建jenkins环境2.Docker-compose构建gitlab环境3.Jenkins,Gitlab自动化打包部署项目1.Docker-compose构建jenkins环境1、创建docker在主机的jenkins数据映射目录mkdir-p/data/jenkins_homechown-R777/data/jenkins_home2、用docker- 查看详情

gitlab+jenkins自动化上线部署持续集成(代码片段)

...系：GitLab是一个代码仓库，用来管理代码。Jenkins是一个自动化服务器，可以运行各种自动化构建、测试或部署任务。所以这两者结合起来，就可以实现开发者提交代码到GitLab，Jenkins以一定频率自动运行测试、构建和部署的任务... 查看详情

gitlab+jenkins自动化部署

基于gitlab和jenkins的自动化部署 Gitlab基于Jenkins自动化部署教程：https://blog.csdn.net/aaaaaab_/article/details/82012044https://www.cnblogs.com/dengbingbing/p/10448185.html GitLab是一个代码仓库，用来管理代码。Jenkins是一个自动化服务器，可以运... 查看详情

自动代码质量分析(gitlab+jenkins+sonarqube)

自动代码质量分析(GitLab+JenKins+SonarQube)1.需求场景开发提交代码自动执行代码质量分析.2.所需应用GitLab,JenKins,SonarQube3.架构图 4.应用安装部署 SonarQube部署,参照：《代码质量管理平台(SonarQube)部署》JenKins部署,参照：《Jenkins... 查看详情

gitlab+jenkins日常操作(代码片段)

GitLab+Jenkins日常操作一、Jenkins回滚操作1.通过Git来回滚2.通过Build来回滚二、Jenkins实现邮件报警1.配置邮件报警3.配置项目三、Jenkins远程管理方式1.通过SSHPlugin插件2.通过Shell命令3.通过Ansible一、Jenkins回滚操作注意：Jenkins上... 查看详情