持续集成及Jenkins介绍

软件开发生命周期

• 软件开发生命周期又叫做SDLC（Software Development Life Cycle），它是集合了计划、开发、测试和部署过程的集合

• 如下图所示
  

• 需求分析

  • 这是生命周期的第一阶段，根据项目需求，团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的，这阶段主要是对信息的收集，也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长，可以从哪方面受益及布局，这也是项目创建的目标

• 设计

  • 第二阶段就是设计阶段，系统架构和满意状态（就是要做成什么样子，有什么功能），和创建一个项目计划，计划可以使用图表，布局设计或者文档方式呈现

• 实现

  • 第三阶段就是实现阶段，项目经理创建和分配工作给开发人员，开发人员根据任务和在设计阶段定义的目标进行开发代码，依据项目的大小和复杂程度，可以需要数月或更长时间才能完成

• 测试

  • 测试人员进行代码测试，包括功能测试、代码测试、压力测试等

• 进化（维护）

  • 最后阶段就是对产品不断地进化改进和维护阶段，根据用户的使用情况，可能需要对某功能进行修改，BUG修复，功能增加等

什么是持续集成？

• 持续集成（Continuous integration，简称CI）指的是，频繁的（一天多次）将代码集成到主干。
• 持续集成的目的：就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须经过自动化测试，只要有一个测试用例失败，就不能集成
• 通过持续集成，团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成

持续集成的流程

根据持续集成的设计，代码从生产到提交，整个过程有以下几步：

• 提交
  • 流程的第一步，开发者向代码仓库提交代码，所有后面的步骤都始于本地代码的一次提交（Commit）
• 测试（第一轮）
  • 代码仓库对commit操作配置了钩子（hook），只要提交代码或者合并进主干，就会跑自动化测试
• 构建
  • 通过第一轮测试，代码就可以合并进主干，就算可以交付
  • 交付后，就先进行构建（build），再进入第二轮测试，所谓构建，指的是将源代码转换为可以运行的实际代码，比如安装依赖，配置各种资源（样式表、JS脚本、图片）等等
• 测试（第二轮）
  • 构建完成，就要进行第二轮测试，如果第一轮已经涵盖了所有测试内容，第二轮可以省略，当然，这时构建步骤也要移到第一轮测试前面
• 部署
  • 过了第二轮测试，当前代码就是一个可以直接部署的版本（artifact），将这个版本的所有文件打包（tar filename.tar *）存档，发到生产服务器
• 回滚
  • 一旦当前版本发生问题，就要回滚到上一个版本的构建结果，最简单的做法就是修改一下符号链接，指向上一个版本的目录

持续集成的组成要素

• 一个自动构建过程，从检出代码、编译构建、运行测试、结构记录、测试统计等都是自动完成的，无需人工干预
• 一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库，一般使用SVN或Git
• 一个持续集成服务器，Jenkins就是一个配置简单和使用方便的持续集成服务器
  

持续集成的好处

• 降低风险，由于持续集成不断去构建，编译和测试，可以很早期发现问题，所以修复的代价很少
• 对系统健康持续检查，减少发布风险带来的问题
• 减少重复性工作
• 持续部署，提供可部署单元包
• 持续交付可供使用的版本
• 增强团队信心

Jenkins介绍

• Jenkins是一款流行的开源持续集成（Continuous Integration）工具，广泛用于项目开发，具有自动化构建、测试和部署等功能
• 官方网址：https://www.jenkins.io/

Jenkins特性

• 开源的Java语言开发持续集成工具，支持持续集成，持续部署
• 易于安装部署配置：可通过Yum方式，或下载War包以及通过Docker容器等快速实现安装部署，可方便web界面配置管理
• 消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过E-mail通知，生成JUnit/TestNG测试报告
• 分布式构建：支持Jenkins能够让多台计算机一起构建/测试
• 文件识别：Jenkins能够跟踪哪次构建生成哪些Jar，哪次构建使用哪个版本的Jar包等
• 丰富的插件支持：支持扩展插件，可以开发适合自己团队使用的工具，如Git、SVN、Maven、docker等

Jenkins安装和持续集成环境配置

持续集成流程说明

1. 首先，开发人员每天进行代码提交，提交到Git仓库
2. 然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK、Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程
3. 最后，Jenkins把生成的Jar或War包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用

主机规划

CentOS Linux release 7.5.1804 (Core)

名称	IP地址	安装的软件
代码托管服务器	192.168.100.88	Gitlab-12.9.9
持续集成服务器	192.168.100.89	Jenkins-2.290，JDK1.8，Maven3.6.2，Git，SonarQube
应用测试服务器	192.168.100.90	JDK1.8，Tomcat8.5

Gitlab代码托管服务器安装

#安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix policycoreutils-python

#启动ssh服务&设置为开机启动
systemctl enable sshd && sudo systemctl start sshd

#设置postfix开机自启,并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix

#开放ssh以及http服务,然后重新加载防火墙列表,如果关闭防火墙就不需要以上配置
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload

#下载Gitlab包,并且安装
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.9.9-ce.0.el6.x86_64.rpm
rpm -ivh gitlab-ce-12.9.9-ce.0.el6.x86_64.rpm

#修改Gitlab配置
vim /etc/gitlab/gitlab.rb

#修改Gitlab访问地址和端口,默认为80,修改为90, 80端口可能会与服务器上web应用端口冲突
external_url 'http://192.168.100.88:90'
nginx['listen_port'] = 90
gitlab_rails['time_zone'] = 'Asia/Shanghai'

#重载配置及启动Gitlab
gitlab-ctl reconfigure
gitlab-ctl restart

#把端口添加到防火墙,如果关闭防火墙就不需要以上配置
firewall-cmd --add=public --add-port=90/tcp --permanent
firewall-cmd --reload

第一次登录需要修改ROOT账户密码，实验的关系设置为如下，注：密码为8位或以上

登录Gitlab，用户为ROOT，密码为刚才设置的

登录成功

Gitlab添加组、创建用户、创建项目

创建组

• 实验管理员ROOT创建组，一个组里面可以有多个项目分支，可以将开发添加到组里面进行设置权限，不同的组就是公司不同的开发项目或者服务模块，不同的组添加不同的开发即可实现对开发设置权限的管理

创建一个项目

---

创建用户并分配至这个组

创建成功后，再次编辑用户为其增加密码

将新用户添加至创建的组内

• Gitlab用户在组里面有5种不同权限
  1. Guest（访客）：可以创建issue，发表评论，不能读写库版本
  2. Reporter：可以克隆代码，不能提交，QA、PM可以赋予这个权限（项目经理）
  3. Developer：可以克隆代码、开发、提交、Push，普通开发可以赋予这个权限
  4. Maintainer（维护者）：可以创建项目、添加Tag、保护分支、添加项目成员、编辑项目，核心开发可以赋予这个权限
  5. Owner：可以设置项目访问权限 - Visibility Level、删除项目、迁移项目、管理组成员，开发组组长可以赋予这个权限

使用新用户登陆

源代码上传至Gitlab服务器

IDEA导入Java项目

启用版本控制集成

选择Git

提交代码到本地仓库，先Add到缓存

提交代码至本地仓库 Commit Directory

添加远程仓库地址

地址为Gitlab仓库中项目的HTTP地址

推送至Gitlab项目仓库

进入项目仓库查看

Jenkins服务器安装

Jenkins服务器安装

#Jenkins需要依赖JDK,所以先案子JDK1.8
yum -y install java-1.8.0-openjdk*  #安装目录为: /usr/lib/jvm

#获取Jenkins安装包
wget https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/jenkins-2.290-1.1.noarch.rpm
rpm -ivh jenkins-2.290-1.1.noarch.rpm

#修改Jenkins配置
vim /etc/sysconfig/jenkins

#修改Jenkins操作用户为root
JENKINS_USER="root"
#修改端口,默认为8080 改为8888
JENKINS_PORT="8888"

systemctl start jenkins && systemctl enable jenkins

#可以实现查看Jenkins初始密码
cat /var/lib/jenkins/secrets/initialAdminPassword

• Jenkins 版本如下

跳过插件安装

• 因为Jenkins插件需要连接默认官网下载，速度非常慢，而且过程可能会失败，所以先暂时跳过插件安装

• 选择全无 --> 安装 （其实是跳过安装插件步骤）

创建管理员账户

Jenkins插件管理

• Jenkins本身不提供很多功能，可以通过插件来满足使用，例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成

修改Jenkins插件下载地址

• Jenkins国外官方插件地址下载速度非常慢，所以修改为国内插件地址
  • Jenkins --> Manage Jenkins --> Manage Plugins，点击Available --> 等待插件加载完成
• 这样做是为了把Jenkins官方的插件列表下载到本地，接着修改地址文件，替换为国内插件地址

#进入Jenkins目录
cd /var/lib/jenkins/

[root@jenkins jenkins]# cd updates/
[root@jenkins updates]# ls
default.json  hudson.tasks.Maven.MavenInstaller #default.json 记录了官方下载插件的地址

#修改为清华大学开源的Jenkins下载地址
sed -i 's/http:\\/\\/updates.jenkins-ci.org\\/download/https:\\/\\/mirrors.tuna.tsinghua.edu.cn\\/jenkins/g' default.json && sed -i 's/http:\\/\\/www.google.com/https:\\/\\/www.baidu.com/g' default.json

• 回到Jenkins Manage Plugins --> Advanced，把Update Site改为国内插件下载地址

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

• Submit后，浏览器输入：http:// IP地址 + 端口/restart，重启Jenkins

下载中文汉化插件

• Jenkins --> Manage Plugins --> 点击Available，搜索"Chinese"

• 重启后完成汉化操作

Jenkins用户权限管理

• 可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限

安装Role-based Authorization Strategy插件

创建角色 --> Manage Roles

创建一个具有可读权限的全局角色

创建两个项目角色

• Pattern ： 表示可以访问以什么前缀开头的项目

创建用户用于测试角色是否可用

通过新用户登陆Jenkins，没有权限

通过管理员用户给新用户分配角色

• 两个账户都具有基本的登陆权限，lilei只有访问pakho前缀的项目，hanmeimei只有访问java前缀的项目

创建项目进行权限测试

使用不同账户登陆验证

• lilei只能看到pakho前缀的项目

• hanmeimei只能看到java前缀的项目

Jenkins凭证管理

• 凭证用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码登，以便Jenkins可以和这些第三方的应用进行交互

安装Credentials Binding插件

• 要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件

• 下载完成后，安全里多了凭据菜单

• 新建凭据

• 可以添加的凭据有五种：
  1. Username with password：存储以用户名和密码登陆的凭据
  2. SSH Username with private key：SSH免密登录
  3. Secret file：密码文件，使用时Jenkins会将文件复制到一个临时目录中，再将文件路径设置到一个变量中，等构建结束后，所复制的Secret file就会被删除
  4. Secret text：需要保存的一个加密的文本串，如钉钉机器人或Github的api token
  5. Certificate：通过上传证书文件的方式
• 常用的凭证类型有：Username with password（用户密码） 和 SSH Username with private key（SSH密钥）

配置凭据使用Git工具到Gitlab拉取项目源码

• 为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOS7上安装Git工具

yum -y install git

git --version

[root@jenkins ~]# git --version
git version 1.8.3.1

用户密码类型凭据

• Jenkins --> 凭据 --> 系统 --> 全局凭证 --> 添加凭据

新建测试项目Test01项目

选择使用Git方式拉取代码

构建项目

查看构建细节

#服务器端查看
[root@jenkins ~]# cd /var/lib/jenkins/workspace/test01
[root@jenkins test01]# ls
out  src  web_demo.iml

SSH密钥类型凭证

• SSH免密登录示意图

[root@jenkins ~]# ssh-keygen -t rsa

[root@jenkins ~]# cd ~/.ssh/
[root@jenkins .ssh]# ls
id_rsa  id_rsa.pub

#id_rsa.pub：公钥
#id_rsa：私钥

#查看公钥
[root@jenkins .ssh]# cat id_rsa.pub

使用ROOT账户登录Gitlab

Jenkins服务器添加私钥

#查看私钥
[root@jenkins .ssh]# cat id_rsa

添加新项目进行测试

构建项目

#Jenkins服务器查看
[root@jenkins ~]# cd /var/lib/jenkins/workspace/test02
[root@jenkins test02]# ls
out  src  web_demo.iml

Maven安装及配置

• 在Jenkins服务器上，需要安装Maven来编译和打包项目

wget https://mirror-hk.koddos.net/apache/maven/maven-3/3.8.1/binaries/apache-maven-3.8.1-bin.tar.gz
tar xf apache-maven-3.8.1-bin.tar.gz -C /usr/local/
mv /usr/local/apache-maven-3.8.1/ /usr/local/maven

#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

source /etc/profile

#查看Maven版本
mvn -v

[root@jenkins ~]# mvn -v
Apache Maven 3.8.1 (05c21c65bdfed0f71a2f2ada8b84da59348c4c5d)
Maven home: /usr/local/maven
Java version: 1.8.0_292, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-862.el7.x86_64", arch: "amd64", family: "unix"

全局工具配置关联JDK和Maven

• Jenkins --> Global Tool Configuration --> JDK --> 新增JDK

新增JDK

配置Maven

添加Jenkins全局变量

• Manage Jenkins --> Configure System --> Global Properties，添加三个全局变量
  • JAVA_HOME 、 M2_HOME 、 PATH+EXTRA

修改Maven的Settings.xml

mkdir /root/repo
vim /usr/local/maven/conf/settings.xml

#本地仓库设置
  -->
  <localRepository>/root/repo</localRepository>
  
#添加阿里云私服地址,可追加可删除原有地址再追加
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
  </mirrors>

测试Maven是否配置成功

• 使用之前的Gitlab密码测试项目，修改配置

调用mvn命令先清空字节码和构建好的包
先清空构建元素再进行打包

构建

控制台查看输入，正在使用配置的阿里源拉取包

#查看本地仓库文件,下载的为构建此项目下载的依赖
[root@jenkins ~]# cd /root/repo/
[root@jenkins repo]# ls
backport-util-concurrent  classworlds  commons-io  javax  mysql  org      xpp3
ch                        com          io          junit  net    xmlpull

#查看项目目录
[root@jenkins ~]# cd /var/lib/jenkins/workspace/test02
[root@jenkins test02]# ls
db  ly-simple-tomcat.iml  pom.xml  src  target
[root@jenkins test02]# cd target/
[root@jenkins target]# ls
classes            ly-simple-tomcat-0.0.1-SNAPSHOT      maven-archiver
generated-sources  ly-simple-tomcat-0.0.1-SNAPSHOT.war  maven-status

Tomcat安装和配置

#安装JDK
yum install -y  java-1.8.0-openjdk* 
java -version

#下载Tomcat
wget https://archive.apache.org/dist/tomcat/tomcat-8/v8.5.47/bin/apache-tomcat-8.5.47.tar.gz
tar xf apache-tomcat-8.5.47.tar.gz -C  /usr/local/
mv /usr/local/apache-tomcat-8.5.47/ /usr/local/tomcat

#启动Tomcat
cd /usr/local/tomcat/bin/
./startup.sh

配置Tomcat用户角色权限

• 主页下点击Manager webapp

提示权限不足

为Tomcat添加角色

cd /usr/local/tomcat/conf/
vim tomcat-users.xml  #该配置文件存放所有tomcat用户和角色

  <role rolename="tomcat"/>
  <role rolename="role1"/>
  <role rolename="manager-script"/>
  <role rolename="manager-gui"/>
  <role rolename="manager-status"/>
  <role rolename="admin-gui"/>
  <role rolename="admin-script"/>
  <user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
</tomcat-users>

• 用户和密码都是：Tomcat
• 注意：为了能够使刚才配置的用户登陆到Tomcat，还需修改以下配置

vim /usr/local/tomcat/webapps/manager/META-INF/context.xml

#开启Tomcat远程访问功能,将文件原有部分注释
  <!--
  <Valve className="org.apache.catalina.valves.RemoteAddrValve"
         allow="127\\.\\d+\\.\\d+\\.\\d+|::1|0:0:0:0:0:0:0:1" />
  -->

#重启Tomcat
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh

#再次访问Tomcat提示需要输入密码

后续Jenkins就是通过这个Tomcat账户来管理Tomcat项目，实现项目远程发布