ci/cd技术专题「jenkins实战系列」jenkins+pipeline构建自动化部署(代码片段)

洛神灬殇 洛神灬殇     2023-01-02     213

关键词:

前提引言

  • Jenkins的精髓是Pipeline(流水线技术),那为什么要用Pipeline呢?实现自动化构建,其中Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里,将原本独立运行于单个或者多个节点的任务连接起来,实现单个任务难以完成的复杂流程,形成流水式发布,构建步骤视图化。

  • 简单来说,Pipeline适用的场景更广泛,能胜任更复杂的发布流程。举个例子,job构建工作在master节点,自动化测试脚本在slave节点,而不同节点的执行处理通过Pipeline可以。

基本概念

  • 【Stage: 阶段】,一个Pipeline可以划分为若干个Stage,每个Stage代表一组操作。注意,Stage是一个逻辑分组的概念,可以跨多个Node。

  • 【Node: 节点】,一个Node就是一个Jenkins节点,或者是Master,或者是slave,是执行Step的具体运行期环境。

  • 【Step: 步骤】,Step是最基本的操作单元,小到创建一个目录,大到构建一个Docker镜像,由各类Jenkins Plugin提供。

Pipeline配置

新建一个“流水线”的job

配置Pipeline脚本

Pipeline也支持Poll SCM

pipline流水线流程

PIpeline语法

  1. Pipeline支持两种语法:Declarative Pipeline(在Pipeline 2.5中引入,结构化方式)Scripted Pipeline,两者都支持建立连续输送的Pipeline。

共同点

两者都是pipeline代码的持久实现,都能够使用pipeline内置的插件或者插件提供的steps,两者都可以利用共享库扩展。

不同点:

  • 两者不同之处在于语法和灵活性。Declarative pipeline对用户来说,语法更严格,有固定的组织结构,更容易生成代码段,使其成为用户更理想的选择。

  • 但是Scripted pipeline更加灵活,因为Groovy本身只能对结构和语法进行限制,对于更复杂的pipeline来说,用户可以根据自己的业务进行灵活的实现和扩展。

下面举例介绍两种语法的使用

Declarative Pipeline

windows环境脚本案例
pipeline 
    agent any  //在可用的节点运行
    stages
	stage ('Prepare')
            steps
		 //清空发布目录
                 bat '''if exist D:\\\\publish\\\\LoginServiceCore (rd/s/q D:\\\\publish\\\\LoginServiceCore)
                       if exist C:\\\\Users\\\\Administrator\\\\.nuget (rd/s/q C:\\\\Users\\\\Administrator\\\\.nuget) exit''' 
		 
	 
       	//拉取git代码仓库
       	stage ('Checkout')
            	steps
                    checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], 
                    userRemoteConfigs: [[credentialsId: 'c6d98bbd-5cfb-4e26-aa56-f70b054b350d', 
                    url: 'http://xxx/xxx/xxx']]])
              
        
       //构建
       stage ('Build')
          steps
             bat '''cd "D:\\\\Program Files (x86)\\\\Jenkins\\\\workspace\\\\LoginServiceCore\\\\LoginApi.Hosting.Web"
                  dotnet restore
                  dotnet build
                  dotnet publish --configuration Release --output D:\\\\publish\\\\LoginServiceCore'''
                  
            
       //部署
      stage ('Deploy')
          steps
               bat '''cd D:\\\\PipelineScript\\\\LoginServiceCore
                  python LoginServiceCore.py'''
                  
             
      //自动化测试(python代码实现)
      stage ('Test')
          steps
               bat'''cd D:\\\\PipelineScript\\\\LoginServiceCore
              python LoginServiceCoreApitest.py'''   
                  
             
    
 

Scripted Pipeline

node('master')      //master节点运行,以下stage也可指定节点
    stage 'Prepare'  //清空发布目录
        bat '''if exist D:\\\\publish\\\\LoginServiceCore (rd/s/q D:\\\\publish\\\\LoginServiceCore)
               if exist C:\\\\Users\\\\Administrator\\\\.nuget (rd/s/q C:\\\\Users\\\\Administrator\\\\.nuget)
               exit'''

    //拉取git代码仓库
    stage 'Checkout'
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [],        submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'c6d98bbd-5cfb-4e26-aa56-f70b054b350d', 
            url: 'http://xxx/xxx/xxx']]])
   
    //构建
    stage 'Build'
        bat '''cd "D:\\\\Program Files (x86)\\\\Jenkins\\\\workspace\\\\LoginServiceCore\\\\LoginApi.Hosting.Web"
            dotnet restore
            dotnet build
            dotnet publish --configuration Release --output D:\\\\publish\\\\LoginServiceCore'''
    
    //部署
    stage 'Deploy'
        bat '''
        cd D:\\\\PipelineScript\\\\LoginServiceCore
        python LoginServiceCore.py
        '''
    //自动化测试(python代码实现)    
    stage 'Test'
        bat'''
        cd D:\\\\PipelineScript\\\\LoginServiceCore
        python LoginServiceCoreApitest.py
        '''   

Pipeline Docker脚本示例

node  
  // 代码检出
  stage('get Code') 
    git credentialsId: 'git-credentials-id', url: 'http://192.168.19.250/libo/test.git'
  
  
    // 镜像中进行单元测试
  stage('unit testing') 
    // 启动golnag:1.7并在golang内编译代码
    docker.image('golang:1.7').inside 
      sh './script/unittest.sh'
    
  
  
  // 镜像中代码构建
  stage('Build')    
    def confFilePath = 'conf/app.conf'
    def config = readFile confFilePath
    writeFile file: confFilePath, text: config
    // 启动golnag:1.7并在golang内编译代码
    docker.image('golang:1.7').inside 
      sh './script/build.sh'
    
  
  
  // 编译镜像并push到仓库
  def imagesName = '192.168.18.250:5002/ufleet/uflow:v0.9.1.$BUILD_NUMBER'  
  stage('Image Build And Push')
    docker.withRegistry('http://192.168.18.250:5002', 'registry-credentials-id') 
      docker.build(imagesName).push()
    
  
  
  // 启动刚运行的容器
  stage('deploy iamegs')    
    // 需要删除旧版本的容器,否则会导致端口占用而无法启动。
    try
      sh 'docker rm -f cicdDemo'
    catch(e)
        // err message
    
    docker.image(imagesName).run('-p 9091:80 --name cicdDemo') 
  

git操作认证

withCredentials([usernamePassword(credentialsId: '<credentials-id>', passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) 
    sh '''
        printf "machine github.com\\nlogin $GIT_USERNAME\\n password $GIT_PASSWORD" >> ~/.netrc
        // continue script as necessary working with git repo...
    '''

git拉取代码

checkout scm: ([
                    $class: 'GitSCM',
                    userRemoteConfigs: [[credentialsId: '******',url: $project_url]],
                    branches: [[name: 'refs/tags/$project_tag']]
])

ci/cd技术专题「jenkins实战系列」jenkins+pipeline构建自动化部署(代码片段)

前提引言Jenkins的精髓是Pipeline(流水线技术),那为什么要用Pipeline呢?实现自动化构建,其中Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里,将原本独立运行于单个或者多个节点的任务连接起来&... 查看详情

ci/cd技术专题「jenkins实战系列」总结归纳jenkins的安装使用和配置流程介绍(代码片段)

...git提交代码Jenkins自动化将项目部署在Linux服务器。Jenkins技术原理篇版本控制服务Jenki 查看详情

ci/cd技术专题「jenkins实战系列」jenkinsfile+dockerfile实现自动部署(代码片段)

每日一句没有人会因学问而成为智者。学问或许能由勤奋得来,而机智与智慧却有懒于天赋。前提概要Jenkins下用DockerFile自动部署Java项目,项目的部署放心推向容器化时代机制。本节需要对jenkinsfile有点了解,对dockerf... 查看详情

ci/cd技术专题「jenkins实战系列」如何通过gitlab对接jenkins构建提交自动触发部署构建体系指南(上部)(代码片段)

前因后果最近,发现我们公司的自动化体系做的实在是不咋地,每次提交push完代码之后,还需要登录到服务器进行执行下docker脚本,之后才能拿到镜像,一说到这里我就要吐了,CI/CD做的简直是一团糟࿰... 查看详情

ci/cd技术专题「jenkins实战系列」全流程介绍jenkins环境搭建+基础部署配置(windows->linux)(代码片段)

背景在实际开发中,我们经常要一边开发一边测试,当然这里说的测试并不是程序员对自己代码的单元测试,而是同组程序员将代码提交后,由测试人员测试;前后端分离后,经常会修改接口,然后重... 查看详情

docker与jenkins的自动化ci/cd流水线实战(代码片段)

docker与jenkins的自动化CI/CD流水线实战在互联网时代,对于每一家公司,软件开发和发布的重要性不言而喻,目前已经形成一套标准的流程,最重要的组成部分就是持续集成(CI)及持续部署、交付(CD)。本文基于Jenkins+Docker+Git... 查看详情

jenkins与docker的自动化ci/cd实战(代码片段)

...就是持续集成(CI)及持续部署、交付(CD)。本文基于Jenkins+Docker+Git实现一套CI自动化发布流程。一、发布流程设计工作流程:开发人员提交代码到Git版本仓库;Jenkins人工/定时触发项目构建;Jenkins拉取代码、代码编码、打包镜... 查看详情

jenkins与docker的自动化ci/cd实战(代码片段)

...布流程设计工作流程:开发人员提交代码到Git版本仓库;Jenkins人工/定时触发项目构建;Jenkins拉取代码、代码编码、打包镜像、推送到镜像仓库;Jenkins在Docker主机创建容器并发布。环境规划如下:角色IPGit/Registry192.168.56.11Docker19... 查看详情

jenkins与docker的自动化ci/cd流水线实战(代码片段)

Jenkins与Docker的自动化CI/CD流水线实战标签(空格分隔):docker的部分一:什么是CI/CD二:发布流程设计三:部署Git仓库并上传测试代码一:什么是CI/CD持续集成(ContinuousIntegration,CI):代码合并、构建、部署、测试都在一起,不... 查看详情

docker与jenkins的自动化ci/cd流水线实战(svn)

准备安装完成以下环境:1、svn2、jdk3、maven4、tomcat5、jenkins项目代码测试(php/java):https://github.com/lizhenliang配置svn1、查看结构trunk:主干分支branches:其他分支tags:打标记将代码最终打到tags目录下,打成版本号标记,然后再jenk... 查看详情

ci/cd系列之阿里云云效2020应用篇(代码片段)

...介绍,出于好奇便点进去看了看,刚开始以为云效是类似Jenkins的一套自动化部署方案,了解之后发现云效的野心很大哦,从需求管理、业务开发、代码管理、缺陷测试、部署上线全方位掌控,试图提供一站式DevOps平台,将原先... 查看详情

自动化运维|云原生架构下的产品自动化发布快速部署和持续交付实战之路(代码片段)

...和维护这样一个发布系统所需要的时间投入。在引入CI/CD技术之前,公司测试人员自动化打包主要依赖Jenkins实现,在配置任务的源码、构建触发器、构建环境、构建、构建后操作等步骤后,可以触发构建任务。相比传... 查看详情

docker最全教程——从理论到实战(十四)

...。  为了降低容器的使用门槛以及便于大家将容器技术应用于开发和实践,当前教程大部分线上实践结合TKE(腾讯云容器服务)来进行讲解和实践。当本系列内容讲解完成后,笔者将再单独讲解Kubernetes(k8s)。最后,长... 查看详情

ci/cd之jenkins(代码片段)

jenkinsCI/CD简介jenkins简介jenkins安装安装jenkins插件安装中文插件安装流水线插件安装gitlab插件jenkins和gitlab联动jenkins轮询检查gitlab代码变更使用webhook实时检查gitlab代码变更推送dockerfile文件自动构建镜像新增agent节点jenkins用户管理CI... 查看详情

ci/cd之jenkins(代码片段)

jenkinsCI/CD简介jenkins简介jenkins安装安装jenkins插件安装中文插件安装流水线插件安装gitlab插件jenkins和gitlab联动jenkins轮询检查gitlab代码变更使用webhook实时检查gitlab代码变更推送dockerfile文件自动构建镜像新增agent节点jenkins用户管理CI... 查看详情

ci/cd之jenkins+gitlab(代码片段)

文章目录一、Jenkinx+Gitlab持续集成环境概述(1)什么是CI/CD(2)Jenkins概述(3)Gitlab概述(4)Gitlab和Github的区别(5)Jenkins配合Gitlab持续集成系统的工作流程二、部署持续集成环境(1&... 查看详情

springboot技术专题「开发实战系列」一起搭建属于自己的springbootadmin的技术要素

SpringBootAdmin的介绍说明SpringBootAdmin是开源社区孵化的项目,用于对SpringBoot应用的管理和监控。SpringBootAdmin分为服务端(spring-boot-admin-server)和客户端(spring-boot-admin-client),服务端和客户端之间采用http通讯方式实现数据交互;单体项... 查看详情

jenkins&gitee实现持续集成ci/cd工具免费推荐(代码片段)

文章目录1.Jenkins&Gitee持续集成流程2.Jenkins安装Gitee插件3.插件配置4.安装NodeJS5.新建构建任务5.1General5.2源码管理5.3触发器配置5.4构建环境5.5构建脚本6.Vue项目部署前面介绍了一些CI/CD持续集成的工具,如circleci、travisci、giteego... 查看详情