jenkins和k8s构建企业级devops容器云平台(代码片段)

笨小孩@GF知行合一 笨小孩@GF知行合一     2022-12-14     160

关键词:

  • 什么是 DevOps?

  • DevOps 中的 Dev 是 Devlopment(开发),Ops 是 Operation(运维),用一句话来说 DevOps 就是打通开发运维的壁垒,实现开发运维一体化。DevOps 整个流程包括敏捷开发->持续集成->持续交付->持续部署。
  • 敏捷开发
    提高开发效率,及时跟进用户需求,缩短开发周期。
    敏捷开发包括编写代码和构建代码两个阶段,可以使用 git 或者 svn 来管理代码,用 maven 对代码进行构建
  • 持续集成(CI)
    持续集成强调开发人员提交了新代码之后,立刻自动的进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果,对可能出现的一些问题进行预警,以保障最终合并的代码没有问题。
  • 常见的持续集成工具:

  • Jenkins
    Jenkins 是用 Java 语言编写的,是目前使用最多和最受欢迎的持续集成工具,使用 Jenkins,可以自动监测到 git 或者 svn 存储库代码的更新,基于最新的代码进行构建,把构建好的源码或者镜像发布到生产环境。

    Jenkins 还有个非常好的功能:它可以在多台机器上进行分布式地构建和负载测试


    TeamCity
    Travis CI
    Go CD 
    Bamboo
    GitLab CI
    Codeship

  • Jenkins 的好处主要有以下几点:
    1)较早的发现错误:每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,哪个环节出现问题都可以较早的发现。
    2)快速的发现错误:每完成一部分代码的更新,就会把代码集成到主干中,这样就可以快速的发现错误,比较容易的定位错误。
    3)提升团队绩效:持续集成中代码更新速度快,能及时发现小问题并进行修改,使团队能创造出更好的产品。
    4)防止分支过多的偏离主干:经常持续集成,会使分支代码经常向主干更新,当单元测试失败或者出现 bug,如果开发者需要在没有调试的情况下恢复仓库的代码到没有 bug 的状态,只有很小部分的代码会丢失。
  • 持续集成的目的是提高代码质量,让产品快速的更新迭代。它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。

  • Martin Fowler 说过,"持续集成并不能消除 Bug,而是让它们非常容易发现和改正。"
  • 持续集成(Continuous Integration [kənˈtɪnjuəs ˌɪntɪˈɡreɪʃn])(CI)
    持续交付(Continuous Delivery kənˈtɪnjuəs dɪˈlɪvəri])(CD)

  • 与持续集成相关的还有持续交付和持续部署
  • 持续交付
    持续交付在持续集成的基础上,将集成后的代码部署到更贴近真实运行环境的「类生产环境」(production-like environments)中。交付给质量团队或者用户,以供评审。如果评审通过,代码就进入生产阶段。如果所有的代码完成之后一起交付,会导致很多问题爆发出来,解决起来很麻烦,所以持续集成,也就是每更新一次代码,都向下交付一次,这样可以及时发现问题,及时解决,防止问题大量堆积。
  • 持续部署
    持续部署是指当交付的代码通过评审之后,自动部署到生产环境中。持续部署是持续交付的最高阶段。Puppet,SaltStack 和 Ansible 是这个阶段使用的流行工具。容器化工具在部署阶段也发挥着重要作用。 Docker 和 k8s 是流行的工具,有助于在开发,测试和生产环境中实现一致性。 除此之外,k8s还可以实现自动扩容缩容等功能。
  • k8s 在 DevOps 中可实现的功能

  • 自动化
    敏捷开发->持续集成->持续交付->持续部署。

    多集群管理
    可以根据客户需求对开发,测试,生产环境部署多套 kubernetes 集群,每个环境使用独立的物理资源,相互之间避免影响。

    多环境一致性
    Kubernetes 是基于 docker 的容器编排工具,因为容器的镜像是不可变的,所以镜像把 OS、业务代码、运行环境、程序库、目录结构都包含在内,镜像保存在我们的私有仓库,只要用户从我们提供的私有仓库拉取镜像,就能保证环境的一致性。

    实时反馈和智能化报表
    每次集成或交付,都会第一时间将结果通过多途径的方式反馈给你,也可以定制适合企业专用的报表平台。
  • DevOps 容器云平台工作流程

  • Jenkins 是开源的 CI&CD 工具, 提供超过 1000 个插件来支持构建、部署、自动化, 满足任何项目的需要。完整的 DevOps 流程:

    开发提交代码到代码仓库 gitlab-→jenkins 检测到代码更新-→调用 k8s api 在 k8s 中创建 jenkinsslave pod:

    Jenkins slave pod 拉取代码---→通过 maven 把拉取的代码进行构建成 war 包或者 jar 包--->上传代码到 Sonarqube,进行静态代码扫描- -->基于 war 包构建 docker image-->把镜像上传到harbor 镜像仓库-->基于镜像部署应用到开发环境-->部署应用到测试环境--->部署应用到生产环境。
  • Service 的 type 类型:nodeport、clusterip、云负载均衡器、externalname

  • Headlesservice:statefulset


  • Jenkins+k8s+Git 构建企业级 DevOps 自动化容器云平台

  • 安装 Jenkins

  • 可用如下两种方法
    1)通过 docker 直接下载 jenkins 镜像,基于镜像启动服务
    2)在 k8s 中部署 Jenkins 服务
  • 安装 nfs 服务
    #选择自己的任意一台机器
    yum install nfs-utils -y
    systemctl enable nfs --now
    创建一个 nfs 共享目录
    mkdir /data/v1 -p
    vim /etc/exports
    /data/v1 *(rw,no_root_squash)
    systemctl restart nfs
  • 在 kubernetes 中部署 jenkins
    (1)创建名称空间
    # kubectl create namespace jenkins-k8s
    (2)创建 pv
    # vim pv.yaml

    (3)创建 pvc
    # vim pvc.yaml

     (4)给新创建的名称空间 jenkins-k8s 创建一个 sa 账号
    # kubectl create sa jenkins-k8s-sa -n jenkins-k8s
    (5)把上面的 sa 账号做 rbac 授权
    # kubectl create clusterrolebinding jenkins-k8s-sa-cluster --clusterrole=cluster-admin --serviceaccount=jenkins-k8s:jenkins-k8s-sa

    (6)通过 deployment 部署 jenkins
    # vim jenkins-deployment.yaml

     #上面可以看到 CrashLoopBackOff,解决方法如下:
    #查看 jenkins-5799669ccd-kb5nn 日志
    # kubectl logs jenkins-5799669ccd-kb5nn -n jenkins-k8s
    touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied
    #上面问题是因为/data/v1 目录权限问题,按如下方法解决:
    # chown -R 1000.1000 /data/v1/
    # kubectl delete -f jenkins-deployment.yaml
    # kubectl apply -f jenkins-deployment.yaml
    # kubectl get pods -n jenkins-k8s

    (7)把 jenkins 前端加上 service,提供外部网络访问
    # cat jenkins-service.yaml


     

  • 配置 Jenkins
    在浏览器访问 jenkins 的 web 界面:
    http://192.168.2.10:30002/

     1)获取管理员密码
    在 nfs 服务端获取密码:
    # cat /data/v1/jenkins-home/secrets/initialAdminPassword
    2289d2a880b648aa86d9d5a05d30949b
    把获取到的密码拷贝到上面管理员密码下的方框里
    点击继续,出现如下界面

     2)安装插件
    安装推荐的插件


    离线安装 jenkins 插件:
    https://plugins.jenkins.io/

    插件安装好之后显示如下

    3)创建第一个管理员用户 

     用户名和密码都设置成 admin,线上环境需要设置成复杂的密码
    修改好之后点击保存并完成,出现如下界面
    点击保存并完成,出现如下界面

    点击保存并完成,出现如下界面 

    点击开始使用 Jenkins

  • 测试 jenkins 的 CI/CD
    #在 Jenkins 中安装 kubernetes 插件
    (1)在 jenkins 中安装 k8s 插件
    Manage Jnekins------>插件管理------>可选插件------>搜索 kubernetes------>出现如下

    选中 kubernetes 之后------>点击下面的直接安装------>选择安装完成后重启Jenkins 

  • 配置 jenkins 连接到我们存在的 k8s 集群
    (1)访问 http://192.168.2.10:30002/configureClouds/
     或者点击 系统管理--节点管理--ConfigureClouds


    新增一个云,在下拉菜单中选择 kubernets 并添加


    (2)填写云 kubernetes 配置内容
    kubernetes
    https://192.168.2.10:6443
    (3)测试 jenkins 和 k8s 是否可以通信

    点击连接测试,如果显示 Connection test successful 或者显示Connected to Kubernetes 1.20
    说明测试成功,Jenkins 可以和 k8s 进行通信

    配置 k8s 集群的时候 jenkins 地址需要写上面域名的形式
    配置之后执行如下:
    http://jenkins-service.jenkins-k8s.svc.cluster.local:8080
    应用------>保存


     #配置 pod-template
    (1)配置 pod template
    访问 http://192.168.2.10:30002/configureClouds/
    选择 Pod Template---->添加 Pod 模板------>按如下配置

    在上面的 pod template 下添加容器
    添加容器------>Container Template------>按如下配置------>

    在 Service Account 处输入 jenkins-k8s-sa,这个 sa 就是我们最开始安装 jenkins 时注册的 sa

    (3)给上面的 pod template 添加卷
    添加卷------>选择 Host Path Volume
    /var/run/docker.sock
    /var/run/docker.sock
    /root/.kube
    /home/jenkins/.kube
    上面配置好之后,应用------>保存

    #添加 dockerhub 凭据
    注意:下面需要用到 dockerhub 存放镜像,可以自己申请一个
    首页------>系统管理----→
    Manage Credentials--→全局--→添加凭据

  • #测试通过 Jenkins 发布代码到 k8s 开发环境、测试环境、生产环境

  • 在 k8s 的控制节点创建名称空间:
    kubectl create ns devlopment
    kubectl create ns production
    kubectl create ns qatest

  • 回到 jenkins 首页:

新建一个任务------>输入一个任务名称处输入 jenkins-variable-test-deploy------>流水线------>确定------>在 Pipeline script 处输入如下内容

node('testhan') 
 stage('Clone') 
  echo "1.Clone Stage"
  git url: "https://gitee.com/gaofei0428/jenkins-sample.git"
  script 
   build_tag = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
  
 
 stage('Test') 
  echo "2.Test Stage"
 
 stage('Build') 
  echo "3.Build Docker Image Stage"
  sh "docker build -t gaofei0428/jenkins-demo:$build_tag ."
  //此处标签更改为自己的 dockerhub 的 username
 
 stage('Push') 
  echo "4.Push Docker Image Stage"
  withCredentials([usernamePassword(credentialsId: 'dockerhub',passwordVariable: 'dockerHubPassword', usernameVariable: 'dockerHubUser')]) 
   sh "docker login -u $dockerHubUser -p $dockerHubPassword"
   sh "docker push gaofei0428/jenkins-demo:$build_tag"
   //此处标签更改为自己的 dockerhub 的 username
  
 
 stage('Deploy to dev') 
  echo "5. Deploy DEV"
   sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-dev-xuegod.yaml"
   sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-dev-xuegod.yaml"
   // sh "bash running-devlopment.sh"
   sh "kubectl apply -f k8s-dev-xuegod.yaml --validate=false"
 
 stage('Promote to qa') 
  def userInput = input(
   id: 'userInput',
   message: 'Promote to qa?',
   parameters: [
     [
      $class: 'ChoiceParameterDefinition',
      choices: "YES\\nNO",
      name: 'Env'
     ]
   ]
  )
  echo "This is a deploy step to $userInput"
  if (userInput == "YES") 
   sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-qa-xuegod.yaml"
   sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-qa-xuegod.yaml"
   // sh "bash running-qa.sh"
   sh "kubectl apply -f k8s-qa-xuegod.yaml --validate=false"
   sh "sleep 6"
   sh "kubectl get pods -n qatest"
   else 
  //exit
  
 
 stage('Promote to pro') 
  def userInput = input(
   id: 'userInput',
   message: 'Promote to pro?',
   parameters: [
     [
      $class: 'ChoiceParameterDefinition',
      choices: "YES\\nNO",
      name: 'Env'
    ]
   ]
 )
   echo "This is a deploy step to $userInput"
    if (userInput == "YES") 
     sh "sed -i 's/<BUILD_TAG>/$build_tag/' k8s-prod-xuegod.yaml"
     sh "sed -i 's/<BRANCH_NAME>/$env.BRANCH_NAME/' k8s-prod-xuegod.yaml"
    // sh "bash running-production.sh"
     sh "cat k8s-prod-xuegod.yaml"
     sh "kubectl apply -f k8s-prod-xuegod.yaml --record --validate=false"
   
  
  • 应用------>保存------>立即构建
    在左侧可以看到构建任务,如下所示: 点击 Console Output,可以看到 pipeline 定义的步骤的详细信息 点击 Input request,部署应用到预生产环境

    点击 Input request,部署应用到预生产环境 

    后面的 Input request,依例都点击  yes 部署应用到预生产环境

    看到 Finished:SUCCESS,,说明 pipeline 构建任务完成
  • 验证开发、预生产、生产环境部署的应用是否正常运行
  • 注意集群中的每个节点都要能执行 kubectl 不然会报x509 错误
    因为是随机调度,如果节点没有 admin.conf  就会报错无法执行  kubectl apply -f
    cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

  • 如果报错

解决方法:请修改 Pipeline script 处标签更改为自己的 dockerhub 的 username。 

基于coredns和k8s构建云原生场景下的企业级dns

容器作为近些年最火热的后端技术,加快了很多企业的数字化转型进程。目前的企业,不是在使用云原生技术,就是在转向云原生技术的过程中。在容器化进程中,如何保持业务的平稳迁移,如何将现有的一些服务设施一并进行... 查看详情

linux12devops-->10jenkins流水线容器化+harbor私有仓库(代码片段)

Jenkins流水线容器化+Harbor私有仓库将Jenkins的编译环境迁移至k8s中Jenkins中自动构建项目的类型Jenkins中自动构建项目的类型有很多,常用的有以下三种:自由风格软件项目(FreeStyleProject)Maven项目(MavenProject&#... 查看详情

基于k8s构建企业jenkinscicd

Jenkins配置安装插件:kubernetes、git、pipeline、kubernetescontinuousdeploy配置Jenkins挂钩k8s环境点击“系统管理”=》“系统设置”。一直往下滑动,点击“新增一个云”,选择k8s。如果这边没有出现k8s,则代表你的插件没有安装成功,请... 查看详情

基于k8s构建企业jenkinscicd

1.Jenkins配置安装插件:kubernetes、git、pipeline、kubernetescontinuousdeploy配置Jenkins挂钩k8s环境点击“系统管理”=》“系统设置”。一直往下滑动,点击“新增一个云”,选择k8s。如果这边没有出现k8s,则代表你的插件没有安装成功,... 查看详情

容器云原生devops学习笔记——第三期:从零搭建ci/cd系统标准化交付流程(代码片段)

...新:从零搭建CI/CD系统标准化交付流程1.什么是CI/CD2.JenkinsCI介绍3.Jenkins系统架构4.用Jenkins搭建一个CI/CD系统1.安装Docker2.启动JenkinsMaster容器3.安装插件4.Jenkins构建简单示例&master节点设置5.配置构建节点6.运行构建第一个项目7.... 查看详情

深度解读华为云智能企业云应用平台

...价值。针对这些需求,华为云推出智能企业云应用平台,其构建在智能云基础设施之上,提供一个应用底座和三个创新解决方案,为企业业务创新保驾护航。一个应用底座:全栈云原生应用开发与管理,敏捷高效,快速DevOps全栈云原生应... 查看详情

基于k8s的devops平台实践(代码片段)

文章目录前言1.Jenkins与k8s集成🍑插件安装及配置🍑演示动态slavepod🍑Pod-Template中容器镜像的制作🍑实践通过Jenkinsfile实现demo项目自动发布到kubenetes环境2.Jenkins集成Sonarqube🍑sonarqube架构简介🍑sonarqubeonkuber... 查看详情

云上跑容器,如何降低存储成本

...含了PX-Autopilot。通过PX-Autopilot,客户能够更加方便的构建企业级自服务K8S应用和数据管理能力,不论是在本地部署,私有云,还是公有云中。我们的目的是帮助客户:大幅简化为容器应用做存储扩容的操作在不需要停机的情况下... 查看详情

如何基于k8s多租能力构建serverlesscontainer

当前Kubernetes已经成为名副其实的企业级容器编排规范,很多云平台都开始提供兼容Kubernetes接口的容器服务。而在多用户支持方面,多数平台选择直接提供专属虚机集群,用户需要花费大量精力处理集群规模、资源利用率、费用... 查看详情

如何构建高效自主的容器云交付平台?

高效自主的容器化交付平台=敏捷工程理念x七牛云交付平台组件(云存储+大数据+容器云)随着DevOps理念的普及,大部分公司已经尝试敏捷项目管理并取得一定的成果,但实际代码生产过程仍然是分角色的瀑布式交付,无法实时开发... 查看详情

基于k8s多集群隔离环境下的devops实现

...,保证环境的高度隔离,互不影响。通过gitlab+Jenkins的黄金组合,实现容器应用的自动化构建和持续部署,提高迭代效率。直达最佳实践:【基于k8s多集群隔离环境下的devops实现】云栖号 查看详情

华为云容器交付流水线引领企业容器化之路

...潮到来时,企业现有的CI/CD工具,以及围绕着这些工具所构建的集成和交付体系,因为与企业IT流程耦合深,升级难度大,正慢慢成为企业容器化转型路上的绊脚石,阻碍企业的容器化进程,主要体现在:因为新技术引入,需要... 查看详情

如何构建企业级的容器云paas平台

...厚PaaS、轻应用、微服务”为构架设计总体原则,来构建企业级容器云PaaS平台,实现集中化管控,并为上层应用系统提供基础技术服务和公共业务组件服务。容器云PaaS平台架构设计遵从以下设计原则。(1)先进性和成熟性互联... 查看详情

华为云容器交付流水线引领企业容器化之路(代码片段)

...潮到来时,企业现有的CI/CD工具,以及围绕着这些工具所构建的集成和交付体系,因为与企业IT流程耦合深,升级难度大,正慢慢成为企业容器化转型路上的绊脚石,阻碍企业的容器化进程,主要体现在:因为新技术引入,需要... 查看详情

华为云容器化交付流水线引领企业容器化之路(代码片段)

...潮到来时,企业现有的CI/CD工具,以及围绕着这些工具所构建的集成和交付体系,因为与企业IT流程耦合深,升级难度大,正慢慢成为企业容器化转型路上的绊脚石,阻碍企业的容器化进程,主要体现在:因为新技术引入,需要... 查看详情

容器云原生devops学习笔记——第一期:devops微服务容器服务(代码片段)

...s的理解一直懵懵懂懂,最近观看了阿里专家带你玩转容器云原生DevOps公开课开始系统的学习DevOps,所以根据学习视频整理出以下学习笔记希望分享给更多对此感兴趣的同学~课程大纲如下图所示,会陆续进行更新... 查看详情

云原生devops:cicd持续集成|交付|部署

@TOC基于Jenkins拉取GitLab的SpringBoot代码进行构建发布到测试环境实现持续集成基于Jenkins拉取GitLab指定发行版本的SpringBoot代码进行构建发布到生产环境实现CD实现持续部署一、持续集成为了让程序代码可以自动推送到测试环境基于Do... 查看详情

云原生devops:jenkins流水线(代码片段)

@TOC之前采用Jenkins的自由风格构建的项目,每个步骤流程都要通过不同的方式设置,并且构建过程中整体流程是不可见的,无法确认每个流程花费的时间,并且问题不方便定位问题。Jenkins的Pipeline可以让项目的发布整体流程可视... 查看详情