正文 

当前位置： 首页 > IT > java教程

docker+jenkins+gitlab+django应用部署实践(代码片段)

author author     2023-02-17     553

关键词：

一、背景介绍

在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。

二、拓扑环境

2.1 架构拓扑

技术分享图片

如上图实例，简单花了下流程拓扑：

  • 当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
  • 在docker host上部署应用git clone来自gitlabserver源码，并启动应用
  • 前端可以放置lb来做高可用
  • 数据库连接云数据库
  • 可将日志存储在log后期投递到elk实现日志可视化
  • 构建完成邮件通知相关人员（测试或开放）

2.2 系统软件版本

名称 版本
Linux系统 CentOS7.3 64位
Docker 1.13
Django 2.0

三、安装部署

3.1 Jenkins安装部署

Jenkins安装部署可参考：jenkins笔记

  • 安装完成后添加Docker目标服务器

技术分享图片

  • 配置邮件发送服务器

技术分享图片

3.2 Docker安装部署

Docker安装部署及Dockerfile编写可参考：容器Docker详解

3.3 Gitlab安装部署

GitLab安装在公网Linux服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb文件的external_url ‘http://自己的内网IP‘

yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/$PUBLICIP/g" /etc/gitlab/gitlab.rb

gitlab-ctl reconfigure
gitlab-ctl restart

echo "Username:root"
echo "Password:5iveL!fe"

3.4 配置发布流程

  • Jenkins新建构建一个自由风格的软件项目

技术分享图片

  • 利用参数化构建方便后续部署Docker传入映射的源端口和release

技术分享图片

  • 源代码来自gitlab的django项目

技术分享图片

  • 利用webhook关联gitlab和jenkins

jenkins安装插件：
技术分享图片
生成随机token值
技术分享图片
将jenkins生成的GitLab webhook URL配置到gitlab

技术分享图片

技术分享图片

  • 当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用

技术分享图片

  • 配置构建完成后的邮件

邮件模版，邮件类型选择：
内容类型选择：HTML
邮件主题填写：构建通知:$BUILD_STATUS - $PROJECT_NAME - Build # $BUILD_NUMBER !
构建通知模版：

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>$ENV, var="JOB_NAME"-第$BUILD_NUMBER次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
    offset="0">
    <table width="95%" cellpadding="0" cellspacing="0"
        style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
        <tr>
            <td>(本邮件是程序自动下发的，请勿回复！)</td>
        </tr>
        <tr>
            <td><h2>
                    <font color="#0000FF">构建结果 - $BUILD_STATUS</font>
                </h2></td>
        </tr>
        <tr>
            <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>项目名称?：?$PROJECT_NAME</li>
                    <li>构建编号?：?第$BUILD_NUMBER次构建</li>
                    <li>SVN?版本：?$SVN_REVISION</li>
                    <li>触发原因：?$CAUSE</li>
                    <li>构建日志：?<a href="$BUILD_URLconsole">$BUILD_URLconsole</a></li>
                    <li>构建??Url?：?<a href="$BUILD_URL">$BUILD_URL</a></li>
                    <li>工作目录?：?<a href="$PROJECT_URLws">$PROJECT_URLws</a></li>
                    <li>项目??Url?：?<a href="$PROJECT_URL">$PROJECT_URL</a></li>
                </ul>
            </td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">Changes Since Last
                        Successful Build:</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td>
                <ul>
                    <li>历史变更记录 : <a href="$PROJECT_URLchanges">$PROJECT_URLchanges</a></li>
                </ul> $CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat="????%p"
            </td>
        </tr>
        <tr>
            <td><b>Failed Test Results</b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <tr>
            <td><pre
                    style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
                <br /></td>
        </tr>
        <tr>
            <td><b><font color="#0B610B">构建日志 (最后 100行):</font></b>
            <hr size="2" width="100%" align="center" /></td>
        </tr>
        <!-- <tr>
            <td>Test Logs (if test has ran): <a
                href="$PROJECT_URLws/TestResult/archive_logs/Log-Build-$BUILD_NUMBER.zip">$PROJECT_URL/ws/TestResult/archive_logs/Log-Build-$BUILD_NUMBER.zip</a>
                <br />
            <br />
            </td>
        </tr> -->
        <tr>
            <td><textarea cols="80" rows="30" readonly="readonly"
                    style="font-family: Courier New">$BUILD_LOG, maxLines=100</textarea>
            </td>
        </tr>
    </table>
</body>
</html>

触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件
技术分享图片

  • 查看远程Docker服务器内的文件

技术分享图片

  • django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像
    技术分享图片

之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。

查看Dockerfile

FROM 87a69025db6a
MAINTAINER kaliarch

# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口

EXPOSE 80

WORKDIR $WORK_DIR 
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git

# 添加启动服务脚本
ADD *.sh $WORK_DIR

CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log

查看Django启动脚本

#!/bin/bash

BASEPATH=$(cd `dirname $0`;pwd)

PY_CMD=/python3/bin/python

# 服务入口文件
#MAIN_APP=$BASEPATH/go2cloud/manage.py 
# 迁移脚本入口文件
SCRIPTS_APP=$BASEPATH/go2cloud/scripts/migrate_task_schdule.py
# 删除脚本入口文件
DELETE_APP=$BASEPATH/go2cloud/scripts/delete_transfer_server.py

# 日志目录

LOG_DIR=$BASEPATH/logs/
[ ! -d $LOG_DIR ] && mkdir $LOG_DIR

# 启动服务
#nohup $PY_CMD -u $MAIN_APP runserver 0.0.0.0:80 >> $LOG_DIRserver-$(date +%F).log 2>&1 &
# 启动脚本迁移调度脚本
echo "---------$0 $(date) excute----------" >> $LOG_DIRtask-script-$(date +%F).log
nohup $PY_CMD -u $SCRIPTS_APP >> $LOG_DIRscript-$(date +%F).log 2>&1 &

# 启动迁移删除脚本
echo "---------$0 $(date) excute----------" >> $LOG_DIRdelete-script-$(date +%F).log
nohup $PY_CMD -u $DELETE_APP >> $LOG_DIRdelete-script-$(date +%F).log 2>&1 &

查看jenkins部署脚本

#!/bin/bash

release=$1
port=$2

BASEPATH=$(cd `dirname $0`;pwd)

# 构建go2cloud-platform 镜像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .

IMGNAME=$(docker images|awk -v release=$release ‘if($1=="go2cloud-platform-mini" && $2==release) print $3‘)

echo $IMGNAME
# 启动容器
docker run -d -p $port:80 -v /testlog/:/work/logs $IMGNAME

利用-v参数将日志持续化存储到docker 宿主机之上

四、测试展示

4.1 测试构建

手动构建测试
技术分享图片

4.2 查看log

技术分享图片
技术分享图片
技术分享图片

4.3 查看docker容器

技术分享图片

4.4 测试app

技术分享图片

五、反思改进

  • 目前数据库连接的为云服务器搭建的数据库，后期数据库也利用docker，多组采用docker-compose统一部署管理
  • 后期可以利用利用公有云k8s集群进行方便测试
  • 目前docker容器产生的日志在docker宿主机上，后期可以将其存储在cos上，再投递到elk集群日志可视化处理
  • 将镜像统一管理制作本地镜像仓库
  • gitlab添加code review并结合自动测试

gitlab+jenkins+docker+k8s

...之后通过webhook插件触发jenkins进行构建，jenkins将代码打成docker镜像，push到docker-registry之后将在k8s-master上执行rc、service的创建，进而创建Pod，从私服拉取镜像，根据该镜像启动容器在第四十三章微服务CICD（5）-gitlab+jenkins+docker中... 查看详情

gitlab+jenkins+docker+kubernetes。

目前方案是GitLab+Jenkins+Docker+Kubernetes。方案的工作流程如下：首先，开发人员提交代码代码提交；随后，GitLab会自动触发Jenkinsjob，Jenkinsjob会构建相应的镜像，放在一个Kubernetes的Pod里面；接下来，Kubernetes的Pod会把模块需要的其他... 查看详情

搭建jenkins,gitlab自动化打包部署项目(代码片段)

安装步骤:1.Docker-compose构建jenkins环境2.Docker-compose构建gitlab环境3.Jenkins,Gitlab自动化打包部署项目1.Docker-compose构建jenkins环境1、创建docker在主机的jenkins数据映射目录mkdir-p/data/jenkins_homechown-R777/data/jenkins_home2、用docker- 查看详情

搭建jenkins,gitlab自动化打包部署项目(代码片段)

安装步骤:1.Docker-compose构建jenkins环境2.Docker-compose构建gitlab环境3.Jenkins,Gitlab自动化打包部署项目1.Docker-compose构建jenkins环境1、创建docker在主机的jenkins数据映射目录mkdir-p/data/jenkins_homechown-R777/data/jenkins_home2、用docker-compose安装，... 查看详情

是否可以集成 SonarQube、Jenkins 和 GitLab（都在 dockers 中）？

】是否可以集成SonarQube、Jenkins和GitLab（都在dockers中）？【英文标题】：IsitpossibletointegrateSonarQube,JenkinsandGitLab(allindockers)?【发布时间】：2017-07-2216:31:08【问题描述】：目前，我正在进行质量流程，以确保代码是可接受的。为此，... 查看详情

jenkins+docker+gitlab自动化部署

...代码、代码编码、打包镜像、推送到镜像仓库；Jenkins在Docker主机创建容器并发布 角色IPJenkins/Docker192.168.125.224Docker192.168.125.227Gitlab/registry仓库192.168.125.222安装Docker安装依赖包#yuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加Docker... 查看详情

docker+harbor+jenkins+gitlab自动化cicd构建

文章大纲1.实现CICD的架构简介2.Gitlab部署和实践3.Docker部署4.Harbor私有仓库部署5.Jenkinspipeline项目持续集成实践6.整体架构参考文献1.实现CICD的架构简介本实践介绍了利用Jenkins和docker技术，如何实现CI/CD的各环节的步骤，包括代码... 查看详情

jenkins+gitlab+docker持续集成lnmp(代码片段)

...#xff0c;上传镜像（4）在测试环境、生产环境上安装Docker，从harbor镜像仓库拉取镜像（5）使用jenkins登录gitlab复制仓库，然后把compose-lnmp传到仓库（6）在Jenkins创建并配置流水线项目-先在测试环境进行... 查看详情

第四十三章微服务cicd-gitlab+jenkins+docker

一、总体流程部署：开发机（mac）ip：11.11.11.11docker：1.12.1部署机（centos7）ip：10.211.55.4docker：1.12.3生产机（centos7）ip：10.211.55.3docker：1.10.3（装k8s1.4的时候自带安装的版本）总体流程：在开发机开发代码后提交到gitlab之后通过webh... 查看详情

开发测试环境通过gitlab+jenkins+docker实现一命令部署

...ll脚本，脚本执行gitpull把最新的代码拿到本地，之后通过dockerfilebuilddocker镜像，然后推到harbor中，同时本地执行dockerrun把刚刚的镜像运行起来； 查看详情

jenkins+gitlab快速搭建(docker-compose)时间，时区同步

记录一下吧  算打一下tag  最近在整得swarm+jenkins 实现自动化部署 回滚   #构建jenkins 镜像#dockerfile:   dockerbuild-t my-jenkins:v1.0FROMjenkinsUSERrootARGdoc 查看详情

第四十四章微服务cicd-gitlab+jenkins+docker+k8s

...之后通过webhook插件触发jenkins进行构建，jenkins将代码打成docker镜像，push到docker-registry之后将在k8s-master上执行rc、service的创建，进而创建Pod，从私服拉取镜像，根据该镜像启动容器在第四十三章微服务CICD（5）-gitlab+jenkins+docker中... 查看详情

docker+jenkins+gitlab+django应用部署实践(代码片段)

...本地代码到gitlab-server后，webhook自动触发jenkins构建应用在dockerhost上部署应用gitclone来自gitlabserver源码，并启动应用前端可以放置lb来做高可用数据库连接云数据库可将日志存储在log后期投递到elk实现日志可视化构建完成邮件通知... 查看详情

gitlab+jenkins自动化构建(代码片段)

...不能使用本地主机localhost)参照：https://jenkins.io/zh/doc/使用docker来安装：先安装docker：sudoapt-getinstalldocker再下载jenkins：dockerpulljenkins/blueocean然后运行：dockerrun-uroot--rm-d-p8080:8080-p50000:50000-vjenkins-data:/var/jenkins_home-v/var/run/docker.sock:/var... 查看详情

docker下运行gitlabce+jenkins+nexus3+docker-registry-frontend

DevOps-GitlabCE-Jenkins-NexusGitlabCEhttps://hub.docker.com/r/gitlab/gitlab-ce/https://docs.gitlab.com/omnibus/docker/README.html$dockerpullgitlab/gitlab-cesudodockerrun--detach--hostnamegitlab.exampl 查看详情

我的docker随笔37：使用gitlab和jenkins实现cicd(代码片段)

本文涉及一种利用容器部署gitlab和jenkins服务实现持续集成（CICD）的方法，其目的是为了在实际工作中使用代码托管及自动化操作。一、引言因工作需要，需部署gitlab和jenkins服务器进行CICD测试，换个高大上的... 查看详情

docker/gitlab/jenkins(代码片段)

...wxid🍊博主：Java廖志伟🍊社区：幕后大佬Docker/GitLab/Jenkins文章目录Docker/GitLab/Jenkins一、docker安装二、配置docker对外端口三、安装配置gitlab四、安装配置jekins一、准备工作二、下载安装配置Jenkins五、jenkins主要的一... 查看详情

jenkins搭建笔记总结(代码片段)

...tLab服务器（ssh方式搭建）4.搭建GitLab服务器（Docker方式搭建）4.1搭建Docker环境4.2docker容器安装gitlab5.GitLab提交代码6.Jenkins配置Maven+Git自动构建jar包(第一步)7.Jenkins将 查看详情