nginx+uwsgi+django+virtualenv+supervisor发布web服务器(代码片段)

shangping shangping     2022-12-11     511

关键词:

 导论

WSGI是Web服务器网关接口。它是一个规范,描述了Web服务器如何与Web应用程序通信,以及Web应用程序如何链接在一起以处理一个请求,(接收请求,处理请求,响应请求)
基于wsgi运行的框架有bottle,DJango,Flask,用于解析动态HTTP请求
支持WSGI的服务器
    wsgiref
        python自带的web服务器
    Gunicorn
        用于linux的 python wsgi Http服务器,常用于各种django,flask结合部署服务器。
    mode_wsgi
        实现了Apache与wsgi应用程序的结合
    uWSGI
        C语言开发,快速,自我修复,开发人员友好的WSGI服务器,用于Python Web应用程序的专业部署和开发。

在部署python程序web应用程序时,可以根据性能的需求,选择合适的wsgi server,不同的wsgi server区别在于并发支持上,有单线程,多进程,多线程,协程的区别,其功能还是近似,无非是请求路由,执行对应的函数,返回处理结果。




Django部署

Django的主要部署平台是 WSGI,这是用于Web服务器和应用程序的Python标准。

Django的 startproject管理命令设置一个简单的默认WSGI配置,可以根据需要为您的项目进行调整,并指示任何符合WSGI的应用程序服务器使用。

application 
使用WSGI部署的关键概念是应用程序服务器用于与代码通信的 application 可调用。它通常在服务器可访问的Python模块中作为名为 application 的对象提供。

startproject 命令创建包含这样的 application 可调用的文件 <project_name>/wsgi.py. ,它被Django的开发服务器和生产WSGI部署使用。
WSGI服务器从其配置中获取 application 可调用的路径。 Django的内置服务器,即 runserver 命令,从 WSGI_APPLICATION 设置读取它。
1 首先nginx 是对外的服务接口,外部浏览器通过url访问nginx,

2nginx 接收到浏览器发送过来的http请求,将包进行解析,分析url,如果是静态文件请求就直接访问用户给nginx配置的静态文件目录,直接返回用户请求的静态文件,

如果不是静态文件,而是一个动态的请求,那么nginx就将请求转发给uwsgi,uwsgi 接收到请求之后将包进行处理,处理成wsgi可以接受的格式,并发给wsgi,wsgi 根据请求调用应用程序的某个文件,某个文件的某个函数,最后处理完将返回值再次交给wsgi,wsgi将返回值进行打包,打包成uwsgi能够接收的格式,uwsgi接收wsgi 发送的请求,并转发给nginx,nginx最终将返回值返回给浏览器。

3要知道第一级的nginx并不是必须的,uwsgi完全可以完成整个的和浏览器交互的流程,但是要考虑到某些情况

1 安全问题,程序不能直接被浏览器访问到,而是通过nginx,nginx只开放某个接口,uwsgi本身是内网接口,这样运维人员在nginx上加上安全性的限制,可以达到保护程序的作用。

2负载均衡问题,一个uwsgi很可能不够用,即使开了多个work也是不行,毕竟一台机器的cpu和内存都是有限的,有了nginx做代理,一个nginx可以代理多台uwsgi完成uwsgi的负载均衡。

3静态文件问题,用django或是uwsgi这种东西来负责静态文件的处理是很浪费的行为,而且他们本身对文件的处理也不如nginx好,所以整个静态文件的处理都直接由nginx完成,静态文件的访问完全不去经过uwsgi以及其后面的东西。

 

nginx官网

http://nginx.org/en/

nginx有关uwsgi模块介绍

http://nginx.org/en/docs/http/ngx_http_uwsgi_module.html

 

咱们都知道django是一个web框架,方便我们快速开发web程序,http请求的动态数据就是由web框架来提供处理的。

前面也对nginx简单的介绍了,本文将nginx、WSGI、uwsgi、uWSGI、django这几个关系梳理一下。

wsgi    全称web server gateway interface,wsgi不是服务器,也不是python模块,只是一种协议,描述web server如何和web application通信的规则。
运行在wsgi上的web框架有bottle,flask,django
uwsgi    和wsgi一样是通信协议,是uWSGI服务器的单独协议,用于定义传输信息的类型
uWSGI    是一个web服务器,实现了WSGI协议,uwsgi协议。a
nginx    web服务器,更加安全,更好的处理处理静态资源,缓存功能,负载均衡,因此nginx的强劲性能,配合uWSGI服务器会更加安全,性能有保障。
django 高级的python web框架,用于快速开发,解决web开发的大部分麻烦,程序员可以更专注业务逻辑,无须重新造轮子

逻辑图

技术图片

技术图片

eb服务器

传统的c/s架构,请求的过程是
客户端 > 服务器 
服务器 > 客户端
服务器就是:1.接收请求 2.处理请求 3.返回响应

web框架层

HTTP的动态数据交给web框架,例如django遵循MTV模式处理请求。
HTTp协议使用url定位资源,urls.py将路由请求交给views视图处理,然后返回一个结果,完成一次请求。
web框架使用者只需要处理业务的逻辑即可。

如果将一次通信转化为“对话”的过程

Nginx:hello wsgi,我刚收到一个请求,你准备下然后让django来处理吧

WSGI:好的nginx,我马上设置环境变量,然后把请求交给django

Django:谢谢WSGI,我处理完请求马上给你响应结果

WSGI:好的,我在等着

Django:搞定啦,麻烦wsgi吧响应结果传递给nginx

WSGI:太棒了,nginx,响应结果请收好,已经按照要求传递给你了

nginx:好滴。我把响应交给用户。合作愉快

 

Django Nginx+uwsgi 安装配置

在前面的章节中我们使用 python manage.py runserver 来运行服务器。这只适用测试环境中使用。

正式发布的服务,需要一个可以稳定而持续的服务器。

基础开发环境配置

yum groupinstall "Development tools"
yum install zlib-devel bzip2-devel pcre-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel

提前安装好python3环境

virtualenv

请确保你的虚拟环境正常工作
https://www.cnblogs.com/shangping/p/10756217.html

安装django1.11

pip3 install django==1.11.14
#创建django项目mysite
django-admin startproject mysite
#创建app01
python3 manage.py startapp app01

mysite/settings.py

#settings.py设置
ALLOWED_HOSTS = [‘*‘]
install app01

mysite/urls.py

from app01 import views
urlpatterns = [
    url(r‘^admin/‘, admin.site.urls),
    url(r‘^hello_django/‘, views.hello),
]

app01/views.py

技术图片
from django.shortcuts import render,HttpResponse

# Create your views here.
def hello(request):
    print(‘request is :‘,request)
    return HttpResponse(‘django is ok ‘)
技术图片

安装uWSGI技术图片

进入虚拟环境venv,安装uwsgi
(venv) [[email protected] 192.168.11.64 /opt]$pip3 install uwsgi
检查uwsgi版本
(venv) [[email protected] 192.168.11.64 /opt]$uwsgi --version
2.0.17.1
#检查uwsgi python版本
uwsgi --python-version

运行简单的uWSGI                  

 
 
#test.py
def application(env, start_response):
    start_response(‘200 OK‘, [(‘Content-Type‘,‘text/html‘)])
    return [b"Hello World"] # python3
#启动一个python
uwsgi --http :8000 --wsgi-file test.py   (注意http后面有个空格)
  • http :8000: 使用http协议,端口8000
  • wsgi-file test.py: 加载指定的文件  test.py

uWsgi热加载python程序

 
在启动命令后面加上参数
uwsgi --http :8088 --module mysite.wsgi --py-autoreload=1 
#发布命令
command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi
#此时修改django代码,uWSGI会自动加载django程序,页面生效
 

运行django程序

#mysite/wsgi.py  确保找到这个文件
uwsgi --http :8000 --module mysite.wsgi
  • module mysite.wsgi: 加载指定的wsgi模块

uwsgi配置文件

技术图片uwsgi.ini

指定配置文件启动命令

uwsgi --ini  /etc/uwsgi_nginx.ini

配置nginx结合uWSGI

配置nginx.conf

 
worker_processes  1;
error_log  logs/error.log;
pid        logs/nginx.pid;
events 
    worker_connections  1024;

http 
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" "$http_x_forwarded_for"‘;
    access_log  logs/access.log  main;
    sendfile        on;
    keepalive_timeout  65;
  #nginx反向代理uwsgi server listen 80; server_name 192.168.11.64; location /
     #nginx自带ngx_http_uwsgi_module模块,起到nginx和uwsgi交互作用
#通过uwsgi_pass设置服务器地址和协议,讲动态请求转发给uwsgi处理 include /opt/nginx1-12/conf/uwsgi_params; uwsgi_pass 0.0.0.0:8000; root html; index index.html index.htm;
     #nginx处理静态页面资源
     location /static
        alias /opt/nginx1-12/static;   

     #nginx处理媒体资源
     location /media
        alias /opt/nginx1-12/media;  
         
error_page 500 502 503 504 /50x.html;
        location = /50x.html 
            root   html;
        
    
 

配置完启动nginx

supervisor

supervisor 是基于 python 的任务管理工具,用来自动运行各种后台任务,当然你也能直接利用 nohup 命令使任务自动后台运行,但如果要重启任务,每次都自己手动 kill 掉任务进程,这样很繁琐,而且一旦程序错误导致进程退出的话,系统也无法自动重载任务。

这里超哥要配置基于virtualenv的supervisor

由于supervisor在python3下无法使用,因此只能用python2去下载!!!!!!

#注意此时已经退出虚拟环境了!!!!!
yum install python-setuptools
easy_install supervisor

通过命令生成supervisor的配支文件

echo_supervisord_conf > /etc/supervisord.conf

然后再/etc/supervisord.conf末尾添加上如下代码!!!!!!

 
supervisord.conf配置文件参数解释
[program:xx]是被管理的进程配置参数,xx是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序启动命令
autostart=true       ; 在supervisord启动的时候也自动启动
startsecs=10         ; 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒
autorestart=true     ; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
startretries=3       ; 启动失败自动重试次数,默认是3
user=tomcat          ; 用哪个用户启动进程,默认是root
priority=999         ; 进程启动优先级,默认999,值小的优先启动
redirect_stderr=true ; 把stderr重定向到stdout,默认false
stdout_logfile_maxbytes=20MB  ; stdout 日志文件大小,默认50MB
stdout_logfile_backups = 20   ; stdout 日志文件备份数,默认是10
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false     ;默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程
killasgroup=false     ;默认为false,向进程组发送kill信号,包括子进程
 

 

 
[program:my]
#command=/opt/venv/bin/uwsgi --ini  /etc/uwsgi_nginx.ini  #这里是结合virtualenv的命令 和supervisor的精髓!!!!
command= /home/venv/bin/uwsgi --uwsgi 0.0.0.0:8000 --chdir /opt/mysite --home=/home/venv --module mysite.wsgi
#--home指的是虚拟环境目录 --module找到 mysite/wsgi.py

最后启动supervisor,完成uWSGI启动django,nginx反向代理

supervisord -c /etc/supervisord.conf #启动supervisor
supervisorctl -c /etxc/supervisord.conf restart my #重启my项目
supervisorctl -c /etc/supervisord.conf [start|stop|restart] [program-name|all]

 重新加载supervisor

 
一、添加好配置文件后

二、更新新的配置到supervisord    

supervisorctl update
三、重新启动配置中的所有程序

supervisorctl reload
四、启动某个进程(program_name=你配置中写的程序名称)

supervisorctl start program_name
五、查看正在守候的进程

supervisorctl
六、停止某一进程 (program_name=你配置中写的程序名称)

pervisorctl stop program_name
七、重启某一进程 (program_name=你配置中写的程序名称)

supervisorctl restart program_name
八、停止全部进程

supervisorctl stop all
注意:显示用stop停止掉的进程,用reload或者update都不会自动重启。
 

 django的静态文件与nginx配置

mysite/settings.py

STATIC_ROOT=‘/opt/nginx1-12/static‘
STATIC_URL = ‘/static/‘
STATICFILES_DIRS=[
    os.path.join(BASE_DIR,"static"),
]

上述的参数STATIC_ROOT用在哪?

通过python3 manage.py collectstatic 收集所有你使用的静态文件保存到STATIC_ROOT!

STATIC_ROOT 文件夹 是用来将所有STATICFILES_DIRS中所有文件夹中的文件,以及各app中static中的文件都复制过来
# 把这些文件放到一起是为了用nginx等部署的时候更方便

 

 

参考文档:http://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

 uwsgi热加载:https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/Management.html

uWSGI + Django + Nginx - 运行时错误

】uWSGI+Django+Nginx-运行时错误【英文标题】:uWSGI+Django+Nginx-RuntimeError【发布时间】:2018-08-1123:34:21【问题描述】:肯定需要关于***的第一篇文章+帮助:我正在尝试设置一个Ubuntu16.04服务器来托管我的Django应用程序,但是我遇到了... 查看详情

如何配置 uwsgi + nginx + Django + websocket?

】如何配置uwsgi+nginx+Django+websocket?【英文标题】:HowtoConfigureuwsgi+nginx+Django+websocket?【发布时间】:2020-01-2313:33:42【问题描述】:我成功部署了uwsgi+nginx+Django。但我想使用websocket与我的服务器通信。我按照本教程处理正常的https... 查看详情

Django-uWSGI-nginx 使用 https

】Django-uWSGI-nginx使用https【英文标题】:Django-uWSGI-nginxusinghttps【发布时间】:2014-12-1721:03:50【问题描述】:我在nginx上使用uwsgi运行我的DJango应用程序。它目前正在使用这些配置:[uwsgi]套接字=:8002主人=真env=DJANGO_SETTINGS_MODULE=web_se... 查看详情

django+nginx+uwsgi,文件浏览器不上传

】django+nginx+uwsgi,文件浏览器不上传【英文标题】:django+nginx+uwsgi,filebrowsernotuploading【发布时间】:2012-11-1009:33:09【问题描述】:我已经将一个django站点从apache+wsgi转换为nginx+uwsgi。除了使用文件浏览器上传文件外,一切似乎都... 查看详情

Django uWSGI Nginx

】DjangouWSGINginx【英文标题】:【发布时间】:2014-05-3115:37:07【问题描述】:我正在学习本教程,但我遇到了一个问题,我收到了502Nginx错误。tutoriallink我检查了错误日志,它说uwsgi.logImportError:没有名为khcards.wsgi的模块我的uwsgi文... 查看详情

为啥我们需要 uwsgi 来在 nGINX 上托管 Django

】为啥我们需要uwsgi来在nGINX上托管Django【英文标题】:WhydoweneeduwsgiforhostingDjangoonnGINX为什么我们需要uwsgi来在nGINX上托管Django【发布时间】:2012-09-2209:45:12【问题描述】:让我们看看:Django与WSGI兼容。WSGI是Web服务器网关接口现... 查看详情

Nginx、uwsgi、django、ubuntu 16 带有静态文件的问题

】Nginx、uwsgi、django、ubuntu16带有静态文件的问题【英文标题】:Nginx,uwsgi,django,ubuntu16issuew/staticfiles【发布时间】:2016-11-2409:29:13【问题描述】:我正在使用Nginx、uwsgi、django和Ubuntu16.04,并在我的所有静态文件上获得404。当我查看... 查看详情

Django 频道和 uWSGI

】Django频道和uWSGI【英文标题】:DjangoChannelsAlongwithuWSGI【发布时间】:2019-02-1503:33:17【问题描述】:我目前使用docker、nginx、uWSGI、redis、Django和Angular开发的Djangorestapi。我正在添加几个websocket端点,我想保留现有架构并继续通过u... 查看详情

Django + uWSGI + Nginx + SSL - 工作配置请求(强调 SSL)

】Django+uWSGI+Nginx+SSL-工作配置请求(强调SSL)【英文标题】:Django+uWSGI+Nginx+SSL-requestforworkingconfiguration(emphasisonSSL)【发布时间】:2015-07-0120:47:13【问题描述】:有人对这四个有有效的配置吗?-Django-uWSGI-Nginx-SSL主要问题是如何为此... 查看详情

nginx,uwsgi,DJango,502 当 DEBUG=False,“上游过早关闭连接”

】nginx,uwsgi,DJango,502当DEBUG=False,“上游过早关闭连接”【英文标题】:nginx,uwsgi,DJango,502whenDEBUG=False,"upstreamprematurelyclosedconnection"【发布时间】:2015-12-0412:26:46【问题描述】:我有一个运行Django应用程序的工作nginx生产... 查看详情

将 http abort/close 从 nginx 传播到 uwsgi / Django

】将httpabort/close从nginx传播到uwsgi/Django【英文标题】:Propagatehttpabort/closefromnginxtouwsgi/Django【发布时间】:2017-02-0809:30:58【问题描述】:我有一个Django应用程序web应用程序,我想知道是否可以让nginx将中止/关闭传播到uwsgi/Django。... 查看详情

Django / nginx / uwsgi出现502错误

】Django/nginx/uwsgi出现502错误【英文标题】:502errorwithDjango/nginx/uwsgi【发布时间】:2016-02-1601:32:36【问题描述】:我压力很大,因为我正试图让这个网站在我的ubuntu服务器上运行。我只是一个试图自己托管东西的前端。我想我几乎... 查看详情

NGINX 与 uwsgi 和 django 连接被拒绝

】NGINX与uwsgi和django连接被拒绝【英文标题】:NGINXwithuwsgianddjangoconnectionrefused【发布时间】:2015-04-3001:34:01【问题描述】:欢迎***ers。我一直在努力用django应用程序用uwsgi设置nginx......某处必须有一个小错误,但我找不到它。这是... 查看详情

带有 Nginx 和 uWSGI 的 Django CDN

】带有Nginx和uWSGI的DjangoCDN【英文标题】:DjangoCDNwithNginxanduWSGI【发布时间】:2017-04-1822:58:58【问题描述】:我在使用Django1.10、uWSGI和Nginx提供静态文件时遇到困难。我有一个index.html文件,其中包含CDN。Django文档here说“将静态文... 查看详情

django项目分布式部署【uwsgi+nginx】

参考技术A使用USGI配置Django项目的多进程部署,使用NGINX进行静态文件的部署和负载均衡的配置 查看详情

连接 Nginx 和 Django

】连接Nginx和Django【英文标题】:ConnectingNginxandDjango【发布时间】:2018-10-0815:52:52【问题描述】:这是我第一次在Nginx工作。我知道为了轻松连接Django和Nginx,我需要uWSGI。设置uWSGI:我认为我的uWSGI设置完全没问题,我用它在HTTP... 查看详情

Nginx + uWSGI + django NoModuleFoundError: No module named 'saleor'

】Nginx+uWSGI+djangoNoModuleFoundError:Nomodulenamed\\\'saleor\\\'【英文标题】:Nginx+uWSGI+djangoNoModuleFoundError:Nomodulenamed\'saleor\'Nginx+uWSGI+djangoNoModuleFoundError:Nomodulenamed\'saleor\'【发布时间】:2020-03-1313:43:04【问题 查看详情

如何避免使用 Django、nginx 和 uWSGI 将环境变量放到多个地方?

】如何避免使用Django、nginx和uWSGI将环境变量放到多个地方?【英文标题】:HowtoavoidputtingenvironmentvariablesintomultipleplaceswithDjango,nginxanduWSGI?【发布时间】:2014-07-0311:18:24【问题描述】:我正在尝试配置nginx+uWSGI来为我的Django应用程... 查看详情