并发编程

author author     2022-10-01     537

关键词:

1. 背景知识

顾名思义,进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。

进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。

所以想要真正了解进程,必须事先了解操作系统    

PS:即使可以利用的cpu只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能力。将一个单独的cpu变成多个虚拟的cpu(多道技术:时间多路复用和空间多路复用+硬件上支持隔离),没有进程的抽象,现代计算机将不复存在。

必备的理论基础:

技术分享
#一 操作系统的作用:
    1:隐藏丑陋复杂的硬件接口,提供良好的抽象接口
    2:管理、调度进程,并且将多个进程对硬件的竞争变得有序

#二 多道技术:
    1.产生背景:针对单核,实现并发
    ps:
    现在的主机一般是多核,那么每个核都会利用多道技术
    有4个cpu,运行于cpu1的某个程序遇到io阻塞,会等到io结束再重新调度,会被调度到4个
    cpu中的任意一个,具体由操作系统调度算法决定。
    
    2.空间上的复用:如内存中同时有多道程序
    3.时间上的复用:复用一个cpu的时间片
       强调:遇到io切,占用cpu时间过长也切,核心在于切之前将进程的状态保存下来,这样
            才能保证下次切换回来时,能基于上次切走的位置继续运行
View Code

本文将将着重介绍进程以及它的亲戚->线程

2.python并发编程之多进程

理论:http://www.cnblogs.com/linhaifeng/articles/7430066.html

链接:http://www.cnblogs.com/linhaifeng/articles/7428874.html

3.python并发编程之多线程

理论:http://www.cnblogs.com/linhaifeng/articles/7430082.html

链接:http://www.cnblogs.com/linhaifeng/articles/7428877.html

4.python并发编程之协程

链接:http://www.cnblogs.com/linhaifeng/articles/7429894.html

5.python并发编程之IO模型

链接:http://www.cnblogs.com/linhaifeng/articles/7454717.html

6.补充:paramiko模块

6.1介绍

paramiko是一个用于做远程控制的模块,使用该模块可以对远程服务器进行命令或文件操作,值得一说的是,fabric和ansible内部的远程管理就是使用的paramiko来现实。

6.2下载安装

pip3 install paramiko #在python3中
技术分享
pycrypto,由于 paramiko 模块内部依赖pycrypto,所以先下载安装pycrypto #在python2中
pip3 install pycrypto
pip3 install paramiko
注:如果在安装pycrypto2.0.1时发生如下错误
        command gcc failed with exit status 1...
可能是缺少python-dev安装包导致
如果gcc没有安装,请事先安装gcc
在python2中

6.3使用

SSHClient

用于连接远程服务器并执行基本命令

基于用户名密码连接:

技术分享
import paramiko

# 创建SSH对象
ssh = paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 连接服务器
ssh.connect(hostname=120.92.84.249, port=22, username=root, password=xxx)

# 执行命令
stdin, stdout, stderr = ssh.exec_command(df)
# 获取命令结果
result = stdout.read()
print(result.decode(utf-8))
# 关闭连接
ssh.close()
基于用户名密码链接
技术分享
import paramiko

transport = paramiko.Transport((120.92.84.249, 22))
transport.connect(username=root, password=xxx)

ssh = paramiko.SSHClient()
ssh._transport = transport

stdin, stdout, stderr = ssh.exec_command(df)
res=stdout.read()
print(res.decode(utf-8))

transport.close()
SSHClient 封装 Transport

基于公钥密钥连接:

客户端文件名:id_rsa

服务端必须有文件名:authorized_keys(在用ssh-keygen时,必须制作一个authorized_keys,可以用ssh-copy-id来制作)

技术分享
import paramiko

private_key = paramiko.RSAKey.from_private_key_file(/tmp/id_rsa)

# 创建SSH对象
ssh = paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
# 连接服务器
ssh.connect(hostname=120.92.84.249, port=22, username=root, pkey=private_key)

# 执行命令
stdin, stdout, stderr = ssh.exec_command(df)
# 获取命令结果
result = stdout.read()
print(result.decode(utf-8))
# 关闭连接
ssh.close()
View Code
技术分享
import paramiko

private_key = paramiko.RSAKey.from_private_key_file(/tmp/id_rsa)

transport = paramiko.Transport((120.92.84.249, 22))
transport.connect(username=root, pkey=private_key)

ssh = paramiko.SSHClient()
ssh._transport = transport

stdin, stdout, stderr = ssh.exec_command(df)
result=stdout.read()
print(result.decode(utf-8))

transport.close()
SSHClient 封装 Transport
技术分享
import paramiko
from io import StringIO

key_str = """-----BEGIN RSA PRIVATE KEY-----
MIIEoQIBAAKCAQEAsJmFLrSeCumJvga0Gl5O5wVOVwMIy2MpqIyQPi5J87dg89a4
Da9fczJog7qoSbRwHFOQoCHNphSlp5KPhGsF6RJewkIw9H1UKV4dCOyl/4HOAkAD
rKrsEDmrJ9JlzF2GTTZSnTgVQWcvBS2RKB4eM2R9aJ11xV6X2Hk4YDLTExIWeabb
h2TUKw0iyjI8pRuYLKkF2X16u9TBwfOTroGYgiNFHQvhsQppbEbI49NF2XkCkFMi
8/7tLjf95InE/VUUq56JqfzyHwdpHou+waXbwtvGgXN3sz+KkuEv6R2qDz06upZV
FCZRRpDhzoR8Uh/UEzTGZb8z7FB6EJXUiXJikQIBIwKCAQBBmBuGYFf1bK+BGG7H
9ySe81ecqVsJtx4aCFLVRGScWg4RbQKIvXs5an6XU/VdNGQnx0RYvBkvDvuzRRC8
J8Bd4kB0CfTtGJuaVigKoQp02HEWx1HSa17+tlWD0c4KFBvwywi+DYQ83S64x8gz
eOalX9bPFenqORPUD8R7gJeKvPVc6ZTPeorpuH7u9xayP0Eop8qKxZza9Xh3foVj
Qo4IxoYnDN57CIRX5PFSlDDggpmr8FtRF4nAxmFq8LhSp05ivzX/Ku1SNHdaMWZO
7va8tISXdLI5m0EGzoVoBvohIbwlxI6kfmamrh6Eas2Jnsc4CLzMsR4jBWt0LHLv
/SLnAoGBANaEUf/Jptab9G/xD9W2tw/636i3gLpTPY9KPtCcAxqStNeT6RAWZ5HF
lKJg+NKpu3pI45ldAwvts0i+aCZk2xakEWIZWqCmXm31JSPDQTaMGe7H0vOmUaxx
ncdpBVdvhMbfFUgei15iKfuafgrKaS9oIkntXEgrC+3wBOI0Gbx3AoGBANLAGxAF
TK7ydr+Q1+6/ujs6e8WsXt8HZMa/1khCVSbrf1MgACvZPSSSrDpVwaDTSjlRI4AL
bb0l0RFU+/0caMiHilscuJdz9Fdd9Ux4pjROZa3TF5CFhvP7PsZAoxOo+yqJg4zr
996GG/aAv4M8lQJ2rDFk/Dgn5y/AaAun1oM3AoGAGIQmoOPYjY4qkHNSRE9lYOl4
pZFQilKn8x5tlC8WTC4GCgJGhX7nQ9wQ/J1eQ/YkDfmznH+ok6YjHkGlgLsRuXHW
GdcDCwuzBUCWh76LHC1EytUCKnloa3qy8jfjWnMlHgrd3FtDILrC+C7p1Vj2FAvm
qVz0moiTpioPL8twp9MCgYEAin49q3EyZFYwxwdpU7/SJuvq750oZq0WVriUINsi
A6IR14oOvbqkhb94fhsY12ZGt/N9uosq22H+anms6CicoQicv4fnBHDFI3hCHE9I
pgeh50GTJHUA6Xk34V2s/kp5KpThazv6qCw+QubkQExh660SEdSlvoCfPKMCi1EJ
TukCgYAZKY1NZ2bjJyyO/dfNvMQ+etUL/9esi+40GUGyJ7SZcazrN9z+DO0yL39g
7FT9NMIc2dsmNJQMaGBCDl0AjO1O3b/wqlrNvNBGkanxn2Htn5ajfo+LBU7yHAcV
7w4X5HLarXiE1mj0LXFKJhdvFqU53KUQJXBqR6lsMqzsdPwLMJg==
-----END RSA PRIVATE KEY-----"""

private_key = paramiko.RSAKey(file_obj=StringIO(key_str))
transport = paramiko.Transport((120.92.84.249, 22))
transport.connect(username=root, pkey=private_key)

ssh = paramiko.SSHClient()
ssh._transport = transport

stdin, stdout, stderr = ssh.exec_command(df)
result = stdout.read()
print(result.decode(utf-8))
transport.close()

print(result)
基于私钥字符串进行连接

SFTPClient

用于连接远程服务器并执行上传下载

基于用户名密码上传下载

技术分享
import paramiko
 
transport = paramiko.Transport((120.92.84.249,22))
transport.connect(username=root,password=xxx)
 
sftp = paramiko.SFTPClient.from_transport(transport)
# 将location.py 上传至服务器 /tmp/test.py
sftp.put(/tmp/id_rsa, /etc/test.rsa)
# 将remove_path 下载到本地 local_path
sftp.get(remove_path, local_path)
 
transport.close()
View Code

基于公钥密钥上传下载

技术分享
import paramiko

private_key = paramiko.RSAKey.from_private_key_file(/tmp/id_rsa)

transport = paramiko.Transport((120.92.84.249, 22))
transport.connect(username=root, pkey=private_key )

sftp = paramiko.SFTPClient.from_transport(transport)
# 将location.py 上传至服务器 /tmp/test.py
sftp.put(/tmp/id_rsa, /tmp/a.txt)
# 将remove_path 下载到本地 local_path
sftp.get(remove_path, local_path)

transport.close()
View Code
技术分享
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import paramiko
import uuid

class Haproxy(object):

    def __init__(self):
        self.host = 172.16.103.191
        self.port = 22
        self.username = root
        self.pwd = 123
        self.__k = None

    def create_file(self):
        file_name = str(uuid.uuid4())
        with open(file_name,w) as f:
            f.write(sb)
        return file_name

    def run(self):
        self.connect()
        self.upload()
        self.rename()
        self.close()

    def connect(self):
        transport = paramiko.Transport((self.host,self.port))
        transport.connect(username=self.username,password=self.pwd)
        self.__transport = transport

    def close(self):

        self.__transport.close()

    def upload(self):
        # 连接,上传
        file_name = self.create_file()

        sftp = paramiko.SFTPClient.from_transport(self.__transport)
        # 将location.py 上传至服务器 /tmp/test.py
        sftp.put(file_name, /home/root/tttttttttttt.py)

    def rename(self):

        ssh = paramiko.SSHClient()
        ssh._transport = self.__transport
        # 执行命令
        stdin, stdout, stderr = ssh.exec_command(mv /home/root/tttttttttttt.py /home/root/ooooooooo.py)
        # 获取命令结果
        result = stdout.read()


ha = Haproxy()
ha.run()
demon

 

并发编程路线

一python并发编程之多进程理论二python并发编程之多进程实现三python并发编程之多线程理论四python并发编程之多线程实现五python并发编程之协程理论六python并发编程之协程实现七python并发编程之IO模型五补充:paramiko模块 查看详情

go语言学习之旅--并发编程

Go语言学习之旅--并发编程golang并发编程之协程golang并发编程之通道golang并发编程之WaitGroup实现同步golang并发编程之runtime包golang并发编程之Mutex互斥锁实现同步golang并发编程之channel的遍历golang并发编程之selectswitchgolang并发编程之T... 查看详情

java并发编程之美

一、内容简介并发编程相比Java中其他知识点的学习门槛较高,从而导致很多人望而却步。但无论是职场面试,还是高并发/高流量系统的实现,却都离不开并发编程,于是能够真正掌握并发编程的人成为了市场迫切需求的人才。... 查看详情

java并发编程:核心理论

Java并发编程系列:Java并发编程:核心理论 Java并发编程:Synchronized及其实现原理Java并发编程:Synchronized底层优化(轻量级锁、偏向锁)Java并发编程:线程间的协作(wait/notify/sleep/yield/join)Java并发编程:volatile的使用及其原理... 查看详情

并发编程的优缺点

为什么要使用并发编程(并发编程的优点)充分利用多核CPU的计算能力方便进行业务拆分,提升系统并发能力和性能并发编程的缺点并发编程的目的就是为了能提高程序的执行效率,提高程序运行速度,但是并发编程并不总是能... 查看详情

java并发编程:并发编程的认识(代码片段)

1、并发编程简介并发编程:所谓并发编程是指在一台处理器上“同时”处理多个任务。并发是在同一实体上的多个事件。多个事件在同一时间间隔发生。并发编程的目标:充分的利用处理器的每一个核,以达到最高... 查看详情

初识并发编程

...家都会使用Executors工具类创建线程池来使用线程,为什么并发编程会使得程序更快?那它的难点又在哪里?本文首先介绍何为并发编程。一、并发编程  并发编程的目的是为了让程序运行得更快,但是,并不是启动更多的线程... 查看详情

并发编程:我对java并发编程的总结和思考

编写优质的并发代码是一件难度极高的事情。Java语言从第一版本开始内置了对多线程的支持,这一点在当年是非常了不起的,但是当我们对并发编程有了更深刻的认识和更多的实践后,实现并发编程就有了更多的方案和更好的... 查看详情

高并发编程必备基础--转载自并发编程网

文章转载自并发编程网 本文链接地址:高并发编程必备基础一、前言借用Java并发编程实践中的话”编写正确的程序并不容易,而编写正常的并发程序就更难了”,相比于顺序执行的情况,多线程的线程安全问题是微妙而且... 查看详情

网络编程和并发编程

1.网络编程小白入门知识点大杂烩 2.并发编程小白入门知识点大杂烩 查看详情

java并发编程

Java并发编程(一)之前看《ThinkingInJava》时,并发讲解的挺多的,自己算是初步了解了并发。但是其讲解的不深入,自己感觉其讲解的不够好。后来自己想再学一学并发,买了《Java并发编程实战》,看了一下讲的好基础、好多的理... 查看详情

并发编程

同步异步进程与线程多线程并发编程高阶IO模型 查看详情

解决并发编程之痛的良药--结构化并发编程(代码片段)

解决并发编程之痛的良药--结构化并发编程作者简介:曹家锋,Westar实验室技术专家。Westar实验室(westar.io),成立于2018年,关注于区块链及分布式前沿技术,包括区块链分层架构、二层路由,网络性能、智能合约、PoW优化等。... 查看详情

java并发编程:synchronized及其实现原理

Java并发编程系列:Java并发编程:核心理论 Java并发编程:Synchronized及其实现原理Java并发编程:Synchronized底层优化(轻量级锁、偏向锁)Java并发编程:线程间的协作(wait/notify/sleep/yield/join)Java并发编程:volatile的使用及其原理... 查看详情

并发编程基础

并发编程技术:多线程,异步编程,并行处理,TPL数据流,响应式编程。 并发:同时做多件事。多线程:并发的一种形式,采用多个线程来执行程序。异步编程:并发的一种形式,采用future模式或回调callback机制,以避免产... 查看详情

python复习—并发编程实战——并发编程总结(代码片段)

Python并发编程学习并发编程加速程序的运行高薪程序员必备能力程序运行的5种并发粒度单线程单线程多协程多线程多进程多机器怎样选择并发技术如果单机无法搞定大数据计算IO密集型CPU经常在等待IO比如网络爬虫选择1:多... 查看详情

java并发编程的艺术,解读并发编程的优缺点(代码片段)

并发编程的优缺点使用并发的原因多核的CPU的背景下,催生了并发编程的趋势,通过并发编程的形式可以将多核CPU的计算能力发挥到极致,性能得到提升。在特殊的业务场景下先天的就适合于并发编程。比如在图像处理领域,一... 查看详情

java并发编程的艺术,解读并发编程的优缺点(代码片段)

并发编程的优缺点使用并发的原因多核的CPU的背景下,催生了并发编程的趋势,通过并发编程的形式可以将多核CPU的计算能力发挥到极致,性能得到提升。在特殊的业务场景下先天的就适合于并发编程。比如在图像处理领域,一... 查看详情