golang中的csp并发模型(代码片段)

thomasyuan thomasyuan     2023-03-15     801

关键词:

1. 相关概念:
  用户态:当一个进程在执行用户自己的代码时处于用户运行态(用户态)
  内核态:当一个进程因为系统调用陷入内核代码中执行时处于内核运行态(内核态),引入内核态防止用户态的程序随意的操作内核地址空间,具有一定的安全保护作用。这种保护模式是通过内存页表操作等机制,保证进程间的地址空间不会相互冲突,一个进程的操作不会修改另一个进程地址空间中的数据。
  用户态与内核态之间的切换:当在系统中执行一个程序时,大部分时间都是运行在用户态下的,在其需要操作系统帮助完成一些用户态自己没有特权和能力完成的操作时就会切换到内核态。有以下三种方式:
  (1)系统调用(中断)
    用户态进程主动要求切换到内核态的一种方式。
  (2)异常
    cpu运行时如果发生一些没有预知的异常,会触发当前进程切换到处理此异常的内核相关进程中。
  (3)外围设备的中断
    用户态进程主动要求切换到内核态的一种方式。

  协程:又称微线程,纤程。英文名Coroutine。Coroutine是一种运行在用户态的用户线程,类似于 greenthread。协程与线程都相互独立,且有自己的上下文,不同之处在于,协程的切换由其自身控制,而线程的切换收到系统调度。

 

2. CSP (通信顺序进程)
  CSP模型用来描述两个独立的并发实体通过共享的通讯channel管道进行通信的并发模型。
  golang借用了CSP模型的一些概念如:实体 process,通道 channel,为之实现并发进行了理论支持,实际上并没有完全实现CSP模型的所有理论。process是在go语言上的表现就是goroutine,是实际上并发执行的实体,每个实体之间是通过channel通讯来实现数据共享。


3. channel:同步&传递消息

  channel是被单独创建并且可以在进程之间传递,它的通信模式类似于boss-worker模式,一个实体通过将消息发送到channel中,然后又监听这个channel的实体处理,两个实体之间是匿名的,实现原理上其实是一个阻塞的消息队列。、

  具体可以分为:有/无缓存channel,只读channel,只写channel,双向channel

  写操作:chan <- value

  读操作:<- chan

// Create channel
// Unbuffered channel
umbuffer_chan := make(chan int)
// Buffered channel
// Buffer Size = 3
buffer_chan := make(chan int,3)

// Read-Only channel
read_channel := make(<-chan int)
// Receive-Only channel
receive_channel := make(chan<- int)

  生产者-消费者Sample:

package main
import (
   "fmt" 
   "time"
)

// 生产者
func Producer (queue chan<- int)
        for i:= 0; i < 10; i++ 
                queue <- i
        

// 消费者
func Consumer( queue <-chan int)
        for i :=0; i < 10; i++
                v := <- queue
                fmt.Println("receive:", v)
        


func main()
        queue := make(chan int, 1)
        go Producer(queue)
        go Consumer(queue)
        time.Sleep(1e9) //让Producer与Consumer完成

 

4. goroutine:实际并发执行的实体

  在函数或者方法前面加上关键字go,就创建了并发运行的goroutine,eg:

  go func ()
  

  func Test()
  
  // ...
  go Test()

  实例代码:

package main  // 代码包声明语句。
import (
   "fmt" //系统包用来输出的
   "math/rand"
   "runtime"
   "sync"
   "time"
)

func main() 
   // 分配一个逻辑处理器给调度器使用
   runtime.GOMAXPROCS(1)

   // WaitGroup是一个计数信号量,用来记录和维护运行的goroutine,如果当前的wg>0,对应的exit方法就会阻塞
   var wg sync.WaitGroup
   // 计数加2表示要等待两个goroutine
   wg.Add(2)

   fmt.Printf("Start Goroutines 
", )

   // 声明匿名函数,创建goroutine
   go func()
      // 关键字defer会修改函数调用时机,在函数退出时调用Done来通知main函数工作已经完成
      defer wg.Done()

      for count:=0; count<3; count++ 
         for char :=a; char<a+26 ; char++ 
            fmt.Printf("%c ", char)
         
      
   ()

   // 声明匿名函数,创建goroutine
   go func() 
      // 函数退出时调用Done来通知main函数工作已经完成
      defer wg.Done()

      for count:=0; count<3; count++ 
         for char :=A; char<A+26 ; char++ 
            fmt.Printf("%c ", char)
         
      
   ()

   fmt.Println("Waiting to finish!
", )
   // 等待结束
   wg.Wait()

   fmt.Println("
Terminate program! 
", )

 

5. golang调度器
  OS在物理处理器上调度线程来运行,而golang在逻辑处理器上调度goroutine来运行。每个逻辑处理器都分别绑定到单个操作系统线程。
  如果创建一个goroutine并准备运行,这个goroutine就会被放到调度器的全局运行队列中。之后,调度器就会将队列中的goroutine分配给一个逻辑处理器,并放到这个逻辑处理器对应的本地运行队列中。本地运行队列中的goroutine会一直等待,知道自己被分配到相应的逻辑处理器上运行。
  eg:

技术图片

  其中:
  M:Machine,一个M直接关联了一个内核线程。
  P:Processor,代表了M所需要的上下文环境,也就是处理用户级代码逻辑的处理器。
  G:Goroutine,本质上是一种轻量级的线程--协程。
  MPG模型,三者关系的宏观图为:

  技术图片

  Processor的作用:
  当内核线程阻塞的时候,由于上下文的存在,我们能够直接放开其他线程,继续去执行未阻塞的线程,例子如下:

  技术图片

  如果当前,G0由于I/O,系统调用进行了阻塞,这个时候M0就可以放开其他的线程:

  技术图片

  M0和G0进行系统调用,等待返回值,上下文P以及routine队列交由M1进行执行。当M0执行系统调用结束后,M0会尝试去steal("偷")一个上下文,如果不成功,M0就把它的G0放到一个全局的运行队列中,然后将自己放到线程池或者转入休眠状态。
  Global runqueue是各个上下文P在运行完自己的本地的goroutine runqueue后用来拉取新的goroutine的地方(steal working算法)。此外,P也会周期性的检查Global runqueue上的goroutine,来防止全局上的goroutine因为得不到执行而饿死。

day864.csp模型-java并发编程实战(代码片段)

...-Passing)的方式多线程通信,以通信方式共享内存Golang是一门号称从语言层面支持并发的编程语言,支持并发是Golang一个非常重要的特性。在协程,Golang支持协程&# 查看详情

day864.csp模型-java并发编程实战(代码片段)

...-Passing)的方式多线程通信,以通信方式共享内存Golang是一门号称从语言层面支持并发的编程语言,支持并发是Golang一个非常重要的特性。在协程,Golang支持协程,协程可以类比Java中的线程,解决并发问题... 查看详情

协程与channels(csp:kotlin,golang)(代码片段)

概述众所周知,编写具有共享可变状态的代码非常困难且容易出错。通过通信共享信息而不是使用通用可变状态共享信息试图简化这一点。协程可以通过通道相互通信。CSP 通信顺序进程CSP,communicatingsequentialprocesses.CSP模型是... 查看详情

golang百万级高并发实例(代码片段)

前言感谢Handling1MillionRequestsperMinutewithGo这篇文章给予的巨大启发。基础我们使用Go语言,基本上是因为他原生支持的高并发:Goroutine和Channel;Go的并发属于CSP并发模型的一种实现;CSP并发模型的核心概念是:“不要通过共享内存... 查看详情

golang基础:底层并发原语mutexrwmutexcondwaitgrouponce等使用和基本实现(代码片段)

文章目录互斥锁Mutex拷贝使用Mutex的问题读写锁RWMutex条件变量Cond等待组WaitGroup仅执行一次Once原子操作其他上一篇《原生并发goroutinechannel和select常见使用场景》介绍了基于CSP模型的并发方式。除了CSP,Go通过sync包以及atomic包... 查看详情

golang基础:底层并发原语mutexrwmutexcondwaitgrouponce等使用和基本实现(代码片段)

文章目录互斥锁Mutex拷贝使用Mutex的问题读写锁RWMutex条件变量Cond等待组WaitGroup仅执行一次Once原子操作其他上一篇《原生并发goroutinechannel和select常见使用场景》介绍了基于CSP模型的并发方式。除了CSP,Go通过sync包以及atomic包... 查看详情

golang基础:底层并发原语mutexrwmutexcondwaitgrouponce等使用和基本实现(代码片段)

文章目录互斥锁Mutex拷贝使用Mutex的问题读写锁RWMutex条件变量Cond等待组WaitGroup仅执行一次Once原子操作其他上一篇《原生并发goroutinechannel和select常见使用场景》介绍了基于CSP模型的并发方式。除了CSP,Go通过sync包以及atomic包... 查看详情

golangchannel用法

一、Golang并发基础理论Golang在并发设计方面参考了C.A.RHoare的CSP,即CommunicatingSequentialProcesses并发模型理论。但就像JohnGraham-Cumming所说的那样,多数Golang程序员或爱好者仅仅停留在“知道”这一层次,理解CSP理论的并不多,... 查看详情

golang:线程模型,csp,mpg

并发和并行并发和并行都是为了充分利用CPU多核计算资源所提出来的概念,相信我们或多或少都对二者的概念有所了解:并发指的是在同一时间段内,多条指令在CPU上同时执行;并行指的是在同一时刻内,多... 查看详情

golang面向并发的内存模型(代码片段)

Golang面向并发的内存模型在早期,CPU都是以单核的形式顺序执行机器指令。Go语言的祖先C语言正是这种顺序编程语言的代表。顺序编程语言中的顺序是指:所有的指令都是以串行的方式执行,在相同的时刻有且仅有一... 查看详情

应对百万访问量的epoll模式(代码片段)

...工作机理select/poll模型的局限epoll模型工作机理epoll的局限golang中的epollgolang源码中的sysmon函数小结参考写在前面上一篇文章并发模型:Actors与CSP简单介绍了Actors和CSP两种并发模型。如果认真推敲会发现,无论是Actors还是CSP,直观... 查看详情

[golang]实现一个带有等待和超时功能的协程池-类似java中的executorservice接口实现(代码片段)

对于支持CSP并发编程模型的Golang而言,要实现一个协程池是非常简单的。对于习惯了基于线程模型完成并发编程的开发同学,可能初次接触会有点难理解,但是俗话说"书读百遍其义自见",百来行的代码也并... 查看详情

[golang]实现一个带有等待和超时功能的协程池-类似java中的executorservice接口实现(代码片段)

对于支持CSP并发编程模型的Golang而言,要实现一个协程池是非常简单的。对于习惯了基于线程模型完成并发编程的开发同学,可能初次接触会有点难理解,但是俗话说"书读百遍其义自见",百来行的代码也并... 查看详情

go的csp并发模型实现:m,p,g

    最近抽空研究、整理了一下Golang调度机制,学习了其他大牛的文章。把自己的理解写下来。如有错误,请指正!!!    golang的goroutine机制有点像线程池:    一、go内部有三个对象... 查看详情

golang基础:底层并发原语mutexrwmutexcondwaitgrouponce等使用和基本实现(代码片段)

文章目录互斥锁Mutex拷贝使用Mutex的问题读写锁RWMutex条件变量Cond等待组WaitGroup仅执行一次Once原子操作其他上一篇《原生并发goroutinechannel和select常见使用场景》介绍了基于CSP模型的并发方式。除了CSP,Go通过sync包以及atomic包... 查看详情

golang并发:goroutineandchannel(代码片段)

前言在前面的系列文章中,我们基本已经讲解完了Golang的数据类型、流程控制。函数、方法、接口、断言等基本知识点,这些内容其实和其他语言大同小异,除了语法以外并没有什么特别的地方。那么,Go语言和... 查看详情

golang学习随便记9(代码片段)

goroutine和channel (1)golang有两种并发编程风格,基于CSP的goroutine+channel或者传统的共享内存多线程模型。毫无疑问,goroutine和channel是golang引以为傲的东西,虽然背后理论不是革命性的东西,但它足够有... 查看详情

golang并发编程之生产者消费者(代码片段)

golang最吸引人的地方可能就是并发了,无论代码的编写上,还是性能上面,golang都有绝对的优势学习一个语言的并发特性,我喜欢实现一个生产者消费者模型,这个模型非常经典,适用于很多的并发场景,下面我通过这个模型,... 查看详情