rpc原理

zourui4271 zourui4271     2023-01-02     417

关键词:

今天开始聊一些微服务的实践,第一块,RPC框架的原理及实践,为什么说要搞定微服务架构,先搞定RPC框架呢?

一、需求缘起

服务化的一个好处就是,不限定服务的提供方使用什么技术选型,能够实现大公司跨团队的技术解耦,如下图:

技术分享图片

 

 

服务A是欧洲团队提供服务,欧洲团队的技术背景是Java,可以用Java实现服务;

服务B是美洲团队提供服务,可以用C++实现服务;

服务C是中国团队提供服务,可以用Go实现服务;

服务的上游调用方,按照接口、协议即可完成对远端服务的调用。

但实际上,99.9%的公司的团队规模有限,技术团队人数也有限,基本是使用同一套技术体系来调用和提供服务的:

技术分享图片

 

 

这样的话,如果没有统一的服务框架,RPC框架,各个团队的服务提供方就需要各自实现一套序列化、反序列化、网络框架、连接池、收发线程、超时处理、状态机等“业务之外”的重复技术劳动,造成整体的低效。所以,统一RPC框架把上述“业务之外”的技术劳动统一处理,是服务化首要解决的问题。

在达成【“使用统一的RPC框架”是正确的道路】这个一致的前提下,本文期望用简单通俗的言语简述一下一个通用RPC框架的技术点与实现。

二、RPC背景与过程

什么是RPC(Remote Procedure Call Protocol),远程过程调用?

先来看下什么是本地函数调用,当我们写下:

int result = Add(1, 2);

技术分享图片

 

 

这段代码的时候,我们知道,我们传入了1,2两个入参数,调用了本地代码段中的一个Add函数,得到了result出参。此时,传入数据,传出数据,代码段在同一个进程空间里,这是本地函数调用。

那有没有办法,我们能够调用一个跨进程(所以叫“远程”,典型的,这个进程部署在另一台服务器上)的函数呢?

技术分享图片

 

 

最容易想到的,两个进程约定一个协议格式,使用Socket通信,来传输【入参】【调用哪个函数】【出参】。

假设请求报文协议是一个11字节的字节流:

技术分享图片

 

 

(1)前3个字节填入函数名

(2)中间4个字节填入第一个参数

(3)末尾4个字节填入第二个参数

同时可以设计响应报文协议是一个4字节的字节流:

技术分享图片

 

 

即处理结果。

调用方的代码可能变为:

  1. request = MakePacket(“add”, 1, 2);  
  2. SendRequest_ToService_B(request); 
  3. response = RecieveRespnse_FromService_B(); 
  4. int result = unMakePacket(respnse); 

简单解释一下:

(1)讲传入参数变为字节流

(2)将字节流发给服务B

(3)从服务B接受返回字节流

(4)将返回字节流变为传出参数

服务方的代码可能变为:

  1. request = RecieveRequest(); 
  2. args/function = unMakePacket(request); 
  3. result = Add(1, 2); 
  4. response = MakePacket(result); 
  5. SendResponse(response); 

这个过程也很好理解:

(1)服务端收到字节流

(2)将字节流转为函数名与参数

(3)本地调用函数得到结果

(4)将结果转变为字节流

(5)将字节流发送给调用方

技术分享图片

 

 

这个过程用一张图描述如上,调用方与服务方的处理步骤都是非常清晰的。这个过程存在最大的问题是什么呢?

回答:调用方太麻烦了,每次都要关注很多底层细节

(1)入参到字节流的转化,即序列化应用层协议细节

(2)socket发送,即网络传输协议细节

(3)socket接受

(4)字节流到出参的转化,即反序列化应用层协议细节

能不能调用层不关注这个细节呢?

回答:可以,RPC框架就是解决这个问题的,它能够让调用方“像调用本地函数一样调用远端的函数(服务)”。

三、RPC框架职责

通过上面的讨论,RPC框架要向调用方屏蔽各种复杂性,要向服务提供方也屏蔽各类复杂性:

(1)调用方感觉就像调用本地函数一样

(2)服务提供方感觉就像实现一个本地函数一样来实现服务

所以整个RPC框架又分为client部分与server部分,负责把整个非(1)(2)的各类复杂性屏蔽,这些复杂性就是RPC框架的职责。

技术分享图片

 

 

再细化一些,client端又包含:序列化、反序列化、连接池管理、负载均衡、故障转移、队列管理,超时管理、异步管理等等等等职责。

server端包含:服务端组件、服务端收发包队列、io线程、工作线程、序列化反序列化、上下文管理器、超时管理、异步回调等等等等职责。

however,因为篇幅有限,这些细节不做深入展开。

四、结论

(1)RPC框架是架构微服务化的首要基础组件,它能大大降低架构微服务化的成本,提高调用方与服务提供方的研发效率,屏蔽跨进程调用函数(服务)的各类复杂细节

(2)RPC框架的职责是:让调用方感觉就像调用本地函数一样调用远端函数、让服务提供方感觉就像实现一个本地函数一样来实现服务

rpc原理解析

1.RPC原理解析1.1什么是RPCRPC(RemoteProcedureCallProtocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP/IP或UDP,为通信程序之间携... 查看详情

网络编程--rpc实现原理--rpc--迭代版本v1--本地方法调用

 网络编程--RPC实现原理--目录  啦啦啦V2——RPC--本地方法调用:不通过网络入门  1. RPCObjectProxyrpcObjectProxy=newRPCObjectProxy(newLocalRPCClient());:绑定目标对象  2. IUserServiceuserService=(IUserService)rpcObjectProxy.create 查看详情

rpc原理及rpc实例分析

1、什么是RPC由于各服务部署在不同的机器,服务间的调用免不了网络通信过程,服务消费方没调用一个服务都要写一坨网络通信相关的代码,不仅负责而且容易出错RPC(RemoteProcedureCall)远程过程调用能让我们像调用本地服务一样... 查看详情

rpc原理

今天开始聊一些微服务的实践,第一块,RPC框架的原理及实践,为什么说要搞定微服务架构,先搞定RPC框架呢?一、需求缘起服务化的一个好处就是,不限定服务的提供方使用什么技术选型,能够实现大公司跨团队的技术解耦,... 查看详情

通俗易懂的rpc原理

原帖地址感谢作者http://blog.csdn.net/rulon147/article/details/53814589一、什么是RPC  RPC(RemoteProcedureCallProtocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议... 查看详情

java学习---快速掌握rpc原理及实现

...要通过网络来表达调用的语义和传达调用的数据。RPC框架原理在RPC框架中主要有三个角色:Prov 查看详情

flink内核原理学习组件通信rpc(代码片段)

Flink内核原理学习之RPC文章目录Flink内核原理学习之RPC一、Akka与Actor模型二、RPC消息类型三、Flink通信组件3.1RpcGateway3.2RpcEndpoint3.3RpcService与RpcServer3.4AkkaRpcActor四、PRC交互过程Java、大数据开发学习要点(持续更新中…)一、... 查看详情

聊聊rpc原理二

  之前写了一篇关于RPC的文章,浏览量十分感人:),但是感觉文章写得有些粗,觉得很多细节没有讲出来,这次把里边的细节再次补充和说明。  这次主要说的内容分为:  1.RPC的主要结构图。  2.分析结构图的中的细节... 查看详情

一文就读懂rpc远程调用核心原理

rpc核心原理什么是rpc?rpc的全称是RemoteProcedureCall,即远程过程调用,是分布式系统的常用通信方法。Remote,简单来说的话就是两个不同的服务之间,两个服务肯定是两个不同的进程。因此,我们就从跨进程进行访问的角度去理... 查看详情

一文搞懂rpc原理(代码片段)

RPC原理解析什么是RPCRPC(RemoteProcedureCallProtocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP/IP或UDP,为通信程序之间携带信... 查看详情

面向服务架构之rpc原理与实例

1、RPC概述  RPC(RemoteProcedureCall)即远程过程调用,允许一台计算机调用另一台计算机上的程序得到结果,而代码中不需要做额外的编程,就像在本地调用一样。主要是为了应对当前互联网项目量级越来越大而出现的。2、Broker模... 查看详情

rpc原理及实现

1简介RPC的主要功能目标是让构建分布式计算(应用)更容易,在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标,RPC框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用。2调用分... 查看详情

自定义rpc的完整实现---深入理解rpc内部原理(代码片段)

倘若不使用RPC远端调用的情况下,代码如下:local.py#coding:utf-8#本地调用除法运算的形式classInvalidOperation(Exception):def__init__(self,message=None):self.message=messageor‘involidoperation‘defdivide(num1,num2=1):ifnum2==0:raiseInv 查看详情

rpc远程协议之原理分析

RPC远程协议之原理分析 在近几年工作中发现,功能服务化或微服务化越来越流行,逐渐成为实现中大型分布式系统架构的主要方式,而在分布式系统中的不同节点应用间的通信中,RPC远程协议扮演关键作用。实... 查看详情

rpc原理

服务器:启动了一个线程监听Socket端口, 有Socket访问了, 反序列化解析出调用哪个方法,以及传入的参数,再用Socket写回去.客户端:利用Jdk的Proxy生成了一个代理类,在创建Proxy时建立与服务器的Socket连接.调用Proxy的方法时,向... 查看详情

thrift原理浅析

RPC原理RPC(RemoteProcedureCall )远程调用过程。1.定义了一个接口文件,描述了对象,对象成员,接口方法等一系列信息。2.通过RPC框架提供的编译器,将接口说明文件编译成对应的语言文件。2.在客户端和服务端分别引用RPC编译器生... 查看详情

rpc学习

1. 你应该知道的RPC原理2.Double原理解析3.分布式:ZK、一致性、redis、rpc、mq4.redis教程  查看详情

微服务学习rpc原理与gorpc(代码片段)

本文介绍了RPC的概念以及Go语言中标准库rpc的基本使用。什么是RPCRPC(RemoteProcedureCall),即远程过程调用。它允许像调用本地服务一样调用远程服务。RPC是一种服务器-客户端(Client/Server)模式,经典实现... 查看详情