一文搞懂rpc原理(代码片段)

漂流小王子日记 漂流小王子日记     2022-11-30     290

关键词:

RPC原理解析

什么是RPC

RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP/IP或UDP,为通信程序之间携带信息数据。RPC将原来的本地调用转变为调用远端的服务器上的方法,给系统的处理能力和吞吐量带来了近似于无限制提升的可能。在OSI网络通信模型中,RPC跨域了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC架构

一个完整的RPC架构里面包含了四个核心的组件,分别是Client,Client Stub,Server以及Server Stub,这个Stub可以理解为存根。

客户端(Client):服务的调用方。
客户端存根(Client Stub):存放服务端的地址消息,再将客户端的请求参数打包成网络消息,然后通过网络远程发送给服务方。
服务端(Server):真正的服务提供者。
服务端存根(Server Stub):接收客户端发送过来的消息,将消息解包,并调用本地的方法。

RPC调用过程


(1) 客户端(client)以本地调用方式(即以接口的方式)调用服务;
(2) 客户端存根(client stub)接收到调用后,负责将方法、参数等组装成能够进行网络传输的消息体(将消息体对象序列化为二进制);
(3) 客户端通过sockets将消息发送到服务端;
(4) 服务端存根( server stub)收到消息后进行解码(将消息对象反序列化);
(5) 服务端存根( server stub)根据解码结果调用本地的服务;
(6) 本地服务执行并将结果返回给服务端存根( server stub);
(7) 服务端存根( server stub)将返回结果打包成消息(将结果消息对象序列化);
(8) 服务端(server)通过sockets将消息发送到客户端;
(9) 客户端存根(client stub)接收到结果消息,并进行解码(将结果消息发序列化);
(10) 客户端(client)得到最终结果。
RPC的目标是要把2、3、4、7、8、9这些步骤都封装起来。
注意:无论是何种类型的数据,最终都需要转换成二进制流在网络上进行传输,数据的发送方需要将对象转换为二进制流,而数据的接收方则需要把二进制流再恢复为对象。

RPC框架

RPC是分布式系统/应用中应用最为广泛的一种协议,最常见的RPC框架为grpc、Dubble等,下面以Dubble为示例,分析下Dubble框架中RPC的具体使用和实现原理;

Dubble中RPC实现分析

	//客户端
	@Component
	public class HelloClient 

		@Reference // dubbo 注解
		private HelloService helloService;

		public String hello() 
			return helloService.hello("World");
		
	

	// 服务端
	@Service // dubbo 注解
	@Component
	public class HelloServiceImpl implements HelloService 

		@Override
		public String hello(String name) 
			return "Hello " + name;
		
	

示例分析

在客户端,我们可以通过 @Reference 注解,获得一个实现了 HelloServicer 这个接口的对象,我们的业务代码只要调用这个对象的方法,就可以获得结果。对于客户端代码来说,调用就是 helloService 这个本地对象,但实际上,真正的服务是在远程的服务端进程中实现的。

再来看服务端,在服务端我们的实现类 HelloServiceImpl,实现了 HelloService 这个接口。然后,我们通过 @Service 这个注解(注意,这个 @Service 是 Dubbo 提供的注解,不是 Spring 提供的同名注解),在 Dubbo 框架中注册了这个实现类 HelloServiceImpl。在服务端,我们只是提供了接口 HelloService 的实现,并没有任何远程调用的实现代码。

对于业务代码来说,无论是客户端还是服务端,除了增加了两个注解以外,和实现一个进程内调用没有任何区别。Dubbo 看起来就像把服务端进程中的实现类“映射”到了客户端进程中一样。接下来我们一起来看一下,Dubbo 这类 RPC 框架是如何来实现调用远程服务的。

实现分析

在客户端,业务代码得到的 HelloService 这个接口的实例,并不是我们在服务端提供的真正的实现类 HelloServiceImpl 的一个实例。它实际上是由 RPC 框架提供的一个代理类的实例。这个代理类有一个专属的名称,叫“桩(Stub)”。

在不同的 RPC 框架中,这个桩的生成方式并不一样,有些是在编译阶段生成的,有些是在运行时动态生成的,这个和编程语言的语言特性是密切相关的,所以在不同的编程语言中有不同的实现,这部分很复杂,可以先不用过多关注。我们只需要知道这个桩它做了哪些事儿就可以了。

我们知道,HelloService 的桩,同样要实现 HelloService 接口,客户端在调用 HelloService 的 hello 方法时,实际上调用的是桩的 hello 方法,在这个桩的 hello 方法里面,它会构造一个请求,这个请求就是一段数据结构,请求中包含两个重要的信息:

  1. 请求的服务名,在我们这个例子中,就是 HelloService#hello(String),也就是说,客户端调用的是 HelloService 的 hello 方法;
  2. 请求的所有参数,在我们这个例子中,就只有一个参数 name, 它的值是“World”。
    然后,它会把这个请求发送给服务端,等待服务的响应。这个时候,请求到达了服务端,然后我们来看服务端是怎么处理这个请求的。

服务端的 RPC 框架收到这个请求之后,先把请求中的服务名解析出来,然后,根据这个服务名找一下,在服务端进程中,有没有这个服务名对应的服务提供者。

在这个例子的服务端中,由于我们已经通过 @Service 注解向 RPC 框架注册过 HelloService 的实现类,所以,RPC 框架在收到请求后,可以通过请求中的服务名找到 HelloService 真正的实现类 HelloServiceImpl。找到实现类之后,RPC 框架会调用这个实现类的 hello 方法,使用的参数值就是客户端发送过来的参数值。服务端的 RPC 框架在获得返回结果之后,再将结果封装成响应,返回给客户端。

客户端 RPC 框架的桩收到服务端的响应之后,从响应中解析出返回值,返回给客户端的调用方。这样就完成了一次远程调用。我把这个调用过程画成一张图放在下面,你可以对着这张图再消化一下上面的流程。

在上面的这个调用流程中,客户端是如何找到服务端的呢?在 RPC 框架中,这部分的实现原理和消息队列的实现是完全一样的,都是通过一个 NamingService来解决的。

在 RPC 框架中,这个 NamingService 一般称为注册中心。服务端的业务代码在向 RPC 框架中注册服务之后,RPC 框架就会把这个服务的名称和地址发布到注册中心上。客户端的桩stud在调用服务端之前,会向注册中心请求服务端的地址,请求的参数就是服务名称,也就是我们上面例子中的方法签名 HelloService#hello,注册中心会返回提供这个服务的地址,然后客户r55555767 端再去请求服务端。

有些 RPC 框架,比如 gRPC,是可以支持跨语言调用的。它的服务提供方和服务调用方是可以用不同的编程语言来实现的。比如,我们可以用 Python 编写客户端,用 Go 语言来编写服务端,这两种语言开发的服务端和客户端仍然可以正常通信。这种支持跨语言调用的 RPC 框架的实现原理和普通的单语言的 RPC 框架并没有什么本质的不同。

我们可以再回顾一下上面那张调用的流程图,如果需要实现跨语言的调用,也就是说,图中的客户端进程和服务端进程是由两种不同的编程语言开发的。其实,只要客户端发出去的请求能被服务端正确解析,同样,服务端返回的响应,客户端也能正确解析,其他的步骤完全不用做任何改变,不就可以实现跨语言调用了吗?

在客户端和服务端,收发请求响应的工作都是 RPC 框架来实现的,所以,只要 RPC 框架保证在不同的编程语言中,使用相同的序列化协议,就可以实现跨语言的通信。另外,为了在不同的语言中能描述相同的服务定义,也就是我们上面例子中的 HelloService 接口,跨语言的 RPC 框架还需要提供一套描述服务的语言,称为 IDL(Interface description language)。所有的服务都需要用 IDL 定义,再由 RPC 框架转换为特定编程语言的接口或者抽象类。这样,就可以实现跨语言调用了。

讲到这里,RPC 框架的基本实现原理就很清楚了,可以看到,实现一个简单的 RPC 框架并不是很难,这里面用到的绝大部分技术,包括:高性能网络传输、序列化和反序列化、服务路由的发现方法等,与消息队列实现原理中的内容基本类似。

总结

学习一个东西最好的方法就是动手实践,后面文章中我们会手动实现一个RPC框架,并解析一下现存优秀的RPC框架

一文带你搞懂rpc到底是个啥(代码片段)

RPC(RemoteProcedureCall),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议。我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪些?1.RPC... 查看详情

内含面试|一文搞懂hbase的基本原理(代码片段)

本文会对HBase的基本原理进行剖析,通过本文你可以了解到:CAP理论NoSQL出现的原因HBase的特点及使用场景HBase的数据模型和基本原理客户端API的基本使用易混淆知识点面试总结温馨提示:本文内容较长,如果觉得有用,建议收藏。... 查看详情

一文搞懂视频编解码原理(代码片段)

一,基本术语颜色深度:存储每个像素颜色的强度,需要占用一定大小的数据空间,这个空间大小即为颜色深度,对于RGB色彩模型,颜色深度是24(8*3)bit。图片分辨率:图像的像素的数量,通常表示为宽*高。图像/视频宽高比:单... 查看详情

一文快速搞懂mysqlinnodb事务acid实现原理(代码片段)

【51CTO.com原创稿件】说到数据库事务,想到的就是要么都做修改,要么都不做,或者是ACID的概念。其实事务的本质就是锁、并发和重做日志的结合体。这一篇主要讲一下InnoDB中的事务到底是如何实现ACID的:原子性(atomicity)一致... 查看详情

一文搞懂知识蒸馏knowledgedistillation算法原理(代码片段)

知识蒸馏算法原理精讲文章目录知识蒸馏算法原理精讲1.什么是知识蒸馏?2.轻量化网络的方式有哪些?3.为什么要进行知识蒸馏?3.1提升模型精度3.2降低模型时延,压缩网络参数3.3标签之间的域迁移4.知识蒸馏的... 查看详情

一文搞懂mybatis架构与工作原理(代码片段)

前言本文将从宏观角度分析Mybatis的架构与工作原理。架构Mybatis的功能架构分为三层:API接口层:提供给外部使用的接口API,开发人员通过这些API操纵数据库。接口层一接收到调用请求就会调用数据处理层来完成具体... 查看详情

一文彻底搞懂快速幂(原理实现矩阵快速幂)(代码片段)

前言大家好,我是bigsai,之前有个小老弟问到一个剑指offer一道相关快速幂的题,这里梳理一下讲一下快速幂!快速幂是什么?顾名思义,快速幂就是快速算底数的n次幂。你可能疑问,求n次幂算n次叠... 查看详情

一文彻底搞懂快速幂(原理实现矩阵快速幂)(代码片段)

前言大家好,我是bigsai,之前有个小老弟问到一个剑指offer一道相关快速幂的题,这里梳理一下讲一下快速幂!快速幂是什么?顾名思义,快速幂就是快速算底数的n次幂。你可能疑问,求n次幂算n次叠... 查看详情

stm32dma原理,配置步骤超详细,一文搞懂dma(代码片段)

目录DMA(DirectMemoryAccess)简介DMA传输方式DMA功能框图DMA请求映像DMA1控制器DMA2控制器通道仲裁器DMA主要特性DMA处理DMA数据配置从哪里来到哪里去外设到存储器存储器到外设存储器到存储器要传多少,单位是什么什么时... 查看详情

一文搞懂web端登录过程(代码片段)

一文搞懂web端登录过程无状态HTTP协议session和cookiecookie(存放在客户的浏览器上)session(存放在服务器端)session和cookie的区别token登录过程token验证在了解登陆过程的原理前,应该先弄清楚几个概念无状态HTTP... 查看详情

一文彻底搞懂reentrantlock原理基于aqs的公平锁+非公平锁(代码片段)

🍀JVM已经帮我们内置了synchronized关键字来实现同步,为什么还要引入Lock呢?首先需要明白synchronized是JVM层面的锁,Lock是API层面的锁,synchonized的灵活度是远不及Lock的;在JDK5时Lock的效率是优于synchronized... 查看详情

一文搞懂仿射变换(代码片段)

导读在图像处理中,我们经常需要对图像进行各种操作如平移、缩放、旋转、翻转等,这些其实都是图像的仿射变换。通过本篇文章,你能够知道它们的实现原理以及如何应用它们。仿射变换仿射变换也称仿射投影&#x... 查看详情

图文详解一文全面彻底搞懂hbaseleveldbrocksdb等nosql背后的存储原理:lsm-tree日志结构合并树...(代码片段)

LSM树广泛用于数据存储,例如RocksDB、ApacheAsterixDB、Bigtable、HBase、LevelDB、ApacheAccumulo、SQLite4、Tarantool、WiredTiger、ApacheCassandra、InfluxDB和ScyllaDB等。在这篇文章中,我们将深入探讨LogStructuredMergeTree,又 查看详情

图文详解一文全面彻底搞懂hbaseleveldbrocksdb等nosql背后的存储原理:lsm-tree日志结构合并树...(代码片段)

LSM树广泛用于数据存储,例如RocksDB、ApacheAsterixDB、Bigtable、HBase、LevelDB、ApacheAccumulo、SQLite4、Tarantool、WiredTiger、ApacheCassandra、InfluxDB和ScyllaDB等。在这篇文章中,我们将深入探讨LogStructuredMergeTree,又 查看详情

一文搞懂│工厂模式单例模式策略模式适配器模式观察者模式的原理和使用(代码片段)

✨目录🎈工厂模式🎈单例模式🎈策略模式🎈适配器模式🎈观察者模式🎈工厂模式工厂模式的原理作用:就是你只要传你需要的类进去,你就能得到他的实例化对象其实工厂就是帮你实例化你所... 查看详情

一文搞懂│工厂模式单例模式策略模式适配器模式观察者模式的原理和使用(代码片段)

✨目录🎈工厂模式🎈单例模式🎈策略模式🎈适配器模式🎈观察者模式🎈工厂模式工厂模式的原理作用:就是你只要传你需要的类进去,你就能得到他的实例化对象其实工厂就是帮你实例化你所... 查看详情

图文并茂!!!一文搞懂springaop(面向切面编程)(代码片段)

文章目录SpringAOPAOP概述核心原理及使用案例AOP的基本概念(Spring的专业术语)SpringAOP实现SpringAOP的使用导入实现AOP的AspectJ的jar基于AspectJ的xml配置实现五种通知类型配置注解实现SpringAOP我们为什么要使用AOP(面向切面... 查看详情

(单源最短路径)一文搞懂dijkstra算法(代码片段)

前言大家好,我是bigsai,今天给大家讲讲Dijkstra算法,下次拿着这个算法找女神少绕路,有女朋友的可以试试行不行的通。对于Dijkstra算法,很多人可能感觉熟悉而又陌生,可能大部分人比较了解bfs和dfs,而对dijkstra和floyd算法可... 查看详情