一文搞懂rpc的基本原理和层次架构(代码片段)

linux大本营 linux大本营     2022-10-20     606

关键词:

本文来自srpc作者李颖欣,在此基础上略做改动。

只要涉及到网络通信,必然涉及到网络协议,应用层也是一样。在应用层最标准和常用的就是HTTP协议。但在很多性能要求较高的场景各大企业内部也会自定义的 RPC 协议。举个例子,就是相当于各个省不但用官方普通话,还都有自己的方言,RPC就相当于是一个方言。

RPC 的全称是Remote Procedure Call,翻译过来就是远程过程调用。但这个名字起的一点都不好,过分强调了和LPC(本地过程调用)的对比。没有突出出来 RPC 本身涉及到的一些技术特点。

我们今天来从三个角度和大家聊聊 RPC。

  • RPC是什么:通过和HTTP的对比来帮大家了解RPC
  • RPC有什么:介绍了RPC用到的用户桩代码、IDL序列化、压缩、协议、通信等技术点
  • RPC生命周期:详细探讨RPC从请求发出到收到返回的全过程

今天的讲解会结合基于C++实现的开源项目SRPC。SRPC整体代码风格简洁、架构层次精巧,整体约1万行代码,非常适合用来学习RPC架构:https://github.com/sogou/srpc

一. RPC是什么

RPC可以分为两部分:用户调用接口 + 具体网络协议。前者为开发者需要关心的,后者由框架来实现。

1. 用户调用接口

举个例子,我们定义一个函数,我们希望函数如果输入为“Hello World”的话,输出给一个“OK”,那么这个函数是个本地调用。如果一个远程服务收到“Hello World”可以给我们返回一个“OK”,那么这是一个远程调用。我们会和服务约定好远程调用的函数名。因此,我们的用户接口就是:输入输出远程函数名,比如用SRPC开发的话,client端的代码会长这样:

int main()

    Example::SRPCClient client(IP, PORT);
    EchoRequest req; // 用户自定义的请求结构
    EchoResponse resp; // 用户自定义的回复结构
  
    req.set_message("Hello World");
    client.Echo(&req, &resp, NULL); // 调用远程函数名为Echo
    return 0;

2. 具体网络协议

这是框架来实现的,把开发者要发出和接收的内容以某种应用层协议打包进行网络收发。这里可以和HTTP进行一个明显的对比:

  • RPC是一种自定义网络协议,由具体框架来定,比如SRPC里支持的RPC协议有:SRPC / thrift / BRPC / tRPC,并且也是tRPC协议目前唯一的开源实现,我们拿其中的SogouRPC-std protocol为例给大家看看RPC协议的大概样子:
  • HTTP也是一种网络协议,但包的内容是固定的,必须是:请求行 + 请求头 + 请求体;

3. 进一步思考

上图对应的颜色,所实现的功能是类似的。我们想一想,为什么大家都长差不多呢?

这里就需要搞清楚,我们想要实现用户接口,需要怎么做?最重要需要支持以下三个功能:

  • 定位要调用的服务;
  • 把完整的消息切下来;
  • 让我们的消息向前/向后兼容;

这样既可以让消息内保证一定的灵活性,又可以方便拿下一块数据,去调用用户想要的服务。

我们用一个表格来看一下HTTP和RPC分别是怎么解决的:


定位要调用的服务消息长度消息前后兼容HTTPURLheader里Content-Lengthbody里自己解决RPC指定Service和Method名协议header里自行约定交给具体IDL

因此,大家都会需要类似的结构去组装一条完整的用户请求,而第三部分的body只要框架支持,RPC协议和HTTP是可以互通的!因此开发者完全可以根据自己的业务需求进行选型,接下来我们看一下RPC的层次架构,就可以明白为什么不同RPC框架之间的互通、以及RPC和HTTP协议又是如何做到互通的。

二、 RPC有什么

我们可以借SRPC的架构,看一下RPC框架从用户到系统都有哪些层次,以及SRPC目前所横向支持的功能是什么:

  • 用户代码(client的发送函数/server的函数实现)
  • IDL序列化(protobuf/thrift serialization)
  • 数据组织 (protobuf/thrift/json)
  • 压缩(none/gzip/zlib/snappy/lz4)
  • 协议 (Sogou-std/Baidu-std/Thrift-framed/TRPC)
  • 通信 (TCP/HTTP)

我们先关注以下三个层级:

如图从左到右,是用户接触的最多到最少的层次。IDL层会根据开发者定义的请求/回复结构进行代码生成,目前小伙伴们用得比较多的是protobuf和thrift,而刚才说到的用户接口和前后兼容问题,都是IDL层来解决的。SRPC对于这两个IDL的用户接口实现方式是:

  • thrift:IDL纯手工解析,用户使用srpc是不需要链thrift的库的 !!!
  • protobuf:service的定义部分纯手工解析

中间那列是具体的网络协议,而各RPC能互通,就是因为大家实现了对方的“语言”,因此可以协议互通。

而RPC作为和HTTP并列的层次,第二列和第三列理论上是可以两两结合的,只需要第二列的具体RPC协议在发送时,把HTTP相关的内容进行特化,不要按照自己的协议去发,而按照HTTP需要的形式去发,就可以实现RPC与HTTP互通。

相关视频推荐

90分钟搞懂分布式RPC开源框架-gRPC

看完《tcp/ip详解》不能coding的,一次课开启设计tcp/ip协议栈

学习地址:C/C++Linux服务器开发/后台架构师

需要C/C++ Linux服务器架构师学习资料加qun812855908获取(资料包括C/C++,Linux,golang技术,Nginx,ZeroMQ,MySQL,Redis,fastdfs,MongoDB,ZK,流媒体,CDN,P2P,K8S,Docker,TCP/IP,协程,DPDK,ffmpeg等),免费分享

三、 RPC的生命周期

到此我们可以通过SRPC看一下,把request通过method发送出去并处理response再回来的整件事情是怎么做的:

根据上图,可以更清楚地看到刚才提及的各个层级,其中压缩层、序列化层、协议层其实是互相解耦打通的,在SRPC代码上实现得非常统一,横向增加任何一种压缩算法或IDL或协议都不需要也不应该改动现有的代码,才是一个精美的架构~

我们一直在说生成代码,到底有什么用呢?图中可以得知,生成代码是衔接用户调用接口和框架代码的桥梁,这里以一个最简单的protobuf自定义协议为例:example.proto

syntax = "proto3"; // 这里proto2和proto3都可以

message EchoRequest

    string message = 1;
;

message EchoResponse

    string message = 1;
;

service Example

    rpc Echo(EchoRequest) returns (EchoResponse);
;

我们定义好了请求、回复、远程服务的函数名,通过以下命令就可以生成出接口代码example.srpc.h:

protoc example.proto --cpp_out=./ --proto_path=./
srpc_generator protobuf ./example.proto ./

我们会发现,同时还会生成出server.pb_skeleton.cc和client.pb_skeleton.cc,这是为了方便开发者的两个空文件。我们继续一窥究竟,看看生成代码到底可以实现什么功能:

// SERVER代码
class Service : public srpc::RPCService

public:
    // 用户需要自行派生实现这个函数,与刚才pb生成的是对应的
    virtual void Echo(EchoRequest *request, EchoResponse *response,
                      srpc::RPCContext *ctx) = 0;
;

// CLIENT代码
using EchoDone = std::function<void (EchoResponse *, srpc::RPCContext *)>;

class SRPCClient : public srpc::SRPCClient 

public:
    // 异步接口
    void Echo(const EchoRequest *req, EchoDone done);
    // 同步接口
    void Echo(const EchoRequest *req, EchoResponse *resp, srpc::RPCSyncContext *sync_ctx);
    // 半同步接口
    WFFuture<std::pair<EchoResponse, srpc::RPCSyncContext>> async_Echo(const EchoRequest *req);
;

作为一个高性能RPC框架,SRPC生成的client代码中包括了:同步半同步异步接口,文章开头展示的是一个同步接口的做法。

而server的接口就更简单了,作为一个服务端,我们要做的就是收到请求->处理逻辑->返回回复,而这个时候,框架已经把刚才提到的网络收发、解压缩、反序列化等都给做好了,然后通过生成代码调用到用户实现的派生service类的函数逻辑中。

由于一种协议定义了一种client/server,因此其实我们同样可以得到的server类型有第二部分提到过的若干种:SRPCServer/SRPCHttpServer/BRPCServer/TRPCServer/ThriftServer/...

四、 一个完整的server例子

最后我们用一个完整的server例子,来看一下用户调用接口的使用方式,以及如何跨协议使用HTTP作为client进行调用。刚才提到,srpc_generator在生成接口的同时,也会自动生成空的用户代码,我们这里打开server.pb_skeleton.cc直接改两行,即可run起来:

#include "example.srpc.h"
#include "workflow/WFFacilities.h"

using namespace srpc;
static WFFacilities::WaitGroup wait_group(1);

void sig_handler(int signo)

    wait_group.done();


class ExampleServiceImpl : public Example::Service

public:

    void Echo(EchoRequest *request, EchoResponse *response, srpc::RPCContext *ctx) override
    
        response->set_message("OK"); // 具体逻辑在这里添加,我们简单地回复一个OK
    
;

int main()

    unsigned short port = 80; // 因为要启动Http服务
    SRPCHttpServer server; // 我们需要构造一个SRPCHttpServer

    ExampleServiceImpl example_impl;
    server.add_service(&example_impl);

    server.start(port);
    wait_group.wait();
    server.stop();
    return 0;

只要安装了srpc和workflow,linux下即可通过以下命令编译出可执行文件:

g++ -o server server.pb_skeleton.cc example.pb.cc -std=c++11 -lsrpc

接下来是激动人心的时刻了,我们用人手一个的curl来发起一个HTTP请求:

curl -i 127.0.0.1:80/Example/Echo -H 'Content-Type: application/json' -d 'message:"Hello World"'

五、 解锁更多

通过这篇文章,相信我们可以清晰地了解到RPC的接口长什么样,也可以通过与HTTP协议互通来理解协议层次,更重要的是可以知道具体纵向的每个层次及横向对比我们常见的每种使用模式都有哪些。但其实,RPC还可以做的事情还有很多,包括内部各层次的解耦合设计、框架层的功能埋点、外部服务集群的对接等等:

内含面试|一文搞懂hbase的基本原理(代码片段)

本文会对HBase的基本原理进行剖析,通过本文你可以了解到:CAP理论NoSQL出现的原因HBase的特点及使用场景HBase的数据模型和基本原理客户端API的基本使用易混淆知识点面试总结温馨提示:本文内容较长,如果觉得有用,建议收藏。... 查看详情

一文搞懂mybatis架构与工作原理(代码片段)

前言本文将从宏观角度分析Mybatis的架构与工作原理。架构Mybatis的功能架构分为三层:API接口层:提供给外部使用的接口API,开发人员通过这些API操纵数据库。接口层一接收到调用请求就会调用数据处理层来完成具体... 查看详情

一文搞懂视频编解码原理(代码片段)

一,基本术语颜色深度:存储每个像素颜色的强度,需要占用一定大小的数据空间,这个空间大小即为颜色深度,对于RGB色彩模型,颜色深度是24(8*3)bit。图片分辨率:图像的像素的数量,通常表示为宽*高。图像/视频宽高比:单... 查看详情

一文搞懂sae日志采集架构(代码片段)

日志,对于一个程序的重要程度不言而喻。无论是作为排查问题的手段,记录关键节点信息,或者是预警,配置监控大盘等等,都扮演着至关重要的角色。是每一类,甚至每一个应用程序都需要记录和查看... 查看详情

一文搞懂sae日志采集架构(代码片段)

日志,对于一个程序的重要程度不言而喻。无论是作为排查问题的手段,记录关键节点信息,或者是预警,配置监控大盘等等,都扮演着至关重要的角色。是每一类,甚至每一个应用程序都需要记录和查看... 查看详情

一文带你搞懂rpc到底是个啥(代码片段)

RPC(RemoteProcedureCall),是一个大家既熟悉又陌生的词,只要涉及到通信,必然需要某种网络协议。我们很可能用过HTTP,那么RPC又和HTTP有什么区别呢?RPC还有什么特点,常见的选型有哪些?1.RPC... 查看详情

一文读懂层次聚类(python代码)(代码片段)

大家好,我是东哥。本篇想和大家介绍下层次聚类,先通过一个简单的例子介绍它的基本理论,然后再用一个实战案例Python代码实现聚类效果。首先要说,聚类属于机器学习的无监督学习,而且也分很多种方法,比如大家熟知的... 查看详情

一文快速搞懂mysqlinnodb事务acid实现原理(代码片段)

【51CTO.com原创稿件】说到数据库事务,想到的就是要么都做修改,要么都不做,或者是ACID的概念。其实事务的本质就是锁、并发和重做日志的结合体。这一篇主要讲一下InnoDB中的事务到底是如何实现ACID的:原子性(atomicity)一致... 查看详情

androidjetpack架构组件一文带你了解viewmodel的使用和原理(代码片段)

本文首发于微信公众号「后厂技术官」前言在本系列的第4和第5篇文章中,介绍了LiveData的使用和原理,LiveData和ViewModel是一对好搭档,这篇文章我们一起来学习什么是ViewModel、ViewModel基本使用、ViewModel的原理。1.什么... 查看详情

一文彻底搞懂leveldb架构(代码片段)

leveldbleveldb是一个写性能十分优秀的存储引擎,是典型的LSM-tree的实现。LSM的核心思想是为了换取最大的写性能而放弃掉部分读性能。那么,为什么leveldb写性能高?简单来说它就是尽量减少随机写的次数。leveldb首先将... 查看详情

一文彻底搞懂leveldb架构(代码片段)

leveldbleveldb是一个写性能十分优秀的存储引擎,是典型的LSM-tree的实现。LSM的核心思想是为了换取最大的写性能而放弃掉部分读性能。那么,为什么leveldb写性能高?简单来说它就是尽量减少随机写的次数。leveldb首先将... 查看详情

一文彻底搞懂leveldb架构(代码片段)

leveldbleveldb是一个写性能十分优秀的存储引擎,是典型的LSM-tree的实现。LSM的核心思想是为了换取最大的写性能而放弃掉部分读性能。那么,为什么leveldb写性能高?简单来说它就是尽量减少随机写的次数。leveldb首先将... 查看详情

一文搞懂jvm架构和运行时数据区(内存区域)(代码片段)

前言了解JVM是对Java开发人员的基本要求,JVM的相关内容自然也成了现在Java程序员面试的重要考点。不过估计很多小伙伴和我一样,长时间醉心于CRUD,却忘了去了解一下更底层、更基础的东西,殊不知这些才是决定你能在这条路... 查看详情

一文搞懂web端登录过程(代码片段)

一文搞懂web端登录过程无状态HTTP协议session和cookiecookie(存放在客户的浏览器上)session(存放在服务器端)session和cookie的区别token登录过程token验证在了解登陆过程的原理前,应该先弄清楚几个概念无状态HTTP... 查看详情

一文搞懂│工厂模式单例模式策略模式适配器模式观察者模式的原理和使用(代码片段)

✨目录🎈工厂模式🎈单例模式🎈策略模式🎈适配器模式🎈观察者模式🎈工厂模式工厂模式的原理作用:就是你只要传你需要的类进去,你就能得到他的实例化对象其实工厂就是帮你实例化你所... 查看详情

一文搞懂│工厂模式单例模式策略模式适配器模式观察者模式的原理和使用(代码片段)

✨目录🎈工厂模式🎈单例模式🎈策略模式🎈适配器模式🎈观察者模式🎈工厂模式工厂模式的原理作用:就是你只要传你需要的类进去,你就能得到他的实例化对象其实工厂就是帮你实例化你所... 查看详情

一文搞懂知识蒸馏knowledgedistillation算法原理(代码片段)

知识蒸馏算法原理精讲文章目录知识蒸馏算法原理精讲1.什么是知识蒸馏?2.轻量化网络的方式有哪些?3.为什么要进行知识蒸馏?3.1提升模型精度3.2降低模型时延,压缩网络参数3.3标签之间的域迁移4.知识蒸馏的... 查看详情

图文并茂!!!一文搞懂springaop(面向切面编程)(代码片段)

文章目录SpringAOPAOP概述核心原理及使用案例AOP的基本概念(Spring的专业术语)SpringAOP实现SpringAOP的使用导入实现AOP的AspectJ的jar基于AspectJ的xml配置实现五种通知类型配置注解实现SpringAOP我们为什么要使用AOP(面向切面... 查看详情