关键词：
Thrift 简单示例
2017-01-19 16:47:57
首先通过先面两个示例简单感受一下Thrift（RPC）服务端与客户端之间的通信......
Thrift 是什么？
Thrift 源于大名鼎鼎的 facebook 之手，在 2007 年 facebook 提交 Apache 基金会将 Thrift 作为一个开源项目,对于当时的 facebook 来说创造 thrift 是为了解决 facebook 系统中各系统间大数据量的传 输通信以及系统之间语言环境不同需要跨平台的特性。所以 thrift 可以支持多种程序语言,例如: C++, C#, Cocoa, Erlang, Haskell, Java, Ocami, Perl, PHP, Python, Ruby, Smalltalk. 在多种不同的语言之间通信 thrift可以作为二进制的高性能的通讯中间件,支持数据(对象)序列化和多种类型的 RPC 服 务。Thrift 适用于程序对程 序静态的数据交换,需要先确定好他的数据结构,他是完全静态化的,当数据结构发生变化时,必须重新编辑 IDL 文件,代码生成,再编译载入的流程,跟其他 IDL 工具相比较可以视为是 Thrift 的弱项,Thrift 适用于搭建大型数据交换及存储的通用工具,对于大型系统中的内部数据传输相对于 JSON 和 xml 无论在性能、传输大小上有明显的优势。
Thrift 是 IDL(interface definition language)描述性语言的一个具体实现,关于 IDL的话题我们可以追溯到 CORBA 盛行 1999-2001 年(Common Object Request Broker Architecture/公用对象请求代理体系结构),在 IDL 中我们似乎不会忘记到这几个关键字:module、interface、string、long 和 int,我还记得 IDL 利用 module来创建名称空间,并且准确地映射为 Java 的 package,这些特性几乎和现在 thrift的特性完全相同,所以 thrift 的设计思想和理念绝不是什么从火星来的 new idea,看看在那个 CORBA 盛行的年代人们提出的概念,如图所示 CORBA 请求的各个部分,回头我们再与 thrift 进行对比一下:
Thrift 基础架构
Thrift 是一个服务端和客户端的架构体系,从我个人的感官上来看 Thrift 是一个类似XML-RPC+Java-to- IDL+Serialization Tools=Thrift 的东东,Thrift 具有自己内部 定义的传输协议规范(TProtocol)和传输数据标准(TTransports),通过 IDL 脚本对传输数据的数据结构(struct) 和传输数据的业务逻辑(service)根据不同的运行环境快速的 构建相应的代码,并且通过自己内部的序列化机制对传输的数据进行简化和压缩提高高并发、 大型系统中数据交互的成本,下图描绘了 Thrift 的整体架构,分为 6 个部分:
你的业务逻辑实现(Your Code)客户端和服务端对应的 Service执行读写操作的计算结果TProtocolTTransports底层 I/O 通信
图中前面 3 个部分是 1.你通过 Thrift 脚本文件生成的代码,2.图中的褐色框部分是你根据生成代码构建的客户端和处理器的代码,3.图中红色的部分是 2 端产生的计算结 果。从 TProtocol 下面 3 个部分是 Thrift 的传输体系和传输协议以及底层 I/O 通信,Thrift 并且提供 堵塞、非阻塞,单线程、多线程的模式运行在服务器上,还可以配合 服务器/容器一起运行,可以和现有 JEE 服务器/Web 容器无缝的结合。
Thrift 基本数据类型
bool：布尔值，true 或 false，对应 Java 的 booleanbyte：8 位有符号整数，对应 Java 的 bytei16：16 位有符号整数，对应 Java 的 shorti32：32 位有符号整数，对应 Java 的 inti64：64 位有符号整数，对应 Java 的 longdouble：64 位浮点数，对应 Java 的 doublestring：utf-8编码的字符串，对应 Java 的 Stringstruct：定义公共的对象，类似于 C 语言中的结构体定义，在 Java 中是一个 JavaBeanlist：对应 Java 的 ArrayListset：对应 Java 的 HashSetmap：对应 Java 的 HashMapexception：对应 Java 的 Exceptionservice：对应服务的类
Thrift 数据传输协议
Thrift 可以让你选择客户端与服务端之间传输通信协议的类别,在传输协议上总体上划分为文本(text)和二进制(binary)传输协议, 为节约带宽,提供传输效率,一般情况下 使用二进制类型的传输协议为多数,但有时会还是会使用基于文本类型的协议,这需要根据项目/产品中的实际需求。
TBinaryProtocol–二进制编码格式进行数据传输TCompactProtocol–这种协议非常有效的,使用 Variable-Length Quantity(VLQ) 编码对数据进行压缩TJSONProtocol–使用 JSON 的数据编码协议进行数据传输TSimpleJSONProtocol–这种节约只提供 JSON 只写的协议,适用于通过脚本语言解析TDebugProtocol–在开发的过程中帮助开发人员调试用的,以文本的形式展现方便阅读
Thrift 传输层
TSocket-使用堵塞式 I/O 进行传输,也是最常见的模式TFramedTransport-使用非阻塞方式,按块的大小,进行传输,类似于 Java 中的 NIOTFileTransport-顾名思义按照文件的方式进程传输,虽然这种方式不提供 Java 的实现,但是实现起来非常简单TMemoryTransport-使用内存 I/O,就好比 Java 中的 ByteArrayOutputStream实现TZlibTransport- 使用执行 zlib 压缩,不提供 Java 的实现
Thrift 服务端类型
TSimpleServer-单线程服务器端使用标准的堵塞式 I/OTThreadPoolServer-多线程服务器端使用标准的堵塞式 I/OTNonblockingServer–多线程服务器端使用非堵塞式 I/O,并且实现了 Java 中的 NIO 通道
Thrift 与其他传输方式的比较
XML 与 JSON 相比体积太大,但是 XML 传统,也不算复杂。JSON 体积较小,新颖,但不够完善。Thrift 体积超小,使用起来比较麻烦,不如前两者轻便,但是对于 1.高并发、2.数据传 输量大、3.多语言环境, 满足其中 2 点使用 thrift 还是值得的。
服务端编码基本步骤：
实现服务处理接口impl创建TProcessor创建TServerTransport创建TProtocol创建TServer启动Server
客户端编码基本步骤：
创建TTransport创建TProtocol基于TTransport和TProtocol创建 Client调用Client的相应方法
tips:客户端和服务端的协议要一致
Thrift接口文件书写
新建文件并命名为demoHello.thrift
1 namespace java com.unionpay.thrifttest 2 3 service HelloWorldService{ 4 string sayHello(1:string username) 5 }
Thrift接口文件编译
1 thrift -r -gen java demoHello.thrift
Java服务端代码及解释
1 import org.apache.thrift.protocol.TCompactProtocol; 2 import org.apache.thrift.server.TServer; 3 import org.apache.thrift.server.TSimpleServer; 4 import org.apache.thrift.transport.TServerSocket; 5 import org.apache.thrift.transport.TServerTransport; 6 7 public class HelloServerDemo { 8 9 //定义服务端口号 10 public static final int SERVER_PORT = 8090; 11 12 public static void main(String[] args){ 13 HelloServerDemo service = new HelloServerDemo(); 14 service.startServer(); 15 } 16 17 public void startServer(){ 18 try{ 19 System.out.println("HelloWorld TSimpleServer start..."); 20 21 /* thrift Processor 业务逻辑处理层 22 创建Processor，HelloWorldImpl 实现类作为参数传入Processor构造方法里 23 processor主要完成的事情： 24 1.把idl里定义的方法进行封装，最终暴露出一个统一的接口给thrift server进行调用 25 2.封装protocol和transport层，包括输入输出流的处理细节、序列化反序列化*/ 26 HelloWorldService.Processor<HelloWorldService.Iface> tprocessor = new HelloWorldService.Processor<HelloWorldService.Iface>(new HelloWorldImpl()); 27 28 //创建TServerTransport 29 TServerTransport serverTransport = new TServerSocket(SERVER_PORT); 30 TServer.Args tArgs = new TServer.Args(serverTransport); 31 tArgs.processor(tprocessor); 32 //创建TProtocol 33 tArgs.protocolFactory(new TCompactProtocol.Factory()); 34 //创建TServer 35 TServer server = new TSimpleServer(tArgs); 36 //启动TServer 37 server.serve(); 38 }catch(Exception e){ 39 System.out.println("Server start error!"); 40 e.printStackTrace(); 41 } 42 } 43 }
java客户端代码实现及解释
1 import org.apache.thrift.TException; 2 import org.apache.thrift.protocol.TCompactProtocol; 3 import org.apache.thrift.protocol.TProtocol; 4 import org.apache.thrift.transport.TSocket; 5 import org.apache.thrift.transport.TTransport; 6 import org.apache.thrift.transport.TTransportException; 7 8 /** 9 * @author jxwch 10 * @date 2017.01.17 11 * 12 */ 13 public class HelloClientDemo { 14 15 //定义Socket服务参数 16 public static final String SERVER_IP = "localhost"; 17 public static final int SERVER_PORT = 8090; 18 public static final int TIMEOUT = 30000; 19 20 21 public static void main(String[] args){ 22 HelloClientDemo client = new HelloClientDemo(); 23 client.startClient("jxwch"); 24 } 25 26 public void startClient(String userName){ 27 28 29 TTransport transport = null; 30 try{ 31 //创建TTransport 32 transport = new TSocket(SERVER_IP, SERVER_PORT, TIMEOUT); 33 //创建TProtocol 34 TProtocol protocol = new TCompactProtocol(transport); 35 //创建Client 36 HelloWorldService.Client client = new HelloWorldService.Client(protocol); 37 //启动TTransport 38 transport.open(); 39 40 //调用client中封装的方法 41 String result = client.sayHello(userName); 42 System.out.println("Thrift Client result: " + result); 43 }catch(TTransportException e){ 44 e.printStackTrace(); 45 }catch(TException e){ 46 e.printStackTrace(); 47 }finally{ 48 if(null != transport){ 49 transport.close(); 50 } 51 } 52 } 53 }
ThriftDemo示例下载
thrift入门之helloworld
不多说，先看项目结构首先先编写一个hello.thrift的文件hello.thriftnamespacejavasawshawserviceHelloServicestringhello(1:stringmethod,2:stringparam) 注意了，这个namespace是 thrif根目录下tutorial目录的gen-java目录下的，如果没有这个目录，先cmd到tutoria... 查看详情
半小时入门thrift(代码片段)
...。拆分后一定会存在进程之间的交互（简称：PRC），那么thrift就是facebook推出一款开源的rpc框架，且还跨语言。此文章就是来打开thrift的打开（当然这次还是基于.net）。示例代码下载：https://gitee.com/samtest-pr 查看详情
thrift入门之mac下的安装流程(代码片段)
新建一个maven项目，先下载maven依赖 http://thrift.apache.org/download12345<dependency> <groupId>org.apache.thrift</groupId> <artifactId>libthrift</ 查看详情
rpc远程协议之thrift入门
RPC远程协议之Thrift入门 在上一篇文章《RPC远程协议之原理分析》中，我介绍了RPC的工作原理及欲实现RPC框架功能应该做哪些事情，因为要做的事情太多，完全由开发人员研发实现，不是很现实，所以市面上出... 查看详情
[linux]以匹配系统为例入门thrift框架(代码片段)
[Linux]以匹配系统为例入门Thrift框架参考博客/文章：ApacheThrift系列详解(一)-概述与入门acwingLinux基础课(主要参考这里的教程）RPC是什么，看完你就知道了thrift官网c++并行编程速成什么是ThriftThrift是一个轻量级、... 查看详情
thrift入门及java实例演示(代码片段)
...端编码基本步骤数据传输协议实例演示（java） thrift生成代码 实现接口IfaceTSimpleServer服务模型TThreadPoolServer服务模型TNonblockingServer服务模型THsHaServer服务模型异步客户端[一]、概述Thrift是一个软件框架，用来进行可扩... 查看详情
thrift
Thrift公司的一些平台服务框架底层封装了thrift提供服务,最近项目不是很紧,于是研究了一下,刚刚入门,理解得不深,写这篇博文来整理一下思路.什么是thrift? 简单来说,是Facebook公布的一款开源跨语言的RPC框架. 那么问题来了.... 查看详情
[todo]thrift学习
可以借鉴以下两个页面：http://blog.csdn.net/poechant/article/details/6618264Thrift使用入门（1）-Thrift概述及其安装http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/ApacheThrift-可伸缩的跨语言服务开发框架 查看详情
hive快速入门
...作。 Hive没有专门的数据格式。Hive可以很好的工作在Thrift之上，控制分隔符，也允许用户指定数据格式。二.架构 1.用户接口主要有三个：CLI，Client和WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client... 查看详情
apachethrift系列详解-概述与入门
前言Thrift是一个轻量级、跨语言的远程服务调用框架，最初由Facebook开发，后面进入Apache开源项目。它通过自身的IDL中间语言,并借助代码生成引擎生成各种主流语言的RPC服务端/客户端模板代码。Thrift支持多种不同的编程语言，... 查看详情
大数据技术之flumeflume概述flume快速入门(代码片段)
...可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegener 查看详情
大数据技术之flumeflume概述flume快速入门(代码片段)
...可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegener 查看详情
Windows 上的 Thrift / Google 协议缓冲区
】Windows上的Thrift/Google协议缓冲区【英文标题】：Thrift/GoogleProtocolBuffersonWindows【发布时间】：2010-03-1813:27:25【问题描述】：查看Thrift和GoogleProtocolBuffers以实现一些快速的RPC代码。如果在Windows上编译生成的C++代码（这是我需要的... 查看详情
kafka快速入门
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820Kafka快速入门（四） 查看详情
全栈开发系列
一、全栈开发之HTML全栈开发之HTML快速入门（一）二、全栈开发之CSSCSS快速入门-引入方式CSS快速入门-基本选择器CSS快速入门-组合选择器CSS快速入门-属性和伪类CSS快速入门-盒子模型CSS快速入门-实用技巧CSS快速入门-float和positionCS... 查看详情
kafka快速入门
Kafka快速入门Kafka快速入门（一）——Kafka简介https://blog.51cto.com/9291927/2493953Kafka快速入门（二）——Kafka架构https://blog.51cto.com/9291927/2497814Kafka快速入门（三）——Kafka核心技术https://blog.51cto.com/9291927/2497820Kafka快速入门（四）——Ka... 查看详情
thrift的一些概念(代码片段)
Thrift最初是由Facebook开发的，因为随着流量和网络结构的扩展，一些操作如搜索、分发、事件日志记录等已经超出系统的处理范围，所以Facebook的工程师开发服务时选择了多种不同的编程语言来达到满意的性能... 查看详情
大数据目录
...的体系则更排在后面，加油2018，熊二哥大数据基础Hadoop快速入门NOSQLNOSQL快速入门[HBase快速入门Redis快速入门MongoDB快速入门[Neo4j快速入门搜索引擎[Lucene快速入门[ElasticSearch快速入门[Solr快速入门数据分析参考资料[英文名] 查看详情