关键词：
目录
第零章、前言：为什么？做什么？怎么做？
最近带队做了公司的一个项目，叫数据交换平台，旨在物理隔离的情况下对多端业务系统进行数据的加密、传输、监控。
正好这个项目的架构师也在公司做了一次架构层面的技术分享，我便把此次分享和我在项目实践中遇到的一些坑一起整理出来，形成本系列文章。
本系列文章介绍在物理隔离的网络条件下进行数据交换的难点，以及如何保证文件交换的可靠性和安全性，如何与业务系统做到低耦合。
本文的目的在于跟读者一起经历整个项目，看看项目之初我们为什么去启动这个项目，项目的边界在哪里？
项目启动后我们为什么去这样架构和设计？为什么做这样的选型？
再看看项目之中我们怎样去解决断点续传、文件加解密、文件传输监控、文件存储策略、多节点集群等方面的问题？
最后再看看项目结束之后我们又收获了什么？是否真正地解决了问题？还有没有可改进的地方？
第一章、数据交换平台的一些基本概念
1.1 数据交换与交换平台
数据交换在一般意义上实际上是指物理硬件上的电路交换，而我们本次探讨的内容则是软件系统间的数据交换实现。
那么软件系统中的数据交换都有哪些类型呢？
- API接口
这应该是我们最常用的一种数据交换方式了。可是，API接口也算是数据交换吗？
事实上，我们所有的ESB、webService、API网关、RPC、MQ等等，都是在做系统间通信的工作。
我们想一想，不同的系统间通信什么内容呢？不就是灵与灵的交流、心与心的沟通，嗯，数据跟数据的交换吗？
- 共库
这应该是最简单的一种交换方式了，我把数据放到这个库，然后给你开个只读用户，或者对你开放同义词、视图权限，我写你读，你写我读。
- ETL
ETL是英文Extract-Transform-Load的缩写，指将数据从源端抽取取、转换、加载到目标端的一个过程。
ETL常常用在数据仓库，但其实并不限于数据仓库。
- 数据交换平台
在我的理解中，数据交换平台其实就是ETL的一个扩展集，它可以对多个应用子系统进行信息/数据的传输及共享，对各种分布异构系统进行互联互通，建立中心数据库，完成数据的抽取、集中、加载、展现，有着统一的数据处理和交换方法。
1.2 什么是物理隔离？
那我们本次要说的数据交换平台跟上面定义中的交换平台有什么区别呢？
为什么我们的文章标题中要加一个物理隔离呢？
实际上在我们软件系统数据传输中，大部分都是通过TCP协议来通信的，而在物理隔离的情况下，这一法则将不再适用。
什么是物理隔离？
这个嘛，说起来也是颇具中国特色。在政务内网中，有个名词频频被提及，就是网闸。
这个吊吊的设备提供了我们政务内网与互联网之间的网络安全性。
什么是网闸？来看看百度词条上的一段话：
网闸是使用带有多种控制功能的固态开关读写介质连接两个独立主机系统的信息安全设备。
网闸是怎么保证内外网的安全性的？
由于物理隔离网闸所连接的两个独立主机系统之间，不存在通信的物理连接、逻辑连接、信息传输命令、信息传输协议，不存在依据协议的信息包转发，只有数据文件的无协议"摆渡"，且对固态存储介质只有"读"和"写"两个命令。
一句话，就是文件摆渡。另外提一嘴，这个协议隔断可是从链路层搞起的哦。
当前面临的情况就是，一个网闸连接两台主机，只监控这两台主机上指定的文件夹目录，摆渡目录中的文件，从A1到B1，从B2到A2，如此这般。
这两台连接网闸的主机，我们一般叫做前置机。
那么，这两台前置机之间通信只能依赖文件跟文件的交换了。哦，NO。管你什么基于TCP、UDP的HTTP、FTP、TFTP、socket都完蛋。
好吧，看来，网闸真的神一样的存在啊。而网络直连的API接口访问、共库、ETL好像都成了镜花水月一样的东西，看得见，摸不着。只能走自建数据交换平台，使用文件交换这条路了。
紧接着，我们因为这个网闸产生的一系列问题即将接踵而来。
怎么把数据变成文件上传到前置机上去交换？怎么在目标端下载下来？
怎么保证大文件的传输完整呢？中途失败了怎么办？
怎么知道对面的主机收到了我发送的文件呢？网闸可不提供TCP的ACK功能。
怎么保证数据的安全性呢？中途被篡改了怎么办？
怎么保证数据的时序性呢？网闸可不按照时间顺序给你传递文件。
怎么监控数据流转的情况呢？丢包了怎么办？有没有办法可以知道？
嗯，如果想了解以上问题，请看第二章：交换平台的项目边界与架构设计。
第二章在哪里看？额，还没写，等两天吧。
qcon演讲实录（上）：多云环境下应用管理与交付实践
...多个运维中台服务的开发和建设。后来随着大数据架构从物理机向云化转变，我逐步开始从事容器化相关的改造，再到现在完全是云原生的天下。在这个过程中，我主导了我们这边的ABM，也就是大数据运维平台，在专有云及公共... 查看详情
信息安全政策（隔离与监控）
...离 涉密系统不得直接或间接与国际联网，必须实行物理隔离；2000年1月1日正式实施的《计算机信息系统国际联网保密管理规定》中也明确规定：“凡涉及国家秘密的计算机信息系统，不得直接过间接地与国际互联网或者其... 查看详情
网闸原理
...换。其本质在于：两个独立主机系统之间，不存在通信的物理连接和逻辑连接，不存在依据TCP/IP协议的信息包 查看详情
第八周作业
...域，一般用于划分LAN，或者链接LAN。 （2）集线器：物理层设备，多端口，无法隔离冲突域，用于连接主机。 （3）二层交换机：数据链路层设备，多端口，与网桥相比，交换机可学习MAC地址，根据MAC地址转发数据，可隔... 查看详情
内外网文件安全交换：2019年四大发展趋势
...部门、大型企业、学校、医院等组织机构都采用了内外网隔离技术。而随着企业数字化转型逐步深入，企业的业务开展，越来越依赖于与外部进行持续大量的数据交换。因此，在内外网隔离状态下的文件数据安全交换技术越来越... 查看详情
datapipeline丨新型企业数据融合平台的探索与实践
...据融合是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。企业数据融合平台，通常的表现形态为运行着大量数据同步和转换任务的分布式系统。其源端一般为各类偏实时的业... 查看详情
vlan隔离广播域
...二层交换机端口的网络用户的逻辑分段，不受网络用户的物理位置限制而根据用户需求进行网络分段。lan是虚拟局域网。用途是在二层可以隔离广播域，从而提高数据传输的效率。在不同的网络端口划分了Vlan时，二层的数据转... 查看详情
如何使作业/线程与崩溃隔离
】如何使作业/线程与崩溃隔离【英文标题】：Howtoinsulateajob/threadfromcrashes【发布时间】：2011-04-0305:56:43【问题描述】：我正在开发一个库，我将各种任务交给一些第三方库，这些库执行一些相对粗略或危险的特定于平台的工作。... 查看详情
云计算--网络原理与应用--20171120--vlan与三层交换机配置
...，降低网络传输效率。 为了控制广播风暴常见方法：物理隔离：将网络从物理上划分成若干个小网络。逻辑隔离 查看详情
单臂路由原理及实践
...接口上通过配置子接口（或“逻辑接口”，并不存在真正物理接口）的方式，实现原来相互隔离的不同VLAN（虚拟局域网）之间的互联互通。链路类型交换机连接主机的端口为access链路交换机连接路由器的端口为Trunk链路子接口路... 查看详情
蚂蚁区块链平台baas技术解析与实践
...方面蚂蚁区块链BaaS支撑了众多的区块链业务场景和上链数据流量，其平台背后必然拥有着难以想象的黑科技和先进技术。那么BaaS平台究竟是什么呢？这个问题可以从三个方面进行回答。首先，它是一个开放式平台。有别于单一... 查看详情
技术解析系列|pouchcontainergoroutineleak检测实践
...来帮助企业快速实现存量业务容器化，以及提高企业内部物理资源的利用率。PouchContainer同时还是一款golang项目。 查看详情
istio技术与实践01：源码解析之pilot多云平台服务发现机制(代码片段)
服务模型首先，Istio作为一个（微）服务治理的平台，和其他的微服务模型一样也提供了Service，ServiceInstance这样抽象服务模型。如Service的定义中所表达的，一个服务有一个全域名，可以有一个或多个侦听端口。typeServicestruct//Host... 查看详情
袋鼠云春季生长大会圆满落幕，带来数实融合下的新产品新方案新实践！
...满落幕。在春季生长大会中，袋鼠云带来了数实融合趋势下的最新行业沉淀、最佳实践经验和行业前瞻性的产品发布。从大数据基础软件“数栈”、到低代码数字孪生世界“易知微”，再到可观测运维专家“云掣”，为广大用户... 查看详情
phoenix在2345公司的实践（转）
...Phoenix与实时数仓的融合思路。具体内容如下： 实时数据查询时客服系统中一个很重要的模块，提供全公司所有主要产品的数据的查询功能，由于各产品的数据库、数据表错综复杂、形式多样，在平台建设的初期走了很多弯... 查看详情
网络隔离主要技术
...交互。一般的网络隔离技术都是以访问控制思想为策略，物理隔离为基础，并定义相关约束和规则来保障网络的安全强度。网络隔离技术分类物理隔 查看详情
dataworks功能实践—生产开发环境隔离
简介：DataWorks功能实践系列，帮助您解析业务实现过程中的痛点，提高业务功能使用效率！往期回顾：DataWorks功能实践速览01期——数据同步解决方案：为您介绍不同场景下可选的数据同步方案。DataWorks功... 查看详情
如何实现同一交换机下广播域的隔离(vlan)?华为交换机配置样例
...交换机一个接口下的网络是一个冲突域，所以交换机可以隔离 查看详情