关键词：

  目前，在私有云建设（很多可能并不是真正的私有云，也包括一些虚拟化平台的建设）中，超融合出现的身影越来越多，本文

我们探讨下超融合技术。

一 什么是超融合

        既然在说超融合架构，那就肯定有一般的融合架构，这其实也是目前行业内对于超融合定义争论的焦点，也就是说哪些定义为

融合架构，哪些定义为超融合架构。

        个人来说比较倾向于以下定义：天然地(Natively)将两个或多个组件组合到一个独立的单元中，这句话的关键词是天然地

（Natively）。这种定义有个好处就是留了很多自由解释的空间，没有把这个边界框得太死。

        至于其他的解释，个人觉得太具体化了，太具体的东西就容易引发争议。其实和很多IT领域里面的技术名称一样，我们不一定

要追求一个所谓的标准定义，可能起名称的人本来就没考虑这么多。

二 超融合的出现

2.1    性能需求

        传统架构的业务系统在运行一段时间后，经常会遇到业务系统变慢，特别是在业务高峰期表现非常明显，比如月底月初的财务

系统。

        那在大多数的案例中，问题往往出现在存储阵列上面，特别是虚拟化普及后，这种情况表现得更加明显。这主要是在阵列使用

一段时间后，随着磁盘等部件的老化，磁盘阵列的性能会存在一定的性能下降；同时，业务系统的运行也存在着使用范围越来越广，

用户越来越多，特别是虚拟化平台上虚拟机越开越多的情况。

        那传统的解决方案，往往是更换性能更高的存储设备，特别是SSD盘的价格下调在一定程度上解决了阵列磁盘的读写问题，但

是，这时网络和阵列控制器往往成为了新的瓶颈。

        在网络方面，以Intel S3700系列固态硬盘为例，其读写速度分别可达500MB/s和460MB/s,那不同的网络带宽能满足对应的SSD

盘理论读写速度如下：

 

 

        就算是理论上支持40Gb的交换速度的IB交换机的出现，依然不能满足大规模固态盘使用的速度要求。

        在存储控制器方面：SSD对存储架构的影响是巨大的，传统机械硬盘的4K随机性能只有300左右，而类似intel 3700这样的

SSD则可以达到超过7.5万IOPS。双控制器架构在闪存架构中会成为瓶颈，比如EMC的Unity 650 可以支持一千块硬盘或SSD，

但31块SSD的时候就到达瓶颈。

2.2    技术的成熟

（1）分布式存储架构

        分布式存储在亚马逊、谷歌等大型公有云得到了很好的应用，它基于X86服务器构建一个易扩展、高可靠的存储资源池，这是

超融合的基础。

（2）SSD盘的广泛使用

        SSD的出现，解决了超融合架构中冷热数据分层的问题，也使得数据的访问速度相对比阵列访问有了质的提高，下面是特定

I/O类型的不同延迟特性：

 

 

 

（3）CPU、网络

        CPU长期以来基本遵循了摩尔定律的发展，更加强大廉价的CPU能在同时满足计算和存储需求。同时，万兆网络的普及解决了

不同服务器之间的数据横向快速流动的要求。

2.3    超融合的技术路线

        超融合这个概念太热，以至于除了我们所熟知Nutanix、VMware等厂商外，大部分的传统硬件厂商都推出了自己超融合产品，

比如HP、DELL、华为、华三……，也有一些新晋玩家像深信服、SmartX等。

        但这些厂商所走的超融合路线也有很大不同。

        按照融合的程度，大致分为两大类：

        以Nutanix、VMware为代表的厂商，强调尽量利用服务器本地资源来满足虚拟机的计算、存储需求，计算资源、存储资源没有

在硬件层做硬性的划分，他强调的是计算资源池、存储资源池的概念，在超融合的底层让虚拟化优先使用本地的存储资源。

        另外一个技术路线的厂商大多借鉴Oracle数据库一体机的实现方式，将X86服务器划分为计算节点和存储节点，服务器之间采

用IB交换机相连，这和传统的集中式存储在逻辑架构上是一致的，区别只是用分布式存储取代了磁盘阵列。

        在小型规模的应用上，以上两种路线的区别不大，但在规模应用之后，第二种实现方式的网络瓶颈就可能会显现。本文介绍的

超融合技术，将以第一种为参照。

三 超融合的架构

        由于Nutanix在超融合领域的地位，其他超融合厂商在技术实现或多或少的借鉴了Natanix，该部分主要借鉴Nutanix超融合技术

方案让大家了解下具体的超融合技术实现，以避免相关内容流于概念和表面。

        在Nutanix的架构中，大致可分为两大块，Prism和Acropolis。简单的说就是一个是管理模块（给管理人员用的），一个资源管

理模块（如何去调度底层资源）。

3.1    Prism

        Prism是一个分布式的资源管理平台，允许用户跨集群环境管理和监控对象及服务。

 

 

        这部分内容不难理解，这里不做太多介绍，感兴趣的朋友可以自己去查阅相关文档。

3.2    Acropolis

        Acropolis 是一个分布式的多资源管理器，集协同管理和数据平台功能于一身。它可以被细分为如下三个主要组件：

        ? 分布式存储架构 (DSF)

        o 这是Nutanix 核心的赖以生存的组件，其基于分布式文件系统（HDFS）扩展而来。

        ? 应用移动性架构 (AMF)

        o 类似于 Hypervisor 把操作系统从硬件剥离而来，AMF 把工作负载（虚机、存储和容器等）从 Hypervisor 抽象剥离开。这使

        能在不同的Hypervisor 之间切换和移动工作负载。

        ? 虚拟化管理器（AHV）

        o 一个基于 CentOS KVM hypervisor 的多用途虚拟化管理器组件。

        下图以概要的方式展示了 Acropolis 不同层次的结构和关系：

 

 

3.2.1  融合平台

        Nutanix 解决方案是一个融合了存储和计算资源于一体的解决方案。它利用本地资源/组件来为虚拟化构建一个分布式的平台，

亦称作虚拟计算平台。

        每个节点运行业界标准的 hypervisor（ESXi, KVM, Hyper-V）和 Nutanix 控制器虚机（CVM）。Nutanix CVM 中运行着

Nutanix 核心软件，服务于所有虚机和虚机对应的 I/O 操作。得益于Intel VT-d（VM直接通路）技术，对于运行着VMware vSphere

的 Nutanix 单元，SCSI 控制（管理 SSD 和 HDD 设备）被直接传递到CVM。 下图解释了典型的节点逻辑架构：

 

 

3.2.2  集群组件

        Nutanix 平台由下列宏观组件构成：

 

 

        Cassandra

         ? 关键角色: 分布式元数据存储

        ?描述：Cassandra 基于重度修改过的 Apache Cassandra，以分布式环的方式存放 和管理所有的集群元数据。Paxos 算法被

        用来保证严密的一致性。在集群中所有 节点上都运 行着这个服务。Cassandra 通过一个叫做 Medusa 的协议来访问。

        Zookeeper

        ? 关键角色: 集群配置管理

        ? 描述：基于 Apache Zookeeper 实现，Zookeeper 存放了所有的集群配置信息，包 括主机、IP 地址和状态等。集群中有三

        个节点会运行此服务，其中的一个被选举 成 leader。Leader 接收所有请求并转发到它的组员。一旦 leader 失去了反应，新

        的leader 会被自动选举出来。Zookeeper 通过称作 Zeus 的接口来访问。

        Stargate

        ? 关键角色: 数据 I/O 管理

        ? 描述：Stargate负责所有的数据管理和 I/O 操作，是 hypervisor 主要的接口（通过 NFS、iSCSI 或 SMB）。为了供本地 I/O

        操作的能力，集群中所有节点都运行此服务。

        Curator

         ? 关键角色：以 Mapreduce 方式管理和清理集群

        ?描述：Curator 负责在整个集群间分配和调度任务，诸如磁盘容量平衡、预清理等 。

        Prism

         ? 关键角色：用户界面和 API

        ?描述：Prism 是一个组件管理网关，它让管理员能配置和监控 Nutanix 集群。它提供多种管理手段，如 Ncli、HTML5 UI 和

        REST API。Prism运行在集群中的每个节点，如同集群中其他组件一样也采用 leader 选举制。

        Genesis

        ? 关键角色：集群组件和服务管理

        ?描述：Genesis 是一个负责配置初始化和服务交互的进程，运行在每个节点上。 Genesis 不依赖于集群，即不管集群是否配

        置或运行与否，它都运行着。它唯一的前提是 Zookeeper 必须起来并运行着。

        Chronos

        ? 关键角色：任务调度

        ? 描述：Chronos 负责把由 Curator 扫?产生的任务在节点间调度执行并合理分配。 Chronos 运行在每个节点上，受控于主

        Chronos（负责任务委托且和主 Curator 运行在同一节点）。

        Cerebro

        ? 关键角色：数据复制和容灾管理

        ? 描述：Cerebro 负责 DSF 中的数据复制和容灾管理部分，包含快照的调度、远程 站点的数据同步及站点的迁移和故障切换。

        Cerebro 运行在 Nutanix 集群的每个节 点上，并且每个节点都参与远程站点/集群的数据同步。

        Pithos

        ? 关键角色：vDisk 配置管理

        ? 描述：Pithos 负责 vDisk（DSF 文件）的配置数据。Pithos 构建于 Cassandra 之 上，并运行在每个节点。

四 分布式关键技术和概念

4.1    节点架构

        在ESXi的部署中，控制器虚拟机（CVM）硬盘使用的 VMDirectPath I/O 方 式。这使得完整的PCI控制器（和附加设备）通过

直通方式连接 CVM并绕过虚拟化层。 这种设计让其超融合技术和虚拟化软件实现了解耦。

 

 

 

4.2    存储池

        一个存储池是一组物理存储设备，大部分情况下，单个集群配置一个存储池。

4.3    容器

        容器（container）从逻辑上划分存储池，并包含一组虚拟机或者文件（即虚拟磁盘）。很多人可能不理解为什么Nutanix要提

出容器的概念，其实它是为了数据存储的灵活性，比如，在一个集群内，不同的虚拟化对应的应用数据可能重要性不同，需要的副

本数也不同，这时，就需要采用不同的容器，进行不同的设定。所以在实际使用了，我们经常将对存储需求类似的虚拟机（含数据）

划分到同一个容器内，这不仅要考虑当前状态，还有今后可能的变动。

4.4    KVM架构

         KVM 中包含以下主要组成：

         KVM-kmod ： KVM 内核

         Libvirtd： API 接口，针对 KVM 和 QEMU 的监控、管理工具。 Acropolis 通过 libvirtd 与 KVM／QEMU 进行通讯。

         Qemu-kvm ： 一个“模拟器”（machine emulator），使得各个虚拟机能够独立运行。 Acropolis 通过它来实现硬件的虚拟化，

并使得 VM 以 HVM 的形式运行。

        以下是各个组成的逻辑示意图：

 

 

        处理器兼容性

        类似于 Vmware 的 Enhanced vMotion Capability（EVC），它允许 VM 在不 同代次的处理器间进行迁移。Acropolis 将检测

群集中代次最老的处理器，并把 所有的 QEMU 限定在此级别上。这样就可以允许不同代次的处理器进行混 用，并确保主机之间可

以实现 VM 的在线迁移。

4.5    Nutanix的复制因子和冗余因子

        Nutanix的冗余因子在集群创建的时候就需要设置，并且后期不能改变，它确定了集群能同时坏掉多少台物理服务器而不影响集

群的正常运行，而复制因子是针对容器的（一个集群一般包含多个容器），它表示了数据在容器的副本份数。应该来说，冗余因子从

物理上保证了复制因子的实现，所以，复制因子不能大于冗余因子，只能小于等于。

4.6    VM High Availability (HA)

        Acropolis 的 VM HA 可以确保当主机或 Block 掉电时，VM 的持续运行。当某个主机宕机时，VM 将在集群中某个健康节点中重

新启动。其中，Acropolis Master 负责该 VM 的重启操作。

        Acropolis Master 通过 Libvirt 监测节点的健康状况：

 

 

五 超融合适用用户

        超融合适合所有用户吗，这个回答见仁见智？不过个人认为，以下情况的客户可以优先考虑超融合：

        1、如果在今后一段时间内，业务可能有较大增长；

        2、对系统对IO性能有较高要求；

        3、技术实力较强，想要对自身信息化架构充分掌控；

 

        但如果没有自己的技术力量，又非常看重硬件平台的稳定性，对任何硬件故障有一定程度“恐惧”的客户建议可以再等等。

六 结论

        在未来几年，可以确信“超融合”架构，以其强大的性能、部署灵活性、使用方便性等多方面优势，将成为主流的IT架构之一

ugeek大咖说|直播回顾：可观测之超融合存储系统的应用与设计

上周，UGeek大咖说第六期「可观测之超融合存储系统的应用与设计」专题分享活动完美落幕此次直播由优维研发总监陈安礼Linus主讲分享了优维对可观测的看法与实践此次活动细数了可观测平台面临的高频问题，也针对性地提供... 查看详情

校园私有云盘

校园私有云盘在学校里面应用，解决电教老师的痛苦（校园私有云盘系统），互联网云盘陆续关闭，私有云盘建设需求提上日程，建一个资源库，选择网站形式的，大凡使用过这类网站的用户，都会感觉到太不方便了，用域资源... 查看详情

ai+视频技术助力保障校园安全，校园智能安防平台该如何建设？

...;江西省某幼儿园发生一起伤人事件，这一意外故事让校园安全再度成为社会关注的焦点。如何进一步加强校园安全防范工作、防止类似事件再度发生，也成为社会各界以及校园管理者不容忽视的重要任务。国家标准《中... 查看详情

ai智能识别技术如何助力校园智慧食堂建设保障餐饮卫生安全？

一、行业背景随着暑假结束，各大校园也陆续开学，学校食堂的食品卫生与安全管理等相关监管工作也成为家长、师生、领导们关注的重点问题。把关好学校食堂的食品卫生与安全，也就是保障在校师生的生命安全与... 查看详情

学校私有云盘在学校信息化建设中的作用-教学资源库平台

...教学资源库平台建设在教育信息化体的重要作用在以往的校园信息化建设中，政府和学校 查看详情

easycvr及智能分析网关在校园视频融合及明厨亮灶项目中的应用方案设计

随着校园智能化需求的不断增长，越来越多的校园逐渐开始升级校园监控视频平台，将原先传统的视频监控系统，逐渐升级转变为灵活性强、视频能力丰富、具备AI检测能力、并能支持视频汇聚与统一管理的智能化校... 查看详情

电子政务私有云盘系统建设必备-mobox政务盘

...统互联互通、信息共享和业务协同已经成为智慧政务私有云盘系统建设的重要任务。结合硬件性能提升、云计算、大数据、移动、社交的发展趋势，政府行业在建设智慧政务私有云盘系统的进程中存在以下问 查看详情

360全景校园特点，有哪些优势

360全景校园是基于360全景和VR(虚拟现实)技术等高新技术的发展，以虚拟现实场景界面的形式直观表现现实校园的景观及设施，并可上传到互联网提供远程用户访问和虚拟漫游，促进校园建设和教育发展的一种全新的技术概念。 ... 查看详情

学校数字班牌-校园电子班牌

学校数字班牌-校园智能化管理18127306305数字班牌产品优势智慧班牌功能是奥嘉视智慧校园综合显示管理平台的最核心功能模块，智慧班牌系统以多媒体信息显示技术为基础，融入教务管理的应用模块，为学校及班级打造智慧管理... 查看详情

linux搭建开源企业云盘seafile，私有文件同步云盘及基本使用(代码片段)

一、简介在日常生活经常需要在不同的设备间同步文件，还有在企业作为公司云存储备份使用。类似的有谷歌云端硬盘，但是作为企业不能统一管理，即没有admin权限管理其他账号，而且免费空间有限。国内的百... 查看详情

linux搭建开源企业云盘seafile，私有文件同步云盘及基本使用(代码片段)

一、简介在日常生活经常需要在不同的设备间同步文件，还有在企业作为公司云存储备份使用。类似的有谷歌云端硬盘，但是作为企业不能统一管理，即没有admin权限管理其他账号，而且免费空间有限。国内的百... 查看详情

光环：研发云搭建及人才梯队建设——姚冬

摘要：文章内容主要来源于光环国际2022年第三届中国科创者大会姚冬老师的分享，原分享名称为"数字化时代的研发效能建设"。讲述了华为在研发上整套流程规范，通过云的方式去实现人机协同，保持人去... 查看详情

校园云盘享你所想

猇亭区第一小学举行校园云盘培训4月10日，猇亭区第一小学的多功能教室里，一场校本培训正在举行。再瞧瞧咱参会的各位老师们，人手一部手机，低头摆弄，个个变身为手机党、低头族。大家可别误会，今天的主题就是手机版... 查看详情

[云计算]hcip-2-融合存储基础技术及raid技术

[云计算]HCIP-2-融合存储基础技术及RAID技术目录[云计算]HCIP-2-融合存储基础技术及RAID技术1.传统RAID分类创建RAID组成员盘的条件2.存储知识3.RAID2.04.存储相关概念5.传统RAID和RAID2.0比较1.传统RAID分类RAID级别描述RAID0数据条带化，无校... 查看详情

精准匹配，高效对接——首期“校园建设线上供需对接会”成功举办

精准匹配，高效对接——首期“校园建设线上供需对接会”成功举办2021年12月24日，由SCE校建会主办的首期“校园建设线上供需对接会”圆满结束。十四五规划提出高质量教育发展要求，校园建设面临场景重构，... 查看详情

智慧校园智慧教育大数据平台

项目解决方案智慧校园基于该学校现状和发展定位，打造“5G+一平台+N应用”智慧校园解决方案，赋能教学、管理和服务升级，打造5G+智慧校园的深度应用场景，助力教育智能化发展。建设目标打造5G教育大数据平台，建设目标... 查看详情

中国银行金融科技建设实践与经验谈

...作为技术转型的基础平台，支撑细分场景下定制化系统的建设和落地应用。首先，新技术的研究及应用按照“技术预研-原型研发-平台规划-试点应用到规模化应用”的思路，有节奏的推进各系统的建设与落地。其次，坚持以客户... 查看详情

高校如何使用校园私有云盘

开学季福利：高校如何使用校园私有云盘 校园云盘的兴起，要从2016年4月的一次关键事件开启——彼时，大量针对个人业务的免费网盘纷纷宣布因为一些有关政策，停止对个人的网盘服务。所以对于不少学校，特别是高校来... 查看详情