关键词：
Cisco HyperFlex 超融合系统
1. 前言
1.1、 测试背景
虚拟化技术是云计算的关键技术之一，随着云计算技术的逐步推广， 虚拟化环境下传统集中存储架构被越来越多地诟病，超融合架构越来越多地成为虚拟化环境中的首选基础架构。由于其横向扩展、快速部署、易管理、节省机柜空间和耗电等，已在制造、金融、电信、电力等行业的数据中心领域得到部署和应用。
Cisco HyperFlex 作为业界领先的超融合虚拟化平台厂商之一，能够更加快速、高效、稳定的支撑起众多企业的虚拟化环境。
1.2、 测试目的
此次测试需要达到以下目的：
验证CiscoHyperFlex 超融合架构的整合功能。
验证CiscoHyperFlex 基于VMware虚拟化管理套件的功能特性
验证CiscoHyperFlex 超融合架构的可靠性及冗余特点
验证CiscoHyperFlex 系统存储IOPS性能表现
1.3、 测试环境
CiscoHyperFlex 超融合虚拟化测试平台配置如下：
设备型号 | 每节点（共三个节点） | |||
CPU | 内存 | 硬盘 | 网络 | |
FI-6268(2台) | ||||
UCS节点（3台） | E5-2630V4 | 256GB | SSD:120GB *1 SSD:489GB*1 HDD:1.2TB*1 | 10GB SFP+ *2 |
核心业务交换机(1台) | 1台Cisco N9K 核心交换机 | |||
1.4、 网络拓扑
Cisco HyperFlex 测试环境网络拓扑图：
软件名称 | 软件描述 | 备注 |
vCenterServer | vCenterServer6.0 | VCSA6.0 (SuSe Linux) |
DNS/NTP | WindowsServer2012R2 | AD/DNS/NTP |
IOmeter-1.1.0 for Win | 存储性能测试工具 | 每个节点部署一个Testing VM,使用Windows Server2008R2 |
HCIBenchv1.6.1.0 | VMware HCI 超融合架构性能测试软件 | 通过OVF 导入该测试软件虚拟机 |
1.5、 网络地址规划
每个节点有2个万兆端口，分别连接2台万兆FI交换机，FI交换机使用trunk口上联到用户三层交换机。2台FI交换机管理端口通过三层交换机上连至用户已有的管理网络。
1.5.1、 IP地址规划
网络 | Management | Data | ||
节点 | Hypervisor/VMotion | StorageController | Hypervisor | StorageController |
Node-A | 192.168.207.111 | 192.168.207.114 | 1.1.1.11 | 1.1.1.14 |
Node-B | 192.168.207.112 | 192.168.207.115 | 1.1.1.12 | 1.1.1.15 |
Node-c | 192.168.207.113 | 192.168.207.116 | 1.1.1.13 | 1.1.1.16 |
Gateway | 192.168.207.252 | 192.168.207.252 | N/A | N/A |
HypervisorClusterManager | 192.168.207.117 | |||
Installer | 192.168.206.11 | |||
DataClusterManager | 1.1.1.17 | |||
DNS | N/A | |||
NTP | 192.168.206.1 | |||
1.5.2、 VLAN规划
VLAN ID | IP地址段 | 网关 | 用途 | 备注 |
305 | 192.168.207.x | 192.168.207.252 | VM管理、VM业务 | FI带外管理 |
100 | 1.1.1.x | N/A | 分布式数据存储 |
1.5.3、 用户名密码规划
分类 | 用户名 | 口令 | 连接方式 |
FI Node | admin | Cisco123 | MMC |
CVM | root | Cisco123 | SSH |
ESXi | root | Cisco123 | SSH/MMC |
IPMI | admin | Cisco123 | MMC |
vCenter | HTTPS、MMC | ||
NTP/DNS | test.comadministrator | abc123. | MSTSC |
2. HyperFlex综合功能测试
2.1、 IOmeter性能测试
2.1.1、 概述
性能测试主要考验Hyperflex系统读写的IOPS、响应延迟和吞吐带宽。
如果用户需要部署VDI虚拟桌面或数据库应用、文件服务等对存储读写有要求的应用，则会关注在Hyperflex平台上，不同应用场景的应用业务性能将达到的效果。
建议使用IOmeter进行IOps的性能测试，一个在存储领域广泛使用的性能测试软件，企业用户比较认可通过该软件跑出来的结果；另外该软件操作也比较简单，运行在Windows 2008/2012之上，图形化的界面管理。另外在VDI环境测试也可以使用HCIBench软件模拟出批量创建虚拟机并通过这些虚拟机同时运行脚本测试读写性能。
为了跑出最大的性能，建议在每台Hyperflex Node Server部署一个安装了Windows操作系统+IOMeter_VM，通过IOmeter提供的Manager组件同时把这几个IOmeter测试Agent统一管理，同时测试性能，获得累加后的性能数据。
2.1.2、 IOmeter 基本I/O性能测试数据
测试场景 | 总IOPS | 读IOPS | 写IOPS | 平均响应时间(毫秒) | 平均读取响应时间(毫秒) | 平均写入响应时间（毫秒） |
4K 30%写/70%读/100%随机 | 86562.81 | 60730.04 | 25832.77 | 4.4 | 2.2 | 9.7 |
4K100%读/100%随机 | 268567.53 | 268567.53 | N/A | 1.42 | 1.42 | N/A |
说明：测试时长25分钟左右。
2.1.3、 测试步骤
创建IOmeter集群，在每个Hyperflex Node上创建一个VM（运行windows+IOmeter）,其中Test1运行IOmeter控制台（管理多个IOmeter Manager）和IOmeter Manager（实际跑性能的程序）；其他TestX运行IOmeter Manager。
加入集群操作步骤如下：
C:IOmeter>Dynamo–I 192.168.206.23 –m 192.168.206.24
192.168.206.23是Remote IOMeter Server 控制台，192.168.206.24 是加入集群的Manager。
每个测试的虚拟机(win2k8-iometer1、win2k8-iometer2和win2k8-iometer3)都新添加8块虚拟磁盘，每块虚拟磁盘大小为10GB。使用2个SCSI控制器；每个测试虚拟机配置8个vCPU和8GB内存，进入每个测试虚拟机安装并运行IOmeter。
每个测试虚拟机有8个Worker,设置每个Worker对应一块单独的盘，这样压力足够大。
将各IOmeter Manager注册到IOmeter控制台上。每个IOMeterManager会自动生成Worker线程，把CPU撑满。
在每个Worker中选择目标盘/测试模板和结果刷新周期。
设置测试时间为30分钟。
2.2、 VMware HCI Bench测试
2.2.1、 测试环境
通过HCI Bench部署20台虚拟机，分布在3台HX节点上，每个VM的参数如下表所示：
GuestOS | vCPU | Memory | Disks | Disk Size | Data Profile |
Linux photon HCIBenchv1.6.1.0 | 4 | 4096MB | 2块 | 16GB、30GB | 70%Read vs 30%Write 100% Random 4k block |
2.2.2、 测试结果
2.2.3、 测试流程
2.3、 HyperFlex 高可用性测试
2.2.4、 测试概述
在进行HyperFlex高可用性测试之前，需要检查准备工作是否已完成，以免在测试的过程中发生无法及时切换的情况。依次进行模拟故障测试时，需前一个故障在系统中已恢复消除，再展开下一个节点的测试。
每个HX Node Server 已经预先部署了几个测试虚拟机。
2.2.5、 测试场景
测试场景 | 测试点 | 测试目标 | 测试条目/步骤 | 结果 |
主机节点关机 | 集群节点冗余测试 | 具备分布式架构独有的高可用特性，集群中不再存在单一故障点 |
| 运行在该节点的虚拟机丢包53个后恢复，该节点恢复后，虚拟机不再发生迁移，该节点恢复时，虚拟机运行不受影响。 |
FI 交换设备关机 | FI互联矩阵冗余测试 | 具备主备集群模式的FI交换设备，不存在单一设备故障点 |
| 分别运行在三个节点上的虚拟机，3个不丢包，恢复时，分别运行在三个节点上的虚拟机,3个不丢包.
|
FI交换设备 上联链路断开 | FI互联矩阵上联链路冗余测试 | 冗余的上联链路，不存在单一链路故障点 |
| 分别运行在三个节点上的虚拟机，有3个丢一个包，恢复时，分别运行在三个节点上的虚拟机，有2个丢5个包，另外1个不丢包。 |
节点链路断开 | 节点端口冗余 | 具备主备模式的万兆交换模块，不存在单一端口故障点 |
| 分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包，恢复时，分别运行在三个节点上的虚拟机，只有1个丢一个包，另外2个不丢包 |
CVM虚拟机关机 | CVM冗余测试 | 具备分布式架构独有的高可用特性，集群中不再存在单一故障点 |
| 只有一台虚拟机丢了一个包；运行不受影响，HyperFlex平台总容量没有发生变化，恢复时，虚拟机运行不受影响，HyperFlex平台总容量没有发生变化。 |
磁盘故障 | SSD磁盘冗余测试 | 具备分布式架构独有的高可用特性，集群中不再存在单一故障点 |
| 三个虚拟机的IOPS都明显下降，恢复后，三个虚拟机的IOPS都明显回升。 |
硬盘故障 | HDD磁盘冗余测试 | 具备分布式架构独有的高可用特性，集群中不再存在单一故障点 |
| 虚拟机运行不受影响，恢复时，虚拟机运行不受影响。 |
2.2.6、 测试小结
Cisco HyperFlex基于分布式架构的平台 ，在对应磁盘，电源，计算节点，网络设备等单点故障时，有着完善的冗余保护。具有高可用性，保障业务的正常运行。
2.4、 系统监控功能
2.3.1 vCenter HX Plugin插件
Hyperflex的存储服务管理通过vCenter HX Plugin插件完成，可以和vCenter一起完成对虚拟化资源的管理和监控。
HX Plugin插件位于vSphere web client中vCenter Inventory Lists – Cisco HyperflexSystems下，直接点击Cisco HX Data Platform进入。
2.3.2 HX 系统健康状态监控
直接点击Cisco HX Data Platform进入Hyperflex系统管理界面，可以获取HX系统健康状态概览：
点击HX-Storage-Cluster - Summary，可以查看HX系统更加详细的信息
2.3.3 Host健康状态监控
点击HX-Storage-Cluster–Manage-Cluster，可以查看HX Node server的健康状态信息
2.3.4 容量监控
可以通过vCenter HX plugin监控HX的存储容量和每个Data Store的存储容量。
点击HX-Storage-Cluster – Summary查看HX系统的存储容量状态。
点击HX-Storage-Cluster–Manage–Datastore–Summary查看每个DataStore的存储容量情况
点击HX-Storage-Cluster–Manage–Datastore–Hosts查看每个DataStore的在每个Host上的状态情况
2.3.5 故障监控
点击HX-Storage-Cluster–Monitor–Events查看系统日志和告警
2.3.6 性能监控
点击HX-Storage-Cluster–Monitor–Performace查看cluster/host/datastore的IOPS/带宽/延迟
Storatg Cluster 性能状态
Hosts 性能状态
Datastores 性能状态
2.5、 特色功能展示
2.4.1. 简单方式创建数据存储
创建VMware Cluster所需的共享存储空间，HyperFlex提供更直接的方式，在HX Plugin创建存储容量后，VMware Cluster Host将直接被挂载，更加的方便
2.4.2. 通过UCSM统一管理HyperFlex基础设施
UCSM提供原生的网络/计算/存储基础设置统一管理，管理功能实用性远超同类产品
2.4.3. 快速克隆虚拟机
相比于VMware提供的虚机克隆功能，HX通过存储指针变化方式生成快照，快速高效，20个VM仅需要约7秒钟 使用Right-clicka VM > Cisco plugin > Ready Clone。
2.4.4. 去重和压缩
Hyperflex的去重和压缩是自动开启的，可以通过vCenter HXplugin来观察压缩和去重的效果。 在三台HX Server Node共克隆20个VM，使用同一存储空间，克隆完后，观察HX存储容量大小的变化。虽然新增了20个新的VM，但由于启用了去重功能，存储容量的增长比实际20个VM所需要的容量少很多。
2.4.5. 小结
整体界面简洁，信息展示完整。
优秀的系统高可用性设计，单节点故障不会影响系统运行
运维简便
优秀的报表功能
完整的数据保护功能
在随机读写上，HyperFlex的SSD热层技术保障数据在SSD层被充分利用。高IO表现完全优于传统的存储阵列。
3. 测试总结
3.1、 性能测试
超融合架构可充分利用企业级的固态硬盘（SSD）。值得注意的是，传统的存储系统专门针对旋转介质而设计，所以很难有效利用SSD，因为SSD的访问模式截然不同。机械硬盘有旋转和时延，而SSD则不存在这些机械局限性。由于两种媒介之间存在这种不同，因此要求软件进行不同的优化，以实现最佳的性能。我们不能简单拿来专门针对机械硬盘系统编写的软件，然后希望它能够有效运用于固态硬盘。超融合架构利用SSD存储各种各样的常用数据——从虚拟机元数据到主数据存储，一方面通过分布式缓存获得高性能，另一方面通过永久存储实现快速检索。为了将SSD的性能优势最大化，Cisco HyperFlex超融合架构：
保留SSD用于I/O密集型功能
采用各种节省空间的技术，使得较小的物理空间能够存储大量的逻辑数据
自动将“冷”数据或非常用数据迁移至机械硬盘
高速、低时延、自动QOS保障的专用网络，保证了分布式存储对网络的苛刻要求
3.2、 冗余性测试
Cisco HyperFlex 是一个高度可用的横向扩展型系统，不存在单点故障问题。数据分别存储于节点内的各个硬盘以提高性能，并在集群范围内进行复制以便提高其可用性。因此，即使硬盘或整个节点出现故障，也能够保证虚拟机的高可用性（参见2.2。2章节测试用例）。
3.3、 可管理/易用性
HyperFlex提供一种非常直观的、基于Web的用户界面，使管理员能够完全掌控集群中的计算和存储资源。它将每台虚拟机映射至系统中的物理资源，使管理员能够轻松解决与虚拟机有关的问题。
HyperFlex 是一种即插即用的解决方案，其中含有运行大量虚拟服务器或虚拟桌面所需的全部硬件和软件。管理员能够在几分钟时间内将其设置完毕，并开始创建虚拟机。
本文出自 “小地方” 博客，请务必保留此出处http://lazypaul.blog.51cto.com/1032344/1931085
何为超融合
关于超融合的话题，已经火了很长时间了。这种底层采用标准化x86硬件平台，上层采用软件定义的方式，把计算、存储和网络等资源集成在一起组成的超融合系统，不但简化了部署时间，提高了运维效率，更重要的采用能够大幅... 查看详情
什么是超融合？
...国人非常喜欢这个“融”字，IDC数据显示，2015年中国超融合市场整体规模达到9170万美元，超过2014规模的3倍，在Gartner2016年7月公布的技术成熟度曲线中，超融合位于期望膨胀期的最顶点，这预示着，超融合将渡过概念炒作期，... 查看详情
超融合架构真的完美吗？
最早大概是由NUTANIX知道“超融合”概念，原本以为这又是厂商的噱头和炒作，谁知不然，超融合这两年发展如火如荼。2015年被公认为超融合元年，在软件定义存储SDS的推动下，超融合架构正在引领一场巨大的变革，成为软件定... 查看详情
私有云建设之超融合技术
...是真正的私有云，也包括一些虚拟化平台的建设）中，超融合出现的身影越来越多，本文我们探讨下超融合技术。一什么是超融合 既然在说超融合架构，那就肯定有一般的融合架构，这其实也是目前行业内对于... 查看详情
超融合详细对比：市面各主流超融合产品及厂商优劣势解密
随着超融合在国内市场兴起并逐步成为主流，一场针对于IT基础架构的技术变革悄然而至。沿用二十多年的传统IT架构面临着新一代架构的严重冲击。近几年来，面对巨大的市场机遇，超融合厂商也如雨后春笋，不断涌现。企业... 查看详情
云宏大讲坛超融合，融合的不仅是基础架构
Gartner的技术成熟度曲线表明，当前超融合开始进入快速成长期，随着数字化转型和业务全面云化的推进，超融合的势力范围不断扩张。而据IDC数据显示，2017年中国超融合市场同比增长115.3%，整体市场规模达到3.793亿美元，超融... 查看详情
techtarget：超融合云基础概念解析
在《超融合正在成为构建私有云“基石”的主流方案，但其中关系你是否了解？》一文中，我们曾探讨了如何基于商用超融合产品进行私有云IaaS层云化改造，以及其融合部署、弹性的分布式架构和软件定义模式带来的独特优势... 查看详情
超融合
在云架构中，首先要了解“融合”是什么含义？融合就是将两个或多个组件组合到一个单元中，组件可以是硬件或软件。就虚拟化和私有云而言，按照是否完全以虚拟化为中心，融合分为物理融合和超融合两... 查看详情
校园云盘硬件搭建，及建设之超融合技术
...是真正的私有云，也包括一些虚拟化平台的建设）中，超融合出现的身影越来越多，本文我们探讨下超融合技术。一什么是超融合 既然在说超融合架构，那就肯定有一般的融合架构，这其实也是目前行业内对于... 查看详情
超融合架构与传统it架构的区别
选择超融合其实是选择一种对效率的提升方式，从某种程度上讲，超融合类似于动车组车厢，每个车厢都将存储、网络、计算融合在一起以保证数据计算存储传输的高效一致性，在扩容、提升算力等方面只需增加节点、模块即可... 查看详情
超融合产品的优势和适用场景
可以说，超融合是技术积累发展到一定程度，并适应市场而出现的产品；相比传统服务器架构，它的优势非常明显。超融合基础架构避免了基础设施孤岛，同时简化数据处理逻辑，通过多副本存储达到数据双活效果，具备了内置... 查看详情
史上最强超融合入门干货：超融合与传统架构特性及收益详细对比
...架构在中国的兴起和衰败。的确，新IT浪潮已经到来，超融合就是诸多风口之一，成为了近几年IT业界备受关注的话题。虽然超融合这个概念已经被厂商热炒了至少两年，但看到市场上依旧存在着很多模糊的定义和理解，所以想... 查看详情
cio访谈实录丨渤海人寿携手smartx超融合大幅提升开发测试效率
...行业新兴寿险企业渤海人寿选择SmartX帮助企业率先启用超融合架构，在降低运维成本的基础上同时满足了高性能的需求，大幅提升开发测试效率，用技术利器推动业务不断优化上线，保持持续迅猛增长。以下是我们对渤海人寿信... 查看详情
cio访谈实录丨渤海人寿携手smartx超融合大幅提升开发测试效率
...行业新兴寿险企业渤海人寿选择SmartX帮助企业率先启用超融合架构，在降低运维成本的基础上同时满足了高性能的需求，大幅提升开发测试效率，用技术利器推动业务不断优化上线，保持持续迅猛增长。以下是我们对渤海人寿信... 查看详情
为什么超融合正在成为数据中心的主流？
...性成为了主要挑战，因此催生出了一种创新的架构——超融合。近年来超融合发展如火如荼，替换传统架构已势不可挡，超融合正在成为数据中心基础架构的核心。什么是超融合？超融合基础架构（Hyper-ConvergedInfrastructure，或简... 查看详情
zstackcube：超融合3.0，从虚拟化到云平台融合
超融合并不是一个新概念，从诞生到现在，差不多已经有十多年发展历程了。但由于企业底层的IT基础架构在不断变化，所以超融合的内涵也在不断演进。从简单的硬件融合到虚拟化融合，走到今天，超融合已... 查看详情
金融信创场景下，smartx超融合存储性能如何？
...能。得益于软件定义的架构和广泛的硬件兼容性，超融合架构成为了不少金融用户推动IT云化和信创转型的第一选择。然而，一些用户对于超融合在金融信创场景的应用和表现仍有顾虑，希望通过更多测试验证超融合... 查看详情
000入门级的超融合私有云开源解决方案proxmoxve之大纲
入门级的超融合私有云开源解决方案ProxmoxVE之规划部署入门级的超融合私有云开源解决方案ProxmoxVE之传统存储入门级的超融合私有云开源解决方案ProxmoxVE之分布式存储Ceph入门级的超融合私有云开源解决方案ProxmoxVE之高可用集群... 查看详情