正文 

当前位置： 首页 > java > java框架

超千个节点openstack私有云案例：cern5000+计算节点私有云

世民谈云计算（微信公众号ID：SammyTalksAbout      2022-02-11     203

关键词：

 CERN：欧洲核子研究组织

本文根据以下几篇文章整理而来：

1. 系统

（1）系统规模，2015 年是 5000个计算节点

技术分享

（2）2016年2月是 5500 个计算节点

技术分享

（3）CERN 使用的 OpenStack 版本，基本上是延迟一个社区版本

技术分享

（4）左边是当前正在运行的虚机的数量 16000 个，右边是被创建过的虚机的累计数量，超过 25 M。

技术分享

（5）2015 年的总体结构：一个 region，2 个数据中心，26 个 Cell，全部使用 nova-network

技术分享

在 2016 年2月，已经增长到了 33 个 Cell，而且在其中一个 Cell 中使用了 Neutron。

（6）系统架构：使用 nova-cell

技术分享

（7）Nova cell 架构

技术分享

（8）为什么要使用 Cell？

不同的用户有不同的需求，因此，在不同的Cell内部，可以使用不同的配置，包括 nova scheduler 等；Cell 还有助于缩小故障发生时候的影响域。
技术分享
（9）Cell V1 的局限性
技术分享
（10）Nova-cell 系统架构
技术分享
两级 Cell 结构。只在 Nova Top Cell 上采用 HA，在 Child Cell controller 上不使用HA。
（11）每个 Child Cell 大概 200 个计算节点
技术分享
（12）CERN 自己开发了 Cell 调度器
技术分享
（13）如果将特定 project 的虚机调度到特定的 Child cell 上
技术分享
（14）如何使用 AZ
技术分享
（15）一开始只使用了一个 Child cell
在 2013 年的时候，只使用了一个 Cell，考虑到：（1）Nova Cell 的调度机制非常弱，只能随机调度，（2）想使用 host aggregate功能 （3）不能跨Cell 做 live migration。但是最后发现非常难于管理。
技术分享
 
（16）他们就将其拆分为 9 个 Child cell
 
技术分享
 
（17）Nova 做 block live migration 遇到的问题

技术分享

（18）Nova kilo 版本与 Python 2.6 不兼容

技术分享

（19）CERN 使用基于 nova-network 的 网络分段技术

技术分享

（20）CERN 自己开发了一个 Network driver

技术分享

（21）他们已经对 Neutron 做了大量的测试，已经在计划迁移（到2016年2月他们已经在一个Child cell 中使用 Neutron）

技术分享

（22）Keystone

使用两个不同的 Keystone。Ceilometer 需要调用大量的 API，因此给它们一个专有的Keystone，免得影响用户使用 Keystone。

技术分享

技术分享

（23）Glance

Glance 服务运行在虚机中。之前，Glance registry 可以被别的 Glance API 使用，但是，这导致难于定位问题，因此，现在的 Glance registry 只和本地的 Glance API 通信。但是，Glance 不支持分 Project 设置 Quota，这对他们很重要。

技术分享技术分享

（24）Cinder

使用了 3个 backend，两个 Ceph，一个 NetApp。目前没有 Ceph Cinder driver for hyper-v，所以他们使用了 NetApp，被 Hyper-V 虚机使用。

技术分享 技术分享

（25）Ceilometer

两套Ceilometer 基础 设施。一个保存 sample，meters 等，用于统计，数据保存在 Hbase 中，数据保存3个月。之前用 MogoDB，但是难于扩展。
另一个用于 alarming，它将 CPU sample 保存在 MongoDB 中，只保存几个小时。如果不分开的话，查询 alarming 非常慢。
技术分享

 技术分享 技术分享

（26）Rally

不仅用于 benchmarking 测试，还用于 FVT。

技术分享

（27）新的挑战

技术分享 

2. 简单分析

2.1 CERN 对 Nova Cell 的看法

对大规模的部署，Nova Cell 有几个优势：

  • 对用户只有单端点可见（single endpoint to users）
  • 增加基础架构的可用性和弹性（increase the availability and resilience of the Infrastructure）
  • 避免超出 Nova 和其它外部模块（比如 DB，MQ 等）的上限 （avoid that Nova and external components (DBs, message brokers) reach their limits）
  • 隔离不同用户 （isolate different user cases）

但是，Cell 目前还是有不少的局限，如下的功能不能和 Nova Cell 一起使用：

  • Security Groups; 
  • Manage aggregates on Top Cell; 
  • Availability Zone support; 
  • Server groups; 
  • Cell scheduler limited functionality;

2.2 本人的一点看法

  • 使用现有的 OpenStack 来支持 5000 个计算节点，那是非常非常牛的事情！这可能是目前最大的 OpenStack 生产系统私有云部署规模！
  • 计算扩展性方面，使用 Nova cell 是一个解决方案，但是目前它的 V1 版本已经被冻结，V2 还在开发中，因此，要使用的话，需要做大量的开发和问题定位；而且，它还存在大量的局限性。
  • 网络扩展性方面，Neutron 的扩展性和稳定性依然问题很大，CERN 也在一步步尝试，期待他们使用 Neutron 的心得
  • 存储扩展性方面，Ceph 居然能做到支撑 30PB 的数据量，这也是非常非常牛的事情！
  • Ceilometer 扩展性方面，默认的扩展性和对系统的压力依然问题很大，CERN 做出了改进的非常好的示范
  • 谢谢 CERN 团队的超强工作和无私分享

 

proxmoxve+openstack超融合私有云建设案例（低成本高价值，拿走不谢，干翻公有云）(代码片段)

目录本文最终实现目标材料准备路由器设置机房静态公网ip设置WAN口宽带动态公网ip设置WAN口和DDNSLAN口设置wifi设置交换机配置服务器配置iBMC密码和ip设置升级固件Bios恢复到出厂设置PVE安装和网卡聚合mode4配置下载PVEiso文件iBMC设... 查看详情

openstack构架知识梳理

OpenStack既是一个社区，也是一个项目和一个开源软件，提供开放源码软件，建立公共和私有云，它提供了一个部署云的操作平台或工具集，其宗旨在于：帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、... 查看详情

openstack搭建企业私有云五：dashboard（持续更新...)(代码片段)

...一个web接口，使得云平台管理员以及用户可以管理不同的Openstack资源以及服务。这个部署示例使用的是ApacheWeb服务器。controller节点安装Horizon服务#yuminstallopenstack-dashboard-y#vim/etc/openstack-dashboard/local_settings//188O 查看详情

如何使用openstack将云主机部署到特定的计算节点上

...像一个“移交钥匙”解决方案，但是构筑CloudStack与构筑OpenStack并非完全不同。CloudStack管理组成公有云、私有云、混合云基础设施的网络、存储和计算节点。本回答被提问者采纳 查看详情

openstack架构知识梳理(代码片段)

OpenStack既是一个社区，也是一个项目和一个开源软件，提供开放源码软件，建立公共和私有云，它提供了一个部署云的操作平台或工具集。包括OpenStack计算（代号为Nova），OpenStack对象存储（代号为Swift），并OpenStack镜像服务（代... 查看详情

中小企业openstack私有云布署实践11.3计算nova-compute节点-nova用户免密登录（用于云主机冷迁移+扩展云主机大小）

云主机迁移+扩展云主机大小，官方说它依赖nova用户之间的免密登录。确保每个resion区域的compute节点服务器他们可以相互SSH免密 compute1-7  他们相互SSH免密kxcompute1-9 他们相互SSH免密 1、注意！是每台机器上的nova... 查看详情

中小企业openstack私有云布署实践12.2网络neutron-controller节点配置（办公网环境）

网络这一块推荐使用的是Neutron--LinuxBirdge的Ha高可用，此高可用方案对Public作用不是很大，Public只用到DHCP，而Private则会用到L3Agent，则此方案是有用的，但要关掉和牺牲一个L3population的特性--抑制ARP报文广播。原因在下文的配置文... 查看详情

openstack私有网络的部署(代码片段)

OpenStack私有网络OpenStack网络服务简介部署环境私有网络部署控制端部署计算节点部署图形化部署创建私有网络创建路由通过路由将私网和公网连接起来创建私网的云主机让外部网络可以访问内部网络OpenStack网络服务简介OpenStackNet... 查看详情

私有云rabbitmq集群部署

  默认openstack使用rabbitmq做信息队列，如果想要是云高可用，那么需要对每个涉及的组件都进行高可用配置，本文介绍如何使用rabbitmq做高可用 高可用方法通过Erlang的分布式特性（通过magiccookie认证节点）进行RabbitMQ集... 查看详情

基于openstack构建私有云实践

...ils/54835490作者：朱培ID：sdksdk0本文主要分享的是云计算、openstack的使用、私有云平台建设、云服务器云硬盘的构建和使用。从基本概念入手到私有云建设，信息量非常大。对于openstack的安装部署都是从官方文档中一步步的介绍，... 查看详情

openstack建设企业私有云要解决五大问题

  OpenStack已经成为一种趋势，但发行版OpenStack尚不完美，企业要建成私有云必须预先充分了解发行版OpenStack的缺点，并寻求专业OpenStack提供商的帮助与合作，才能扬长避短，真正发挥OpenStack的优势，建成最大化企业竞争优... 查看详情

openstack建设企业私有云要解决五大问题

OpenStack已经成为一种趋势，但发行版OpenStack尚不完美，企业要建成私有云必须预先充分了解发行版OpenStack的缺点，并寻求专业OpenStack提供商的帮助与合作，才能扬长避短，真正发挥OpenStack的优势，建成最大化企业竞争优势的私有... 查看详情

开源云平台“openstack”

1、Openstack介绍OpenStack是一个开源的云计算管理平台项目，是一系列软件开源项目的组合，为私有云和公有云提供可扩展的弹性的云计算服务，由Rackspace和NASA共同开发的云计算平台，主要负责处理核心云计算服务，包括计算、网... 查看详情

企业私有云之mariadb集群高可用

上篇文章介绍了openstack组件rabbitmq高可用，现在介绍其另一个重要组件mysql高可用。我是本次选择mysql的版本是mariadb，集群方法是galeracluster多主集群。其实也有很多其他方案，如pxc、mha等等，选择galera的原因是安装方便，使用与... 查看详情

openstack搭建企业私有云一：认证服务（持续更新...）(代码片段)

云计算介绍云计算是一种模型，能够提供无论在何时何地都可以便捷获取所需资源的模型，这些资源可以是网络资源、存储资源、服务器资源，甚至是服务器或者应用软件资源等。云计算模型中有三种基本服务模型可用：IaaS:将... 查看详情

云计算赛项私有云(代码片段)

...【赛程名称】云计算赛项第一场-私有云​某企业拟使用OpenStack搭建一个企业云平台，以实现资源池化弹性管理、企业应用集中管理、统一安全认证和授权等管理。系统架构如图1所示，本地环境IP地址规划如表1所示。​竞... 查看详情

openstack-部署

...装软件 生产环境要注意：时间一定要同步https://docs.openstack.org/newton/zh_CN/install-guide-rdo/environment-packages.html 官方网站中文在两个节点都安装：yuminstallhttps://repos 查看详情

openstack私有云运维笔记(代码片段)

Openstack简介官方文档（中文）：https://docs.openstack.org/zh_CN/什么是Openstack​ Openstack是由NASA（美国国家航空航天局）和Rackspace合作研发的IaaS解决方案，是以Apache许可证为授权的开源云计算管理平台。组件1）Horizon组件​ Horizon为Ope... 查看详情