只需6步,你就可以搭建一个云原生操作系统原型

阿里云云栖号 阿里云云栖号     2022-10-23     172

关键词:

编者按:过去的三年对基础软件领域来说是不平凡的三年,是波涛汹涌的三年。随着国际形势和行业格局的变化,大家一定充分感受到了云原生和操作系统这两个话题的热度。那么当云原生和操作系统这两个热点话题相遇的时候,会发生什么故事?本文整理自 2022 年阿里巴巴开源开放周技术演讲,让作者带我们走进这场技术盛宴。

本次的分享主题围绕三个方面展开:

首先简要介绍一下龙蜥云原生 SIG(Special Interest Group) 的前世今生。我们为什么要成立云原生 SIG?想解决什么样的问题?它如何解决这些问题?接下来进一步分享如何基于开源社区和组织,从头开始一步一步构建一个云原生操作系统的原型。最后介绍云原生 SIG 的运作机制,并诚挚地邀请大家一起来参与龙蜥云原生 SIG 的建设。

一、龙蜥社区云原生 SIG

回头看我在操作系统和云原生两个领域的一些经历是非常有意义的,因为它可以让我从不同的视角来看这两个领域的发展。基于我在操作系统和云原生领域的职业经历,最近我开始思考云原生和操作系统是什么关系?应该如何推动这两个领域的共同发展?所以我协同行业的合作伙伴一起推动成立了龙蜥云原生 SIG,为研发一套龙蜥云原生操作系统做准备。上面提到了龙蜥云原生操作系统,那么大家可能会好奇,什么是云原生?云原生和操作系统有什么关系?我们如何才能构建一个云原生操作系统?

云原生就是充分利用云基础设施来开发软件应用的一种模式,也就是站在巨人的肩膀上,充分利用成熟稳定的云基础设施来开发、发布、运行和维护一个应用,以保障我们应用的弹性、性能、容器、成本等诸多方面的诉求。

(图/龙蜥云原生系统架构)

如上图所示,是一个典型的云原生系统的架构,其包含四个部分:

第一个最底下的是云原生的基础设施。它提供诸如虚拟机、服务器等诸多的物理资源,以及告警、日志等诸多的服务。

第二在这之上龙蜥会构建一套云原生管控。云原生管控者主要提供定义云原生应用的机制,以及为云原生应用服务的一些通用框架,比如说 service mesh 等类似的服务框架。当然,云原生管控系统里面最核心的则是云原生编排系统,它负责感知底层的资源,调度底层的资源来服务于云原生应用,最后它会把云原生应用调度到一个具体的云原生节点上来执行。

第三个系统则是云原生节点系统。它功能看起来很简单,只需要负责高效地执行被调度到本节点的云原生应用,但其实这个任务并不简单。

第四个最上层则是云原生应用。这层负责实现用户的业务逻辑和交付商业服务。上面提到:简单的节点系统其实并不简单,它也面临诸多的挑战。为什么?因为从最开始的无状态应用到现在的大数据、AI、数据库等各种严肃应用的云原生化,业务对云原生节点系统提出了严苛的诉求。比如如何保证我们节点的资源利用率?如何保证云原生应用的 QoS?如何隔离多个应用之间的故障?以及保障各个应用的数据安全?

这些挑战都是云原生节点系统需要去面对和解决的问题。

上面提到云原生节点系统面临诸多的技术挑战,可能大家也意识到了这些挑战恰恰是操作系统所擅长的领域,因此我们自然而然地就诞生了一个这样的想法,那就是需要为云原生节点系统打造一套方便、易用、完善的云原生操作系统。那么如何来打造这个系统?

基于以上思考,我们成立了龙蜥云原生 SIG。龙蜥云原生 SIG 有三个核心的定位,就是桥梁、组件以及系统

首先,龙蜥云原生 SIG 是一个桥梁,或者说是大家坐在一起聊天的地方,让我们一起来交流用户的需求、业务所面临的挑战,以及我们会邀请上游技术社区的核心开发人员来参与这个过程,看看上游社区能为我们的应用、业务提供什么样的帮助,提供什么样的解决方案。

另外一个方面,云原生 SIG 也会负责拉通龙蜥社区内部的其他相关的技术 SIG。比如会协同机密容器 SIG、高性能存储 SIG、容器网络 SIG 以及容器 OS SIG,大家共同来打造一套易用的云原生操作系统。当然,云原生 SIG 的具体交付件则是稳定好用的云原生组件和系统。

二、从零开始构建云原生 OS

接下来我会和大家一起基于开源社区和开源组件,从头开始构建一个云原生操作系统的原型。

第一步,我们需要量体裁衣,为云原生应用构建一个容器优化的 OS。当然,为了方便大家,也可以利用现有的操作系统来支持云原生的应用,但是我们会面临诸如操作系统体积特别庞大,安装运维特别耗时等问题。随着这个系统的运行越来越长,整个系统当中的操作系统的版本越来越零散,版本越来越多,我们还会面临系统维护困难的问题。更重要的是,由于传统的操作系统里面内置的软件比较多,从而也导致了比较大的安全风险敞口。随着云原生应用的普及以及应用占比的日益提升,我们值得为云原生应用打造一套专用的操作系统。

基于这样的考量,云原生 SIG 利用安全的 rust 语言从头开发了一套全新的为容器优化的操作系统,我们称之为 Lifsea OS。Lifsea OS 会内置很多云原生所需要的组件,从而免去用户自己选择安装、配置各个云原生组件的烦恼。同时这些组件都会以只读的方式安装使用,从而避免了在运行过程当中被恶意软件篡改的风险。

另外为了简化大家运维大规模集群的烦恼,Lifsea OS 提供了基于 API 的运维管控的接口,也就是说也可以以编程的方式来运维整个系统中的节点。当然,这样一个系统看起来是深度定制化的,但是龙蜥也提供了非常强大的定制化能力。比如说用户可以根据自己的业务需求往 Lifsea OS 系统当中添加必要的组件,修改相应的配置,从而让我们这个操作系统能够真正的适应各个用户场景的需求。

第二步在操作系统之上,我们需要一个能够运行容器的运行时。传统上,云原生和容器有非常强的关系,也就是说云原生是通过容器催生出来的。Linux 操作系统通过提供 cgroup 、namespace 等机制,支持了原生的 RunC 容器。这样的容器运行时拥有资源利用效率高、使用方便、弹性能力强等诸多优势。

随着大数据、AI、数据库等重 IO 应用的云原生化,传统 Linux 云原生容器的不足便逐步暴露出来。比如安全隔离能力不够、应用之间相互产生性能干扰。基于这样的考虑,我们研发了基于硬件虚拟化的安全容器,安全容器最核心的能力是提供单向的保护能力,它能保护基础设施不受云原生应用的干扰,同时提供安全故障配置和性能方面的隔离能力。

在安全容器之上,我们进一步研发了机密容器。机密容器相对于安全容器有一个巨大的进步,也就是它把单向保护演进成了双向保护,不但保护基础设施不受应用容器的干扰,同时也保护应用不受基础设施的干扰。因为我们知道数据是用户最核心的资产,用户把数据搬上云以后,如何能保护我们的核心资产?机密容器为我们提供了非常好的解决方案。基于硬件的数据保护机制,我们可以保证,用户的数据对于基础设施来说是透明的,基础设施是没法看见用户的数据的,从而保障用户数据的安全性和隐私性。

可能当大家看见这三种云原生运行的时候,一定会担心,我的这个系统怎么集成了这么多运行时,使用起来得多麻烦呀?这里有个好消息分享给大家,你完全不用担心多个容器运行时的使用和运维问题。因为我们基于 containerd 打造了一套统一的管控运维接口,让大家可以根据业务需求任意的选择需要的容器运行时,比如我需要资源高效利用,那我就选择原生的容器;我希望实现多种保护,那可以选择安全容器;我需要保护我的金融数据,那我可以选择机密容器。这些都只需要通过一个简单的修改容器配置就可以实现。

当我们拥有了一个操作系统和云原生运行时之后,我们是不是就可以很平滑的把应用云原生化了,答案:还不是。第三步就是丰富多姿的云原生存储技术方案。

当我们真正的把一些应用迁移到云原生之上,特别是迁移到安全容器和机密容器之后,会发现存储的性能成为一个非常巨大的挑战。我们如何解决这些挑战?继续为大家带来一个好消息,云原生为我们提供了对数据分类的机制。因为云原生显示的把用户的数据分成了只读数据、临时数据以及是我的用户业务需要持久化的数据。根据用户访问数据的不同模式,我们可以提供不同的技术解决方案。比如针对只读数据,龙蜥云原生 SIG 提供了一套非常完善的方案。从我们基于virtiofs 、Nydus 和 EROFS 内核文件系统,打造了一套能同时支持云原生容器、安全容器和机密容器的存储方案,从而实现高效的存储性能。

但是对于用户的业务数据,我们如何提升性能?龙蜥云原生 SIG 也为大家提供了一个叫做 Fluid 的数据编排组件,它可以根据用户使用数据的方式显示的定义数据集,再使用不同技术方案来优化不同的数据集。比如说对于只读的用户数据,我们可以用刚才提到的 Nydus 、EROFS 或者 Fluid 类似的技术方案来提升性能。

对于可写的用户数据,可以利用阿里的 JindoFS、英特尔的 SPDK 等技术来提升可写数据的性能。

当我们拥有了运行时和存储解决范畴,下一步我们则需要面对最复杂的容器网络互联互通的问题。这儿还在继续探索中,因为这个领域是相对复杂度非常高。

大家知道在混合云这样的条件下面,我们会面临千变万化的网络环境。如何为这些网络环境提供一套云延伸网络方案?如何实现 IaaS 和 PaaS 的网络互通?如何让我们的底层网络基础设施能满足高速创建、销毁云原生应用的诉求?这些都是我们目前面临的挑战。我们还在和社区伙伴们一起来定义这些问题,并寻求相应的技术解决方案。

非常欢迎大家一起来参与龙蜥云原生 SIG 网络相关的技术的研讨以及建设。我们现在拥有了一个完善的计算存储网络的云原生系统,如何才能利用起来?下一步我们需要一个 ACNS(Anolis Cloud-Native Suite),龙蜥云原生套件。

龙蜥云原生 SIG 基于阿里的 ACK 系统,开源了一套叫做 ACK Distro 的 ACNS(Anolis Cloud-Native Suite),龙蜥云原生套件。基于这样的龙蜥云原生套件,可以很方便的把你的应用搬迁上来,因为这个版本是经过阿里云的生产验证的,而且我们会在生产版本和开源版本之间保持足够的同步,让大家能尽早的使用到最新的 k8s 技术,所以有了龙蜥云原生套件之后,大家就可以很方便的利用云原生技术来实施部署自己的云原生应用。

但是下一步我们会发现,即使我们把我们的应用云原生化了,我们的节点的资源利用率还是不够高,那怎么办?

不同的应用对资源的诉求不一样。有的需要很多的 CPU 计算能力,有的需要很大的 IO 带宽、有的需要及时响应。我们可以把这些应用通过技术手段混合部署到一个节点上,从而充分利用这个节点上的各种资源,这就是我们所谓的混部系统

在 2022 年年初,阿里云开源了 Koordinator 的业务混部编排系统,它核心是增强 k8s 的调度系统来支持业务的分布。这也是我们基于阿里系统多年的生产经验所研发出来的一套系统,现在分享给大家。再进一步,当我们能从软件层面来进行业务分布以后,我们会发现再从硬件层面来看,使用资源还是不够高。这里英特尔提供的基于硬件层面的优化调度组件,叫做 CRI Resource Manager,也就是说,可以根据业务的特征和硬件的配置情况来深度优化业务调度能力

最后一步当我们拥有了这样的一套系统,我们如何才能把它安装部署起来?

设想一下,当我们面临一千台虚拟机的集群需要部署一个云原生系统的时候,我们该怎么做?难道我们需要一台一台地安装各种软件吗?不,你不需要那样做。龙蜥社区为你提供了sealer 一键式集群打包分发系统。也就是说你可以为整个集群制作一个镜像,再把这一个集群镜像分发到一千台机器上。下一步,当我需要分发的节点,很多软件包的分发可能就成为我一个非常大的挑战。我们也提供了 Dragonfly P2P 的文件分发系统。这样一个 P2P 分发系统,它可以用于分发软件包、软件库、容器镜像操作系统、AI模型数据等。从我们实际生产经验来看, P2P 能大幅提升云原生系统的数据分发能力。

以上介绍了龙蜥操作系统对云原生应用的支持。那么云原生技术对操作系统有什么影响吗?答案肯定是的。

因为操作系统本身也是一种软件,我们用分发云延伸软件的方式来分发操作系统,这种方式也给我们带来了非常大的想象力。比如我们可以用内核 EROFS 文件系统和 FsCache 系统来实现操作系统数据的按需加载,或者我们可以基于 Nydus 来定义新型的软件包格式。我们也可以利用管理容器镜像的技术来管理操作系统镜像,从而提升易用性和安全性。

总之,云原生的技术从另外一个方面也可以反向推动操作系统自身的演进。从而实现云原生和操作系统的协同发展、共同进步、共同演进。

三、龙蜥云原生 SIG 的运作机制

最后我们来一起聊聊龙蜥云原生 SIG 的运作机制。

经过以上介绍的 6 大步,和大家一起从头开始搭建了一个云原生操作系统的原型。当然大家也知道这个原型还是很粗糙的,还有很多等待大家一起来建设。如果我对云原生 SIG 很感兴趣,我如何才能参与进来?很简单,龙蜥云原生 SIG 的核心运作机制是圆桌会议机制。也就是说只要你对社区感兴趣,对任何一个话题、任何一个技术或者任何一个使用场景感兴趣,你就可以参与到 SIG,大家一起来交流探讨我们所面临的问题、我们可能的技术解决方案以及我们的研发进展,同时龙蜥云原生 SIG 也会秉承坚持桥梁的定位。因为龙蜥云原生 SIG 拥有很多上游社区的核心开发者,只要大家参与到这个社区来,我们一定能在上游和用户之间搭建一条非常通畅的桥梁,让大家一起来推动云原生底层系统的发展。最后再次诚挚邀请大家来参与龙蜥云原生 SIG 的建设工作。

相关链接:

龙蜥云原生 SIG 地址: https://openanolis.cn/sig/cloud-native

2022阿里巴巴开源开放周演讲视频:
https://openanolis.cn/video/#643729391503840851

原文链接

本文为阿里云原创内容,未经允许不得转载。

6步搭建一个飞机大战游戏

...游戏项目简介:一个用CocosCreator开发的Web游戏,可以进行飞机大战。开发语言:JavaScript(49.3%)、CSS(36.6%)、Html(14%)部署环境:CentOS7.664bitforKai1s+jdk1.8涉及云服务:华为云DevCloud、... 查看详情

openyurtv1.2新版本深度解读:五步搭建一个openyurt集群(代码片段)

OpenYurt作为业界首个无侵入云原生边缘计算平台近期迎来了v1.2.0版本的发布,在Kubernetes无侵入、云边端全协同、跨网络域通信等特性上持续发力,深入打造OpenYurt+Kubernetes实现海量边缘计算业务的持续交付与高效运维管理能力。... 查看详情

6步搭建一个飞机大战游戏

摘要:本文以华为云软件开发平台DevCloud为例,展示飞机大战游戏开发的DevOps实践流程。DevOps实践DevOps实践是一种开发、测试运维一体化的模式,其实践的外在表现一般包括了如代码仓库、构建、测试、发布、配置、... 查看详情

[云原生专题-2]:总体-实战案例架构与实战学习路径

...章学习与实战过程3.1云平台3.2开发平台3.3运维系统架构3.4搭建DevOpspipeline的构建前言:本章从实战应用的角度,阐述云原生的实战学习路径,包括如何基于公有云平台,自己手工搭建一个Docker+K8s的微服务应用程... 查看详情

openyurtv1.2新版本深度解读:五步搭建一个openyurt集群(代码片段)

OpenYurt作为业界首个无侵入云原生边缘计算平台近期迎来了v1.2.0版本的发布,在Kubernetes无侵入、云边端全协同、跨网络域通信等特性上持续发力,深入打造OpenYurt+Kubernetes实现海量边缘计算业务的持续交付与高效运维管... 查看详情

容器云原生devops学习笔记——第三期:从零搭建ci/cd系统标准化交付流程(代码片段)

...下CICD的概念:持续集成称为CI、持续交付和持续部署可以统称为CD。持续集成其实是一种软件项目管理的方法 查看详情

为你写诗:3步搭建serverlessai应用

...算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。借助于函数计算,您可以快速构建... 查看详情

五步搭建属于自己的个人网站

...务器有多种选择,阿里云、腾讯云,新浪云等等,当然也可以选择国外的服务。(国内的创业项目,阿里云是不错的选择)本案例选择阿里云。1、注册阿里云账号并登录 创建阿里云账号2、登录控制台之后选择创建 查看详情

如何快速搭建系统原型

...交互方案,旨在帮助交互设计师、项目经理通过通用方案可以根据项目需求快速搭建合适的系统界面。背景最近负责了多个系统的交互设计工作,在设计的过程中遇到了一些问题:界面布局应该怎么设计,这个功能怎么放,首页... 查看详情

kuberntes云原生实战六使用rook搭建ceph集群(代码片段)

...Rookhttps://rook.io是一个自管理的分布式存储编排系统,可以为Kubernetes提供便利的存储解决方案。Rook本身并不提 查看详情

个人网站一步一步搭建——原型图

  彭欣的个人博客原型草图  整体界面分为“首页”、“技术宅”、“心情篇”、“小随笔”,“我的资料”,五个主要的版块          &n 查看详情

如何搭建云盘服务器

...度云,西部数码,亿速云等等。很多都有新人优惠,大家可以选优惠力度大的。2/6注册官网的账户。我们先确定是要个人账户还是企业账户,都是分别有对应的优惠的。很多优惠都只有一次,特别是用企业账户的,请珍惜。3/6既... 查看详情

kuberntes云原生实战六使用rook搭建ceph集群(代码片段)

...Rookhttps://rook.io是一个自管理的分布式存储编排系统,可以为Kubernetes提供便利的存储解决方案。Rook本身并不提供存储,而是在kubernetes和存储系统之间提供适配层,简化存储系统的部署与维护工作。目前,Rook支持... 查看详情

kubernetes云原生实战06使用rook搭建ceph集群(代码片段)

...Rookhttps://rook.io是一个自管理的分布式存储编排系统,可以为Kubernetes提供便利的存储解决方案。Rook本身并不提供存储,而是在kubernetes和存储系统之间提供适配层,简化存储系统的部署与维护工作。目前,Rook支持... 查看详情

大话设计模式读书笔记--6.原型模式

...象的种类,并且通过拷贝这些原型创建新的对象也就是说,只需知道原型对象的类型,就可以拷贝, 拷贝分为浅拷贝和深拷贝,可参考浅拷贝和深拷贝 模式结构Prototype:抽象 查看详情

一步一步搭建react后台系统6之用户列表

...同样是ant里面的table表格组件里面的内容,这里选择的是可以手动开关某些功能的那个表格组件。表格组件,这个组件使用的是table中可编辑组件ant可编辑组件中自带的,经过拆分放在这个文件夹内ant可编辑组件中自带的,经过... 查看详情

基于arduino和iot云平台搭建物联网系统

...门话题之一,它将改变我们的未来及生活方式。如今我们可以自己动手搭建物联网系统,因为市场上已有一些原型板,这使得我们不用花费太多金钱及精力就可以着手物联网项目。搭建IoT系统项目构建这个项目,我们需要:Arduin 查看详情

云原生|kubernetes-kubeadm部署k8s集群(超详细)(代码片段)

...上手的部署工具。不用把大量时间花费在搭建集群上面。只需通过两条命令就可以部署一个k8s集群#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin安装Kubeadm实验环境:CentOS7.9前期准备确认linux内核版本在3.1... 查看详情