华为拥抱开源alluxio:内存将成重要战略平台

author author     2022-08-03     460

关键词:

华为公司近日宣布将利用自家FusionStorage产品与Alluxio开源软件实现大数据分析加速;此举相信能够为令人昏昏欲睡的缓慢数据分析流程带来一股新风。

华为拥抱开源Alluxio:内存将成重要战略平台

Alluxio此前曾名为Tachyon Nexus,是一家由Andreessen Horowitz资助的初创企业。

FusionStorage 则属于华为公司旗下的分布式软件定义存储系统。其最新FusionStorage 6.0(基础教程qkxue.net)支持分布式块、文件与对象存储,同时可对数据进行分类、加密与重复数据删除。

Alluxio公司的软件产品是一套以内存为中心的虚拟分布式存储系统(腾云科技TY300.COM)。其功能相当于为HDFS节点集合等远程存储系统提供一套本地缓存。其基于本地节点集群运行,而各本地节点则供运行有大数据分析与查询任务的计算节点进行访问。

该软件提供:

配合自动数据放置的分层式存储机制(包括内存、闪存与磁盘)。
配合透明化命名机制的单一命名空间。
可集成原生S3、谷歌Cloud Storage、OpenStack Swift、阿里巴巴OSS、微软Azure Blob等存储方案。
Fuse Connector,采用键-值接口。
一条命令即可完成集群部署。
具备指标报告功能。
华为拥抱开源Alluxio:内存将成重要战略平台

华为拥抱开源Alluxio:内存将成重要战略平台

Alluxio支持多种不同底层(远程)存储系统,具体包括HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon等等。

华为拥抱开源Alluxio:内存将成重要战略平台

百度公司在Alluxio的帮助下将Spark查询速度提升了30倍。原本需要15分钟才能完成的批量查询如今不到30秒即可搞定,而且一套1000用户Alluxio集群能够提供超过50 TB内存空间。

巴克莱银行亦在运行查询的计算节点与Teradata数据存储库之间采用Alluxio软件,从而将原本需要数小时的Spark任务加速至仅需要数秒。

听起来确实很有搞头。我们认为华为公司及其物联网/云战略确实能够与Alluxio实现良好配合。感兴趣的朋友亦可点击此处与此处分别查看Alluxio项目及其演示材料。

云知声atlas超算平台:基于fluid+alluxio的计算加速实践

...介: 本文主要介绍云知声Atlas超算平台基于Fluid+Alluxio的计算加速实践,以及Fluid是如何为Atlas带来全新的数据集管理方式的。Fluid是云原生基金会CNCF下的云原生数据编排和加速项目,由南京大学、阿里云及Alluxio社... 查看详情

facebook开源游戏平台elf:一个用于实时战略游戏研究的轻量级平台

ELF是一个用于游戏研究的应用广泛的(Extensive)、轻量级的(Lightweight)、灵活的(Flexible)平台,特别适用于实时战略(RTS)游戏。在C++方面,ELF采用C++线程来并发运行多个游戏。在Python方面,ELF可以一次性返回一批游戏状态... 查看详情

alluxio:2022年大数据五大趋势,多云下数据湖兴起,ai成为主流

Alluxio创始人兼CEO预测2022年大数据发展五大趋势:混合云和多云、人工智能和深度学习、服务、数据共享和新的数据湖存储格式成为关注重点。编辑|宋慧出品|CSDN云计算 近日,全球首创的开源云原生数据编排软件开发商A... 查看详情

shuttle+alluxio加速内存shuffle起飞

00前言Shuttle[1]是OPPO大数据团队开源的高可用高性能的SparkRemoteShuffleService,文章[2]中详细介绍了Shuttle的架构和设计理念。Shuttle在设计之初选用分布式文件系统作为存储Shuffle数据的基座,灵活利用多种分布式存储的优势。... 查看详情

一站式全覆盖数据i/o平台-alluxio与aunalytics的完美结合

“Aunalytics云原生数据分析平台与Alluxio的开源数据编排软件相结合,使客户能够进行跨所有数据源的统一访问,并驱动人工智能分析,产出更好的答案,获得竞争优势。”Aunalytics分析云首席技术官汤姆·帕诺佐√... 查看详情

2.7版本发布丨alluxio数据编排平台进一步深化对人工智能和机器学习工作负载在混合云和多云上的支持

...练时间和成本全球首创的开源云原生数据编排软件开发商Alluxio宣布正式发布数据编排平台2.7版本,新版本立即可用。2.7版本通过并行数据加载、数据预处理和训练工作流,可将机器学习(ML)训练的I/O效率提高8-12倍,从... 查看详情

分布式内存文件系统alluxio实战

前言    Alluxio是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在Alluxio里的文件。把Alluxio是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件,其前身为Tachyon。  ... 查看详情

使用presto和alluxio在aws上搭建高性能平台来支持实时游戏服务(代码片段)

...业务发展至关重要。本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台,如何为游戏产业提供即时响应的在线服务。EA的数据与人工智能部门搭建了数百个平台,来管理游戏和用户每天产生的PB级数据。这些平台包含从... 查看详情

云知声atlas超算平台:基于fluid+alluxio的计算加速实践(上)

Atlas超算平台基于Fluid+Alluxio的计算加速实践作者简介吕冬冬云知声超算平台架构师,负责大规模分布式机器学习平台架构设计与功能研发,负责深度学习算法应用的优化与AI模型加速。研究领域包括高性能计算、分布... 查看详情

基于alluxio内存文件系统的缓存策略

Alluxio是一种基于内存的分布式文件系统,支持不同的缓存替换策略,来替换内存中的文件快。Alluxio中的文件时以文件块形式组织,其中文件通过自己实现的inode数据结构记录文件属性并索引。下面首先介绍几种不同的缓存策略... 查看详情

alluxio&大厂原来boss直聘是这样应用的

...直聘算法平台的数据流链路的架构和设计。下面由我介绍Alluxio+Fluid在BOSS直聘算法平台的落地实践,我们本期的分享主要分为以下几个内容:首先,我会介绍一下Alluxio在我们这边使用的背景,另外我会介绍一下我们... 查看详情

alluxio为presto赋能跨云的自助服务能力

...数据平台的考虑因素结论本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用,并展示如何利用两者实现跨云自助服务数据架构。作者介绍范斌 AlluxioVPOpenSourceandFoundingMemberAditMadan AlluxioSeniorProductManagerJasmineWang  查看详情

alluxio为presto赋能跨云的自助服务能力

...数据平台的考虑因素结论本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用,并展示如何利用两者实现跨云自助服务数据架构。作者介绍范斌 AlluxioVPOpenSourceandFoundingMemberAditMadan AlluxioSeniorProductManagerJasmineWang  查看详情

信息化拥抱云计算

    经过多年信息化建设,中国的数字政务已经迈入了新阶段。在去年国务院办公厅印发的《国家信息化发展战略纲要》明确强调,要持续深化电子政务应用,着力解决信息碎片化、服务割裂化等问题,以信息化推... 查看详情

alluxio完成c轮5000万美元融资,新设中国区总部力拓国内市场

...Cphoto11月17日,全球开源的云原生数据编排软件开发商Alluxio宣布完成5000万美元C轮融资,该轮融资由新投资方高瓴创投领投,战略投资方和原股东a16z,SevenSeasPartners,火山石投资跟投。Alluxio已新设中国区总部,... 查看详情

云知声atlas超算平台:基于fluid+alluxio的计算加速实践(下)

业务适配Fluid+Alluxio为集群引入了全新的架构,但是在具体场景适配方面我们还是遇到了一些问题,这些问题我们第一时间与社区反馈,社区都第一时间解决了我们的需求,这里主要讲下几个比较重要的特性支... 查看详情

开源.net让微软拥有更多开发者

...凡,而且也和各种开源厂商积极展开合作。不管微软积极拥抱开源背后的想法是什么,或许是想通过开源销售更多的软件或者云服务,也有可能是想吸引更多的开发者到微软平台上,但是目前看起来微软这步棋是下对了。从微软... 查看详情

开源.net让微软拥有更多开发者

...凡,而且也和各种开源厂商积极展开合作。不管微软积极拥抱开源背后的想法是什么,或许是想通过开源销售更多的软件或者云服务,也有可能是想吸引更多的开发者到微软平台上,但是目前看起来微软这步棋是下对了。从微软... 查看详情