alluxio:2022年大数据五大趋势,多云下数据湖兴起,ai成为主流

CSDN云计算 CSDN云计算     2023-03-03     527

关键词:

Alluxio创始人兼CEO预测2022年大数据发展五大趋势:混合云和多云、人工智能和深度学习、服务、数据共享和新的数据湖存储格式成为关注重点。

编辑 | 宋慧

出品 | CSDN 云计算
 
近日,全球首创的开源云原生数据编排软件开发商Alluxio 创始人兼 CEO 李浩源博士针对云、人工智能、深度学习和数据分析在即将到来的2022年的发展趋势进行了预测。更多的组织机构将推进数据变革战略,将多样化的工作负载运行在广泛的云和混合云平台上。在2022年,人工智能、机器学习和数据分析的工作负载以及支撑它们的技术和服务将取得更大的进展。

混合云成为现实,多云战略优势显而易见

随着技术的不断成熟,工具的不断发展,云迁移过程不断简化,大型企业使用多数据中心和不同公有云厂商的混合云战略已经成为标配。到 2022 年,我们将看到企业进一步提升数字化程度,通过采用混合云和多云部署模式来利用云平台的弹性和敏捷性优势,同时保持对其数据的严格控制。此外,由于企业也不希望被供应商锁定,云厂商需要不断创新,并通过改进网络连接和物理架构来增强其竞争力。


主流AI和深度学习

随着人工智能(AI)应用和工具的不断发展,机器学习和深度学习平台已逐渐成为主流,并将达到和专业数据分析一样的市场成熟度。目前,我们已经看到大量基于 Apache Spark 和 Presto 的全托管集成服务,到 2022 年,我们将看到基于 PyTorch 和 Tensorflow等框架的垂直整合。用于工作流自动化和管理的机器学习操作(MLOps)将不可或缺,这会进一步降低AI和机器学习的难度并加速其应用。

一切皆服务

操作的复杂性导致了本地 Hadoop 的消亡,而云服务能够轻松实现架构配置的弹性,并且操作成本很低。2022 年,我们将看到托管服务的出现,它不仅会应用于单一云环境,也会应用于混合云和本地部署,可降低数据目录、数据治理、计算框架、可视化和交互式分析(Notebooks)等大量组件集成的复杂性。

跨云数据分享

2022年,随着云上 SaaS 和托管服务形成更多数据孤岛,更好的数据治理、增强的数据目录,结合跨服务的数据编织将很好地解决这一问题,实现跨租户、跨云服务厂商之间高效、安全地共享数据,数据交换比以往更容易实现。

数据湖存储格式的兴起

存储层和计算层中的技术栈都将不断创新。数据湖逐步兴起,结构化数据将向新格式转变。 2022 年,Apache Iceberg 或 Apache Hudi 等开源项目将取代云原生环境中较为传统的 Hive数仓,让Presto 和 Spark 工作负载能够更高效地实现大规模运行。

盘古开源解析:2022年数据存储五大趋势

...激增、人才技能仍然短缺、云计算进一步普及,2022年数据存储路在何方?近日,根据Scality发布的2022年数据存储预测报告,新的一年存储解决方案和数据存储市场将呈现以下五大趋势:AI/MLOps成为企业和中端存... 查看详情

2023年五大趋势预测|大数据分析人工智能和云产业展望

...期的数据出口成本的冲击。例如,企业可以考虑通过Alluxio缓存来降低经网络传输的数据流量。此外,越来越多的企业在寻求实现“多云部署自由”,从而能够不受限制地使用任何云厂商的服务。确保应用的可移植性... 查看详情

2019北美kubecon+cloudnativecon上的k8s五大趋势

...情况下,用户很难知道正在发生什么,以及谁有权限访问数据。系统的复杂性使得许多配置容易出错。另外加密技术的安全性,保护容器集群和多云之间的通信安全。以及通过包括Kubernetes、底层OS和容器内的软件组件等安全更新... 查看详情

2.7版本发布丨alluxio数据编排平台进一步深化对人工智能和机器学习工作负载在混合云和多云上的支持

...练时间和成本全球首创的开源云原生数据编排软件开发商Alluxio宣布正式发布数据编排平台2.7版本,新版本立即可用。2.7版本通过并行数据加载、数据预处理和训练工作流,可将机器学习(ML)训练的I/O效率提高8-12倍,从... 查看详情

2022年大数据讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

2018年大数据发展的7个方向

2016年发生了许多事情。谷歌的阿尔法算法在围棋比赛中击败了李世石,区块链实现了快速发展,全球各地的政府都在大举投资智慧城市。和往年一样,我将为你提供未来一年的大数据趋势,之前我提供了2014年、2015年和2016年的... 查看详情

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

2022年大数据基础讲课笔记

一、讲课笔记项目一、Linux基础大数据讲课笔记1.1安装配置CentOS[在OpenStack私有云上安装配置虚拟机]大数据讲课笔记1.2Linux用户操作大数据讲课笔记1.3Linux目录操作大数据讲课笔记1.4进程管理大数据讲课笔记1.5使用Vim编辑器大数据... 查看详情

alluxio2022技术干货年终大赏

...很多嘉宾参与了我们的社区直播活动17场主题活动(AlluxioDay、Meetup、DatafunSummit等)44位嘉宾44个主题(来自一线大厂的实战者)2000+分钟的分享时长(内容涵盖【金融】【互联网&科技】【大数据】【通信... 查看详情

从博士论文到被各大厂应用,alluxio如何走过7年创业路

今年2月,Alluxio 宣布以实现收入同比增长3倍的成绩结束了2022财年。“这个财年的业绩进一步表明了市场需要更好的方法来访问大规模分析和AI/ML应用程序中的数据,尤其是在分布式混合云和多云环境中。”Alluxio创始人... 查看详情

alluxio2022技术干货年终大赏

...很多嘉宾参与了我们的社区直播活动17场主题活动(AlluxioDay、Meetup、DatafunSummit等)44位嘉宾44个主题(来自一线大厂的实战者)2000+分钟的分享时长(内容涵盖【金融】【互联网&科技】【大数据】【通信... 查看详情

2022app内测分发五大趋势:进一步提升开发者生产力

...,内测要通过更丰富的解决方案来适应5G、新能源、数据中心等新场景的要求,另一方面,分发后的测试人员反馈要与整个App研发流程联系地更加紧密,以加速内测与上架速度。创新是没有止境的,内测分发虽... 查看详情

2022年大数据bi工程师项目实训介绍

...升级,对大数据技术的要求更高啦,我们紧跟今年大数据市场招聘行 查看详情

2023年五大趋势预测|大数据分析人工智能和云产业展望

随着我们迈入2023年,大数据分析、人工智能和云产业将迎来蓬勃的创新和发展阶段以下是我们预测的,将对行业格局产生重大影响的五大趋势:世界在剧变,我们需要尽快寻找行业中的方向,迅速重回轨道2023... 查看详情

导师男团来袭|开源之夏2022,与alluxio一起探索数据编排的奇妙世界

活动简介开源之夏(英文简称OSPP)是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动,今年是第三届,由中国科学院软件研究所与openEuler社区共同举办,旨在鼓励在校学生积极参与开源软... 查看详情

karmada多云多集群生产实践专场圆满落幕

...云联合发起的云原生技术交流活动,专注技术探讨和趋势挖掘。2022南京站线下专场聚焦云原生多云多集群生产实践,华为云、vivo互联网、中国移动云、飓风引擎、DaoCloud、浙大SEL实验室等行业专家现场分享,探讨云... 查看详情

科技向“实”万物生长,2023年云计算五大技术趋势展望

...础设施加速创新和迭代、Serverless迎来里程碑式的更新、数据实现ZeroETL集成且数据治理能力显著升级、人工智能持续加成被应用到更加丰富的场景……开发者的开发模式因为这些创新的推动,将产生颠覆式的改变,云计算... 查看详情

多云与混合云场景下的数据同步方案-kafka

1企业业务系统部署架构的变化趋势-多云与混合云现阶段,企业信息系统部署架构(DA:Deployarchitecture)的一大变化是,越来越多的企业在不断将越来越多的应用部署到云上,即业务系统上云的趋势愈演愈烈。不... 查看详情