关键词：
1 设计
全平台技术架构共有三个模块，即：后台、人工智能和大数据。
后台：业务层（业务中台），如OA、ERP等；
人工智能：智能服务层，如推荐系统、人脸识别等；
大数据：基础数据层（数仓、数据中台）。
中台：是啥？待详细追踪溯源。
1.1 服务层
服务层技术：使用Spring技术架构，包括SpringFramework、SpringCloud和SpringBoot。
1.2 业务数据存储层
业务数据读写采用MySQL和Redis。
1.3 消息队列层
消息缓冲层使用RabbitMQ。
1.4 日志采集监控层
日志采集和监控使用：Filebeat、Logstash、Elasticsearch、Kibana和Kafka。
1.5 机器学习层
机器学习使用多平台，包括：Tensorflow1.x和Tensorflow2.x、MXNet、Pytorch和Caffe2等。
1.6 实时计算层
实时计算使用：Spark和Flink。
1.7 调度层
任务调度使用Azkaban和Ooize。
1.8 数据采集与传输层
数据传输和采集使用：Sqoop和Flume。
数据中台：fastdata云原生数据智能平台
...题，加强业务与技术团队更高效的协作和创新。即便忽略人工智能规模化应用的挑战，大数据平台的建设也是企业的一件大事情：数据处理过程中将部署大规模数量的机器，与此同时，使用Hadoop等技术组件的选型对企业技术人员... 查看详情
奇点云数据中台技术汇datasimba——企业级一站式大数据智能服务平台
...级的有力武器。 奇点云自研的一站式大数据智能服务平台——DataSimba，旨在提供数据采集、数据加工、数据治理、数据规范、数据资产、数据服务等全链路的产品+技术+方法论服务，构建面向业务应用的大数据智能平... 查看详情
智能大数据专场，百度智能云带来智能大数据产品架构全景图
...字化、智能化转型的安全可靠的数据基础设施和价值挖掘平台，发挥数据资产的核 查看详情
智能大数据专场，百度智能云带来智能大数据产品架构全景图
...字化、智能化转型的安全可靠的数据基础设施和价值挖掘平台，发挥数据资产的核 查看详情
数据架构系列-03数据仓库大数据平台数据中台...我不太认同《datafun数据智能知识地图》中的定义
...，践行选择、努力和利他原则，专注于大数据、人工智能技术应用的分享与交流，秉承着开源开放的精神，免费的共享了很多有营养的行业实践专业知识，对于这样有情怀的团队真心希望他们越办越好。2022年... 查看详情
技术干货：sqlonhadoop在快手大数据平台的实践与优化
参考技术A快手大数据架构工程师钟靓近日在A2M人工智能与机器学习创新峰会分享了题为《SQLonHadoop在快手大数据平台的实践与优化》的演讲，主要从SQLonHadoop介绍、快手SQLonHadoop平台概述、SQLonHadoop在快手的使用经验和改进分析、... 查看详情
从“智能湖仓”升级看数据平台架构未来方向
在2021年初全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控... 查看详情
分享大数据建模工具-大数据挖掘建模平台
...功能 平台可进行可视化、一站式、高性能的数据挖掘与人工智能建模服务。包括：多行业项目模型库，多类型数据介入支持，海量数据挖掘算法，自定义个人算法，定时出发模型任务，模型API灵活调用 ... 查看详情
多图技术贴：深入浅出解析大数据平台架构
目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式……”。大数... 查看详情
运维监控平台未来发展趋势
人工智能我们的架构应该支持数据科学技术和机器学习技术的引入，AIOps技术还在快速发展之中，很多算法和数据方法还在不断变化，应该为这类变化保留足够的灵活性。人工智能技术将逐渐应用于监控系统中，以实现智能化的... 查看详情
从“智能湖仓”升级看数据平台架构未来方向
在2021年初全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控... 查看详情
从“智能湖仓”升级看数据平台架构未来方向
在2021年初全年技术趋势展望中，数据湖与数据仓库的融合，成为大数据领域的趋势重点。直至年末，关于二者的讨论依然热烈，行业内的主要分歧点在于数据湖、数据仓库对存储系统访问、权限管理等方面的把控... 查看详情
数据湖：数据湖技术架构演进
...数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。 可以把数据湖认为是最新一代大数据技术平台&#x... 查看详情
大数据平台架构浅析——以讯飞大数据平台odeon为例(代码片段)
文章目录大数据平台架构解析——以讯飞大数据平台Odeon为例定义功能数据采集数据开发数据分析数据编程补充大数据平台架构解析——以讯飞大数据平台Odeon为例定义Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的... 查看详情
数据湖04：数据湖技术架构演进
...数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。 可以把数据湖认为是最新一代大数据技术平台&#x... 查看详情
乐刻大数据平台架构实践(代码片段)
...反思如何支撑未来的可预见性数据需求。早期ETL技术报表平台乐刻大数据部门在早期， 查看详情
百度智能云大数据平台技术讲解及落地实战
...程师、产品经理，为大家带来百度智能云智能大数据平台相关技术讲解，同时分享落地实战经验，探讨大数据技术与应用。直播介绍（一）直播简介全方位覆盖从数据基础设施到智能挖掘平台/智能可视化BI背... 查看详情
大数据中台架构以及建设全流程一（paas层设计）(代码片段)
...f0c;降本增效 中台整体架构Pass层技术选型 实时存储平台----------->KAFKA（未来pulsar也不错） 离线存储平台（Hadoop系列） Hadoop选型 机架感知 硬件选型(PB级)内存配置 ... 查看详情