关键词：
研究遵循如下阶段：
1、公开数据初筛
2、 项目技术分类
3、 专家审议
4、入围公示 & 征集修正
5、 热力值计算和关联分析
6、 数据洞察和课题研究
7、 报告审议
项目初筛 Github 上 Topic Tag 满足如下条件且开源的大数据项目：
Topic Tag：big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering
技术分类
根据大数据现代技术栈框架，对初筛项目进行技术分类。技术分类包括：
数据集成、流处理、数据存储、数据查询和分析、数据开发、数据调度和编排、数据管理 / 安全 / 中间件、数据可视化。
- 数据查询和分析分类聚焦大数据分析类型项目，不包括 OLTP 数据库、OLTP 能力为主的 HTAP 数据库和 NoSQL 数据库
- 数据可视化分类中需具备数据源链接和处理能力，不包括可视化框架工具项目
- 数据管理 / 安全 / 中间件分类中，项目较少且功能互相交叠，因此归为一类
- 本次报告聚焦大数据领域，不包含大数据 AI 融合型项目项目公示
项目列表
| 技术分类 | 项目名称 |
| 数据集成 | airbytehq/airbyte alibaba/DataX apache/camel apache/flume apache/incubator-seatunnel apache/inlong apache/sqoop dbt-labs/dbt-core debezium/debezium ververica/flink-cdc-connectors |
| 流处理 | apache/beam apache/flink apache/incubator-heron apache/incubator-streampark apache/kafka apache/pulsar apache/samza apache/storm |
| 数据查询和分析 | apache/arrow-datafusion apache/calcite apache/cassandra apache/doris apache/drill apache/druid apache/hawq apache/hbase apache/hive apache/impala apache/incubator-kyuubi apache/kylin apache/lucene apache/phoenix apache/pig apache/pinot apache/solr apache/spark apache/tez ClickHouse/ClickHouse duckdb/duckdb elastic/elasticsearch eventql/eventql greenplum-db/gpdb opensearch-project/OpenSearch prestodb/presto StarRocks/starrocks trinodb/trino uber/aresdb |
| 数据存储 | apache/avro apache/bookkeeper apache/carbondata apache/hadoop-hdfs apache/hudi apache/iceberg apache/incubator-pegasus apache/kudu apache/ozone apache/parquet-format delta-io/delta hazelcast/hazelcast juicedata/juicefs |
| 数据管理 / 安全 / 中间件 | apache/ambari apache/arrow apache/atlas apache/bigtop apache/hadoop apache/knox apache/ranger cube-js/cube.js datahub-project/datahub |
| 数据开发 | apache/incubator-devlake apache/zeppelin jupyter/notebook pachyderm/pachyderm |
| 数据可视化 | apache/superset dataease/dataease edp963/davinci elastic/kibana getredash/redash grafana/grafana keplergl/kepler.gl metabase/metabase shzlw/poli |
| 数据调度和编排 | Alluxio/alluxio apache/airflow apache/dolphinscheduler apache/incubator-linkis apache/nifi apache/oozie apache/zookeeper dagster-io/dagster kestra-io/kestra PrefectHQ/prefect |
2022开源大数据热力报告
...题研究7、报告审议项目初筛Github上TopicTag满足如下条件且开源的大数据项目：TopicTag：big-data、etl、data-ingestion、data-collection、data-pipeline、da 查看详情
《开源大数据热力报告2022》入围项目公示
在开源大数据技术飞速发展的十数年，我们见证了多元化技术的兴起和变迁。如何从海量数据中，通过数据处理和可视化的手段，对开源大数据技术的过去、现在和未来，做出深刻洞察？如何为开发者在开源... 查看详情
2022开源大数据热力报告
...题研究7、报告审议项目初筛Github上TopicTag满足如下条件且开源的大数据项目：TopicTag：big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、datavisualization、business-intelligence、datascience、data-e... 查看详情
2022开源大数据热力报告
...题研究7、报告审议项目初筛Github上TopicTag满足如下条件且开源的大数据项目：TopicTag：big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、datavisualization、business-intelligence、datascience、data-e... 查看详情
开源大数据热力榜单top30
...。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力，是这些优秀开源项目的共同特征，这一特征保证它们与时俱进，成为热力趋势中的“常青树”... 查看详情
开源大数据热力榜单top30
...。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力，是这些优秀开源项目的共同特征，这一特征保证它们与时俱进，成为热力趋势中的“常青树”... 查看详情
开源大数据热力榜单top30
本报告从102个入围项目中，评选出了TOP30热力榜单。Kibana以989.40的热力值高居榜首。ClickHouse（数据查询与分析）、Airflow（数据调度与编排）、Flink（流处理）、Airbyte（数据集成）分别摘得各自... 查看详情
用于大数据商业智能报告的开源数据库？
】用于大数据商业智能报告的开源数据库？【英文标题】：OpenSourceDBforbusinessintelligencereportingonbigdata?【发布时间】：2012-08-2105:47:41【问题描述】：我们公司有独特的报告需求。我们每X分钟收集一个文件中的大量数据。这些文件... 查看详情
ffa2022收官总结｜活动报告出炉，实时即未来！
作为开源大数据领域的顶级峰会，FlinkForward集结了无数优秀的行业实践和领先的技术动态，始终拥抱未来。2022年11月27日，第五届FlinkForwardAsia大会——FlinkForwardAsia2022完美收官。此次FFA2022由阿里云计算平台事业部主办... 查看详情
《2022中国开源贡献度报告》首次发布！
...事长、极客帮创投创始合伙人蒋涛现场发布了《2022中国开源贡献度报告》。中国拥有占全球30%的最大规模开发者群体，开源增长空间和潜力巨大。而作为科技创新的重要模式，开源得到普遍重视，已经列入我国重大... 查看详情
盘古开源丨大数据产业价值持续释放，有效推动数字化转型升级
...生产和生活。大数据时代的特点和市场规模大数据技术以开源为主，迄今为止，尚未形成绝对的技术垄断，即便是IBM、甲骨文等行业巨擘，也同样是集成了开源技术和该公司已有产品而已。开源技术对任何一个国... 查看详情
中国信通院发布权威数据库发展报告，postgresql已成为国内第一大开源数据库
2021年6月24日，由中国信息通信研究院（以下简称“中国信通院”）主办的“2021大数据产业峰会·成果发布会”在京召开。会上，中国信通院云计算与大数据研究所副所长魏凯发布了《数据库发展研究报告（2021... 查看详情
盘古开源解析：2022年数据存储五大趋势
面对勒索软件攻击激增、人才技能仍然短缺、云计算进一步普及，2022年数据存储路在何方？近日，根据Scality发布的2022年数据存储预测报告，新的一年存储解决方案和数据存储市场将呈现以下五大趋势：AI/MLOps... 查看详情
聚焦四大领域，恒生电子发布2022年金融科技技术与应用趋势
...以下简称“报告”）。报告详细分析2022年金融科技在数据、智能、效率、安全四大领域的核心技术与应用发展趋势，并对VR、量子计算等前沿技术对金融行业的未来影响进行展望。恒生电子执行总裁范径武表示，作为... 查看详情
2022技术趋势：gorust将大放异彩
文 | 白开水不加糖出品|OSC开源社区（ID：oschina2013）在线学习平台O\'Reilly最新发布了一份《TechnologyTrendsfor2022》报告。该报告基于该平台2021年1至9月产生的数据，并与2020年同期进行了比较；就技术行业的趋势进行了一番分... 查看详情
导师男团来袭|开源之夏2022，与alluxio一起探索数据编排的奇妙世界
活动简介开源之夏（英文简称OSPP）是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，今年是第三届，由中国科学院软件研究所与openEuler社区共同举办，旨在鼓励在校学生积极参与开源软... 查看详情
2022全球程序员薪酬报告：字节在榜，上海薪资近9万美元(代码片段)
...群” ，拉你进程序员交流群👇👇出品 |OSC开源社区（ID：oschina2013)Levels.fyi网站于日前发布了一份2022年度程序员收入报告，基于收集的超过150,000份薪资申请。报告中的薪酬数据反映的是在过去一年中收集... 查看详情
2022全球程序员薪酬报告出炉，看完我表示严重拖后腿了…
...务的最佳姿势！SpringCloud2022正式发布！出品 |OSC开源社区（ID：oschina2013)Levels.fyi网站于日前发布了一份2022年度程序员收入报告，基于收集的超过150,000份薪资申请。报告中的薪酬数据反映的是在过去一年中收集... 查看详情