更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

 

近日，《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。白皮书简述了 ByteHouse 基于 ClickHouse 引擎的发展历程，首次详细展现 ByteHouse 的整体架构设计及自研核心技术，为云原生数据仓库发展，及企业数字化转型实战运用提供最新的参考和启迪。

 

以下为 ByteHouse 技术白皮书【多租户管理、运维监控管理】版块摘录。

 

技术白皮书（Ⅰ）(Ⅱ)（Ⅲ）（Ⅳ）精彩回顾：

https://xie.infoq.cn/article/5c9471c7adb58e4bb43b69c4d

https://xie.infoq.cn/article/086b4e706965a6bd81f6a6ff2

https://xie.infoq.cn/article/a0dceef1588fe6c58247d3b37

https://xie.infoq.cn/article/9802a36beb0e82fd989991011

 

ByteHouse 多租户管理

多租户管理架构图

 

ByteHouse 的计算资源、数据资源、作业任务和用户权限都用租户进行隔离，所有的数据对象和资源都在一个租户内部进行管理。

不同的业务团队可以建立各自的租户，按额度申请所需的计算资源，便于进行资源管理和结算。计算资源隔离在租户内部，屏蔽租户之间的资源争抢。

数据库、数据表、视图等对象都在租户内部进行管理和授权，数据安全限制在租户内部。

数据查询、数据导入任务也在各自租户中，增加了任务代码安全性。

多租户管理功能适应了整个企业资源集中统一管理、按需按份额使用、兼顾资源共享和数据安全要求，同时可以为 SaaS 应用提供支撑，能按需为新用户申请资源，做到即开即用，又能满足不同用户资源和数据隔离性需求，实现一套系统服务所有用户。

ByteHouse 运维监控管理

ByteHouse 的私有化部署版本包含一个可视化的资源监控和管理平台，提供资源、负载监控仪表盘，直观地展现集群整体状况，同时提供租户管理、报警监控、审计日志、扩缩容、系统升级、故障节点替换等核心功能，让运维人员通过白屏化操作，降低运维成本和操作风险。

集群管理维护模块包括对物理资源的配置、节点重启、故障节点一键替换、滚动升级、滚动重启等功能，实现可视化运维管理。

通过仪表板对集群健康度进行宏观监控，集群资源饱和度监控能实时查看存储计算的当前应用情况和增长趋势，方便进行扩缩容；节点健康度监控能实时监控节点实时的响应情况；集群负载监控能实时反应集群总体负载水位；提供 Grafana 对各个组件运行状态进行细粒度监控。

运维监控模块示意图

 

监控报警模块提供与第三方报警平台对接能力，支持对 CPU、内存、存储资源使用量指标、技术组件健康度指标、计算任务状态指标、集群负载和性能指标进行监控，并通过短信、电话等方式通知值班员。

点击链接，立即下载完整版白皮书

火山引擎云原生数据仓库bytehouse技术白皮书v1.0（ⅴ）

...交流群 近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程，首次详细展现ByteHouse的整体架构设计及自研核心技术，为云原生数据仓库发展，及企业数字化转型... 查看详情

火山引擎云原生数据仓库bytehouse技术白皮书v1.0（ⅵ）

...官方交流群近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。白皮书简述了ByteHouse基于ClickHouse引擎的发展历程，首次详细展现ByteHouse的整体架构设计及自研核心技术，为云原生数据仓库发展，及企业数字化转型... 查看详情

bytehouse技术白皮书正式发布，云数仓核心技术能力首次全面解读（内附下载链接）

...交流群 近日，《火山引擎云原生数据仓库ByteHouse技术白皮书》正式发布。在数字化浪潮下，伴随着公有云的广泛普及，生于云、长于云、基于云原生架构的数据仓库百花齐放，快速迭代。相比起传统数仓，云原生数据仓库凭... 查看详情

助力企业数据飞轮转起来！火山引擎云原生数仓bytehouse全面大促中

...“数据多样融合”环节的必要步骤之一。云原生数据仓库ByteHouse是火山引擎旗下基于开源ClickHouse的企业级分析型数据库，在字节跳动内部沉淀迭代多年后，凭借新一代的云原生架构，高效方便的运维模式，以及高性能更灵活的... 查看详情

从clickhouse到bytehouse：实时数据分析场景下的优化实践

...跳动旗下的企业级技术服务平台火山引擎正式对外发布了ByteHouse。在打造ClickHouse企业版ByteHouse的过程中，我们经过了多年的探索与沉淀，今天和大家分享字节跳动过去使用ClickHouse的两个典型应用于优化案例。近日，... 查看详情

apachepulsar在火山引擎emr的集成与场景(代码片段)

...用，其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌，主要面向ToB业务场景。火山引擎中Stateless云原生开源大数据平台E-MapReduce（简称EMR）为用户提供了云上的端到端的大数据解决方案。... 查看详情

助力极致体验，火山引擎边缘计算最佳实践

导读IDC发布的《超视频时代视频云演进趋势》白皮书提出，超视频时代用户的三大核心需求是：更加高清、更加交互、更加沉浸。在这样的需求下，用户的体验变得至关重要。近期，在“面向体验的视频云火山引... 查看详情

4月22日丨云数据库技术沙龙技术进化，让数据更智能

...一起来看看MySQLxClickHouse会碰撞出怎样的火花。议题一：ByteHouse云数仓版查询性能优化和MySQL生态完善游致远｜火山引擎ByteHouse资深研发工程师嘉宾简介：火山引擎资深研发工程师，负责By 查看详情

如何构建面向海量数据高实时要求的企业级olap数据引擎？

...储计算分离、多租户管理等能力，推出了云原生数据仓库ByteHouse。在性能、可扩 查看详情

云原生数据湖应用洞察白皮书

内容整理自：艾瑞咨询《中国云原生数据湖应用洞察白皮书》概念界定：数据湖是面向大数据场景的创新解决方案，采用了与传统数仓不同的设计架构，具有「数据多源异构、统一存储管理、多范式计算、schema后... 查看详情

云原生数据湖应用洞察白皮书

内容整理自：艾瑞咨询《中国云原生数据湖应用洞察白皮书》概念界定：数据湖是面向大数据场景的创新解决方案，采用了与传统数仓不同的设计架构，具有「数据多源异构、统一存储管理、多范式计算、schema后... 查看详情

火山引擎进军云市场，计划未来三年服务十万客户

12月2日，火山引擎在升级为字节跳动企业级技术服务业务板块之后，首次亮相就正式发布全系云产品，包括云基础、视频及内容分发、数据中台、开发中台、人工智能等五大类、共计78项服务。火山引擎云产品是字节... 查看详情

助力企业数字化升级，火山引擎发布云上增长解决方案

7月20日，2022火山引擎原动力大会在京举办。会上，火山引擎发布全新Slogan“云上增长新动力”，并推出以云为底座的一系列产品解决方案，包括企业上云和智能营销通用方案，以及覆盖金融、汽车、消费、文... 查看详情

面向视频原生，火山引擎发布视频云与边缘云软硬一体的新云解决方案

12月2日，火山引擎在上海举办云产品发布会。除了推出计算、存储和网络的产品外，火山引擎也发布了视频云与边缘云软硬一体的新云解决方案，即云边端一体化边缘云基础设施，为用户体验而生的视频云服务... 查看详情

火山引擎视频云：从toc到tob，如何将最好的技术开放出去

 火山引擎总经理谭待6月10日，火山引擎召开品牌发布会。在发布会上的演讲中，火山引擎总经理谭待提到要把字节跳动最好的技术开放出去，而经过抖音、西瓜等产品的千锤百炼，服务过数亿用户的火山引擎视... 查看详情

火山引擎视频云：坚持基础技术创新，打造极致用户体验

...我们从toC到toB，作为抖音背后的视频技术中台，火山引擎视频云经历了哪些转变和挑战？对于国际标准的制定，它是如何实现从跟随者到参与者的跨越？视频盗版问题泛滥，火山引擎视频云又有哪些应对措... 查看详情

以100gbssb性能测试为例，通过bytehouse云数仓开启你的数据分析之路(代码片段)

...化利用资源，从而达到Payasyougo按实际用量付费的模式。ByteHouse作为云原生的数据平台，从架构层面入手，通过存储和计算分离的云原生架构完美适配云上基础设施。在字节跳动内部，ByteHouse已经支持80%的分析应用场景，包括用... 查看详情

云原生数据库白皮书，发布！

...计算与大数据研究所共同发布了业界首个《云原生数据库白皮书》，梳理云原生数据库全流程概念及方法。本文分享自华为云社区《发布了！业界首个《云原生数据库白皮书》》，作者： 华为云头条。8月18日ÿ... 查看详情