更多技能沟通、求职时机，欢迎关注字节跳动数据渠道微信大众号，回复【1】进入官方沟通群

近来，《火山引擎云原生数据仓库 ByteHouse 技能白皮书》正式发布。 白皮书简述了 ByteHouse 依据 ClickHouse 引擎的开展历程，首次具体展示 ByteHouse 的全体架构规划及自研中心技能，为云原生数据仓库开展，及企业数字化转型实战运用供给最新的参阅和启迪。

以下为 ByteHouse 技能白皮书前两个版块摘录。

1.ByteHouse 简介

ByteHouse 是字节跳动自主研制的云原生数据仓库产品，在开源 ClickHouse 引擎之上做了技能架构重构，完成了云原生环境的布置和运维办理、存储核算别离、多租户办理等功用。在可扩展性、稳定性、可运维性、功用以及资源使用率方面都有巨大的进步。

截至 2022 年 2 月，ByteHouse 在字节跳动内部布置规模超越 1 万 8000 台，单集群超越 2400 台。经过内部数百个使用场景和数万用户锤炼，并在多个外部企业客户中得到推广使用。

产品特性

ByteHouse 以供给高功用、高资源使用率、高稳定性、低运维本钱为目标，进行了优化规划和工程完成，产品特性和优势如下：

• 存储核算别离：处理了大局元数据办理，过多小文件存储功用差等等技能难题。在最小化功用损耗的情况下，完成存储层与核算层的别离，独立扩缩容。

• 新一代 MPP 架构：结合 Shared-nothing 的核算层以及 Shared-everything 的存储层，有效避免了传统 MPP 架构中的 Re-sharding 问题，一起保留了 MPP 并行处理才能。

• 数据一致性与事务支撑。

• 核算资源阻隔，读写别离：经过核算组(VW)概念，对宿主机硬件资源进行灵敏切割分配，按需扩缩容。资源有效阻隔，读写分开资源办理，使命之间互不影响，杜绝了大查询打满一切资源拖垮集群的现象。

• ANSI-SQL：SQL 兼容性全面进步，支撑 ANSI-SQL 2011 规范，TPC-DS 测试集 100%经过率。

• UDF：支撑 Python UDF/UDAF 创建与办理，补足函数的可扩展性。(Java UDF/UDAF 已在开发中)

• 自研优化器：自研 Cost-Based Optimizer，优化多表 JOIN 等复杂查询功用，功用进步若干倍。

产品才能上，在引擎外供给更加丰厚的企业级功用和可视化办理界面：

• 库表财物办理：控制台建库建表，办理元信息。
• 多租户办理：支撑多租户模型，租户间相互阻隔，独立计费。
• RBAC 权限办理：支撑库、表、列级，读、写、资源办理等权限。经过人物进行办理。
• VW 主动启停，弹性扩展：核算资源按需分配，闲时封闭。下降总本钱，进步资源使用率。
• 功用确诊：供给 Query History 和 Query Profiler 功用，协助用户自助地排查慢查询的原因。

适用场景

ByteHouse 定位为一款数据仓库产品，首要用于 OLAP 查询和核算场景。在实时数据接入、大宽表聚合查询、海量数据下复杂剖析核算、多表相关查询场景下有非常好的功用。

首要的的使用场景如下：

2.技能趋势和应战

事务需求

企业级数据仓库场景中，需求融合来自多个事务系统数据库的事务数据，首要是买卖记载，例如银行存取记载、用户订单记载等，一般是数千万至数亿条规模；用户行为日志是数据量最大的数据源，包含用户拜访日志、用户操作记载等，这部分数据记载数量一般是事务数据的数百倍。

ByteHouse 需求支撑海量数据的实时接入、无限扩展存储、实时合并核算和相关聚合查询。

跟着大数据使用的深入开展，最中心的事务需求如下：

1）进步剖析的实时性

最近 10 年，以 hadoop 技能体系为代表的大数据渠道大规模布置，大大小小的企业和政府部门都搭建了大数据渠道和剖析使用，以隔天和小时级数据推迟的使用得到了遍及；以 Flink 为代表的实时核算引擎处理了数据核算场景的时效性问题。

跟着事务的开展和技能的进步，事务部门不再满意于 T+1 的剖析需求和固化的实时核算，期望事务发生后秒级/分钟级推迟就能看到核算结果；期望能交互性探查剖析数据，要求毫秒/秒级回来结果保持杰出的用户体会。

在新的企业级数据架构中，关于现已构建大数据渠道的企业，对时效性要求高的事务，用云原生数据仓库构建实时数据仓库，作为 hadoop 渠道的补充；在数据量低于 1PB，没有构建 hadoop 等大数据渠道的企业，直接以云原生数据仓库构建轻量级数据仓库。

2）本钱可控

大数据使用逐渐从互联网企业和政府部门，并深入到工业企业，先后进行了事务数据的大集中、用户行为数据和 IOT 数据的广泛收集存储，企业和政府单位的数据量每年呈现 30%以上的增加速度。

在曩昔集中式架构的数据仓库计划中，建造本钱与数据总量正相关，本钱居高不下；选用依据分布式架构的大数据计划中，因为存储核算耦合，为了满意存储空间膨胀，需求收购越来越多的服务器。

实时的数据收集和存储，导致数据量继续高速增加。

在新的云原生数据仓库计划中，既要处理数据和使用增加带来的扩展性问题，一起要处理本钱问题，将数据存储和核算本钱处于可控规模。

3）支撑事务上云

依据智库报告的研讨，目前事务上云现已构成趋势，除游戏视频电商等泛互联网企业之外，在政务、金融、制作业正在以私有云和混合云的方法继续上云，然后完成数据上云。

政务云和金融云是两大首要的职业云，渠道建造水平较高，一起制作业、医疗卫生、交通等领域的职业云也在加速变革和加快建造职业云渠道大规模建造和晋级，完成数字化办理和运营。

制作业设备上云和云化改造能够完成制作业企业的数据互通和事务互联，支撑构成以数据驱动的智能化制作、完成供应链和上下游事务的网络化协同，以及完成对事务和设备的数字化办理等制作业开展新模式，引领制作业数字化转型。

事务上云然后数据上云，也在推动数据处理渠道的云原生晋级。

技能趋势

近年来，以 Snowflake 为代表的云原生数据仓库得到了客户的认同，市场上取得了巨大的成功。其中心功用和技能点是云原生的架构规划，使用 IAAS 的高可用和资源池化特性，经过存储核算别离、多租户阻隔、容器化技能，供给数据仓库的扩展性、稳定性、可维护性和易用性，全体上进步资源使用率。

国际上，除了 Snowflake 之外，谷歌的 BigQuery、AWS 的 RedShift、Azure 的 Synapse 都完成了云原生的架构晋级，完成了存储核算别离和多租户办理。Databricks、Firebolt 等重生的厂商及产品如漫山遍野相同涌现出来。

在国内，阿里云、华为云、腾讯云都推出了自己的云原生数据仓库产品；PingCap 的 TiDB、鼎石科技的 StarRocks 等独立产品也挑选了云原生道路。

OLAP 产品有如下几个技能趋势：

1）云原生的全体架构

依据公共云、私有云或混合云的架构规划，使用容器化和微服务等云原生技能，完成灵敏开发、灵敏运维，天然处理扩展性问题。

2）存储服务化

对数据存储层进行一致抽象，灵敏选用 HDFS 分布式存储或 S3 等对象存储作为数据存储载体，最终完成存储服务化，便于处理存储扩展性、读写吞吐瓶颈问题、数据一致性问题，一起能大幅下降存储本钱。

此外，完成存储服务化后，关于产品的跨云兼容和多云布置带来便利。

3）核算资源池化

因为 OLAP 使用负载的动摇特色，特别在支撑多租户的场景下，经过核算资源池化，依据实时负载进行核算资源一致调度办理，完成资源阻隔的一起，又能支撑资源同享和实时弹性扩缩。然后进步集群全体使用率。

4）支撑混合负载

在企业级使用中，OLAP 场景能够细分为交互查询和批量核算，前者要求毫秒/秒级呼应并支撑高并发查询，后者能够接受分钟/小时级推迟，但要求核算功用的稳定性和较好的 failover 机制。自适应支撑多场景的混合负载是 OLAP 产品的中心才能。

5）其他

OLAP 渠道中的核算资源、内存、网络带宽是最名贵的资源，系统资源使用率一般围绕这三个资源进行优化。很多产品开端在核算 Serverless 化、分布式内存等方向进行探索。

技能应战

ClickHouse 是近几年最抢手的开源大数据产品，以其优异的查询功用引人瞩目，在全球得到了很多的推广和使用。字节跳动从 2017 年开端大规模使用 ClickHouse，总布置规模超越 1 万 8000 台，投入巨大的研制团队，对 ClickHouse 进行了很多的优化和改善，积累了丰厚的使用场景和使用经验。

ByteHouse 的云原生技能计划也遇到了非常多的技能应战，首要表现在几个方面。

数据实时写入功用

在大批量实时数据写入场景下，需求平衡数据一致性与写入吞量的矛盾，特别在存储核算别离后，远程数据拜访网络开支加大，写入功用问题会显得更加杰出，需求有新的处理计划。

多场景下查询功用

ClickHouse 以单表查询功用好著称，但在多表相关查询方面功用不理想，极大地限制了 ClickHouse 的使用场景。ByteHouse 定位为综合功用强的云原生数仓，需求兼顾多种使用场景下都能把持优异的功用。

资源弹性和阻隔

ByteHouse 旨在进步整个集群的资源使用率，然后下降渠道建造本钱。因为 OLAP 使用的负载一般具有峰谷特性和随机性，要求具备资源弹性同享和资源阻隔的才能，在保证功用和 SLA 的情况下下降资源本钱。

进步产品易用性

ByteHouse 需求供给核算资源办理、数据资源办理、数据接入、数据使用的可视化办理功用，下降维护和使用本钱，成为真正 SaaS 化的云原生数据仓库产品。

点击链接，当即下载完整版白皮书

www.wjx.cn/vm/Ot0YJFq.…

点击跳转 火山引擎云原生数据仓库ByteHouse 了解更多