更多技术沟通、求职时机，欢迎关注字节跳动数据渠道微信公众号，回复【1】进入官方沟通群
本文叙述字节跳动一款 App 产品的数据管理故事。该产品跟着用户体量和数据体量不断增加，数仓的使命量、数据量也不断攀升，运维难、本钱贵、稳定性等问题在不断凸显。经过运用火山引擎 DataLeap 的数据管理才能，3 个月时间将核算本钱大幅缩减 20%。
该产品是一款近千万级 DAU 的产品，疫情 3 年，催生了很多的线下需求转型至线上，海量的数据虽然为产品创造了巨大的价值，可是也增高了核算本钱和存储本钱。“本钱管理专项”成为了这个产品的重要工作之一，为了解决数据管理的问题，产品接入了火山引擎自研的大数据开发套件——DataLeap，主要围绕下述两个场景进行本钱管理：
- 快速启动并获得收益
大数据场景下核算资源的重要价值和昂贵本钱，需求每个使命都按需运用。而在实践的事务开发过程中，存在很多的反常核算使命，浪费了很多的核算资源。核算场景也因此成为该产品数仓团队本钱管理的关键切入点。
经过 DataLeap，数仓团队能够设置清晰管理方针，并配置管理域，经过选定各种规矩的使命管理，比如封闭/下线无效使命、优化高耗时而且占用资源 TopN 使命、优化资源申请不合理 TopN 使命、优化表产出小文件 TopN 使命等，由此对行列堵塞状况进行改善，完成阶段性进行缩容。
DataLeap 还支撑对使命履行进行全链路监控，自动发现这些反常的核算使命，并在工作台进行展现，让数据研制人员能够检查相应使命，并采取管理措施。
- 按季度持续管理
数据管理是一项长期性、系统性的工作，经过 DataLeap 渠道，该产品优先完成了数据按季度持续管理。
DataLeap 渠道供给一系列使命圈选规矩，能够圈选出无效、高耗时、资源申请不合理、小文件反常、近 7 天内无更新、写入数据、近 90 天无访问表等规矩，进行定时扫描，由此完成周期性本钱管理。除此之外，DataLeap 还供给告诉、一键拉群等管理运营操作，支撑检查管理作用，沉积管理经验，有用推进数仓团队本钱推进进展。
其次，为了能更直观监测到数仓健康度、量化管理作用，产品团队还引入了 DataLeap「健康分」系统。一旦出现健康分不达标状况，会及时约束产品运用资源比例、资源申请等。DataLeap 还支撑繁忙和搁置时段行列资源利用率的监测，能够协助飞书数仓团队优化使命调度措施。
终究，该产品的数仓团队主要从 YARN 和 HDFS 切入，在引入 DataLeap 的三个月内，快速落地本钱管理项目。在核算管理场景，完成 YARN 行列本钱降低 20%；在存储管理场景，已开释 7PB 存储空间。
-
核算管理
达到方针：缩容 20% 的 CPU core，YARN 行列本钱降低 20%
管理场景
收回低运用率/老旧行列
无效使命下线
高耗时使命 &占用资源 TOP N 优化
-
存储管理场景
达到方针：开释 7PB 存储空间
跟着数据的不断累积和事务的不断发展，大数据的体量将会变得越来越大，而随之而来的庞大本钱，也成为了大数据建设中越来越无法忽视的问题。
火山引擎 DataLeap 基于字节跳动事务场景和实践经验，沉积有一套完整的数据质量、SLA 管理、资源优化、告警优化的才能，能够为事务供给流通顺滑的数据管理体会；在流程上，掩盖规划式、响应式的用户数据管理双路，一起与各事务密切配合，落地和沉积多项管理规矩。
点击跳转 大数据研制管理套件 DataLeap 了解更多