Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技能大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将继续集结职业最佳实践以及 Flink 最新技能动态,是中国 Flink 开发者和使用者不行错过的的技能盛宴。
今年 Flink Forward Asia(以下简称 FFA ) 回归线下,将于 12 月 8 – 9 日在北京望京凯悦酒店举办。延续 FFA 常规,峰会一切议题均为开放征集而来,并由专业的议题评选委员会评分挑选,保证内容代表职业领先水平,为开发者们输出愈加优质的干货,并为各企业提供可借鉴的实践经验。本次大会,字节跳动 7 项议题当选,包括****OLAP Serverless、 流批一体 、主动化运维的大规划落地实践外,也对抖音、头条等事务背面的监控预警、 实时数仓 、 引荐平台****实践进行共享。
FFA 2023 官网:flink-forward.org.cn/
议题引荐
Flink ****OLAP Serverless 才能在字节跳动的落地实践
冯向宇,字节跳动根底架构工程师
讲演介绍: 跟着 Flink OLAP 在高 QPS 下的作业调度和作业履行优化逐步落地,Flink OLAP 在字节内部的事务规划也大幅增长,一起也遇到了更多样化的核算应战,其间最首要的一项应战是核算才能的 Serverless 化。经过开发实现资源阻隔、弹性扩缩容、优雅退出、冷启动优化、多策略限流等特性,咱们完成了 Flink OLAP的Serverless 才能改造,并在内部成功完成了事务推行。本次共享咱们将从 Flink OLAP 遇到的 Serverless 才能应战、资源阻隔实现、云原生才能增强、弹性扩缩容、事务落地及规划等五个方面进行介绍。
流批一体在字节跳动的大规划落地实践
苏德伟,字节跳动根底架构工程师
讲演介绍: Flink 是事实上的流核算规范,但在批核算场景的应用并不广泛。跟着 Flink 引擎流批一体才能的完善,在字节跳动内部咱们将离线数据同步场景下的 2.2w Spark SQL 作业搬迁至 Flink Batch SQL,以推动流批一体的落地。Spark SQL 作业具有丰厚的 Pattern,咱们经过解决大量 Spark SQL 的兼容性问题,并进行数据准确性校验以及主动化搬迁,将每日例行作业滑润搬迁至 Flink Batch 并在线上安稳运转。本次共享将首要从以下五个部分介绍流批一体在字节跳动的大规划落地实践。
字节全增量一体化实时数据建造计划
秦冰伦:字节跳动实时数据工程师 & 刘想:字节跳动实时数据工程师
讲演介绍: 字节的事务包含许多全增量一体化数据场景,典型场景如用户画像、风控、房产等,运营既需要曩昔长时间范围的数据来挖掘潜在的价值,也对数据新鲜度有很高的诉求,因而实时数据的全增量一体化价值很大。本次共享首要介绍全增量一体化流式核算建造过程中面临的应战和解决计划。
Flink 主动化运维的大规划落地实践
陈张昊,字节跳动根底架构工程师
讲演介绍: 曩昔几年中,字节跳动内部 Flink 作业规划逐步增长到数万量级,事务有限的人力趋于无力应对随流量改变需人工调优资源配置、单机问题易导致慢节点需人工搬迁等带来的运维压力。面临运维难题,沉淀出一套 Flink 主动化运维体系,并在内部大规划落地实践:托管了 1.5W 使命,在流量改变时主动扩缩容以避免消费积压的一起能够提高资源使用率、每日主动搬迁 1K 次慢节点消除消费积压,有用减轻了事务的 Flink 作业运维压力。本次共享咱们将从以下五个方面介绍 Flink 主动化运维的落地实践。
字节跳动实时数仓质量与本钱管理平台实践
朱福生,字节跳动数据工程师
讲演介绍: 跟着事务对数据时效要求的提高和实时使命数量的不断添加,字节跳动已运转了上万的 Flink 实时使命,由于实时使命依靠的组件繁多、开发人员众多 、开发习气和经验参差不齐等各类主客观要素,导致使命安稳性、资源糟蹋等问题频出。因而使命管理势在必行,但纵观整个管理过程,仍存在以下对立:事务与管理的对立、人力与管理的对立、问题与可点评的对立。本文将经过管理布景、健康分体系、管理收益、健康分规划四个方面来介绍实时健康分怎么让实时管理简略、高效、可继续化。
字节引荐面向下一代特征工程架构演进之路
刘首维,字节跳动引荐架构工程师
刘方奇,字节跳动引荐架构工程师
讲演介绍: 字节跳动在曩昔几年的开展中引荐体系基于 Flink、Spark、Hudi 等大数据组件打造了支撑万亿数据吞吐的特征出产体系,跟着直播、电商、生活服务等事务高速开展和算法工程师规划的扩展,对引荐体系中的离线组件在易用性、本钱、架构方面提出了进一步应战,咱们也在此布景下,提出了新一代特征出产和入湖链路,其间包括引入引荐体系 Planner、面向用户的 Python SDK 以及 Flink 流批一体的样本入湖等功能,在开发功率、本钱和性能上都有显著收益:其间原始特征出产的开发上线周期从 N 天至 1 周能够降低到小时级,引荐样本入湖的核算性能也提高到了原来的 3 倍 。
Flink 在抖音实时监控预警场景下的落地实践
张宏博,字节跳动数据工程师
讲演介绍: 跟着实时数仓的开展建造及事务对实时数据的强诉求,实时数仓支撑了越来越多高优事务,一起也遇到了新的应战。从最初快速支撑事务,到愈加重视时效性、准确性,咱们的方针不断提高,架构不断完善,在提高数据时效性、准确性的道路上继续探索。经历了一系列的计划->东西->平台的迭代演进后,最终沉淀了一套基于 Flink SQL 的实时监控预警体系,协助及时发现数据问题,助力事务实现监控诉求。本次共享从数据层面和事务层面两个视点动身,为大家介绍抖音基于 Flink 的实时监控预警才能落地实践。
直播预定&参会报名
PC 端可前往 FFA 2023 大会官网操作:flink-forward.org.cn/。
移动端可重视「Apache Flink」视频号预定直播。