7 月 21 日-7 月 22 日,由 Apache RocketMQ 社区主办,阿里云天池渠道、云原生运用渠道承办的首届 RocketMQ Summit 全球开发者峰会拉开帷幕。Apache RocketMQ 联合创始人林清山发布 RocketMQ 才能全景图,为很多开发者阐述 RocketMQ 5.0 的技能定位与发展方向,来自快手、小米、字节跳动等互联网头部企业的 40 位演讲嘉宾与很多开发者共享各自职业的最佳实践与技能探究经历。

阿里如此原生运用渠道负责人丁宇表示,开源让云核算愈加的规范化、云核算让开源产品化和规划化,未来的数字世界,将构建在云核算和开源之上。阿里巴巴将以开源的方式,饯别敞开共享好科技理念,把开源作为技能战略的重要组成部分。

今日,阿里巴巴的开源项目总数超越 3000 个,涵盖云核算、大数据、AI、中心件、数据库、容器、Serverless、高可用等范畴,具有超越 30000 名 Contributor,超越百万 Star,位列我国企业社区贡献榜首,连续十年连任我国厂商开源活跃度榜首、影响力榜首。未来,阿里云也将会继续投入 RocketMQ 的开源建造,构建愈加昌盛的社区生态。希望与更多的开发者、贡献者一同,寻求极致、敞开共享,完结开源技能的普惠。

生于云、长于云,RocketMQ 5.0 再出发

根据自身实践,RocketMQ 社区关于音讯行列演进趋势的洞悉

音讯行列作为最经典的中心件之一,现已有三十多年前史。伴跟着技能发展,音讯行列范畴不断扩展,爆发新生命力,作为国内大规划实践先行者,RocketMQ 社区以为音讯范畴将迎来以下趋势改变:

1. 全面拥抱云原生

音讯行列将向上演进音讯型的产品形状,更好去支撑微服务、事情驱动、Serverless 化等云原生运用架构;向下演进音讯体系自身云原生架构,经过体系重构充沛开释根底设备的弹性核算、存储、网络等才能,全方位提升音讯技能指标,下降音讯本钱,进步音讯行列弹性才能。

2. 全面拥抱物联网

物联网技能将更广泛的落地到各行各业,万物互联、边际核算进一步拓宽音讯的边界。面向物联网的音讯行列要海量异构设备接入,海量音讯行列存储,能够到处运行,具有云边端一体的无边界部署才能。

3. 全面拥抱实时数据

企业的数字化转型的步伐不断加速,从事务数字化迈向数字事务化。数字化企业继续发生事务数据,对事务数据实时洞悉与决策,才能协助企业快速呼应商机、掌握商机,使得事务取得更大成功。一起,音讯行列也将从在线事务架构的根底设备延伸到实时数据架构的根底设备,到达事务剖析一体化。

四大方向,全面解读 RocketMQ 5.0 架构演进

生于云、长于云,RocketMQ 5.0 再出发

1. 面向微服务

引进微服务架构,数字化企业以“高内聚、低耦合”的方式高效协作。微服务架构也带来新问题,比方很多同步微服务会面对延迟增大、可用性下降一级风险。为了处理这个问题,越来越多的企业引进音讯行列建造异步微服务体系,进一步进步微服务的耐性,下降呼应延迟。

业界的微服务技能趋势,一方面是现已形成了事实规范,比方说像 Spring Cloud 体系,Dubbo 体系,通讯协议有 HTTP、AMQP 等,另一方面下一代的微服务体系也在快速发展中,主要体现在根底设备下沉,比方 Servicemesh,Serverless 等技能。

在这个趋势下,RocketMQ 5.0, 在 SDK 层面将原来的重型客户端往轻量客户端演进,根据规范 gRPC 作为 remoting 层完结 SDK,一起也将更多客户端逻辑下沉到服务端,比方音讯重试、负载均衡等,大幅度下降多言语 SDK 的完本钱钱。轻量客户端更好的匹配了 ServiceMesh 的需求,RocketMQ 的 Mesh 才能已正式合入 CNCF Envoy 官方社区。

在负载均衡方面,RocketMQ 从原来的行列粒度负载均衡演进到了音讯粒度负载均衡形式,音讯粒度负载均衡愈加匹配 Serverless 运用的场景,无状况 Serverless 运用弹性伸缩进程不会触发频繁的行列重平衡,下降音讯重复率和端到端延迟。

RocketMQ 5.0 供给无状况 proxy,经过 proxy 能够很方便的扩展更多规范音讯协议以及流量治理功用。无状况 proxy 也具有杰出的的网络穿透才能,能够灵敏应对企业在上云进程中面对复杂跨网络访问场景。

今日咱们以 RocketMQ 5.0 中心才能为根底,支撑了阿里云 RocketMQ、MNS、RabbitMQ 等多款云音讯产品。其中阿里云 RabbitMQ 是一款兼容 AMQP 协议、RabbitMQ SDK 的音讯服务,能够协助开源存量用户无缝上云。一起它也充沛开释了底层 RocketMQ 云原生架构的技能红利,具有和 RocketMQ 共同的高性能、无限扩展、高可用等特点,是云原生的 RabbitMQ。

2. 事情驱动(EDA)

事情驱动在 18 年被 Gartner 评为年度十大技能趋势。在未来新式的数字化商业处理方案中,会有 60% 以上的商业数字化处理方案采纳 EDA 架构。EDA 为软件架构带来完全解耦,完结更灵敏的事务扩展和事务敏捷才能,不只能够用于单一事务范畴的微服务解耦,还能够用于跨部门、跨安排、跨事务范畴的事情集成。音讯行列是 EDA 架构中最中心的组件,承担 eventbroker 的职责。跟着 EDA 架构被大规划跨安排的落地,要进一步进步职业级生产力,规范化也迫在眉睫。为此 CNCF 推出了 CloudEvent 规范,根据一致的规范,跨体系、跨安排的数字化协同有了共同的“言语”,能够完结更高效的体系集成,有了规范也方便沉淀面向事情的一致根底软件设备,进步研发效率

面向 EDA 趋势,RocketMQ 5.0 发布全新产品形状——Eventbridge。整个范畴模型以事情为中心,并拥抱CloudEvent规范,CloudEvent社区开源 SDK 可无缝接入 Eventbridge。一起,还供给各种低代码事情编列、过滤、路由才能,灵敏完结各种事情集成。

今日咱们以 RocketMQ 5.0 中心才能为根底,支撑了阿里云 EventBridge 产品,助力云客户完结事情驱动、事情集成的商业生态。

3. 物联网

全球的 IoT 设备爆发式增长,预计到了 2025 年将到达 200 多亿台,。而且物联网也带来了边际核算的兴起,未来将有 75% 的数据将在传统数据中心或云环境之外进行处理。目前物联网职业现已形成了多个规范协议,其中最流行莫过于 MQTT,这是”发布-订阅”形式的音讯协议,除此之外还有各种车联网协议、工业协议等等,物联网音讯行列要具有多样化异构海量设备接入才能。RocketMQ 可作为物联网运用的根底通讯设备,用于 IoT、移动设备的数据上报,还有指令下行,为 IoT 事务衔接云边端。

面向 IoT 的趋势,RocketMQ 5.0 发布轻量级百万行列引擎,轻量元数据服务。在新存储内核之上,建造物联网形状音讯行列 MQTT,支撑规范物联网协议,支撑海量物联网设备接入和海量行列存储。

RocketMQ 5.0 遵从零外部依靠的精简架构准则,新 HA 架构为低资源耗费场景供给更多选择,用户能够权衡可靠性、本钱、可用性,选择最优副本战略。比方边际场景因为资源受限,RocketMQ 不一定需求供给三副本存储,能够是 2 副本,甚至是单副本就能满意事务需求。

今日以 RocketMQ 5.0 中心才能为根底,支撑了阿里云微音讯行列 MQTT,为客户供给云端一体化音讯处理方案,完结万物互联、云端互联。

4. 实时大数据

未来大数据将走向实时化,预测在 2025 年实时大数据的比例将到达 30%。数字化企业经过实时感知、实时剖析、实时决策,能够捉住商机、快速响运用户,实时大数据的重要性愈发杰出。音讯行列是实时大数据的关键技能之一,作为事情流的中心存储,它承担数据的分发,数据的缓冲,还有轻量的流处理的效果。

事情流技能越来越多的在 IoT 场景进行运用,IDC 预测未来 95% 的实时事情流将来自IoT场景;别的有越来越多的交易事情需求进行实时剖析,挖掘更多事务价值,事情流技能也开端出现事务剖析一体化的趋势。

面向事情流的趋势,RocketMQ 5.0 在流存储和流剖析才能进行要点打造:

  • 流存储方面,支撑批量索引,大幅度进步 RocketMQ 吞吐量。支撑 compacttopic,用于完结流处理进程中的状况存储,零外部依靠。除了功用特性之外,RocketMQ 5.0 的流存储一起进行了云原生架构改造,引进逻辑行列的概念,解耦了数据逻辑分区跟物理存储之间的绑定关系,能够完结全局固定分区前提下进行无缝扩缩容,零数据搬迁。

  • 流剖析方面,RocketMQ 5.0 全新发布了轻量的流核算引擎,它能够兼容 flink SQL,方便用户在不同场景无缝切换。假如用户需求大而全流核算才能,能够运用大型核算渠道。假如用户有边际核算、资源受限、简略流处理场景能够直接运用 RocketMQ 的 RSQL 来支撑。

今日咱们以 RocketMQ 5.0 事情流才能为根底,支撑了阿里云 Kafka 产品,存量 Kafka 用户完结无缝上云。一起根据 RocketMQ 的逻辑行列才能,阿里云 Kafka 具有快速弹性伸缩才能,供给了 Serverless 化的产品形状。让存量 Kafka 用户也能够体验到云原生架构的红利。

不断演进,RocketMQ 正式跨进 5.0 年代

在过去七年大规划云核算实践中,RocketMQ 不停自我演进。今日 RocketMQ 正式跨进了 5.0 的年代。从互联网事务音讯中心扩展到“音讯、事情、流”超融合处理渠道,解锁了更全面才能。

在音讯范畴,全面拥抱云原生技能,以取得更好的弹性伸缩。在事情范畴产品形状进行全面升级,拥抱职业规范,让事情驱动的架构无处不在,从单一事务的数字化体系扩展到跨安排跨事务的数字化商业生态事情驱动的架构,也一起让云核算原生的技能能够更大规划的落地,进步云产品跟用户事务的集中度。让 Serverless 的技能能够被更大范围的采纳,协助企业客户去降本增效。在流存储和流核算范畴,流存储增强批量的特性,大幅度进步 RocketMQ 数据吞吐量,新增逻辑行列才能,解耦逻辑资源跟物理资源,在流场景也具有无缝伸缩才能;新增轻量流处理引擎也供给了实时事情流处理、流剖析才能。

RocketMQ 根据端云一体化架构,完结完整物联网音讯行列才能,从原来衔接运用扩展到衔接物联网设备。一起 RocketMQ 5.0 也继续保持着极简架构准则,即便产品才能全面提升,也依然能够以最低资源耗费,最低运维代价去建立服务。

现在 RocketMQ 现已真实具有衔接全部,到处运行的才能,供给云、边端一体化实时数据处理方案。物联网设备继续的发生的数据,边际 RocketMQ 能够进行实时数据剖析,快速呼应事务。经过实时 ETL,实时决策发生的高价值事情,或许数据能够传输到云端,经过 RocketMQ eventing 才能衔接更强壮的公有云渠道,使用云的一站式渠道技能,进一步放大每份数据的价值。

不止于开源,RocketMQ 赋能海量职业客户

今日,根据 RocketMQ 5.0 为内核,阿里云也打造一站式音讯渠道,在一致云原生音讯内核根底上,供给 6 种音讯产品形状,有面向 IoT 场景的微音讯行列 MQTT,有面向 EDA 场景的 EventBridge,有面向开源用户无缝上云的托管开源产品如 Kafka、RabbitMQ、RocketMQ。

经过多样化产品形状,RocketMQ 在阿里云上面已服务数万个企业用户,协助其完结数字化转型的一起。RocketMQ 也得到业界的广泛认可。近期取得多个奖项,包括 OSCHINA 优异技能团队奖、我国开源云联盟优异根底软件、我国科学技能协会颁布的科创我国开源创新榜等,并进入 Apache 我国开源项目领导者象限。RocketMQ 成为榜首个经过信通院可信云分布式音讯行列服务的“增强级”认证,榜首个经过信通院金融级稳定性评测的“先进级”认证。

跟着潜在用户数的增大,RocketMQ 的商业价值也被进一步的放大。目前现已有十家的云厂商供给 Apache RocketMQ 的商业服务,它简直覆盖了国内干流的公共云厂商。这样 RocketMQ 的用户就有了更多的选择,真实完结无厂商锁定,RocketMQ 现已成为原生音讯的事实规范。

万物皆云的年代,RocketMQ 让数字化转型更简略高效,也将音讯、事情、流的价值最大程度开释。Apache RocketMQ 将不断推动技能演进与落地实践,协助企业真实完结高质量数字化转型与创新。