作者：Kafka&Tablestore团队

前语

还在为音讯行列运用时，不能高效排查重复和失利的音讯而困扰吗？

还在为音讯行列运用时，无法准确查找音讯内容和定位问题而苦恼吗？

。。。

音讯行列 Kafka「检索组件」来帮您～

本文对音讯行列 Kafka「检索组件」进行具体介绍，首要经过对音讯行列运用过程中的痛点问题进行介绍，然后针对痛点问题提出相应的处理办法，并对关键技能技能进行解读，旨在协助我们对音讯行列 Kafka「检索组件」的特色及运用方法愈加了解，以期可以协助我们更有用的处理在音讯排查过程中遇到的痛点问题。

痛点问题介绍

在音讯行列的运用过程中，业界默许的是假定音讯进入音讯行列后，音讯是可靠的，丢失的概率也是低的。但实际运用中会面临各式各样的问题：

运用时面临的痛点问题

  • 由于分布式体系的特性，音讯的失利、重复是不可避免的，关于失利和重复的排查，通常是依托客户端的日志来推导，但如果规模巨大，客户手动做这个事情的难度也会很大，这就会使音讯的可靠性遭到应战；

  • 此外，较大的项目一般由多人或多团队协作完结，音讯发送和消费的代码完成方法也各异，这会给音讯最终是否成功完结使命带来应战；

  • 除了对问题结果的排查外，音讯会不会在发生时就不符合预期呢？这相同也是困扰客户的难点之一。从目前音讯行列的体系来看，还无法供给依照内容检查的方法来排查，导致了事务的正确性排查难度较大。

简略来说，音讯范畴往往每条音讯都能代表具体的含义和动作，一旦出现失利、丢失和过错，在业界现有的音讯行列现状下，很难排查具体问题，然后会导致定位整个上下游链路的问题难度较大。

技能侧面临的痛点问题

以上是客户在音讯运用的场景中会面临的问题。根据运用场景问题，在技能侧相同会面临不少痛点，在处理音讯问题排查时：

  • 首要需求研发的代码投入、布置和运维，一起运维人员需求比较了解 Kafka 的运用，需求经过运用 Kafka 客户端进行消费者消费，然后依照遍历的方法进行音讯承认，然后承认音讯的存在；

  • 除了需求研发的代码投入、布置和运维外，或许还需求引入其他产品，如对接流核算，经过流核算遍历音讯等。

更为麻烦的是，目前这种排查往往是十分频频的，经常以周、乃至以天为单位，会使得研发、布置和运维投入较高的时刻本钱；一起每次需求承认的元信息都不相同，会导致投入较大，而且灵活性也不高。

总结来说，音讯行列在运用过程中对失利和重复等问题排查时，一来在没有较好的东西和方法完结对内容的检索，排查难度较高，准确性和易用性都不足；二来需求投入较高的时刻和人力本钱，投入大且不灵活。这些问题都会给用户在进行音讯问题排查时带来不少困扰。

Kafka 检索组件介绍

经过上述痛点问题的介绍可以看到，目前在音讯范畴，对音讯排查等存在比较多的痛点问题，为了处理以上问题，阿里云音讯行列 Kafka 版重磅推出音讯检索组件。下面临组件内容进行具体介绍：

检索组件简介

音讯行列 Kafka「检索组件」是一个全保管、高弹性、交互式的检索组件，具有万亿等级音讯内容检索的秒级呼应才能。

  • 首要面向运维人员毛病排查和康复场景，用于音讯相关的全链路音讯排查，包含音讯的发送、重复生产和丢失校验；首要功用包含支撑音讯按 Topic 分区、位点规模和时刻规模检索，一起支撑按音讯 Key 和 Value 关键字检索等；

  • 首要用来处理业界音讯产品不支撑检索音讯内容的难题。

音讯行列 Kafka「音讯检索」凭借 Kafka Connect 功用及表格存储（Tablestore）完成，经过 Connector 对 Topic 中的音讯进行转储，然后发送到表格存储中的数据表中，最终经过表格存储索引功用供给音讯检索的才能。

其中心是供给了齐备的音讯内容检索才能，可以快速定位问题，一起便捷操作、节约人力；当用户运用时，在完结音讯行列 Kafka 实例创立后，仅需简略五步即可完成对 Kafka 检索组件的运用：

1.png

下面扼要对音讯行列 Kafka 版音讯检索的操作过程进行介绍。

检索组件操作介绍

1）注册音讯检索

首要注册某个实例下 Topic 的音讯检索功用，以便依据需求对其 Topic 中的音讯进行检索。过程如下：

  • 登录音讯行列 Kafka 版控制台；
  • 在概览页面的资源分布区域，挑选地域；
  • 在左侧导航栏，单击音讯检索；
  • 在音讯检索页面，从挑选实例的下拉列表挑选需检索 Topic 音讯所属的实例，然后单击注册音讯检索；
  • 注册音讯检索面板，填写注册参数，然后单击确认。

2.png

2）测验发送音讯

注册音讯检索后，可以向音讯行列 Kafka 版的数据源 Topic 发送音讯，以此来调度使命和测验音讯检索是否创立成功。

  • 在音讯检索页面，找到需求测验的方针 Topic，依据使命状况在对应方位操作；
  • 在快速体验音讯收发面板中发送测验音讯。

3.png

3）查找音讯

  • 在音讯检索页面，找到方针 Topic，在其操作列，单击查找；
  • 在查找面板，设置查找条件，在查找项下拉列表中挑选需求增加的查找项，单击增加查找项，增加查找项并在值列设置查找信息，然后单击确认即可。

4.png

5.png

4）检查音讯检索使命概况

  • 注册音讯检索后，即可检查主动创立的 Topic、Group、表格存储实例称号、表格存储数据表表名等具体信息，也可以在概况中直接进入表格存储数据表；
  • 在音讯检索页面，找到方针 Topic，在其操作列，单击概况；
  • 在使命概况页面可以检查到方针 Topic 相关音讯检索的具体信息；也可以在基础信息区域的方针服务栏，单击表格存储，即可进入数据表概况页面检查。

6.png

5）检查消费概况

支撑检查订阅当时 Topic 的在线 Group 在 Topic 各个分区的消费进展，了解音讯的消费和堆积状况。

  • 在音讯检索页面，找到需求检查消费进展的方针 Topic，在其操作列，单击消费进展；
  • 如下图，在消费概况页面，可以检查 Topic 各分区的消费状况：

7.png

除以上功用外，在运行音讯检索功用时，还可以完成暂停音讯检索使命、启用音讯检索使命和删除音讯检索使命等操作。

Kafka 检索组件技能解读

之前音讯行列 Kafka 版的音讯检索方法仅支撑依据消费位点或创立时刻的两种规模来查找，依托 Kafka 体系自身无法很好的支撑用户关于经过关键字检索音讯的需求。

为了更好的处理这个问题，Kafka 与 Tablestore 强强联合，将 Kafka 音讯经过 Connector 导入 Tablestore 的数据表中，运用 Tablestore 的才能完成关键字检索。

8.png

下面临关键技能进行解读：

Kafka Connect

Kafka Connect 的中心是为处理异构数据的同步问题。处理的思路是在各个数据源之间加一层音讯中间件，一切的数据都经过音讯中间件进行存储和分发。

9.png

这样做的优点有以下两点：

1）经过音讯中间件做异步解耦，一切体系只和音讯中间件通信；

2）需求开发的解析东西数量，也从本来的 n 平方个，变成线性的 2*n 个；Kafka Connect 则用于衔接音讯体系和数据源，依据数据的流向不同，衔接可以分为 Source Connector 和 Sink Connector。

其原理也很简略，Source Connector 担任解析来历数据，转换成标准格式的音讯，经过 Kafka Producer 发送到 Kafka Broker中。同理，Sink Connector 则经过 Kafka Consumer 消费对应的 Topic，然后投递到方针体系中。在整个过程中，Kafka Connect 一致处理了使命调度、与音讯体系交互、主动扩缩容、容错以及监控等问题，大大削减了重复劳动。

音讯行列 Kafka 版供给了全保管、免运维的 Kafka Connect，用于音讯行列 Kafka 版和其他阿里云服务之间的数据同步。如下图所示，可以看到音讯行列 Kafka 版支撑了表格存储 Tablestore、Mysql Source Connector、OSS Sink Connector、MaxCompute Sink Connector 以及 FC Sink Connector 等干流的 Connector。如果用户想要运用这些 Connector 进行数据同步，只用在音讯行列 Kafka 控制台的图形界面上做几个装备，就可以一键拉起 Connector 使命。

10.png

表格存储 Tablestore

表格存储 Tablestore 是构建在阿里云飞天分布式体系之上的海量结构化数据存储服务。根据飞天盘古分布式文件体系作为存储底座，采用存储核算分离架构，弹性共享资源池设计，完成了一个云原生的 Serverless 存储产品。内置分布式索引体系，可依据写入流量主动扩展构建索引所需的核算资源，支撑极高的写入流量。一起优化了索引结构，可以支撑更快速的模糊查询。存算分离架构、高吞吐实时索引等关键才能让 Tablestore 可以支撑 Kafka 中海量数据的写入与高效查找，协助快速有用检索所需信息。

11.png

技能领先性

Kafka+Kafka Connect+ 表格存储 Tablestore 的云原生数据运用处理方案，经过 Kafka Connect 作为实时处理使命触发器，可以实时接收到新发送到音讯行列集群的数据，然后转发到表格存储 Tablestore。

作为后续数据流通中的一环，Kafka Connect 除了保证数据的实时性以外，还处理了使命调度、与音讯体系交互、主动扩缩容、容错以及监控等问题，大大削减了重复劳动。数据到了表格存储 Tablestore 以后，凭借表格存储的分布式存储和强壮的索引引擎，可以支撑 PB 级存储、千万 TPS 和毫秒级延迟的服务才能，一起支撑全保管、高弹性、交互式的检索组件，然后可完成秒级呼应的万亿等级音讯内容检索才能。

面向用户的价值与优势

Kafka 检索组件功用不只具有较强的技能优势，一起还能为用户的实际工作带来更多便当：

1、排查本钱低

只需求控制台的简略装备就能完成 Kafka 服务器集群内一切的音讯的检查；

2、排查速度快

免开发、免资源评价、免布置、免运维；只要建立好检索条件，即可完成秒级查询呼应；

3、排查准确性高

该检索组件功用由音讯商业化团队和 Tablestore 团队中心研发联合打造，依托于阿里如此原生的才能，检索准确性高，可靠性和可用性可以得到很好的保证。

总结来说，Kafka 检索组件功用在实际事务中具有如下优势：

  • 快速定位问题，可完成音讯上下游产品的毛病、反常快速康复，削减事务资损；
  • 节约企业本钱，削减运维、研发等人员投入；
  • 下降学习本钱，对音讯产品的理解机制要求下降。

12.png

总结

阿里云音讯行列 Kafka「检索组件」是音讯行列范畴内率先支撑交互式音讯内容检索的组件，具有免开发、免运维、高弹性的特色。关于在音讯范畴中的中、重度用户来说，阿里云音讯行列 Kafka「检索组件」是日常排查音讯存在 & 正确性的利器。

13.png

点击此处，前往相关产品文档了解概况！