简介： 比较传统的告警、监控，可观测性可以以愈加“白盒”的办法看透整个杂乱的体系，协助咱们更好的调查体系的运转状况，快速定位和处理问题。就像发动机而言，告警仅仅告知你发动机是否有问题，而一些包含转速、温度、压力的仪表盘可以帮咱们大致确认是哪个部分或许有问题，而实在定位细节问题还需求调查每个部件的传感器数据才行。

阿里可观测性数据引擎的技术实践

作者 | 元乙
来源 | 阿里技能大众号

一 前语

可观测性这个概念最早呈现于20世纪70年代的电气工程，中心的界说是：

A system is said to be observable if, for any possible evolution of state and control vectors, the current state can be estimated using only the information from outputs.

阿里可观测性数据引擎的技术实践

比较传统的告警、监控，可观测性可以以愈加“白盒”的办法看透整个杂乱的体系，协助咱们更好的调查体系的运转状况，快速定位和处理问题。就像发动机而言，告警仅仅告知你发动机是否有问题，而一些包含转速、温度、压力的仪表盘可以帮咱们大致确认是哪个部分或许有问题，而实在定位细节问题还需求调查每个部件的传感器数据才行。

二 IT体系的可观测性

电气化年代起源于第二次工业革命(Second Industrial Revolution）起于19世纪七十年代，首要标志是：电力、内燃机的广泛运用。而可观测性这一概念为何在近100年后才会被提出？难道在此之前就不需求依靠各类传感器的输出定位和排查毛病和问题？显然不是，排查毛病的办法一向都在，仅仅整个体系和状况愈加杂乱，所以才需求愈加体系化、体系化的办法来支撑这一进程，因而演化出来可观测性这个概念。所以中心点在于：

  • 体系愈加的杂乱：曾经的轿车只需求一个发动机、传送带、车辆、刹车就可以跑起来，现在随意一个轿车上至少有上百个部件和体系，毛病的定位难度变的更大。
  • 开发触及更多的人：跟着全球化年代的到来，公司、部分的分工也越来越细，也就意味着体系的开发和保护需求更多的部分和人来一起完成，协调的代价也越来越大。
  • 运转环境多种多样：不同的运转环境下，每个体系的作业状况是改变的，咱们需求在任何阶段都能有用记载好体系的状况，便于咱们剖析问题、优化产品。

阿里可观测性数据引擎的技术实践

而IT体系经过几十年的飞速发展，整个开发形式、体系架构、布置形式、根底设施等也都经过了好几轮的优化，优化带来了更快的开发、布置效率，但随之而来整个的体系也愈加的杂乱、开发依靠更多的人和部分、布置形式和运转环境也愈加动态和不确认，因而IT职业也现已到了需求愈加体系化、体系化进行观测的这一进程。

阿里可观测性数据引擎的技术实践

IT体系的可观测性施行起来其实和电气工程仍是比较类似，中心仍是调查咱们各个体系、运用的输出，经过数据来判别全体的作业状况。一般咱们会把这些输出进行分类，总结为Traces、Metrics、Logs。关于这三种数据的特色、运用场景以及联系等，咱们会在后面进行具体展开。

阿里可观测性数据引擎的技术实践

三 IT可观测性的演进

阿里可观测性数据引擎的技术实践

IT的可观测性技能一向在不断的发展中，从广义的角度上讲，可观测性相关的技能除了运用在IT运维的场景外，还可以运用在和公司相关的通用场景以及特殊场景中。

  1. IT运维场景：IT运维场景从横向、纵向来看，调查的方针从最根底的机房、网络等开端向用户的端上发展；调查的场景也从朴实的过错、慢恳求等发展为用户的实践产品体会。
  2. 通用场景：观测实质上是一个通用的行为，除了运维场景外，关于公司的安全、用户行为、运营增加、买卖等都适用，咱们可以针对这些场景构建例如攻击检测、攻击溯源、ABTest、广告作用剖析等运用方法。
  3. 特殊场景：除了场景的公司内通用场景外，针对不同的职业特色，也可以衍生出特定职业的观测场景与运用，例如阿里云的城市大脑，便是经过观测道路拥堵、信号灯、交通事故等信息，经过控制不同红绿灯时刻、出行规划等手法下降城市全体拥堵率。

四 Pragmatic可观测性怎么落地

阿里可观测性数据引擎的技术实践

回到可观测性计划落地上，咱们现阶段或许无法做出一个适用于各个职业特色的可观测引擎，更多的仍是专注于DevOps和通用的公司商业方面。这儿面的两个中心作业是：

  1. 数据的掩盖面满意的全：可以包含各类不同场景的不同类型的数据，除了狭义的日志、监控、Trace外，还需求包含咱们的CMDB、改变数据、客户信息、订单/买卖信息、网络流、API调用等
  2. 数据相关与一致剖析：数据价值的发掘不是简略的经过一种数据来完成，更多的时候咱们需求运用多种数据相关来达到意图，例如结合用户的信息表以及拜访日志，咱们可以剖析不同年龄段、性别的用户的行为特色，针对性的进行引荐；经过登录日志、CMDB等，结合规则引擎，来完成安全类的攻击检测。

阿里可观测性数据引擎的技术实践

从整个流程来看，咱们可以将可观测性的作业划分为4个组成部分：

  1. 传感器：获取数据的条件是要有满意传感器来发生数据，这些传感器在IT范畴的形状有：SDK、埋点、外部探针等。
  2. 数据：传感器发生数据后，咱们需求有满意的才干去获取、搜集各种类型的数据，并把这些数据归类剖析。
  3. 算力：可观测场景的中心是需求掩盖满意多的数据，数据一定是海量的，因而体系需求有满意的算力来核算和剖析这些数据。
  4. 算法：可观测场景的终极运用是数据的价值发掘，因而需求运用到各类算法，包含一些根底的数值类算法、各种AIOps相关的算法以及这些算法的组合。

五 再论可观测性数据分类

阿里可观测性数据引擎的技术实践

  • Logs、Traces、Metrics作为IT可观测性数据的三剑客，根本可以满意各类监控、告警、剖析、问题排查等需求，但是实践场景中，咱们经常会搞混每种数据的适用形状，这儿再大致罗列一下这三类数据的特色、转化办法以及适用场景：
  • Logs：咱们关于Logs是愈加广泛的界说：记载事/物改变的载体，关于常见的拜访日志、买卖日志、内核日志等文本型以及包含GPS、音视频等泛型数据也包含在其中。日志在调用链场景结构化后其实可以转变为Trace，在进行聚合、降采样操作后会变成Metrics。
  • Metrics：是聚合后的数值，相比照较离散，一般有name、labels、time、values组成，Metrics数据量一般很小，相对本钱更低，查询的速度比较快。
  • Traces：是最规范的调用日志，除了界说了调用的父子联系外（一般经过TraceID、SpanID、ParentSpanID），一般还会界说操作的服务、办法、特色、状况、耗时等具体信息，经过Trace可以代替一部分Logs的功用，经过Trace的聚合也能得到每个服务、办法的Metrics方针。

六 “割裂”的可观测性计划

阿里可观测性数据引擎的技术实践

业界也针对这种状况推出了各类可调查性相关的产品，包含开源、商业化的很多项目。例如：

  1. Metrics：Zabbix、Nagios、Prometheus、InfluxDB、OpenFalcon、OpenCensus
  2. Traces：Jaeger、Zipkin、SkyWalking、OpenTracing、OpenCensus
  3. Logs：ELK、Splunk、SumoLogic、Loki、Loggly

运用这些项意图组合或多或少可以处理针对性的一类或许几类问题，但实在运用起来你会发现各种问题：

  • 多套计划交错：或许要运用至少Metrics、Logging、Tracing3种计划，保护代价巨大
  • 数据不互通：虽然是同一个业务组件，同一个体系，发生的数据因为在不同的计划中，数据难以互通，无法充分发挥数据价值

在这种多套计划组合的场景下，问题排查需求和多套体系打交道，若这些体系归属不同的团队，还需求和多个团队进行交互才干处理问题，全体的保护和运用代价十分巨大。因而咱们希望可以运用一套体系去处理一切类型可观测性数据的搜集、存储、剖析的功用。

阿里可观测性数据引擎的技术实践

七 可观测性数据引擎架构

依据上述咱们的一些考虑，回归到可观测这个问题的实质，咱们方针的可观测性计划需求可以满意以下几点：

  1. 数据全面掩盖：包含各类的可观测数据以及支撑从各个端、体系中搜集数据
  2. 一致的体系：拒绝割裂，可以在一个体系中支撑Traces、Metrics、Logs的一致存储与剖析
  3. 数据可相关：每种数据内部可以互相相关，也支撑跨数据类型的相关，可以用一套剖析言语把各类数据进行交融剖析
  4. 满意的算力：分布式、可扩展，面对PB级的数据，也能有满意的算力去剖析
  5. 灵敏智能的算法：除了根底的算法外，还应包含AIOps相关的反常检测、预测类的算法，并且支撑对这些算法进行编列

可观测数据引擎的全体架构如下图所示，从底到上的四层也根本符合计划落地的指导思维：传感器+数据+算力+算法：

  • 传感器：数据源以OpenTelemetry为中心，并且支撑各类数据形状、设备/端、数据格局的搜集，掩盖面满意的“广”。
  • 数据+算力：搜集上来的数据，首先会进入到咱们的管道体系（类似于Kafka），依据不同的数据类型构建不同的索引，现在每天咱们的渠道会有几十PB的新数据写入并存储下。除了常见的查询和剖析才干外，咱们还内置了ETL的功用，担任对数据进行清洗和格局化，一起支撑对接外部的流核算和离线核算体系。
  • 算法：除了根底的数值算法外，现在咱们支撑了十多种的反常检测/预测算法，并且还支撑流式反常检测；一起也支撑运用Scheduled SQL进行数据的编列，协助咱们发生更多新的数据。
  • 价值发掘：价值发掘进程首要经过可视化、告警、交互式剖析等人机交互来完成，一起也供给了OpenAPI来对接外部体系或许供用户来完成一些自界说的功用。

阿里可观测性数据引擎的技术实践

八 数据源与协议兼容

阿里可观测性数据引擎的技术实践

跟着阿里全面拥抱云原生后，咱们也开端逐步去兼容开源以及云原生的可观测范畴的协议和计划。比较自有协议的封闭形式，兼容开源、规范协议大大扩充了咱们渠道可以支撑的数据搜集范围，并且减少了不必要的造轮子环节。上图展现了咱们兼容外部协议、Agent的全体进度：

  • Traces：除了内部的飞天Trace、鹰眼Trace外，开源的包含Jaeger、OpenTracing、Zipkin、SkyWalking、OpenTelemetry、OpenCensus等。
  • Logs：Logs的协议较少，可是规划比较多的日志搜集Agent，咱们渠道除了自研的Logtail外，还兼容包含Logstash、Beats（FileBeat、AuditBeat）、Fluentd、Fluent bits，一起还供给syslog协议，路由器交换机等可以直接用syslog协议上报数据到服务端。
  • Metrics：时序引擎咱们在新版本规划之初就兼容了Prometheus，并且支撑Telegraf、OpenFalcon、OpenTelemetry Metrics、Zabbix等数据接入。

九 一致存储引擎

关于存储引擎，咱们的规划方针的榜首要素是一致，可以用一套引擎存储各类可观测的数据；第二要素是快，包含写入、查询，可以适用于阿里内外部超大规模的场景（日写入几十PB）。

阿里可观测性数据引擎的技术实践

关于Logs、Traces、Metrics，其中Logs和Traces的格局和查询特色十分类似，咱们放到一起来剖析，推导的进程如下：

  • Logs/Traces：

    • 查询的办法首要是经过关键词/TraceID进行查询，别的会依据某些Tag进行过滤，例如hostname、region、app等
    • 每次查询的射中数相对较少，尤其是TraceID的查询办法，并且射中的数据极有或许是离散的
    • 一般这类数据最适合存储在搜索引擎中，其中最中心的技能是倒排索引

  • Metrics：

    • 一般都是range查询，每次查询某一个单一的方针/时刻线，或许一组时刻线进行聚合，例如一致某个运用一切机器的均匀CPU
    • 时序类的查询一般QPS都较高（首要有很多告警规则），为了习惯高QPS查询，需求把数据的聚合性做好
    • 关于这类数据都会有专门的时序引擎来支撑，现在主流的时序引擎根本上都是用类似于LSM Tree的思维来完成，以习惯高吞吐的写入和查询（Update、Delete操作很少）

一起可观测性数据还有一些共性的特色，例如高吞吐写入（高流量、QPS，并且会有Burst）、超大规模查询特色、时刻拜访特性（冷热特性、拜访局部性等）。

阿里可观测性数据引擎的技术实践

针对上述的特性剖析，咱们规划了一套一致的可观测数据存储引擎，全体架构如下：

  1. 接入层支撑各类协议写入，写入的数据首先会进入到一个FIFO的管道中，类似于Kafka的MQ模型，并且支撑数据消费，用来对接各类下流
  2. 在管道之上有两套索引结构，分别是倒排索引以及SortedTable，分别为Traces/Logs和Metrics供给快速的查询才干
  3. 两套索引除了结构不同外，其他各类机制都是共用的，例如存储引擎、FailOver逻辑、缓存战略、冷热数据分层战略等
  4. 上述这些数据都在同一个进程内完成，大大下降运维、布置代价
  5. 整个存储引擎依据纯分布式框架完成，支撑横向扩展，单个Store最多支撑日PB级的数据写入

十 一致剖析引擎

阿里可观测性数据引擎的技术实践

如果把存储引擎比喻成新鲜的食材，那剖析引擎便是处理这些食材的刀具，针对不同类型的食材，用不同种类的刀来处理才干得到最好的作用，例如蔬菜用切片刀、排骨用斩骨刀、生果用削皮刀等。相同针对不同类型的可观测数据和场景，也有对应的适合的剖析办法：

  1. Metrics：一般用于告警和图形化展现，一般直接获取或许辅以简略的核算，例如PromQL、TSQL等
  2. Traces/Logs：最简略直接的办法是关键词的查询，包含TraceID查询也仅仅关键词查询的特例
  3. 数据剖析（一般针对Traces、Logs）：一般Traces、Logs还会用于数据剖析和发掘，所以要运用图灵齐备的言语，一般程序员接受最广的是SQL

上述的剖析办法都有对应的适用场景，咱们很难用一种语法/言语去完成一切的功用并且具有十分好的快捷性（虽然经过扩展SQL可以完成类似PromQL、关键词查询的才干，可是写起来一个简略的PromQL算子或许要用一大串SQL才干完成），因而咱们的剖析引擎选择去兼容关键词查询、PromQL的语法。一起为了便于将各类可观测数据进行相关起来，咱们在SQL的根底上，完成了可以连接关键词查询、PromQL、外部的DB、ML模型的才干，让SQL成为顶层剖析言语，完成可观测数据的交融剖析才干。

阿里可观测性数据引擎的技术实践

下面举几个咱们的查询/剖析的运用示例，前面3个相比照较简略，可以用朴实的关键词查询、PromQL，也可以结合SQL一起运用。终究一个展现了实践场景中进行交融剖析的比如：

  • 布景：线上发现有付出失利的过错，需求剖析这些呈现付出失利的过错的机器CPU方针有没有问题

  • 完成

    • 首先查询机器的CPU方针
    • 相关机器的Region信息（需求排查是否某个Region呈现问题）
    • 和日志中呈现付出失利的机器进行Join，只关怀这些机器
    • 终究运用时序反常检测算法来快速的剖析这些机器的CPU方针
    • 终究的成果运用线图进行可视化，成果展现愈加直观

上述的比如一起查询了LogStore、MetricStore，并且相关CMDB以及ML模型，一个句子完成了十分杂乱的剖析作用，在实践的场景中仍是经常呈现的，尤其是剖析一些比较杂乱的运用和反常。

阿里可观测性数据引擎的技术实践

十一 数据编列

阿里可观测性数据引擎的技术实践

可观测性比较传统监控，更多的仍是在于数据价值的发掘才干更强，可以仅经过输出来推断体系的运转状况，因而和数据发掘这个作业比较像，搜集各类繁杂的数据、格局化、预处理、剖析、查验，终究依据得到的结论去“讲故事”。因而在可观测性引擎的建设上，咱们十分重视数据编列的才干，可以让数据流转起来，从茫茫的原始日志中不断的去提取出价值更高的数据，终究告知咱们体系是否在作业以及为什么不作业。为了让数据可以“流转”起来，咱们开发了几个功用：

  1. 数据加工：也便是大数据ETL（extract, transform, and load）中T的功用，可以帮咱们把非结构化、半结构化的数据处理成结构化的数据，愈加容易剖析。
  2. Scheduled SQL：望文生义，便是定时运转的SQL，中心思维是把巨大的数据精简化，愈加利于查询，例如经过AccessLog每分钟定时核算网站的拜访恳求、按APP、Region粒度聚合CPU、内存方针、定时核算Trace拓扑等。
  3. AIOps巡检：针对时序数据特别开发的依据时序反常算法的巡检才干，用机器和算力帮咱们去检查到底是哪个方针的哪个维度呈现问题。

十二 可观测性引擎运用实践

现在咱们这套渠道上现已积累了10万级的内外部用户，每天写入的数据40PB+，十分多的团队在依据咱们的引擎在构建自己公司/部分的可观测渠道，进行全栈的可观测和业务立异。下面将介绍一些常见的运用咱们引擎的场景：

1 全链路可观测

全链路的可观测性一向都是DevOps环节中的重要步骤，除了一般的监控、告警、问题排查外，还承当用户行为回放/剖析、版本发布验证、A/B Test等功用，下图展现的是阿里内部某个产品内部的全链路可观测架构图：

  1. 数据源包含移动端、Web端、后端的各类数据，一起还包含一些监控体系的数据、第三方的数据等
  2. 搜集经过SLS的Logtail和TLog完成
  3. 依据离在线混合的数据处理办法，对数据进行打标、过滤、相关、分发等预处理
  4. 各类数据悉数存储在SLS可观测数据引擎中，首要运用SLS供给的索引、查询和聚合剖析才干
  5. 上层依据SLS的接口构建全链路的数据展现和监控体系

阿里可观测性数据引擎的技术实践

2 本钱可观测

商业公司的榜首要务永远是营收、盈余，咱们都知道盈余=营收-本钱，IT部分的本钱一般也会占有很大一个部分，尤其是互联网类型的公司。现在阿里全面云化后，包含阿里内部的团队也会在乎自己的IT支出，尽或许的紧缩本钱。下面的示例是咱们阿里云上一家客户的监控体系架构，体系除了担任IT根底设施和业务的监控外，还会担任剖析和优化整个公司的IT本钱，首要搜集的数据有：

  1. 搜集云上每个产品（虚拟机、网络、存储、数据库、SaaS类等）的费用，包含具体的计费信息
  2. 搜集每个产品的监控信息，包含用量、运用率等
  3. 建立起Catalog/CMDB，包含每个资源/实例所属的业务部分、团队、用途等

运用Catalog + 产品计费信息，就可以核算出每个部分的IT支出费用；再结合每个实例的用量、运用率信息，就可以核算出每个部分的IT资源运用率，例如每台ECS的CPU、内存运用率。终究核算出每个部分/团队全体上运用IT资源的合理度，将这些信息总结成运营报表，推进资源运用合理度低的部分/团队去优化。

阿里可观测性数据引擎的技术实践

3 Trace可观测

跟着云原生、微服务逐步在各个职业落地，分布式链路追寻（Trace）也开端被越来越多的公司采用。关于Trace而言，最根底的才干是可以记载恳求在多个服务之间调用的传达、依靠联系并进行可视化。而从Trace自身的数据特色而言，它是规则化、规范化且带有依靠联系的拜访日志，因而可以依据Trace去核算并发掘更多的价值。

下面是SLS OpenTelemetry Trace的完成架构，中心是经过数据编列核算Trace原始数据并得到聚合数据，并依据SLS供给的接口完成各类Trace的附加功用。例如：

  1. 依靠联系：这是绝大部分的Trace体系都会顺便的功用，依据Trace中的父子联系进行聚合核算，得到Trace Dependency
  2. 服务/接口黄金方针：Trace中记载了服务/接口的调用推迟、状况码等信息，依据这些数据可以核算出QPS、推迟、过错率等黄金方针。
  3. 上下流剖析：依据核算的Dependency信息，依照某个Service进行聚合，一致Service依靠的上下流的方针
  4. 中间件剖析：Trace中关于中间件（数据库/MQ等）的调用一般都会记载成一个个Span，依据这些Span的统计可以得到中间件的QPS、推迟、过错率。
  5. 告警相关：一般依据服务/接口的黄金方针设置监控和告警，也可以只关怀全体服务进口的告警（一般对父Span为空的Span认为是服务进口调用）。

阿里可观测性数据引擎的技术实践

4 依据编列的根因剖析

可观测性的前期阶段，很多作业都是需求人工来完成，咱们最希望的仍是能有一套主动化的体系，在呈现问题的时候可以依据这些观测的数据主动进行反常的诊断、得到一个牢靠的根因并可以依据诊断的根因进行主动的Fix。现阶段，主动反常恢复很难做到，但根因的定位经过一定的算法和编列手法仍是可以施行的。

阿里可观测性数据引擎的技术实践

下图是一个典型的IT体系架构的观测抽象，每个APP都会有自己的黄金方针、业务的拜访日志/过错日志、根底监控方针、调用中间件的方针、相关的中间件自身方针/日志，一起经过Trace还可以得到上下流APP/服务的依靠联系。经过这些数据再结合一些算法和编列手法就可以进行一定程度的主动化根因剖析了。这儿中心依靠的几点如下：

  1. 相相联系：经过Trace可以核算出APP/服务之间的依靠联系；经过CMDB信息可以得到APP和PaaS、IaaS之间的依靠联系。经过相相联系就可以“顺藤摸瓜”，找到呈现问题的原因。
  2. 时序反常检测算法：主动检测某一条、某组曲线是否有反常，包含ARMA、KSigma、Time2Graph等，具体的算法可以参阅：反常检测算法、流式反常检测。
  3. 日志聚类剖析：将类似度高的日志聚合，提取一起的日志形式（Pattern），快速掌握日志全貌，一起运用Pattern的比照功用，比照正常/反常时刻段的Pattern，快速找到日志中的反常。

阿里可观测性数据引擎的技术实践

时序、日志的反常剖析可以帮咱们确认某个组件是否存在问题，而相相联系可以让咱们进行“顺藤摸瓜”。经过这三个中心功用的组合就可以编列出一个反常的根因剖析体系。下图便是一个简略的示例：首先从告警开端剖析进口的黄金方针，随后剖析服务自身的数据、依靠的中间件方针、运用Pod/虚拟机方针，经过Trace Dependency可以递归剖析下流依靠是否呈现问题，其中还可以相关一些改变信息，以便快速定位是否因为改变引起的反常。终究发现的反常事情会集到时刻轴上进行推导，也可以由运维/开发来终究确认根因。

阿里可观测性数据引擎的技术实践

十三 写在终究

可观测性这一概念并不是直接创造的“黑科技”，而是咱们从监控、问题排查、防备等作业中逐步“演化”出来的词。相同咱们一开端仅仅做日志引擎（阿里云上的产品：日志服务），在随后才逐步优化、升级为可观测性的引擎。关于“可观测性”咱们要抛开概念/名词自身来发现它的实质，而这个实质往往是和商业（Business）相关，例如：

  1. 让体系愈加安稳，用户体会更好
  2. 调查IT支出，消除不合理的运用，节省更多的本钱
  3. 调查买卖行为，找到刷单/做弊，即便止损
  4. 运用AIOps等主动化手法发现问题，节省更多的人力，运维提效

而咱们关于可观测性引擎的研发，首要重视的也是怎么服务更多的部分/公司进行可观测性计划的快速、有用施行。包含引擎中的传感器、数据、核算、算法等作业一向在不断进行演进和迭代，例如愈加快捷的eBPF搜集、更高紧缩率的数据紧缩算法、性能更高的并行核算、召回率更低的根因剖析算法等。

《看见新力量》第二期免费下载！带你走进数十位科技创业者背后的故事

这是一本正在进行中的科技创业者的记载，书中触及的创业者还都奔驰在路上。但是，他们的所思所做，已足以令一些工业发生细小而有用的改变，令数字经济年代下人们的生活变得愈加智能。阿里云立异中心作为科技创业者坚定的陪同者，希望可以经过记载的办法，让大家听到创业者实在的声音，看见科技立异的力量。

点击这儿,查看概况！

原文链接：click.aliyun.com/m/100034607…

本文为阿里云原创内容，未经答应不得转载。