作者｜梵登、白玙

审阅&校对：白玙

修正&排版：雯燕

背景

反常检测作为智能运维（AIOps）体系中基础且重要功用，其旨在通过算法自动地发现 KPI 时刻序列数据中的反常动摇，为后续的告警、自动止损、根因剖析等供给决策依据。那么，咱们该怎么在实际场景中运用反常检测呢，而反常检测又是什么，今天咱们就进行一次深入解说。

什么是反常检测？

在全部开端前，咱们首要需求了解什么是反常检测。反常检测是指从时刻序列或许事件日志中，去辨认出不正常的事件、现象等。咱们这儿讲的反常检测特指时刻序列的反常检测。通过对时刻序列的值大小，曲线形状等进行综合判定，能够发现曲线反常点。反常的表现一般是指时刻序列产生了不符合预期的上升、下降或许动摇。

举例来说：某台机器的内存运用率目标一直在 40% 左右的水位动摇， 忽然飙升至 100%；某个 Redis 数据库的连接数正常水平一直在 100 数量左右， 忽然产生了大规模的跌落至 0 的现象；某个事务的在线人数在 10 万左右动摇，忽然跌落到了 5 万等等。

什么是时刻序列？

时刻序列是指一组依照时刻产生先后顺序进行摆放的数据点序列，一般一组时刻序列的时刻间隔为一稳定值（如 1 分钟、5 分钟）。

当时开源 Prometheus 是怎么做反常检测的？

现在开源版本的 Prometheus 检测才干还是依据设定阈值规矩方法进行，而这种依赖阈值设定的方法就引出了以下问题。

常见问题

问题 1：面临数以万计的目标数量，怎么快速又合理的完结检测装备？

因为不同类型目标的意义不同大，对应设定的合理阈值也不太一样。哪怕是同一种类型目标，因为事务状况不一样，往往不能用相同阈值。因而，在装备阈值时，运维人员需求依据对应的事务状况去装备自认为合理的阈值。因为运维人员认知水平和工作经验存在差异，因而不同人员装备的阈值也存在不同。其次，许多目标没有清晰合理的规模界说，这导致许多阈值装备都是“拍脑袋”确认的，随机性比较强。

举例来说：某在线人数目标， 有必要仔细调查剖析前史目标曲线的数值散布和改变趋势，才干设置出合理的阈值。

问题 2：随着事务的演化，怎么进行检测规矩的保护？

关于相对稳定的事务，事务目标长期处于稳定状况，这种状况下装备的阈值能够发挥比较长时刻作用。但关于时刻改变的事务， 随同事务的不断演化，目标的水位和走势也是在不断改变。这些改变很容易导致一开端设定的阈值检测，通过一段时刻则不太满意检测现状。这时候则需求运维专家定时核查检测阈值是否还符合当时检测需求，对不合理的装备进行保护与修正。因而，静态阈值方法存在着保护本钱高的问题。

举例来说：某 IO 吞吐量一开端稳定在 1 万的量值附近动摇，一开端设定了检测阈值为超越 2 万则告警。但随着事务发展，IO 吞吐量已稳定在 2.5 万左右，这时候一开端设定的阈值就导致了源源不断的告警叨扰。

问题 3：数据质量欠安怎么处理？

数据质量欠安表现为几种具体现象：采集推迟大、数据缺失值多、数据毛刺点比较多（反应在曲线上则是不行平滑）。关于前面俩种， 更多的是从采集、聚合侧进行针对性优化。ARMS-Prometheus 继续在采集才干进行优化。而关于数据毛刺点许多的数据质量问题，静态阈值方法无法有用的躲避。而在 ARMS- 托管版 Prometheus 的智能算子中， 咱们则针对多毛刺点进行了有用的辨认，确保了毛刺点不会构成无效告警， 减少用户侧/运维侧构成叨扰。

阿里云 Prometheus 监控是怎么处理这些问题

面临以上问题，阿里云 Prometheus 监控的检测装备才干除了支撑原生的设定阈值检测方法，全面新增支撑模板设定检测阈值方法与智能检测算子方法。

事务价值 1：高效高质量的告警装备

（1）针对清晰的运用场景装备检测规矩，阿里云 Prometheus 监控供给老练的告警装备模板化，用户无需人工设定阈值， 只需求挑选对应的模版即可。
例如：机器目标场景下， 装备“机器目标的 cpu 运用率 >80%”的模板。模板的方法处理了装备中清晰反常且事务比较稳定的运用场景痛点。

（2）针对不清晰的目标场景或欠好设定的事务目标场景，则推荐运用智能检测算子功用。

例如需求对某在线人数目标设定阈值， 这时需求花费很长的时刻调查前史曲线状况才干装备出合理的阈值。这种场景下用户能够直接挑选智能检测算子。

事务价值 2：自适应追踪事务改变，大大下降检测阈值保护本钱

阿里云 Prometheus 监控的智能检测算子功用，通过设定参阅前史数据长度的参数，模型能够自适应的追踪目标趋势的改变，无需人工定时去检查装备规矩。

事务价值 3: 关于质量欠安，缺失值/毛刺点过多的目标也能够实现智能检测

在智能检测算子功用中， 假如前史数据呈现了缺失，算法能够线性插值，多项式插值等多种方法，自动填补缺失值。

关于不平滑的目标曲线检测，智能检测算子也自适应的挑选针对该场景的最优模型进行检测，确保整体的检测作用。

怎么运用在具体事务场景里

水位突增/突降型目标：某事务的 qps 目标

1.png

在事务开端设定阈值时， 通过调查很有或许设定阈值不超越 150。但随着事务迭代，qps 目标也会产生各种各样的改变。从目标上则表现为：呈现阶段性的突增至某个值，然后平稳的状况。这种状况下，设定的静态阈值很难继续满意检测需求。别的一方面， 稳定状况也会呈现突发的跌落， 只设置上限的静态阈值是检测出这种跌落状况的。这种景象下， 智能检测算子则能够自适应的跟踪事务水平的改变，智能辨认事务的突增或突降。

周期性的目标：

2.png

在目标画像模块，假如辨认出当时的目标具有一定的周期，则会从中提取出对应的周期值、周期偏移值， 以及整体趋势曲线。在原始的时刻序列去除周期性、趋势性后，运用残差进行反常检测。以上图的周期目标为例， 11.30 分左右的周期与其他周期呈现明显不同。传统静态阈值很难去解这类场景下的检测问题， 而运用智能检测算子，则能够辨认出该种反常。

趋势损坏型的目标：

3.png

此外，还有一种常见类型的目标反常是，在某一阶段内， 目标一直呈现上升（或许下降）趋势。在某一个节点呈现突发性的趋势损坏，局部呈现了和整体趋势不一样。这种反常类型也是很常见的，但是静态阈值很难设定来处理这种景象。而智能检测算子则针对这种类型能够进行精确了的辨认反常。

最佳实践

阿里云Prometheus监控内运用流程

现在阿里云 Prometheus 监控已经支撑智能检测算子功用，只需登陆 ARMS-Prometheus/grafana，输入对应的 PromQL 即可。

算子界说

"anomaly_detect": {
 Name: anomaly_detect",
ArgTypes: []ValueType{ValueTypeMatrix, ValueTypeScalar},
ReturnType: ValueTypeVector,
},
输入：目标的时刻序列，类型为range vector；检测参数，运用默许的3即可
输出：反常回来1， 正常回来0

运用 case：

anomaly_detect(node_memory_free_bytes[20m],3)
  1. 输入的有必要是 range vector，因而需求在目标称号后添加[180m], 时刻规模默许挑选 180m，参数默许挑选 3
  2. 假如先进行了其他聚合函数操作，则需求[180m:],使之变为 range vector，如下：anomaly_detect(sum(node_memory_free_bytes)[180m:],3)
     

运用示例：

step 1: 登陆到 ARMS-Prometheus 或 Grafana 中挑选对应的 Prometheus 数据源

4.png

挑选对应的数据源：

5.png

step 2: 挑选目标， 并检查

6.png

step 3: 输入反常检测算子

7.png

关于 Prometheus- 智能检测算子

阿里云 Prometheus 监控智能检测算子，总结业界数十款领先的算法计划实践设计而成。针对常见的目标类型建立了目标画像，并自适应的挑选最佳模型去进行检测计算。每一条目标数据输入模型后， 模型首要会对当时的目标建立目标画像，包含平稳性，颤动性，趋势性，周期性，是否为特殊节假日/活动等。依据这些画像特征构建之后， 模型自适应挑选最优一种或许多种算法组合来解当时的目标检测问题，确保了整体作用最优。现在已经支撑的功用包含：突增检测、毛刺检测、周期辨认（辨认周期性、周期的偏移）。

通过阿里云 Prometheus 监控中集成智能检测算子， 咱们期望给用户能够供给开箱即用、继续迭代更新的智能检测服务。现在用户能够在阿里云 Prometheus 监控中检查并运用智能检测算子，而依据 ARMS 的原生装备智能检测告警功用和 Grafana 动态展现将在近期推出。

👇点击这儿，当即接入 Prometheus 监控！

Prometheus阅读的副本.png