作者：涯海
最近一年，小玉地点的事务部门发起了轰轰烈烈的微服务化运动，很多事务中台运用被拆分红更细粒度的微服务运用。为了迎候行将到来的双十一大促重保活动，小玉的主管让她在一周内整理出订单中心的大局要害上下流依靠，提早拉通各方对齐重保计划。这个使命可愁坏了小玉，平常她只与直接上下流事务方打交道，现在要整理出订单中心完好的依靠途径，头发愁掉了一大把仍然不知道该如何下手。无法之下，小玉再次求助于全能的小明。
针对小玉的问题，小明提出了一个主意，首先调用链能够追寻一次恳求的完好调用途径，可是单条调用链无法反映出所有的调用分支，也无法经过流量巨细体现出依靠的强弱，而逐条剖析调用链的本钱又太高。那么，是否能够经进程序将一批具有相同特征（比方经过某个运用，或许调用了某个接口）的调用链聚组成一颗树，经过剖析这棵树的形态与流量，就能够快速整理出要害节点与依靠途径，而这便是链路拓扑功能的雏形。
如上图所示，进口运用 A 依靠了多个不同深度的下流运用，而且每次调用的途径并不相同。为了整理出运用 A 的完好调用依靠，能够将多条调用链聚组成一棵树，从根节点到叶子节点的每条途径都代表着一种流量流通途径，而节点的状况反映了流量的特征，比方次数、耗时、错误率等。经过调用链聚合，归纳剖析端到端流量途径与状况的方法便是链路拓扑。 链路拓扑与调用链的联系就比方样本集与离散样本点，前者反映了全体的散布状况，能够有用防止单个样本随机性对评价成果的影响。
01 链路拓扑的经典运用场景
链路拓扑最中心的价值，便是经过剖析节点间依靠途径与状况，供给强弱依靠整理、瓶颈点剖析、影响面剖析、毛病传达链剖析等能力，下面咱们来深化了解下这些经典用法。
（一）强弱依靠整理
链路拓扑最典型、最被人熟知的运用场景便是依靠整理，特别是在一个大型散布式体系中，数以万计的运用间依靠联系杂乱到令运维同学怀疑人生。下图展示了 2012 年的淘宝中心链路运用拓扑，密密麻麻如蛛网般的依靠联系已经远远超出了人工整理的范畴，而这种状况在微服务迅猛发展的当下并不罕见。
在杂乱事务环境中，不仅需求整理出依靠联系图，还需求识别哪些是影响中心事务的强依靠，哪些是“无伤大雅”的弱依靠。针对强依靠要投入更多的人力与资源，树立愈加完善的保障体系，比方电话告警，联合压测等。针对弱依靠，能够考虑是否能够移除，或许树立次一级的保障措施。
区别强弱依靠的方法首要有以下几种：
-
依据流量巨细进行区别。这是一种简单粗犷的区别方法，大于必定流量阈值或份额的就识别为强依靠，不然视为弱依靠。这种判别方法的优点是简单明晰，能够由链路追寻渠道主动识别，无需人力干预。缺点是不行精确，一些特殊的要害依靠虽然流量不大，可是却会直接影响事务的稳定性。
-
依据同步/异步调用类型进行区别。这种区别方法的优点也是简单、易操作，减少了异步非阻塞（如消息）调用的搅扰。缺点是在同步调用为主的事务中挑选作用欠安，而在异步调用为主的事务（红包、热点推送）或许形成误判。
-
人工标示。鉴于事务的差异性，由事务 Owner 对自身依靠的直接下流的强弱性进行人工标示识别，牢靠性会更高。可是这种方法对于人员经验和时间本钱要求很高，而且无法自适应事务的改变。
-
半人工标示。首先由链路追寻渠道依据流量巨细、同步/异步进行开端的强弱依靠识别，再经过有经验的同学进行人工标示修正。这样既节省了人力本钱，也能有极限的自适应未来的事务改变。
强弱依靠整理是相对低频的工作，一般产生在在大促或重保活动准备阶段、新运用上线或老运用下线、上云搬站等场景。比方阿里在每年双十一大促前，都会整理中心事务的强弱依靠，并与往年进行对比，以便更好的进行针对性保障。
（二）瓶颈点/影响面剖析
链路拓扑在问题确诊范畴最常见的用法便是瓶颈点剖析与影响面剖析。前者是从当前节点向下流寻找导致问题产生的原因，首要用于问题定位；而后者是从问题节点向上游剖析被影响的规模，首要用于事务风险定级。
接下来，咱们经过一个数据库反常的事例，对比下这两种用法与视角的区别，如下图所示。
-
某天上午，运用 A 的管理员收到用户反应服务呼应超时，经过检查链路拓扑状况，发现 A 运用依靠的 D 运用接口变慢，而 D 运用调用数据库接口也呈现反常。因而，小 A 告诉小 D 即刻排查数据库连接等状况，赶快康复可用性。这便是一个瓶颈点剖析的进程。
-
由于小 D 事务不熟练，半小时过去了还没有完成有用的康复动作，而且触发了数据库服务端反常。负责 DB 运维的同学收到数据库服务端告警后，经过链路拓扑向上回溯事务影响面，发现直接依靠的 D、E 两个运用均呈现了很多慢 SQL，并导致间接依靠的运用 A、B 呈现不同程度的服务呼应超时。决断执行了数据库扩容，最终康复了全部运用的正常拜访。这便是经过影响面剖析，辅佐运维决策的进程。
瓶颈点与影响面剖析首要是依据一段时间内的静态拓扑数据，并没有体现时间改变对拓扑节点状况的影响，无法回溯毛病传达的进程。如上图右侧所示，如果只看这一张拓扑，咱们难以判别出导致数据库服务端反常的运用到底是 D 仍是 E。那么，是否能够动态回放链路拓扑的改变，更直观的剖析问题源与传达趋势？答案无疑是肯定的，请看下文介绍。
（三）毛病传达链剖析
抛开时间的维度，问题源与影响面的边界并不是很明晰。一个被影响方或许会成为新的问题源，引发更大的毛病。因而，为了能够愈加实在的复原毛病演变进程，咱们需求调查并对比一组时间线连续的静态链路拓扑快照集，经过不同快照之间节点状况的改变复原毛病传达链。这就比方经过监控视频复原凶案产生进程，要比单独的一张照片愈加牢靠。
以上一小节的数据库毛病为例，一开端运用 D 由于恳求缓存未射中，从而很多恳求数据库导致慢 SQL，从而影响上游运用也呈现呼应超时。跟着状况继续恶化，数据库服务端也开端过载，从而影响了运用 E 的正常调用。最后，运用 A、B 均呈现很多呼应超时，API 网关由于连接不足开端拒绝拜访，引发更大面积的服务不可用。
在实在出产环境中，拓扑依靠与毛病传达的进程或许会愈加杂乱，为了简化剖析进程，能够依据必定规矩将节点状况提取为各类反常事件，调查不同时间的反常事件数量也能够辅佐判别毛病产生、传达与康复的进程，如下图所示。
02 链路拓扑聚合维度
链路拓扑的聚合维度决议着拓扑节点的类型，面向不同的用户人物，供给了差异化的剖析视角。在实际运用中，最典型的三种链路拓扑聚合维度分别是运用、接口与自定义维度，分别对应着运用拓扑、接口拓扑和事务拓扑。
-
运用拓扑， 望文生义便是依据运用名称进行链路聚合，反映了运用间的依靠联系与整体流量状况。由于数据聚合粒度较粗，部分反常会被平均值掩盖，不适合精细化的问题确诊，更适合大局依靠整理与严重毛病定界，用户人物倾向于 PE 运维或 SRE 稳定性负责人。
-
接口拓扑， 是在服务接口这一维度进行的链路聚合，相比于运用拓扑更靠近研制视角，由于日常迭代的对象一般是某个详细的服务接口，无论是新接口上线、老接口下线或中心接口重保，接口粒度的链路拓扑更符合研制测验流程与责任区分习惯。运用与接口都是链路追寻范畴的基础对象，对应的拓扑能够由链路追寻渠道主动生成，无需过多的人工干预，运用起来较为方便。
-
事务拓扑， 是依据自定义维度聚合生成的偏事务视角的链路拓扑，一般比接口维度要更深一级，比方某个下单接口能够依据商品类目维度进一步细分为女装或家电，如下图所示。事务拓扑一般无法由链路追寻渠道主动生成，需求用户结合事务特性定制聚合规矩。此外，自定义维度的来源比较广泛，能够是手动增加的 Attributes 自定义标签，也能够是 HTTP 恳求出入参，或许是地点机器的环境标签。在这方面，开源社区缺乏相应的规范，而各大厂商的商业化完成差异也比较大。
综上所述，不同聚合维度生成的链路拓扑具备不同功能定位与特性，如下表所示：
03 链路拓扑生成方法
为了最大程度的保存链路数据的端到端关联信息，链路拓扑一般是依据调用链明细数据直接聚合生成，而不是依据目标数据的二次聚合。细心的读者或许会发现这儿隐藏着一个颇具应战的技能难题，便是如何平衡海量链路数据聚合的实时性、精确性与灵敏性。抱负状况下，咱们希望依据符合条件的全量调用链明细数据快速生成最实在的链路拓扑，完成“又快又准又灵敏”。但在实际运用中，鱼与熊掌不可兼得，咱们只能在“快”、“准”、“灵敏”之间进行抉择，也因而衍生出了不同的链路拓扑生成流派。
（一）实时聚合
实时聚合是依据用户指定查询条件，动态挑选调用链并生成拓扑图的一种方法。这种方法的优点是实时性较高，运用十分灵敏，能够指定任意条件，比方检查大于 3S 的调用链生成的拓扑，或许仅包括反常调用的拓扑。缺点是当满意条件的调用链明细数据量超越必定阈值后，或许会打爆实时聚合核算节点，因而，经过会设定一个聚合条数上限，比方5千条，牺牲必定的数据精确度，换来极高的灵敏度与实时性。
（二）离线聚合
离线聚合是依据一组事前定义好的聚合规矩，周期性生成拓扑数据的一种方法。例如不包括任何挑选条件的运用、接口这种基础拓扑数据就能够经过离线聚合生成。这种聚合方法的优点是能够利用离线核算的水平扩展性，支撑海量链路数据的聚合核算，生成成果会愈加精确。缺点是实时性较差，聚合规矩变更到新拓扑生成的周期较长。离线聚合一般用于大局拓扑数据的精确核算。
（三）预聚合
预聚合是一种理论上可行的拓扑生成方法，它的思路是从进口节点开端，不断向下透传全链路的完好调用途径信息，并在端侧生成相应的预聚合目标。不考虑透传信息的长度限制与端侧预聚合开支，这种方法的优点便是节省了在服务端将明细数据转化为拓扑数据的进程，完成又快又准的目标。可是缺点便是不支持自定义规矩，不然透传与预聚合的开支会直线上升，影响事务进程的性能与稳定性。预聚合的原理示意图如下所示。
04 3D 拓扑
流量与资源是一对“好兄弟”，二者密切相关。流量影响着资源分配，而资源反过来又约束着流量状况。大部分流量反常归根结底是资源配额不足或分配不合理导致的，比方峰值流量瞬间耗尽资源，或许流量不均导致的“热点”等。咱们在定位流量反常根因的进程中，往往需求结合相对应的资源状况进行剖析；反过来，当一个资源节点呈现反常时，咱们也希望知道它会影响其上运转的哪些流量？因而，在代表流量的链路拓扑上，关联相对应的资源数据，形成愈加完好的 3D 拓扑，貌似是个不错的挑选。
如下图所示，3D 拓扑不仅包括 PaaS 层的运用、接口流量节点状况与依靠，还能够下钻检查相对应的 IaaS 层进程、实例等资源状况。3D 拓扑为流量与资源树立了一个连接，帮助咱们更直观的定位资源瓶颈引发的流量反常问题。
3D 拓扑以一种巧妙的方法传递了更多的信息，可是它也有一个十分丧命的缺点，便是信息密度过于集中。在杂乱拓扑环境下，表现或许还不如 2D 拓扑来的直观，大大下降了它的实用价值。如下图所示，当实例规模到达数百，接口数量到达上千时，3D 拓扑交互上的杂乱性明显下降了确诊排查的功率，更多用于大屏展示。
为了下降 3D 拓扑的交互本钱，一种或许的思路是结合智能确诊技能，主动突出反常链路，精准收敛展示数据规模。不过，这对于技能与产品的要求较高，实用性还有待很多实在出产环境的查验。
