作者：丛霄

背景介绍

全保管的 Serverless 核算渠道能给用户带来更少的运维价值、更强的稳定性和更快的弹性才干。

Serverless 的目标之一是免运维，但依旧存在一些妨碍，在 Serverless 场景特有的一些关键服务装备比方 “并发度”、“最小实例数”、“最大实例数” ，怎样装备参数才是最适宜的？怎样确认自己装备的参数是否合理？依旧一向是让用户头痛的工作。

本文介绍了函数核算团队在自动化引荐 Serverless 函数最佳装备上的思考和相关工作，期望协助用户处理现在运用 Serverless 的痛点问题，彻底解放用户的双手，释放 Serverless 服务的价值。

评价 Serverless 服务最佳装备的难点

用户运用 Serverless 服务的预期是：更低的本钱、更快的弹性、更优的功用、更稳定的环境，这一起也是 Serverless 渠道承诺提供给用户的才干。尽管如此，很多用户在运用过程中仍是呈现了各种问题：

• 为什么运用 Serverless 后发现本钱还变高了？
• 为什么运用 Serverless 的冷启动时刻那么长？
• 在 Serverless 渠道上的功用推迟体现为什么更差了？

Serverless 渠道能提供必定的根底才干，可是针对不同的事务逻辑，需求采取适宜的装备才干更好的发挥 Serverless 的作用。可是怎样评价某函数的最佳装备，其间涉及到多变量的协同优化问题，并不是一个简略的问题。具有以下几个难点：

难点1：本钱和功用的权衡

• 必定的单实例多并发数，可以提高单实例并行处理恳求的数量，减少实例数，从而下降本钱；
• 并发数过高时，会添加资源竞争，导致功用推迟添加，从而添加本钱；
• 较低的实例标准单价本钱更低，可是延时更大；较高的实例标准单价成更高，可是延时或许更低

怎样针对用户的偏好场景（功用优先仍是本钱优先），为用户引荐最佳的函数装备，成为首要需求考虑的一大难点。

难点2：不同函数事务逻辑的复杂度

除了本钱和功用维度的衡量，针对不同类型的函数逻辑，不同的装备参数作用也有差异。很多函数事务逻辑复杂，只针对单一逻辑分支进行评价最佳装备并不代表整体的最优；不适宜的装备或许增大用户非预期的本钱。比方：

• 对于 CPU 密布型的函数，标准添加对单实例功用的提高有较大的改进
• 对于 IO 密布型的函数，标准添加对单实例功用的提高存在边际效应递减的状况，当超越某标准后，标准的提高对功用提高的作用基本没有

比方下图展现了 CPU 密布型函数在不同标准下的压测数据：

CPU 密布型的标准越高，maxTPS 越大；而且标准与 maxTPS 呈现显着的线性联系。

标准越大，maxRT 越低 ，阐明CPU密布型的函数，增大资源标准可以显著下降 RT。可是标准增大到 4G、8G 后，对 RT 的下降作用边际效应递减。

下图展现了 IO 密布型函数在不同标准下的压测数据：

标准的提高对 IO 密布型的功用改进作用有限，特别到了高标准，比方 3G 后，maxTPS 增幅不大

难点3: 函数装备对渠道侧资源的影响

函数的并发度、最小实例数、最大实例数等装备会影响到渠道侧资源池的容量规划，怎样确保单函数的资源刚性交给，多函数的资源阻隔；怎样优化渠道侧弹性调度才干，提高渠道侧的资源利用率，是另一个难点问题。

• 较低的单实例并发度，函数流量波动改变的场景，会提前达到单实例并发上限，导致实例扩缩容频频，对用户体感来说的冷启动更频频，对渠道来说需求创建和保护更多的实例个数，整体的资源利用率偏低
• 最大实例数的装备，怎样确保实例资源的刚性交给

怎样评价 Serverless 服务的最佳装备

经过以上几个难点剖析，咱们知道评价 Serverless 服务的最佳装备并非易事，下面的几个演化阶段，介绍了用户运用 Serverless 进行服务装备的方法改变，从青铜到王者，咱们一向在为用户提供最好的 Serverless 服务尽力。

青铜用户：拍脑袋设置

在上线初期，用户需求面对一堆装备参数，假如是初度运用函数核算的新用户，还需求翻看文档才了解装备含义，反复折腾后也不知道装备参数多少才适宜，最终仍是“拍脑袋”随便设置了一个值。

白银用户：人工反复调整

函数上线后，或许会发现之前的装备不合理，依旧需求反复修正函数装备验证。假如修正了函数逻辑，或许会发现之前的装备会呈现问题，比方恳求推迟变大，或者函数偶然呈现 OOM 错误。

有一些经历的开发者会挑选自己进行压测，确认函数的最佳装备。可是压测的运用具有必定的门槛，而且压测得到数据一般用户也不知道怎样剖析，或许会产生更多的疑问。终究折腾一番，用户也不是很确认压测得到的装备是否是最符合自己预期的最优挑选。

为了处理青铜和白银用户的这些困扰，咱们推出了自动化引荐装备的王者功用。

王者：功用勘探+数据剖析的自动化引荐

近期函数核算重磅推出了函数的功用勘探功用， 功用勘探的意图是协助用户评价函数单个实例在不同标准下的功用上限，而且引荐出满意用户预期推迟的最佳并发度和函数标准装备。

具体的勘探方法，依据 little’s law 排队理论，咱们知道服务的吞吐量、并发数和呼应时刻之间存在着一个等式联系：并发数 = 恳求的均匀推迟 * TPS

假如咱们运用图形化表示，如下图所示：

横坐标是并发数，左边的纵坐标是 TPS，右边的纵坐标是推迟。由于每个服务器的处理才干都有限，所以会呈现

• 吞吐量-并发数：跟着并发数上升，吞吐量先上升后陡峭，或许呈现下降，即功用恶化；
• 推迟-并发数：当并发度过高时，推迟会变高，甚至会急剧恶化；

经过功用勘探，咱们会得到每种标准的关键功用数据：

• 每个标准的最高能承受的 QPS：根据此，用户假如对事务流量比较清楚，可以核算得到函数所需的最小实例数和最大实例数。
• 引荐的最佳标准和标准下的最佳并发度。

比方用户预期自己的函数调用端到端推迟是 1000 毫秒，那么咱们会依据 1000 毫秒的推迟限制，引荐出最佳的标准，以及该标准下的最佳并发度，即满意推迟限制的最高 QPS 时对应的并发度。

整个功用选用流程图的方法指引，先压测单实例，再压测多实例，由于在功用体现平稳的体系，多实例的功用是单实例功用的线性叠加，所以只需求压测出单实例的功用，就可以推算出多实例的功用。

用户可以依据引导运用功用勘探，并得到引荐成果；一起功用勘探功用是完全免费的，用户只需求为函数承接的恳求流量付费，不需求为压测功用付费。

单实例压测成果剖析页面：

单实例压测数据概况页面：

现在函数功用压测功用已经在函数核算控制台上线，具体具体的运用方法可以参阅文档。

功用勘探引荐的函数装备优先确保满意功用需求，实现最高的资源利用率，可是真正实现最低本钱装备，需求结合函数线上历史流量数据剖析，进行引荐。

在进行本钱优化引荐标准时，不只需求达到节约本钱的意图，还需求确保不损坏现有服务的 QoS，即功用不会由于实例标准的下降，而导致推迟增大。

比方下面这张图表示用户实践资源运用量较低，实践装备的标准偏大，咱们可以引荐更低的标准，以协助用户节约本钱。

经过结合功用勘探+历史流量数据剖析，可以自动化给用户引荐得到确保功用的一起，本钱最低的最佳函数装备。

至尊王者：智能动态调整并发度

最终咱们等待的至尊王者，是彻底解放用户的双手，可以智能动态地调整函数的并发度，不论流量改变或事务逻辑怎样改变，用户再也不需求关怀或重新装备函数并发度的大小。

智能动态并发度未来一个演化方向，在这种形式下，用户不需求经过手动装备参数，而是在函数运行时动态调整，依据实例 CPU 负载的健康目标自动调整到最佳值。函数核算也会持续尽力，打造体会更好的，更帮用户节约本钱，更 Serverless 的自动化装备计划。

总结与展望

现在功用勘探功用已经在函数核算控制台敞开，根据历史流量评价可以下降本钱的最佳装备也会在近期公测敞开。根据功用勘探的自动化引荐函数装备功用，极大下降了用户上手以及运维函数装备的复杂度，期望能给用户运用 Serverless 带来王者般的体会。

附加链接

[1] 函数功用勘探

help.aliyun.com/document_de…

[2] 参阅《Little’s Law Wikipedia RobustScaler: QoS-Aware Autoscaling for Complex Workloads》

arxiv.org/abs/2204.07…