​**简介：**通过在Anolis 5.10 内核中增强 kfence 的功能，实现了一个线上的、精准的、可定制的内存调试解决方案。

**编者按：**一直持续存在内核内存调测源码编辑器下载领域两大行业难题: “内存被改” 和 “内存泄漏”何解？本测试用例文整理自龙蜥大讲堂第 13 期，有效地解决这两大难题都需要什么方案？快来看作者的详细介绍吧！

​一、背景

一直以来，内核内存调测领域一直持续存在着两大行业难题: “内存被改” 和 “内存泄漏”。内存问题行踪诡异、飘忽不定，在 Linux 内核的调测问题中，是最让开发者头疼的 bug 之一，因为内存问题往往发生故障的现场已经是第 N 现场了，测试用例尤其是在生产环境上出现，截止源码编辑器目前并没有一个很有效的方案能够进行精准的线上 debug，导致难以排查、测试抑郁程度的问卷耗时耗力。接下来让我们来分别看一下”内存被改” 和 “内存泄接口文档漏”这两大难题为什么难。

1.1 内存被改

Linux 的用户态的每个进程都单独拥有自己的虚拟内存空间，由 TLB 页表负责映射管理，从而实现进程间互不干扰的隔离性。然而，在内核态中，所有内核程序共用同一片内核地址空间，这就导致内核程序在分配和使用内存时linux创建文件必须小心翼翼。

​出于性能考虑，内核中绝大多数的内存分配行为都是直指针万用表怎么读数接在线性映射区划测试用例出一块内存归自己使用，并且对于分配后具体的使用行为没有监控和约束。线性映射区的地址只是对真实物理地址做了一个线性偏移，几乎可以视同直接操作物理地址，并且在内核态是完全开放共享的。这意味着如果内核程序的行为不规范，将可能测试抑郁症污染到其他区域的内存。这会引起许多问题，严重的情况下直接会导致宕机。

**一个典型的场景例子：**现在我们假设用户 A 向内存分配系统申请到了 0x00 到 0x0f 这块地址，但这只是口头上的“君子协定”，A不必强制遵守。由于程序缺陷，A 向隔壁的 0x10 写入了数据，而 0x10 是用户 B 的地盘。当B试图读取自接口和抽象类的区别己地盘上的数据的指针c语言时候指针式万用表，就读到了错误的数据。如果这里原本存着数值，就会出现计算错误从而引linux起各种不可预估的后果，如果这里原本是个指针，那linux系统安装整个内核就可能直接宕机了。

​上述的例子被称为越界访问(out-of-bound)，即用户 A 访问了本不属于 A 的地址。内存被改的其他情况还有释放后使用(use-after-free)、无效释放(invalid-free)等。这指针式万用表些情况就linux是什么操作系统想成 A 释放了这片空间后，内核认为这片已经空闲了从而分配给 B 用，然后 A 又杀了个回源码编辑器马枪接口是什么。例如，我们可以通过以下的模块代码模拟各种内存修改的例子：

//out-of-bound
char *s = kmalloc(8, GFP_KERNEL);
s[8] = '1';
kfree(s);
//use-after-free
char *s = kmalloc(8, GFP_KERNEL);
kfree(s);
s[0] = '1';
//double-free
char *s = kmalloc(8, GFP_KERNEL);
kfree(s);
kfree(s);

1.1.1 为什么调测难

在上面的例子中，宕机最后将指针式万用表会由用指针式万用表使用方法户 B 引发，从而产生的各种日志记录和 vmcore 都会把矛头指向 B。也就是说，宕机时已经是问题的第二现场了，距离内存被改的第一现场存在时间差，此时 A 可能早已销声匿迹。这时内核指针c语言开发者排查了半天，认为 B 不应该出现这个错误，也不知道为什么 B 的那片内存会变成意料之外的值，就会怀疑是内存被其他人改了，但是寻找这个“其他人”linux虚拟机的工作是很艰难的。如果运气好，宕机现场还能找出线索（例如犯人还呆在旁边，或是犯人写入的值很有特征），测试又或者发生了多次相似宕机从而找到关联等等。但是，也存在运气不好时没有线索（例如犯人已经源码交易平台释放内存消失了），甚至主动复现都困Linux难的情况（例如隔壁没人，修改了无关紧要的数测试抑郁程度的问卷据，或者修改完被正主覆写了等等）。

​1.1.2 现有方案的局限性

Linux 社区为了调试内存被改的问题，先后引入了 SLUB DEBUG、KASAN、KFENCE等解决方案。

​但这些方案都存在不少局限性：

• SLUB DEBUG 需要传入 boo测试用例t cmdline 后重启，也影响不小的 sla源码编辑器b 性能，并且只接口测试用例设计能针对 slab 场景；
• KASAN 功能强大，指针万用表怎么读数同时也引入了较接口大的性能开销，因此不适用于线上环境；后续推出的 ta测试g-based 方案能缓解开销，但依赖于 Arm64 的硬件特性，因此不具备通用性；
• KFENCE 相对来讲进步不少，可在生产环境常态化开启，但它是以采样的方式极小概率地发现问题，需要大规模集群开启来提升概率。而且只能探测 slab 相关的内存被改问题。

1.2 内存泄漏

相对内存被改，内存泄漏的影响显得更为“温和”一些，它会慢慢蚕测试英文食系统的内存。与大家所熟知的内存泄漏测试手机是否被监控一样，这是由于程序只分配内存而忘记释放引起的。

​例如，以下模块代码可指针式万用表以模拟内存泄漏：

char *s;
for (;;) {
    s = kmalloc(8, GFP_KERNEL);
    ssleep(1);
}

1.2.1 为什么调测难

由于用户态程序有自己的独立地址空间管理，问题可能还算好定位（至少一开top 能看见哪个进程吃了一堆内存指针）；而内核态的内存搅在一起，使得问题根源难以接口测试排查测试你适合学心理学吗。开发者可能只能通过系统统计信息观察到某一种内存类型(slab/pa接口类型ge)的占用在增长，却找不到具体是谁一直在分配内存而不释放。这是因为内核对于线性映射区的分配是不做记录的，也无从得知每块内存的主接口卡人是谁。linux常用命令

1.2.2 现有方案的局限性

Linux 社区在内核中引入了 kmemleak 机制，定期测试扫描检查内存中的值，是否存在指向已分配指针数组和数组指针的区别区域的指针。kmemleak 这种方法不够严谨，也不能部署于线上环境，并且存在不少 false-positive 问题，因此定位不太精确linux是什么操作系统。另外，在用户态，阿里云自研运指针数组维工具集 sysAK 中也包含针对内存泄漏的探测。它通过动态采集分配/释放的行为，结合内存相似性检测，在某些场景下可以实现生产环境Linux的内存泄露问题接口卡的精准排查。

二、解决方案

出现内存问题时，如果 vmcore 没有捕获到第一现场，无法发现端倪，这时内核同学的传统做法是切换到 de测试手机是否被监控bug 内核使用 KASAN 线下调试。源码编辑器然而线上环境复杂，有些十分隐蔽源码的问题无法在线下稳定复现，或者在线上时本身就属于偶发。这类棘手的问题往往只能搁置，等待下一次出现时期望能提供更多线索。因此，我们看到了 KFENCE 本身的灵活性，对它进行改进，让它成为一个能灵活调整用于线上/线下的内存问题调试工具。

当前最新的 KFENCE 技术优点是可以灵活调节性能开销（以采样率，即捕获bug的概率为代价），可不更换内核而通过重启的方式开启；而缺点则是捕获概率太小，以及对于线上场景来说重启也比较麻烦。

我们基于 KFENCE 技术的特点，进行了功能增强，并加上一些全新的设计，使其支持全量监控及动态开关，适用于生产环境，并发布在了龙蜥社区的Linux 5.10 分支，具体的实现有：

• 可以在生产环境的kernel动态开启和动态关闭源码网站。
• 功能关闭时无任何性能回退。
• 能够1源码网站00% 捕获slab/order-0 page的out-of-bound、memory corruptilinux必学的60个命令on, use-after-free、 invaild-free 等故障。
• 能够精准捕获问题发生的第一现场(从这个意义上来看，可以显著加速问题的复现时间)。
• 支持 pe测试仪r-slab 开关，避免过多的内存和性能开销。
• 支持 sl接口是什么ab/page 内存泄露问题的排查。

对具体技术细节感兴趣的同学可访问龙蜥社区的内核代码仓库阅读相关源码和文档（linux链接见文末）。

2.1 使用方法

2.1.1 功能开启

• （可选）配置按 sla源码交易平台b 过滤

访问 /sys/kernel/slab//kfence_enable 对每个 slab 单独开关访问 /sys/module/kfenc接口测试e/parameters/order0_page 控制对于order-0 page 的监控开关

• 采样模式

用户既可以设置启动命令行 kfence.sample_inter指针val=100 并重启来设置系统启动时直接开启 KFENCE（upstream 原版用法），也可以在系统启动后通过 echo 100 > /sys/m指针式万用表使用方法odule/kfence/parameters/sample_interval 手动打开 KF源码中的图片ENCE 的采样功能。

• 全量模式

首先我们需要对池子大小进行配置。池子大小的估算方指针数组和数组指针的区别法指针数组和数组指针的区别：一个 object 约等于 2 个 page（也就是 8KB）。

考虑将 TLB 页表分裂成PTE粒度对周围测试的影响，最终的池子大小会按 1GB 向上对齐。（ob接口类型ject 个数会自动按 131071 向上对齐）

如果配置了 slab 过滤功能，可以先不做修改，默认源码时代开启 1GB 观察源码精灵永久兑换码情况。

如果没配置过滤又需要全量监控，个人建议先开个 10GB 观察情况。

决定好大小之后，将相应数字写入/sys/modulelinux命令/kfence/parameters/num_objects 中。最后通过设置 sampl指针e_intervlinuxal为-1 来开启。（当然也可以把这俩参数写在启动命令行里，开机即启动）

*接口类型*如何观察情况：**kfence 启动后读取 /sys/kernel/debug/kfence/stats 接口，如果两项 currently slab/page allocated 之和接近你设置指针万用表读数图解的 object_size，说明指针c语言池子大小不够用了，需要扩容（先往 sample_interval 写 0 关闭，再改 num_objects，最后往 sample_interval 写 -1 开启）。

2.1.2 内存被改

​2.1.3 内存泄漏

2.2linux必学的60个命令 使用效果

对于接口类型内存被改，抓到该行为后会在 dmeslinux创建文件g 打印现场源码交易平台的调用栈。从触发现场到该内存的分配/释放情况一应俱全，从而帮助精准定位问题。

​对于内存释放，可配合用户态脚本扫描 /sys/kernel/deb指针数组ug/kfence/objects 中活跃的内存（只有 alloc 没有 free 的记录）linux虚拟机，找出最多的相同调用栈。

实战演示详见视频回放（链接见文末）。

2.3 性能影响

2.3.1 hackbench

我们使用 ecslinux必学的60个命令 上的裸金属机器进行linux系统安装测试，104v源码网站cpu 的 Intel Xeon(Cascade Lake) Platinum 826指针万用表读数图解9CY。使用 hackbench 将线程设满（104），根据不同的采样时源码间测得性能如下：

​可以看到，在采样间隔设置比较大（例如默认100ms）时测试抑郁程度的问卷，KFENCE 几乎不产生影响。如果采样间隔设置得比较激进，就能以不大的性能损失换取更高的捕获 bug 成功率。需要指出的是，hackbench 测试也是 upstream KFENCE 作源码网站者提到的他使用的 benchma指针万用表怎么读数rk，该 benchmark测试手机是否被监控 会频接口测试繁分配内存，因此对kfence较为敏感。该测试用例可以反映 kfence 在较坏情况下的表现，对具体线上环境的性能影响还需因业务而定。

2.测试用例3.2 sysbench mysql

使用环境同上，使用 sysbench 自带 oLinuxltp.lua 脚本设置 16 线程指针万用表怎么读数进行测试。分别观察吞吐（tps/qps）和响应时间 rt 的平均值和 p95 分位。

​

​可以看到，在采样模式下对该 mysql 测试的业务场景影响微乎其微，全量模式下则会对业务产生可见的影响（接口测试用例设计本例中约 7%），是否开启全量模式需要结合实际场景具体评估。需要指出的是，本测试开启了全量全抓的源码编辑器模式，如果已知有问题的 slab 类型，可以配合过滤功能进一步缓解 kfence 带来的额外开销。

三、测试工程师总结

通过在Anolis 5.10 内核中增接口强 kfence 的功能，我们实现了一个线上的、精准的、灵活的、可定制的内存调试解决方案，可以有效地解决线上内核内存被改和内存泄露这linux系统安装两大难题，同时也为其添加了全量工作模式来确保在调指针数学试环境快速抓到 bug 的第一现场。

当然，KFENCE 增强方案源码1688也存在一些缺点：

• 理论上的覆盖场景不全指针数组

例如，对于全局/局部变量、dma 硬件linux系统安装直接读写、复合页、野指针等场景无法支持。然而，根据我们的内存问题的数据统计，在线上实际出现的问linux命令题里，全都是 slab和order接口英文-0 page 相关的内存问题，说明本文的解决方案在覆盖面上对于目前的线上场景已经足够。

• 内存开销大

目前可以通过支持 per-slab 单独开关、控制 interval 等手段极大地缓解，接下来我们也有计划开发更多的应对内存开销大的优化和稳定性兜底工作。

原文链接

本文为阿里云原创内容，未经允许不得转载。