第五届字节跳动青训营讲师十分用心给咱们整理了课前、中、后的学习内容，同学们自我评价，选择性查漏补缺，便于咱们更好的跟上讲师们的节奏，祝咱们学习愉快，多多提问沟通～

课程：Go 言语内存办理详解

概述

本节课程首要分为四个方面：

1. 主动内存办理

2. Go 内存办理及优化

3. 编译器和静态剖析

4. Go 编译器优化

课前部分首要罗列课程中涉及到的概念。对于不熟悉的概念，同学们能够提早查询预习；课中部分首要罗列每一部分的要害思路，协助同学们跟上课程的进展；课后部分是一些问题，协助同学们在课后整理本课程的重点。

课前 （有必要）

主动内存办理

• Auto memory management: 主动内存办理

• Grabage collction: 废物收回

• Mutator: 事务线程

• Collector: GC 线程

• Concurrent GC: 并发 GC

• Parallel GC: 并行 GC

• Tracing garbage collection: 追寻废物收回

  • Copying GC: 仿制目标 GC
  • Mark-sweep GC: 符号-整理 GC
  • Mark-compact GC: 符号-紧缩 GC

• Reference counting: 引证计数

• Generational GC: 分代 GC

  • Young generation: 年轻代
  • Old generation: 老年代

Go 内存办理及优化

• TCMalloc

• mmap() 体系调用

• scan object 和 noscan object

• mspan, mcache, mentral

• Bump-pointer object allocation: 指针磕碰风格的目标分配

编译器和静态剖析

• 词法剖析

• 语法剖析

• 语义剖析

• Intermediate representation (IR) 中间表明

• 代码优化

• 代码生成

• Control flow: 操控流

• Data flow: 数据流

• Intra-procedural analysis 进程内剖析

• Inter-procedural analysis: 进程间剖析

Go 编译器优化

• Function inlining: 函数内联

• Escape analysis: 逃逸剖析

课中

导言

• 什么是功能优化？

  • 进步软件体系处理才能，削减不必要的耗费，充沛开掘计算机算力

• 为什么要做功能优化？

  • 用户体会：带来用户体会的进步 —— 让刷抖音更丝滑，让双十一购物不再卡顿
  • 资源高效利用：下降成本，进步功率 —— 很小的优化乘以海量机器会是显著的功能进步和成本节约

• 功能优化

  • 事务层优化

    • 针对特定场景，具体问题，具体剖析
    • 简单取得较大功能收益

  • 言语运转时优化

    • 处理更通用的功能问题
    • 考虑更多场景
    • Tradeoffs

  • 数据驱动

    • 主动化功能剖析东西 —— pprof
    • 依靠数据而非猜想
    • 首要优化最大瓶颈

• 软件质量

  • 确保接口安稳的前提下改善完成

• 测试驱动
• 经过清晰的文档告诉用户这一项优化做了什么，没做什么，能达到怎样的效果
• 隔离，优化代码用选项和原先的途径隔离，确保优化未启用时的行为同曾经一致
• 可观测、可灰度、可回滚

主动内存办理

基本概念

• 主动内存办理：由程序言语的运转时体系办理动态内存

• 防止手动内存办理，专心于完成事务逻辑

• 确保内存运用的正确性和安全性: double-free problem, use-after-free problem

• 三个使命

  • 为新目标分配空间
  • 找到存活目标
  • 收回逝世目标的内存空间

• 概念

  Mutator: 事务线程，分配新目标，修正目标指向联系

  Collector: GC 线程，找到存活目标，收回逝世目标的内存空间

Serial GC: 只要一个 collector

Parallel GC: 并行 GC，支撑多个 collectors 同时收回的 GC 算法

Concurrent GC: 并发 GC，支撑 mutator(s) 和 collector(s) 同时履行的 GC 算法

Collectors 有必要感知目标指向联系的改变！

追寻废物收回

• Tracing garbage collection: 追寻废物收回

  • 被收回的条件：不可达目标

  • 进程

    • 符号根目标 (GC roots): 静态变量、全局变量、常量、线程栈等

    • 符号：找到所有可达目标

    • 整理：收回所有不可达目标占有的内存空间

      • Copying GC: 将存活目标从一块内存空间仿制到别的一块内存空间，原先的空间能够直接进行目标分配

      • 

      • Mark-sweep GC: 将逝世目标地点内存块符号为可分配，运用 free list 办理可分配的空间

      • 

      • Mark-compact GC: 将存活目标仿制到同一块内存区域的开头

      • 

引证计数

• 每个目标都有一个与之相关的引证数目

• 目标存活的条件：当且仅当引证数大于 0

• 长处

  • 内存办理的操作被平摊到程序运转中：指针传递的进程中进行引证计数的增减
  • 不需求了解 runtime 的细节：因为不需求符号 GC roots，因而不需求知道哪里是全局变量、线程栈等

• 缺陷

  • 开支大，因为目标或许会被多线程拜访，对引证计数的修正需求原子****操作确保原子性和可见性
  • 无法收回环形数据结构
  • 每个目标都引进额外存储空间存储引证计数
  • 虽然引证计数的操作被平摊到程序运转进程中，但是收回大的数据结构仍然或许引发暂停

• 说明

  • 以上咱们所叙述的技能的缺陷并非是无法处理的问题。学术界和工业界在一直在致力于处理主动内存办理技能的不足之处。例如，最新的 PLDI’22 的文章 Low-Latency, High-Throughput Garbage Collection 感爱好的同学能够阅读。

Go 内存办理及优化

Go 内存办理

• TCMalloc: TC is short for thread caching

• 目标：为目标在 heap 上分配内存

• 提早将内存分块

  • 调用体系调用 mmap() 向 OS 申请一大块内存，例如 4 MB
  • 先将内存区分成大块，例如 8 KB，称作 mspan
  • 再将大块继续区分成特定巨细的小块，用于目标分配
  • noscan mspan: 分配不包括指针的目标 —— GC 不需求扫描
  • scan mspan: 分配包括指针的目标 —— GC 需求扫描

• 目标分配：依据目标的巨细，选择最合适的块回来

• 内存缓存

  • Go 内存办理构成了多级缓存机制，从 OS 分配得的内存被内存办理收回后，也不会马上归还给 OS，而是在 Go runtime 内部先缓存起来，从而防止频频向 OS 申请内存。内存分配的路线图如下。

Go 内存办理的问题

mspan, mcache 和 mcentral 构成了内存办理的多级缓存机制。

• 目标分配是十分高频的操作：每秒分配 GB 级别的内存

• 线上 profiling 发现，Go 的内存分配占用很多 CPU

能够看到，用于分配目标的函数 mallocgc() 占用 CPU 较高

• 小目标分配占大多数

横轴是目标巨细，纵轴是数目，能够看到绝大多数目标都小于 80 B。因而优化小目标分配是要害。

字节跳动的优化计划

• Balanced GC

• 中心：将 noscan 目标在 per-g allocation buffer (GAB) 上分配，并运用移动目标 GC 办理这部分内存，进步目标分配和收回功率

• 每个 g 会附加一个较大的 allocation buffer (例如 1 KB) 用来分配小于 128 B 的 noscan 小目标

• bump pointer 风格的目标分配。暗示如下。

if g.ab.end - g.ab.top < size {
    // Allocate a new allocation buffer
}
addr := g.ab.top
g.ab.top += size
return addr
仿制代码

• 分配目标时，依据目标巨细移动 top 指针并回来，快速完成一次目标分配

• 同原先调用 mallocgc() 进行目标分配的方法相比，balanced GC 缩短了目标分配的途径，削减了目标分配履行的指令数目，下降 CPU 运用

从 Go runtime 内存办理模块的视点看，一个 allocation buffer 其实是一个大目标。本质上 balanced GC 是将多次小目标的分配合并成一次大目标的分配。因而，当 GAB 中哪怕只要一个小目标存活时，Go runtime 也会认为整个大目标（即 GAB）存活。为此，balanced GC 会依据 GC 战略，将 GAB 中存活的目标移动到别的的 GAB 中，从而紧缩并整理 GAB 的内存空间，原先的 GAB 空间因为不再有存活目标，能够全部开释，如下图所示。

上图上方是两个 GAB，其中虚线表明 GAB 中目标的分界线。黑色表明 GAB 中存活的目标，白色表明死掉的目标。因为 GAB 中有存活目标，整个 GAB 无法被收回。

Balanced GC 会将 GAB 中存活的目标移动到下面的 GAB 中，这样原先的两个 GABs 就能够被开释，紧缩并整理 GAB 的内存空间。

Balanced GC 只担任 noscan 目标的分配和移动，目标的符号和收回仍然依靠 Go GC 本身，并和 Go GC 保持兼容。

编译器和静态剖析

• 编译器的结构

• 静态剖析：不履行代码，推导程序的行为，剖析程序的性质。

• 操控流：程序的履行流程

• 数据流：数据在操控流上的传递

上图的程序转换成操控流图 (control-flow graph)

• 经过剖析操控流和数据流，咱们能够知道更多关于程序的性质(properties) ，这些事实能够协助咱们做编译优化。

  • 例如上面的程序。咱们经过剖析数据流和操控流，知道这个程序始终回来 4。编译器能够依据这个成果做出优化。

• Intra-procedural analysis: 函数内剖析：在函数内进行操控流和数据流的剖析

• Inter-procedural analysis: 函数间剖析：除了函数内的剖析，还需求考虑跨函数的数据流和操控流，例如参数传递，函数回来值等

Go 编译器优化

意图

• 用户无感知，重新编译即可取得功能收益

• 通用的优化手法

现状

• 选用的优化较少

• 追求编译时刻短，因而没有进行复杂的代码剖析和优化

思路

• 面向后端长期履行的使命

• 用恰当添加编译时刻交换更高功能的代码

函数内联

• 定义：将被调用函数的函数体的副本替换到调用方位上，同时重写代码以反映参数的绑定

• 长处

  • 消除调用开支
  • 将进程间剖析的问题转换为进程内剖析，协助其他剖析

• 缺陷

  • 函数体变大
  • 编译生成的 Go 镜像文件变大

• 函数内联在大多数情况下是正向优化，即多内联，会进步功能

• 采取一定的战略决议是否内联

  • 调用和被调用函数的规划

• Go 内联的限制

  • 言语特性：interface, defer 等等，限制了内联优化
  • 内联战略十分保守

• 字节跳动的优化计划

  • 修正了内联战略，让更多函数被内联
  • 添加了其他优化的机会：逃逸剖析

• 开支

  • Go 镜像巨细略有添加
  • 编译时刻添加
  • 运转时栈扩展开支添加

逃逸剖析

• 定义：剖析代码中指针的动态效果域，即指针在何处能够被拜访

• 大致思路

  • 从目标分配处动身，沿着操控流，调查数据流。若发现指针 p 在当时效果域 s:

    • 作为参数传递给其他函数；
    • 传递给全局变量；
    • 传递给其他的 goroutine;
    • 传递给已逃逸的指针指向的目标；

  • 则指针 p 逃逸出 s，反之则没有逃逸出 s.

• 优化：未逃逸出当时函数的指针指向的目标能够在栈上分配

  • 目标在栈上分配和收回很快：移动 sp 即可完成内存的分配和收回；
  • 削减在堆上分配目标，下降 GC 负担。

课后

1. 从事务层和言语运转时层进行优化分别有什么特色？

2. 从软件工程的视点动身，为了确保言语 SDK 的可维护性和可拓展性，在进行运转时优化时需求留意什么？

3. 主动内存办理技能从大类上分为哪两种，每一种技能的特色以及优缺陷有哪些？

4. 什么是分代假说？分代 GC 的初衷是为了处理什么样的问题？

5. Go 是怎么办理和组织内存的？

6. 为什么选用 bump-pointer 的方法分配内存会很快？

7. 为什么咱们需求在编译器优化中进行静态代码剖析？

8. 函数内联是什么，这项优化的优缺陷是什么？

9. 什么是逃逸剖析？逃逸剖析是怎么进步代码功能的？

参阅文献

1. The Garbage Collection Handbook — the art of automatic memory management

是主动内存办理范畴的集大成之作。把主动内存办理的问题、动机、计划、以及最新研究进展和方向进行了十分翔实的阐述。整个书很好读，参阅文献十分充分，推荐咱们阅读英文版。

2. JEP 333: ZGC: A Scalable Low-Latency Garbage Collector openjdk.java.net/jeps/333

是目前 HotSpot JVM 上 pauseless GC 完成的 proposal，能够看作 GC 范畴比较新的工程方面的进展。

3. 数据密集型使用体系规划 Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems

经过例子带咱们理解互联网产品需求处理的问题以及计划。

4. 编译原理 The Dragon book, Compilers: Principles, Techniques, and Tools

在编译器前端着墨较多。本书第二版的第九章 机器无关优化，推荐咱们反复仔细阅读。这一章首要叙述的是编译优化中常见的数据流剖析问题，建议咱们跟从书本仔细推导书中的例子，会协助你对数据流剖析有个大致的认识。这一章给出的引证文献大多是编译和静态剖析范畴十分有影响力的论文，有爱好的同学能够阅读。

5. 编译原理 Principles and Techniques of Compilers silverbullettt.bitbucket.io/courses/com…

南京大学编译原理课程。

6. 静态程序剖析 Static Program Analysis pascal-group.bitbucket.io/teaching.ht…

南京大学静态程序剖析课程。参阅文献 4 数据流剖析读不明白的地方能够参阅本课程的课件。

7. 编译器规划 Engineering a Compiler

在编译器后端优化着墨较多。能够协助咱们理解后端优化的问题。

8. JVM Anatomy Quark #4: TLAB allocation shipilev.net/jvm/anatomy…

Goroutine allocation buffer (GAB) 的优化思路在 HotSopt JVM 也能找到类似的完成。

9. Constant folding, en.wikipedia.org/wiki/Consta…

常量折叠数据流剖析。

10. Choi, Jong-Deok, et al. “Escape analysis for Java.” Acm Sigplan Notices 34.10 (1999): 1-19.

逃逸剖析的 Java 完成。

11. Zhao, Wenyu, Stephen M. Blackburn, and Kathryn S. McKinley. “Low-Latency, High-Throughput Garbage Collection.” (PLDI 2022). 学术界和工业界在一直在致力于处理主动内存办理技能的不足之处，感爱好的同学能够阅读。