前语 人体姿势估量（HPE）是核算机视觉中的一项经典使命，它主要经过识别人的关节的方位来表明人的方向。HPE能够用来了解和剖析人类的几何和运动相关信息。Newell等人在Mask3D中提出的堆叠沙漏架构是第一个根据深度学习的HPE方法之一。
本文运用重复的自下而上和自上而下的处理，从不同的尺度上捕获信息，并引入中心监督，在每个阶段迭代细化猜测。与当时最先进的方法相比，这导致了精确性的显著提高。
本文转载自集智书童
作者 | 小书童
欢迎重视大众号CV技能攻略，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。
核算机视觉入门1v3辅导班
本次联合中国水利水电出版社给大众号读者免费送书！参与方法见文末。
1、简介
HPE应该是一个实时的运用程序，由于它经常被用作另一个模块的前身。因而，在这种情况下，重视核算功率是至关重要的。在本研究中对堆叠的沙漏网络进行了架构和非架构修改，以取得一个既精确且核算功率高的模型。
在下文中对基线模型进行了扼要描绘。原始架构由多个堆叠的沙漏单元组成，每个沙漏单元由4个下采样和上采样等级组成。在每一级，经过残差块和最大池化操作完成下采样，而经过残差块以及朴素最近邻插值完成上采样。该进程确保模型捕获部分和全局信息，这对于连贯地了解全身以取得精确的最终姿势估量非常重要。在每个最大池化操作之后，网络分支以预池化分辨率经过另一个残差块运用更多卷积，其结果作为跳过衔接添加到沙漏后半部分的相应上采样特征图。模型的输出是每个关节的热图，该热图对每个像素处关节存在的概率进行建模。猜测每个沙漏后的中心热图，并对其运用丢失。
此外，这些猜测被投影到更多的通道，并作为后续沙漏的输入，以及当时沙漏的输入及其特征图输出。
源代码：github.com/jameelhassa…
2、规划挑选
2.1 深度可分离的卷积
深度可分离卷积取代传统卷积，减少卷积运算的参数数量。这是经过运用空间卷积独自切割卷积，然后经过点态卷积聚合通道信息来完成的，如图1所示。
2.2 空洞卷积
公式1中描绘的空洞卷积是常规卷积运算的一种变体，其具有指数添加感触野而不丢失分辨率或掩盖范围的能力，如池化运算的情况。
其间k是离散滤波器，是空洞因子，是空洞卷积运算。正则卷积对应于一维卷积。扩展卷积对核算复杂性几乎没有影响。
2.3 Ghost Bottleneck
Ghost 提出的Ghost Bottleneck也经过以不同的方法切割卷积，降低了卷积操作的核算复杂度。为了发生固定数量的通道，Ghost Bottleneck运用常规卷积输出一小部分通道，其他的则经过更简略的线性操作发生，如图2所示。这些通道经过衔接和卷积输出所需的通道数量。
2.4 DiCE Bottleneck
Dimension-wise Convolutions for Effificient Networks（DiCE）单元是由Mehta等人在DiceNet中提出的一个卷积单元，它交融了维向卷积之后和维向交融。卷积操作运用于三个输入维度（宽度、高度和深度）。为了沿着每个维度组合编码的信息，运用了一个有用的交融单元来组合这些表明。因而，直径单元能够有用地沿着空间尺度和通道尺度捕获信息。
2.5 Shuffle Bottleneck
shuffle单元初次在Shufflflenet中提出，它运用点卷积和通道Shuffle来提高核算功率和坚持精确性。
2.6 Perceptual Loss
感知丢失被用来比较带有细小差异的类似图画。在这儿运用它作为两幅图画之间的特征水平均方差错（MSE）丢失，它核算一个高档特征图的丢失，而不是原始图画空间。
这儿的假设是，如果第一个沙漏在高特征水平上“感知”第二个沙漏“感知”的东西，网络的全体性能将会得到改善。总丢失，如式2所示，包含感知丢失和猜测丢失中权重较高的原始猜测丢失。
2.7 Residual connections
作者还用带有Concat的残差衔接替换带有add的残差衔接操作，然后进行逐点卷积，以取得所需数量的通道，称为**「ResConcat」。还包含从沙漏最窄的特征图（颈部）到下一个沙漏颈部的残差衔接，称为「NarrowRes」**。
3、试验
3.1 Alternative bottlenecks
4、参考
[1].To Perceive or Not to Perceive: Lightweight Stacked Hourglass Network.
欢迎重视大众号CV技能攻略，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。
核算机视觉入门1v3辅导班
【技能文档】《从零建立pytorch模型教程》122页PDF下载
QQ沟通群：444129970。群内有大佬担任解答我们的日常学习、科研、代码问题。
其它文章
高效轻量级语义切割总述
超快语义切割 | PP-LiteSeg集速度快、精度高、易布置等长处于一身，必会模型！！！
数据集+插件，一把子解决遮挡下方针检测难题
AAAI | Panini-Net | 根据GAN先验的退化感知特征插值人脸修
一文带你把握轻量化模型规划原则和练习技巧！
图画增强新思路：DeepLPF
LCCL网络：相互辅导博弈来提高方针检测精度（附源代码）
与SENet互补提高，华为诺亚提出自注意力新机制：Weight Excitation
最新FPN | CFPNet即插即用，助力检测涨点，YOLOX/YOLOv5均有用
DeepLSD：根据深度图画梯度的线段检测和细化
CVPR 2023 | 基础模型推动语义切割的弱增量学习
消费级显卡的春天，GTX 3090 YOLOv5s单卡完好练习COCO数据集缩短11.35个小时
BOE告知你：一层卷积能够做超分！
卫星图画公开数据集资源汇总
DiffusionDet：用于对象检测的分散模型
CV小常识评论与剖析(7) 寻觅论文立异点的新方法
CV小常识剖析与评论(6）论文立异的一点误区
一文看尽深度学习中的各种注意力机制
MMYOLO 想你所想：练习进程可视化
顶刊TPAMI 2023！Food2K：大规模食品图画识别
用于精确方针检测的多网格冗余鸿沟框标示
2023最新半监督语义切割总述 | 技能总结与展望！
本来Transformer便是一种图神经网络，这个概念你清楚吗？
快速完成常识蒸馏算法，运用 MMRazor 就够啦！
常识蒸馏的迁移学习运用
TensorFlow 真的要被 PyTorch 比下去了吗？
深入剖析MobileAI图画超分最佳方案：ABPN
3D方针检测中点云的稀疏性问题及解决方案
核算机视觉入门1v3辅导班
核算机视觉沟通群
聊聊核算机视觉入门
