标签： 指针
-
图解Transformer系列一：Positional Encoding（位置编码）
自从2017年transformer模型被提出以来，它已经从论文最初的machine translation领域，转向images，audio，video等等方面的应用（完成作者们在论文conclusion里的大同之梦）。原论文的篇幅很严密，不看代码的话，缺少了很多细节描绘（便是很痛苦一直在犯难的意思）。我的学历阅历大概是两周啃paper+代码 => 两周挖细节=>未来这个模型还有很多值得打量。在transformer系列的笔迹里，我把模型拆成了各个零件进行学习，终究把这些零件拼装成transformer，学习的road map如下：
