前语 本文提出了一种新的预练习模型架构（iTPN ），该架构由多个金字塔形的Transformer层组成。每个层都包括多个子层，其中一些是一般的self-attention和feed-forward层，而另一些则是新的pyramid层。Pyramid层是一种新的层类型，它被规划为对输入进行多粒度的表示学习。此外，iTPN 还运用了一些其他的技巧，以进步模型的鲁棒性和泛化才能。
（更多…）