字节跳动与英伟达, 加州大学河岸分校联合发表的论文 《ByteTransformer: A High-Performance Transformer Boosted for Variable-Length》在第 37 届 IEEE 国际并行和分布式处理大会（IPDPS 2023）中，从 396 篇投稿中脱颖而出，荣获了最佳论文奖。该论文提出了字节跳动的 GPU transformer 推理库——ByteTransformer。针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在确保运算正确性的前提下，成功避免了传统完结中的冗余运算，完结了端到端的推理进程的大幅优化。别的, 论文中还手动调优了 transformer 中的 multi-head attention, layer normalization, activation 等核心算子， 将 ByteTransformer 的推理性进步至业界领先水平。与 PyTorch, TensorFlow, NVIDIA FasterTransformer, Microsoft DeepSpeed-Inference 等闻名的深度学习库比较，ByteTransformer 在可变长输入下最高完结131%的加快。论文代码已开源。

（更多…）