“我正在参加「启航方案」”
标签： 深度学习
-
深度学习与神经网络入门
随着ChatGPT的爆火以及最近各种爆发的大模型竞赛，人工智能行业逐渐走入了群众的眼球。作为喜欢折腾各种技术的爱好者，自然也期望能了解一些其间的原理。但想要更好的了解AI领域的常识，我想从深度学习开端是不为过的，由于早前现已学习过吴恩达教授的Machine Learning课程，因而本次也是经过他的另一门专项课程，Deep Learning Specialization来学习深度学习。本文首要以第一门课为参考，测验通俗的带咱们入门深度学习。
-
字节跳动提出高性能 transformer 推理库，获 IPDPS 2023 最佳论文奖
字节跳动与英伟达, 加州大学河岸分校联合发表的论文 《ByteTransformer: A High-Performance Transformer Boosted for Variable-Length》在第 37 届 IEEE 国际并行和分布式处理大会（IPDPS 2023）中，从 396 篇投稿中脱颖而出，荣获了最佳论文奖。该论文提出了字节跳动的 GPU transformer 推理库——ByteTransformer。针对自然语言处理常见的可变长输入，论文提出了一套优化算法，这些算法在确保运算正确性的前提下，成功避免了传统完结中的冗余运算，完结了端到端的推理进程的大幅优化。别的, 论文中还手动调优了 transformer 中的 multi-head attention, layer normalization, activation 等核心算子， 将 ByteTransformer 的推理性进步至业界领先水平。与 PyTorch, TensorFlow, NVIDIA FasterTransformer, Microsoft DeepSpeed-Inference 等闻名的深度学习库比较，ByteTransformer 在可变长输入下最高完结131%的加快。论文代码已开源。
