欢迎重视我的大众号 [极智视界]，获取我的更多技能共享
大家好，我是极智视界，带来本周的 [极智一周]，关键词：MoE、FlashAttention、PTQ、MI300禁令、H100赢利空间、戴口罩检测 And so on。
邀您加入我的常识星球「极智视界」，星球现在促销优惠内有超多好玩的项目实战源码和资源下载，链接：t.zsxq.com/0aiNxERDq
极智视界本周热门文章回顾
(1) MoE专家混合架构正成为干流
首要需要清晰的是 MoE 肯定不是十分新的架构，由于早在 2017 年，谷歌就已经引入了 MoE。而最近 MoE 的火热主要源于 Mistral AI，它是由前 Google、Meta 和 OpenAI 的研究人员创立的一家新科大模型公司，被称为 “欧洲 OpenAI”，而首个开源的 MoE 多专家混合模型 Mixtral 8x7B 就来自于 Mistral AI。大部分 MoE 的作业都是出自 Google 之手，但让 Google 为难的是这个技能由 OpenAI GPT 发扬光大。而其实你也能够看到，最近 Google 的号称 “最强大模型” 的 Gemini，也是一种 “分布式模型架构”，大抵也是一种 MoE 的变体。这么看来，Transformer + FlashAttention (可参阅我的上篇解读) + MoE 好像已经成为现在大模型干流架构的标配了。那么，你还不赶忙学起来。
(2) 一图看懂大模型优化技能FlashAttention
所谓一图胜千言，一张好的图关于一个作业的表达很重要，通常能够让人更能直观了解这个作业在做什么。这里根据一张图，来解读大模型优化技能之 FlashAttention。先用一句话来总结 FlashAttention 的优化之道：算子交融，矩阵分块，分而治之。详细可见剖析。
(3) PTQ 后量化系列
之前陆续输出过一些 PTQ 后量化算法的讲解共享，会涉及十余篇，这里进行一个系列汇总，方便体系地展示给同样对模型小型化感兴趣的朋友。
(4) MI300 禁令
说到美国的两轮芯片禁令，很自然就会想到英伟达 A100、H100、璧仞、寒武纪等，可是好像都不太容易联系到 AMD。我们在上次的解读中得出了一个结论：MI300X 相比于英伟达最强芯 H100，不管是显存仍是算力，都是呈碾压之势的，这个论题的详细剖析能够参阅我的这篇解读《极智芯 | MI300X呈碾压之势 批改解读AMD MI300X vs NVIDIA H100 关于稀疏算力的解释》。按这样的结论，AMD MI300X 应是妥妥的禁令之中。由于禁令禁的并不是详细什么什么卡，不是说详细指明了便是要禁你 A100，仍是要禁你 H100，而是供给了两个指标规模，在这个规模内的就要禁。关于详细的禁令指标解读能够参阅我的这篇汇总篇《极智芯 | 解读美国芯片禁令及英伟达特供芯片系列》或许直接这篇《极智AI | 老美晋级芯片禁令限制中的性能指标究竟指什么》。那么究竟 AMD Instinct MI300 系列，或许说 MI300X 芯片在不在芯片禁令规模之内呢。先给答案：肯定在。详细可见剖析。
(5) H100 赢利空间
在马克思关于 “赢利” 的解读中，300% 基本就属上限。而外网路透社之前有过报道，英伟达 H100 本钱约 3320 美元，价格则为 30000 美元，它的赢利率乃至高达 1000%，这明显十分不符合市场规律。这里来剖析一下 H100 的本钱，究竟这个 “3320 美元” 的数字靠不靠谱。详细可见剖析。回过头来，市场肯定是足够聪明的，已然能够维持这么久的 “供不应求”，其实便是在说明大家仍是认可它的 “价值”，而这些 “价值” 应该就存在于那 “看不见的” 1000% 的 “赢利空间” 之中。
(6) 实战戴口罩检测
带来两个实战戴口罩检测项目共享，分别是根据 OpenCV 和 Pytorch 的，也是承诺的供给 “根据 OpenCV、根据 pytorch、供给 tensorflow、根据 tensorflow、根据 paddle、根据 caffe、根据 mxnet、根据 keras 版别” 系列中的其中之二，其他版别敬请期待。项目供给完整的代码，包括推理代码、一键执行脚本、模型权重、三方依赖库、待检测的图片、检测后的效果图等。欢迎下载体会。
极智一周，祝大家周末愉快！
【大众号传送】
《极智一周 | MoE、FlashAttention、PTQ、MI300禁令、H100赢利空间、戴口罩检测 And so on》
畅享人工智能的科技魅力，让好玩的AI项目不难玩。邀请您加入我的常识星球， 星球内我精心整备了很多好玩的AI项目，皆以工程源码形式开放运用，涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。必定会对你学习有所协助，也必定十分好玩，并持续更新更加有趣的项目。 t.zsxq.com/0aiNxERDq
