推理

LLM 推理优化探微 (4) ：模型性能瓶颈分类及优化策略

作者 | Pierre Lienhart 编译 | 岳扬在上一篇文章，我们深入...

9 月前 0 0 188

人工智能机器学习算法总结–2.逻辑回归算法

温馨提醒:在阅读并理解前文1.线性回归的基础上再看本文会更容易理解 1.定义，目...

9 月前 0 0 37

6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务

早在去年年底，LMDeploy 已经悄悄地支持了多模态（视觉）模型（下文简称 V...

9 月前 0 0 43

【在线回放】NVIDIA GTC 2024 大会 | 如何降低 AI 工程成本？蚂蚁从训练到推理的全栈实践

在 GTC 2024 大会 China AI Day 线上专场的演讲。在演讲中张...

9 月前 0 0 39

AI普及时代即将来临，我们如何提升自我竞争力？

自ChatGPT发布以来，形形色色的AI工具形同雨后春笋，令人眼花缭乱，不知所措...

9 月前 0 0 28

GenAI的“关键一跃”：推理与知识

本文从计算复杂性角度出发，探索推理和知识的本质，将历史性成就与最新的进展巧妙地交...

9 月前 0 0 44

二月冬风即过，春风将起｜2024年2月小结

2月，微创业、webstack项目开源，自律阅读，保持运动，找新工作.........

10 月前 0 0 61

编写单例的正确方式

尽管我在上一篇文章中写到了管理状态的苦恼，但有时我们无法避免它。管理状态的一个例...

10 月前 0 0 15

小红书 x Hugging Face 邀请你一起晒「创意新春照」

不藏了，近期全网爆火的AI 写真项目 InstantID，正是来自小红书社区技术...

10 月前 0 0 27

论文介绍 FreeControl: 无需额外训练实现文本到图像的空间操控！

论文介绍 FreeControl: 无需额外训练实现文本到图像的空间操控！论文...

10 月前 0 0 95

离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope

制作双语字幕的方案网上有很多，林林总总，不一而足。制作双语字幕的原理也极其简单，...

11 月前 0 0 334

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

CodeFuse是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，...

11 月前 0 0 337