持续创作,加速成长!这是我参加「日新计划 10 月更文应战」的第21天,点击检查活动概况

机器学习运维 (MLOps) 刚刚成为一个被广泛认可的概念——尽管不一定被广泛理解或认同。 可是,假如您在科技领域作业了很长时刻,你就会知道下一个新的缩写词已经在角落里嗡嗡响了。

DLOps 即深度学习运维,是 MLOps 的演化,旨在处理深度学习带来的共同运维应战。 持怀疑态度的人或许会以为这是用一个新的盛行词不用要地来搅浑水,但看看 DLOps 或许与 MLOps 不同的原因或许是有价值的。

为此,咱们应该先看看机器学习和深度学习之间的差异。

机器学习和深度学习的差异

深度学习是机器学习中触及深度神经网络的一个概念。

一般来说,深度学习与传统机器学习的显著差异在于,深度学习能够处理特征工程杂乱或难处理的问题(最常见的是结构化数据与非结构化数据)。

假设您想区分鲨鱼和海豚。 假如您有关于动物的表格数据,您将很容易找出分量、长度,也许还有分量与长度的比率是必不可少的信息。 另一方面,假如你有一组图片,你就很难确定哪些像素、形状、颜色等是必不可少的信息。 在这些情况下,首选深度学习,由于“特征工程”留给机器。

DLOps:用于深度学习的 MLOps(Valohai)

能够肯定地说,深度学习模型比传统的机器学习模型更大,而且更倾向于定制。 除此之外,深度学习模型通常与其他深度学习模型协同作业,使模型架构和练习管道愈加杂乱。

这并不是由于深度学习自身,而是它主要应用于触及杂乱问题的场景,例如:自然语言处理、语音辨认、核算机视觉等。

DLOps 与 MLOps

回到原来的话题,DLOps。

首要,机器学习运维 (MLOps) 是用于开发、发布和保护机器学习能力的流程和东西的总称。

那么深度学习模型(与其他模型相比)在开发、发布和保护方面有什么不同吗?

大多数情况下,没有。相同的最佳实践往往适用。对数据、代码和参数的所有内容进行版别控制相同重要,自动化作业流程将发生类似的优点。

但是,深度学习至少在三个领域有其共同之处:

  1. 数据基础设施:数据处理和管理或许彻底不同。大多数数据区域都专心于处理结构化数据中的问题。例如,特征存储(在 MLOps 中非常盛行)与深度学习无关。
  2. 练习基础设施:练习简略的机器学习能够用相对较少的数据在 CPU 上快速完结。另一方面,深度学习触及很多大文件(例如:图像),因而需要更多的核算能力和时刻。
  3. 模型服务:实时在线推理是服务于许多机器学习模型的常见范式。关于深度学习模型,这种范式要么更难以实现,要么彻底无效。例如,人脸辨认应该在边缘进行,以确保即使互联网连接欠安也能正常作业。

在为深度学习构建技能仓库时,您的决议或许与运用传统机器学习的人不同。例如,并行化和 GPU 机器或许与机器学习无关,但它们却有助于从一开始开发深度学习。

另一方面,某些几乎事实上用于传统机器学习(和结构化数据)的技能,例如:AutoML 和 Spark,并没有真实用于开发深度学习模型

那么有没有足够的差异来正当理由新的术语呢?或许没有,但时刻会证明全部。

DLOps 和 Valohai

Valohai 开始是为深度学习而构建的。 咱们发现,关于从事深度学习的数据科学家来说,拜访核算资源是一个重要的绊脚石。 因而,咱们非常重视机器编排。 今日,咱们仍然看到灵敏利用最强大和最具本钱效益的机器关于深度学习场景更有价值。

但是,咱们没有将自己定位为 DLOps 渠道,而是以为 Valohai 是团队构建自定义模型的最佳渠道。 咱们强调技能不可知论、机器编排和所有场景自动化。

原文链接:DLOps: MLOps for Deep Learning