刘聪： BentoML 是一家在海外专注于 AI 使用的开发者渠道，协助咱们的开源客户和企业用户来拓展开发以及布置 AI 使用。咱们在海外现已做了一些时刻，在海外也有一些很好的社区用户。现在，我首要担任 BentoML 在国内以及亚太区的一些事务。
Q1：BentoML 最开端的愿景是什么？
刘聪： BentoML 的开创人和 CEO 是第三位华人工程师，他其时其实是 ML flow 的榜首个兼职 PM。在2014年、2015年的时分，在美国服务了许多大的科技公司，比如说像 Capital One、 Riot Games，他就发现这些略微大一点的公司，它有一个二十人到三十人的数据和机器学习团队。在其时，很难把机器学习用到出产环境当中，他其时其实便是看到了一个时机，这么大的公司都需求人来协助落地机器学习，那么这些中腰部的公司，更需求这样的一个服务商或说公司来协助他们。 所以他其时就从 Databricks 出来，做了 BentoML 这个公司。
Q2：参加 BentoML 的原因是什么？
刘聪： 我参加其实比较靠后了，我是上一年九月份参加的公司，最开端咱们的 CEO 首要仍是专注于美国商场或者说海外商场。我简略介绍一下我之前的工作经历，我之前是在 Cloudflare，协助 Cloudflare 担任国内的百度云、京东云等的协作，以及国内出售办公室的树立。所以说我对大中华区、亚太区域这一块事务仍是比较了解。由于上一年，其实 BentoML 在海外的开展，现已相对比较不错了，预备在亚太区做一些拓展，所以我在上一年九月份参加了公司。
Q3：参加 BentoML 后有没有哪些比较形象深刻的应战？
刘聪： 我能够简略借着公司的开展来答复这个问题。在最开端，咱们的CEO 超予他其实是想做一个闭源的多云在海外。他其时刚出来，其实算青年创业者，尤其是在湾区算华人的青年创业者，他去卖一个闭源的 SaaS 的话，就遇到了一些应战，尤其是去卖一些相对传统的客户，很难让公司的高层来相信你一个两三个人的创业团队，而且仍是华人的创业团队。所以他们其时做了半年左右，就去把他们其时想要做的一个闭源 SaaS 的其间一部分开源了。
从开源的视点来说，首要咱们的代码都在 GitHub 上，整个代码的可控性就会更高；从一个信任的视点来说的话，也会让更多的大公司能够相信 BentoML 的技能，相信 BentoML 团队。保证说即使这个团队不在了或者后边公司呈现了什么问题，仍是能够继续用你的开源结构来服务公司内部的一些场景。我觉得这个其实是其时没有想到的一个应战，但后边用开源的方法做了一个方向性的调整。从现在来看的话，也是一个比较正确的挑选。咱们这个职业从事者，咱们关于开源项目的承受程度都会更高一些。
Q4：怎么看待创业公司在职能堆叠上的问题和应战？
刘聪： 从咱们视点来说，由于咱们最开端做的时分，它其实是一个业界的相对非一致的事，咱们做模型上线、模型布置这一块儿，不管是在传统机器学习仍是新一波生成式 AI 上，咱们有足够的堆集。现在咱们渐渐对模型上线、模型布置开端有一致了，关于咱们来说正好是一个爆发点，咱们之前堆集的技能和知识都能够在这方面用起来。别的一个好处是说越来越多的公司不管是从上游、从下游进来，能够把生态变得更大更好，也有更多的用户去重视。那其实关于咱们来说，不会是一个应战，反而是一个时机。
Q5：怎么看待新兴技能的再次出现？
刘聪： 从 BentoML 视点来说，这一波生成式 AI 和之前的传统机器学习相比较，咱们看到的趋势是咱们渐渐有更多的一致，尤其从管理层的视点来说，他更乐意去投入资源来去做一些测验。依据咱们之前的经验，其实在传统机器学习的那一块是比较难收到钱的，由于传统机器学习最开端的一块需求你去清理数据、预备数据，然后真实到模型上线、模型布置剩下的预算就很少了。
但生成式 AI ，它仅仅需求把大模型布置到出产环境中，或者是他经过大模型的才能去树立一个 demo 或者是树立一个内部的演示。这样从管理层的视点来说，会更乐意去花一些资源，不管是人力上仍是财力上，来支持这一个项目。假如说在内部获得反响好的话，正好是咱们进入的点，能够协助他把这个 demo 变成一个落地的使用。相当于不管是公司仍是个人，都更乐意承受这个产品的出现。
Q6：现在有哪些产品让人感觉眼前一亮？
刘聪： 我对 Stable Diffusion 文生图这一块或许会更感兴趣一些，依据用户的描述来生成图片。从我个人了解来看，大言语模型这种对话式的交互才能仍是相对比较根底的，它其实是一个如虎添翼的事，比如说我花时刻，用一个人脑或人力是能够去做文章的总结，去做 Meeting Notes 的提取。可是从一个文生图的视点来说，由于我不是美术专业，即使再怎么样花时刻精力，仍是很难去完成绘画或者是这种艺术的创作。
Stable Diffusion 这种经过文字描述去产生艺术作品，我觉得关于我来说的话吸引力更大。而且 Stable Diffusion 是开源的，你能够把 Stable Diffusion 经过 BentoML 布置到你个人的环境，或者你能够经过 Midjourney discord 的社群去产生相应的图片。这关于我一个没有绘画堆集，但想要去做一些艺术创作的人来说是更感兴趣的。
Q7：关于生成式内容的安全性相关问题有什么思考？
刘聪： 我觉得从一个数据搜集的视点来说，针对我之前的工作经历以及其他的互联网职业，尤其是谷歌、Facebook这种大的社交网络，或者是UGC的社群，它并不是一个新的问题。其实在海外有许多法律法规现已规定了哪些信息能够搜集，哪些信息不能搜集，哪些信息能够离开某一个区域，哪些信息有必要留在哪一个区域。
生成式 AI 这一波比较新的一些问题是，首要你去怎么样 safeguard 你产生的内容，比如说从文字生成的视点，有各式各样的过滤方法，也有一些 safeguard、RLHF 的相关手段来协助你去过滤以及约束生成式的结果。从文生图的视点来说，它其实有 ControlNet 等各式各样的技能、非技能手段，来保证你生成的图片是合法合规的。这个的话其实是新的一方面，可是也现已有许多技能、非技能手段能够达到了，仅仅从本钱的视点来说它是不是合理。
从法律法规的视点来说，你产生的图片版权、文字的小说版权问题，这个也现已有相关的法律法规制定者在研讨。一个简略的例子便是，Adobe 的生成式 AI 套件是做了一个版权保证，一切经过它 Adobe 套件产生的的图片假如产生版权问题的话，Adobe 都会有法务去帮你处理。所以我觉得这个仍是需求的，首要是法律法规的制定者以及像 Adobe 这种比较大型的公司能够率先垂范，做一些测验。
Q8：AI 生成代码会替代程序员的工作么？
刘聪： 不管是 To C 仍是 To B，现在的生成式 AI 仍是有真人在工作流里边做一些调整之后，才会更放心的使用的一个状态。从代码生成的视点来说，大模型的才能是相对比较健壮的，尤其是生成前端代码。可是这个问题就在于，你生成的代码只其间的一部分，作为一个程序员，你一切的运转环境、你的依靠怎么布置到出产环境中，这个是大模型没有办法解决的。所以我觉得大模型会进步程序员的工作效率，但真实能不能替代程序员，依照现在的才能来说或许还没有抵达那一步，具体的落地施行仍是需求人的智慧在其间去做一些工作和尽力。
Q9：这一波技能的出现会影响到近期的日常日子么？
刘聪： 日常日子我觉得或许不太会是近期，近期我更看脑力创作者能够使用新一波的生成式 AI 进步他的工作效率，我觉得这是一个相对比较现实或者说比较能够在短期内到达的结果。
Q10：通用性人工智能还要跨过多少障碍才能到来？
刘聪： 我觉得所谓的 AGI 通用人工智能其实仍是会相对离的比较远一些，首要便是 Transformer 这个架构是不是真实能够协助咱们抵达那一步是不知道的，我觉得更令人激动的是会有更多的多模态才能出现来协助咱们到达那一步，可是真实能够到达咱们界说的 AGI 的那一步或许还有五年左右的旅程。
Q11：怎么看待 AI 落地困难、商业化困难的的问题？
刘聪： 落地难能够分几个层次来了解这个问题。榜首，相对根底的大模型才能使用到工作流的过程中，这个是一个比较能到达的目标。那后边有略微杂乱一些的才能，便是所谓的 AI Agent 相关的一些自规划才能，根底模型的才能是不是能够达标是不确定的。
其次，你要达到某一个 task 的话，所耗费的算力是不是在可承受的范围内。举个例子，我自己订机票或许需求花二十分钟的时刻，可是一分钱的本钱都不必花。假如用 GPT4 的 API 去订机票，用所谓的 AI Agent 自规划才能订一个机票，你或许只需求两三分钟的对话，可是它探索之后，你或许是需求花八到十美金才能完成，那你是不是能够承受这个本钱。
我觉得这个便是从落地的视点来说，现在的推理本钱或许仍是略微有些高，尤其是GPU的算力或许现在更是一个突出的问题。从久远的视点来说的话，我觉得 GPU 的花费肯定是会不断地降低。然后从 BentoML 视点来说，咱们也是期望能够经过咱们的尽力把布置上线以及推理的本钱降下去，协助更多的用户和客户在他们的出产环境中落地相关的才能。
Q12：关于 AI 未来的趋势和开展有没有一些想法？
刘聪： 我仍是看好这一波生成式 AI 的爆发的，可是我觉得现在从海外和国内的创投环境以及科技环境看来，基本上现已处于一个比较冷静的状态。我觉得这个其实是一个好的工作，能够让更多的创业者和公司沉积下来去思考后边的开展途径。然后，我觉得从后边的开展情况来说，肯定会有更多的用例和场景是能够落地的，尤其是后边算力和推理本钱不断下降的趋势。从一个相对通用的 AGI 视点来说，我仍是比较期待这个工作的产生，尤其是看好多模态相关的一些结合。
咱们国内中文大模型的才能是不断在追逐海外厂商的，可是在相关的一些比如说多模态的才能、AI Agent 规划推理的才能上或许仍是有一些欠缺，尤其是大规模布置，我觉得海外像 OpenAI 这种公司它会有更多的实践经验。国内的工程师去追逐这一块的话，只要后边模型才能上去，是相对比较好追上的。从前沿研讨的视点来说，也差的略微多一些，可是国内的学者，尤其是在海外有许多优异的华人学者，我觉得这个是能够互通有无，渐渐追上的。其实咱们的人才储藏等等这些方面是有很大的优势的，可是在实践使用过程中或许的确还有许多困难要战胜。
稀土立异论坛文字回忆
欢迎参加技能交流群
