FREEPLAY:面向JAVA开发者(还有其他)的新式LLM开发东西

两位前Twitter开发者渠道高管成立了一家名为Freeplay的AI开发渠道。他们表明,它不仅仅是可观测性。

译自Freeplay: New LLM Dev Tool for Java Developers (and Others)

Freeplay是一款全新的LLM开发渠道(本年我现已多次重复这个语句了)。一位投资者称它为“Figma的”,把它称为“LLM开发的Figma”。所以到现在为止,咱们是两个开发东西炒作指数中的其中一个。

可是让咱们先退一步:Freeplay究竟是什么?为了弄清楚,我采访了联合创始人兼CEOIan Cairns,他曾经在Twitter的开发者渠道作业,直到该公司被埃隆马斯克收购。

Cairns告诉我,他和联合创始人Eric Ryan(也来自Twitter)创建Freeplay是为了“协助产品开发团队在其产品中运用LLM”。现在,Freeplay能够协助测验、试验、监测和提示办理。

“这些功用组合起来能够协助人们完成软件开发生命周期,”Cairns说。“从原型阶段,到测验阶段以保证它准备好投产,最终 – 当它现已上线时 – 协助您了解体系中的大规模运行状况,然后找到方法进行改进。”

与我最近介绍的LLM开发渠道Gradient相同,Freeplay面向企业软件开发者。

“咱们的大多数客户都是一些已有事务的软件公司,”Cairns说。“也便是说,它们不是以AI为先的创业公司。它们都是一些试图选用LLM的公司,现已有了成熟的事务和客户群。它们有很出色的软件开发者,但或许曾经没有运用过LLM,甚至没有运用过机器学习。”

将Java引入AI国际

Freeplay为Python、Node和Java供给了开发者SDK。Cairns宣称,Java SDK在当前的AI工程空间中是独一无二的。

“AI创业社区中的许多人要么运用Python,由于传统上有许多的机器学习和AI东西在Python国际,要么运用Node或JavaScript – 由于他们正在构建React使用程序,您能够运用JavaScript进行服务器端和前端作业。咱们与众不同的当地在于:我没有看到现在这个范畴有人为JVM构建过SDK。”

他说,许多成熟的软件公司运用的是Kotlin等语言,Kotlin与JVM兼容。他弥补说,当他在Twitter作业时,他们运用的是Scala(Scala是另一种兼容JVM的语言)。

“仅为了调用语言模型就选用一种全新的编程语言,这或许不是很合理,”他说。“咱们发现,许多老牌公司仅仅与他们这多年来一直在运用的软件进行集成 – 他们不会去运用某些新的AI框架。”

数据飞轮:不仅仅是可观测性

我说到,乍一看,Freeplay让我想起了Humanloop,后者将自己描述为一个“协作游乐场”,开发人员能够在其中测验和部署提示。我问Cairns,这是否是一个公正的比较?

他回答说,这是一个“合理的类比”,可是Freeplay更常被客户在“现已上线生产”后运用 – 暗示它或许不像Humanloop那么像一个“游乐场”。

FREEPLAY:面向JAVA开发者(还有其他)的新式LLM开发东西

Freeplay演示图片

我注意到Freeplay和Humanloop都包含了测验和监测功用,所以它们两者都相似于传统的DevOps可观测性渠道。Cairns在某种程度上附和这点,但他指出LLM使用程序的需求与传统使用程序不同。

“在传统的可观测性中,大部分目标便是 – 嘿,发生了什么,”他解释说。“可是对于机器学习体系,我以为这对LLM也适用,可观测性的需求 – 发生了什么 – 依然存在,但它实际上也是这个数据飞轮的一部分,以一种不同的方法协助您逐步优化产品,当您进行机器学习时。”

关键在于,LLM使用程序的质量依赖于基础数据(或数据的查询方法),任何来自软件开发周期有助于优化使用程序的内容,都会反馈到LLM(或提示/查询)中。正如Cairns所说,Freeplay“不仅是一个可观测性渠道 – 可观测性是一个协助更大优化循环的功用”。

Figma的类比

与低代码渠道相似,Freeplay旨在被开发人员和产品/事务人员共同运用。这便是Figma类比的来历。它是一个使专业开发人员能够经过Web前端与事务利益相关者进行协作的东西。我问Cairns通常是开发人员还是产品司理在推进这个过程。

“进行初始设置的人一直是技能领导者,”他回答说。“无论是CTO还是工程主管,也便是说,他们是那些说,嘿,咱们想给团队供给更好东西的人。”

开发人员的作用是项目的施行。

“开发人员肯定会首先运用Freeplay进行集成并继续运用它,”Cairns说。“可是它的作业方法是您将咱们的SDK嵌入到您正在构建的使用程序中。咱们开端办理提示,就像办理服务器端试验相同。”

他将其比作相似Amplitude或LaunchDarkly等东西,能够进行A/B测验 – “这样产品司理就能够启用试验”。因此一旦开发人员设置了体系,产品司理就能够进行这种试验或测验。

将OpenAI的开发者渠道与Twitter的进行比较

最终,我问Cairns他和他的联合创始人Eric Ryan是否从在Twitter开发者渠道作业中获得了一些经验教训。两人都在2014年加入Twitter,由于Twitter在那年收购了Gnip,一家交际媒体API聚合公司。

你们中一些人或许还记得,Twitter曾有或许成为一个大规模的使用开发渠道,但他们在2010年代初不明智地镇压第三方开发者。Cairns慎重地没有过多谈论这一点,但他的确得出了一个有趣的类比,即OpenAI现在的处境。

“我以为OpenAI的确做得很好,这是Twitter在2010年咱们不在的时分错失的时机。昨日它们做出了重大改变 – 似乎与那些构建独立聊天机器人或代理的人存在竞争,但它们也经过使用商铺和在其渠道上获利的时机吸引了这些人。我以为它们在这方面做得不错。”