先说效果

先说效果,获奖了。

2023年10月13日官宣开赛,10月31号提交作品,11月2号告诉作品入围了决赛,11月8号参加决赛路演。在短短一周的时间,从项目idea设想到项目开发落地,我的独立AI项目「Lofi心境」毕竟在「36氪 X Colingo大语言模型运用立异挑战赛」决赛中取得了「优胜奖」。

关于我在Al Hackathon挑战赛取得优胜奖这件事

图:优胜奖获奖的三支团队代表(右上图的是我

在获奖且振奋之余,我想将本次大赛的经历和收成都记载而且共享出来,期望可以给同在AI路上的朋友们一些考虑。

参赛起先

我是在11月20号关注到这个竞赛的。

在「36氪」上看到Al Hackathon挑战赛的时分,其实我仍是抱有疑问的。一方面,LLM的部署和运用有不小的难度,更别说再加上Pre-TuningFine-Tuning等作业,难度就更大了。另一方面,参赛者要在短时间内还需求依据大模型建立产品项目,还需求有立异思维,这无疑难上加难。

但当我仔细阅读参赛规则和要求后,瞬间来了兴趣。这次Al Hackathon36氪CoLingo途径联合举办的,而前面所担忧的LLM的一切部署和操练,都可以依据CoLingo这个低代码途径来快速结束,那么参赛者就只需求专注在场景运用上就行了。

所以抱着学习和交流的情绪,我扫码添加了主办方运营教师的微信,由于时间严峻(只需7天项目时间),因而毫无准备下的我挑选了个人团队参赛,并填写了报名申请表。参赛团队称号也是随意想了下,毕竟定了个比较搞笑的姓名,叫做「长在树上的地瓜」。

考不上清华北大,烤个地瓜也是不错的。

报名结束后,我加入了大赛交流群中。大赛为了让参赛者快速结束项目,CoLingo途径在竞赛前期的每个晚上都组织了途径的运用操练和案例介绍,包含知识库问答辅佐、导购员、简历生成、网页总结、B站视频内容总结……

关于我在Al Hackathon挑战赛取得优胜奖这件事

在学习和众多的案例之后,我陷入了迷茫,或许许多人都会有相同的疑问:

  • 大模型具有什么样的才干,对话?推理?总结?
  • 我们毕竟能用大模型能做什么?我们真的需求大模型吗?

在学习的那段时间,我一直在考虑这些问题。

构思乍现

回归实践,其时最紧迫也是最困扰的问题是,我该挑选一个什么项目参赛?

假如是凭仗大模型的检索和总结才干,在CoLingo途径上的凭仗LLM总结B站视频内容的案例让人浮光掠影,先取得B站链接中的BV号,再通过BV号和Http Request Maker网络请求结构获取CID,通过BV和CID来获取字幕文件,毕竟再把字幕文件交由LLM进行总结……

假如是想做相似抓取和总结招聘网站上的招聘信息的案例的话,运用LLMFunction_Call取得用户输入的内容,当匹配到系统所需条件时,通过Google_Search搜索引擎结构访问招聘网站,然后运用Web_Crawl扫描网页内容,毕竟将网页内容交由LLM进行分析输出……

要不最简略,运用Knowledge_Search和本地前次的知识库文件,做个知识库问答机器人?

虽然一时间没有想好参赛的项目,但在学习LLM的运用案例时,却是学到了不少内容,对LLM的运用场景有了进一步的知道。

在某天操练完,在家里楼下漫步的时分,和目标聊起这个竞赛,我说看了许多的项目案例,但是不知道该做什么项目参赛好。目标和说我:

不用想太多,你做你擅长的就好啦。

哪怕毕竟不能得奖,这次竞赛也是一次名贵的经历嘛~

是啊,其实想那么多干什么,确定一个方向,做出来就好了。

此刻我的大脑快速检索(自问自答)着一连串的信息:

我擅长哪一块?产品规划、iOS开发。那我做过哪一块?iOS独立开发。具体开发过什么内容?笔记类、图片修改类运用。我想做什么?大约是结合图片最好还有音乐什么的。我能想到什么?相似呼吸或许冥想平复心境或许进步专注的运用……

遽然那么一刻,灵光一闪!赶忙回到家中翻开电脑,一个构思悄然而生。

关于我在Al Hackathon挑战赛取得优胜奖这件事

思维导图或许是我用过最好用的思绪拾掇东西了,不一会儿就把想到的构思具象化了出来。再结合自身产品规划和iOS独立开发的才干,很快就设想了一个「文本 图片 音乐」的冥想类型的运用。

初步的主意是,通过LLM的才干分析用户的心境,凭仗本地知识库和Knowledge_Search的才干匹配「文字」部分,凭仗Midjourney或许第三方API来生成图片,至于音乐部分,假如有现成的Music Agent的API就更好,假如没有的话,就只能自己运用python写一个脚原本组成音乐……

呼~

一连串幻想之后,总算是有了大体的方向。

入围决赛

自身赛程时间也比较严峻,而恰巧11月30号、31号作品提交时间赶上了阿里云的云栖大会,由于技术社区的福利(感谢我张哥),我以媒体的身份应邀参加云栖大会要去趟杭州,这样参赛时间的组织上就愈加严峻了。

在前期我还可以在B站、油管等途径看看如何结合AI东西来结束图片和音乐部分。到越到往后的时间,心境也愈加烦躁,索性遇到问题就自己来。Midjourney、SD暂时用不了,就改用一些图片的API,Music AI却是找到了些国内外的处理方案,但大体上都需求付费而且没有API,那么没办法了,也自己来吧。

还好技多不压身~

就这样,在CoLingo途径上大体结束了心境分析、心境-疗愈文字匹配、和弦和旋律生成的作业后,剩下的图片部分用了第三方的API,音乐组成部分将CoLingo通过Agent API的方式与Python写的方法桥接组成音乐,毕竟快速运用SwiftUI开发一个简略的iOS运用用于画面出现。

关于我在Al Hackathon挑战赛取得优胜奖这件事

在毕竟效果结束的那一刻,压力得到了开释,听着美丽的音乐,看着文字和图片效果,我感觉被自己规划的运用治好了。原本仅仅想做个项目参赛,没想到真有效果,好像。

在11月31号晚上,在CoLingo的主办催促下,在杭州的酒店,我提交了这个项目。

2天后,我收到了决赛入围的约请。

决赛准备

Al Hackathon挑战赛决赛以「产品演示」的方法进行,每位参赛者需求准备一个演说的PPT,而且为了避免现场演示“翻车”,因而主办方主张可以录制一段产品演示的DEMO。为此,主办方还将PPT模版共享给了我们,这省了不少作业。

说实话,在B端领域作业了那么久,规划PPT和路演应该算是我最擅长的作业。项目布景、处理方案、技术方案、产品亮点……由于决赛路演方法是5 3的方式(5分钟展示,3分钟问答),那么在PPT内容的准备上不能太多,大约每个部分的内容一张PPT。

关于我在Al Hackathon挑战赛取得优胜奖这件事

为了让参赛作品愈加具有吸引力,在PPT中一切的配图根本都是运用AI规划的,当然,也包含我的「毛遂自荐」部分的头像。

PPT结束后,其实远没有完毕。虽然可以现场自由发挥,但为了出现最好的效果,关于第一次参加Al Hackathon挑战赛的我来说,仍是需求做好全面的准备。

为了现场发挥安稳,我依据每张PPT的内容写了一份演说稿。下面是我准备的讲稿部分:

各位评委教师,以及一同在AI领域探索的同行者们,我们好,我是「长在树上的地瓜」团队的队长,今天所带来的AI作品叫做「Lofi心境」。

在这个信息爆破和快节奏的时代,在都市打工的我们常常感受到焦虑和不安,或许是由于作业所带来的压力,或许来自于家庭,亦或许是对自己过高的要求所带来的背负。我们期望和人倾吐今天的心境、今天的焦虑,或许今天遇到的作业,当我们倾吐后,也期望有人将倾听自己的心声。

当你在学习或许作业的时分,我们需求保持高度的专注,我们常常会找一个舒适的环境,戴着耳机,放着轻音乐,专注于当下的作业,不被外界的业务所打扰。亦或许在上下班路上,在嘈杂的人群中寻找一份安静。在这一刻,我们不属于任何人,只属于我们自己。

Lofi心境是一款可以帮忙你缓解焦虑和进步专注才干的运用,我们可以简略的对话的方式,倾吐我们的心境、心境,或许主意,通过大模型的才干,我们可以得到专属定制的lofi音乐场景,包含唯美的图片、抚慰心里的文字,以及舒心的音乐。在心境焦虑时,也可以通过Lofi心境来让自己安静下来,Lofi心境像是有人陪伴着你身边,倾听你的烦恼,而且为你排解焦虑。在你在极力的时分,Lofi心境也可以在此刻为你打造专注的音乐场景,让你感受着音乐,沉浸在专注的国际里。

下面是一段产品Demo的演示。

在曩昔传统的C端产品开发中,要结束这个作品或许需求做许多方面的准备,需求了解其时用户的心境情况,还需求通过复杂的乐理知识和音乐方案来发明这样的产品。而现在,凭仗于大模型的才干,我们可以以对话的方式得到用户其时的心境情况,我们构建了心境分析师的人物,来取得用户输入的内容的心境情况,并通过Knowledge来进行向量匹配,取得疗愈的文字话术,这一部分我们结束了文字展示的内容。

Lofi音乐场景部分,和以往需求专业的音乐人参加不同,我们通过另一个心理医生的大模型,通过用户的心境情况,来幻想一个治好的音乐场景,比如一首安静的、钢琴、美丽的环境、令人放松的曲子。我们让心理医生创建了这样的提示词。下一步我们构建了一个“作曲家”的人物,让作曲家依据心理分析师的设想的音乐场景,规划和弦和旋律,后边我们通过本地的python音乐库生成脚本生成音乐部分。毕竟,我们将文字、音乐、图片相结合,在APP的载体上出现毕竟的效果。

中心才干方面,非常感谢CoLingo途径供应的大模型的拾掇才干,可以很方便地调用大模型来分析其时用户的心境,而且通过本地知识库来匹配治好的文字。在整个作品规划进程,我们运用到了多个Language Model供应的才干,以及通过本地知识库构建Knowledge Search 来做文字向量匹配,通过Code来拾掇和输出信息,毕竟运用Agent API与移动端产品相链接,毕竟结束Lofi心境的整个项目。

毕竟,再一次感谢36k AI协同立异中心和CoLingo途径,以上就是我们团队的作品介绍,谢谢我们。

讲稿写完后,其实也不是一次就完毕了,在竞赛前我还做了另一件作业,就是「预演」。

许是为了准备充分,或许添加自己的底气,也是为了操控演说的时间,我大约是做了3、4次预演操练,为此也都删除了部分讲稿的内容(时长原因)。

路演现场

11月8号下午,由所以作业日特别请了半响假。

路演当天开幕式后,先是线下(北京现场)的团队进行路演,线下路演的效果比线上路演效果要好太多,这是在看直播时分的直观感受。

但其实也发现一个问题,大多数团队其实作品都非常不错,但由于时间或许前期准备的关系,大多数团队都没有将自己的作品彻底展示,这非常的惋惜

所以在边看其他团队路演进程中,我也在不断调整自己演说的交稿的内容。毕竟,下面是我的路演的直播视频:

关于我在Al Hackathon挑战赛取得优胜奖这件事

整体来说,已然是对自己比较满意了,毕竟这个进程没有太多的卡顿,而且时间把控得也还好。毕竟,也取得了不错的效果,下面是颁奖典礼的直播视频:

关于我在Al Hackathon挑战赛取得优胜奖这件事

视频中我只截取了自己参赛内容和颁奖的部分,后边其实还有「总冠军」(总冠军是一等奖,我是二等奖优胜奖)的团队颁奖,当然其他团队的作品也可以在「36氪」无缺的重播中见到,非常引荐我们去看重播~

无缺重播地址:

36kr.com/live/247832…

赛后感悟

以上,就是Al Hackathon挑战赛的全进程,回忆整个竞赛进程(好吧,我说实话,看了几次重播),从参赛准备到路演,整个进程应该是比较无缺和具有参看含义的,也是我学习路上一个重要的足迹。

关于这次大赛比较深入的我觉得有几点:

  1. 当新技术来临的时分,我们应该尽或许将新技术与自身的才干相融合,拥抱新技术。

一直以来我所擅长是产品规划和iOS开发,而LLM自身所具有的才干可以补偿我后端上的缺少,也使得一个作品从构思到落地可以在非常短的时间结束,这自身就是一件非常“可怕”的作业。

  1. 多去尝试新领域和新事物,先结束再完善。

本次大赛170多名选手报名,组成70多支部队,提交作品并入围只需30支部队,而毕竟也只需4只部队得奖(1支总冠军,3支优胜奖)。说实话,或许看到这次Al Hackathon挑战赛的或许特别多,而毕竟有勇气报名的却很少,但不去报名或许永远没有机遇被看到。而报名参赛后,我猜毕竟提交作品参赛或许又挑选了许多人,这个阶段我感觉「结束」并「做好」更重要,首先时间很短,单单有个构思就很不错了,在有限的资源、有限的时间内做到最好,这现已很不简单了。其次「结束」才有机遇,「没结束」就失去了被发现的机遇,哪怕你的作品再优异。

  1. 撕开1米的口子,打1000米的纵深。

假如是看商业化才干,那么决赛中有许多部队都比我强许多,乃至有些企业的作品现已投入市场进行验证了。假如是看团队布景,有些团队的成员title几乎吓人,各种清华北大、研究生、海外留学生。假如是看技术才干,那么运用GPT4或许将AI与自家系统相结合的案例更是不计其数。但假如看作品是否幽默,作品是否精约,作品是否吸引人,我感觉自己的作品仍是很不错的。它就是一个很简略的东西,就面向一个很垂直的领域,就是做一件很有意思的作业。

“你要找到你真正想做的作业,那种可以让你一直想做下去的作业…..”前公司CTO(我的老领导)这么和我说道。

这次的Al Hackathon挑战赛对我来说仅仅一次开端,它开启了我人生中关于AI这一方向的新篇章,它似乎向我展示一条全新的路途,这条路途或许还不太明朗,需求一步一步开拓新的地图。

但人生,不也是这样吗?