在刚刚曩昔的第15个天猫双11里，我们看到，在生成式AI等科技变革和消费行为习惯变迁的年代大布景下，淘宝正在变为新的“AI淘宝”。科技媒体《量子位》专访淘天集团相关的AI技能负责人，一起聊聊大模型和AIGC文生图两大技能道路在淘宝的交融创新，看看AI怎样跨过从技能到运用的距离，带来更好的消费体会。
以下为采访内容全文——
本年双十一，除了买家卖家和平台，还多了第四种参与者：AI帮手。 淘宝天猫平台，商家在双11预备期及开卖期调用AI次数已超越15亿次。买家方面，AI帮手淘宝问问的累计体会人次也超1000万，其中高活跃人群日均发问数超8次。最夸大的一条数据是 “单一用户最多发问数超4000次” ，这位是彻底不动手找产品，买什么全听AI的了吗？
AI购物新体会
AI帮手淘宝问问，现已对所有淘宝用户开放，直接在查找框输入「淘宝问问」就能直达。
乍一看与其他聊天机器人产品类似，主体都是一个对话框。
实践上手体会才发现，它不只懂产品，还懂你。
如果有优惠券要凑满减，就能够让AI引荐点凑单的零食。
无需在发问时附加额外的要求，它也能从历史订单、购物车等数据中引荐符合喜好的产品。
关于每款引荐的产品，AI都会总结好产品自身的特色、适合的人群或场合，以及引荐理由。接下来点击产品卡片，就能够直接挑选标准、口味参加购物车了。
此外还有产品资料任意扩展尺寸功用，适应各种展示场合，大幅下降资料加工本钱，避免人力返工。
终究从复盘数据来看，本年双11是新品牌、新商家、中小商家参与最多的一届。
按平常来说，关于平台功用不熟悉、操作不熟练会带来不少费事，但本年在新技能的参加下，彻底把运营店肆的门槛下降了。
淘宝商家智能运营东西线不足半月，即为女装服饰商家供给了10w 次AI发品服务，发品时长较传统发品下降25%。
根据大言语模型技能研制的中心化电商运营Copilot，敞开内测后也为数万商家供给了运营常识问答、运营东西调用、案牍生成等多种运营辅佐才能，现在现已为商家运营提效超50w次。
根据大言语模型技能研制的中心化电商运营Copilot，敞开内测后也为数万商家供给了运营常识问答、运营东西调用、案牍生成等多种运营辅佐才能，现在现已为商家运营提效超50w次。
AI技能在电商范畴的初度大规模运用
算起来，ChatGPT发布挨近一周年，AIGC文生图的鼓起还要更早一些。
这期间每一次技能突破，都掀起一波创业或改造已有业务的浪潮。直到本年双十一期间，AI在电商范畴终于实现大规模运用，含义非比寻常：
不只用于企业界部流程，还要面向终端用户。并且是一次面对买家和卖家两种特色、需求都天壤之别的终端用户。
这其中涉及大模型和AIGC文生图两大技能道路的交融创新，能够观察到AI怎样跨过从技能到运用的距离，也能为更多职业带来启示。
先说更早鼓起的AIGC文生图。2022年8月Stable Diffusion开源、算力需求小，敞开了AIGC商业化的序幕。
但Stable Diffusion的缺点也很快在实践中露出出来：
首要是生成的图画不可控问题，特别是淘宝天猫地点的电商范畴，对产品主体的出现精确性要求极高。
其次是运用杂乱，杂乱的提示词技巧就不好掌握，很多需求调节的参数更是添加了学习本钱。
转机很快出现，转过年来1月份，ControlNet横空出世，奇妙的经过添加辅佐条件引导生成，必定程度上处理可控性问题，被誉为“改变游戏规则”。
这时，高手现已能够用Stable Diffusion ControlNet的组合来指定生成图画的细节了，如人物姿势、整体布局等，相当于进步了AIGC文生图的上限。
但关于淘宝天猫要服务的很多一般用户而言，这些引导办法的了解和运用本钱依然很高。
23年8月，一项新技能IP-Adapter出现，再次把安稳按需生成图画的门槛下降。 IP-Adapter相当于拓荒了“用图画当提示词”的新办法，也能够当成ControlNet中的一个引导条件。这样一来，电商卖家在文生图流程中利用好现成的产品相片即可，无需再学习掌握提示词技巧或其他专业制图常识，相当于进一步进步了AIGC的下限。
处理了基本的实用性问题，更深层次的需求又凸显出来。Stable Diffusion属于预练习模型，对国际的了解首要来自练习阶段的数据。而电商范畴又是快速改变的，每天都会上新很多产品，需求AI能不断更新、继续学习。这时，来自负言语模型的快速微调技能LoRA就派上用场，借鉴到AIGC文生图范畴被作为“常识/概念注入”的办法。 具体来说，LoRA在微调时会冻结模型的大部分权重，仅更新一小部分。同时更新后的权重还可独自别离出来，每个只要几十到上百MB巨细。在淘宝天猫的实践中，LoRA相当于为产品和模特构建了数字兼顾，为商家沉淀数字财物，能够进一步生成愈加丰厚多样的产品或模特图。把LoRA参加流程后，又出现生成可控比较差的问题。怎样让LoRA生成的模特在像与美之间取得平衡，怎样让根据LoRA生成的产品精准复原产品细节，都是需求进一步处理的运用应战。此外淘宝天猫还在探究不用练习即可将产品概念用于图画生成的全新常识注入技能，直接在推理阶段供给产品图片即可，极大下降常识注入技能的运用本钱，进步实时性。
AIGC运用如此，大模型在电商范畴走向大规模运用的历程相同困难重重。
特别是淘宝天猫要做的不是纯粹的专业模型，而是一个有很强专业范畴才能的通用模型，以解析淘宝用户长尾的自然言语问题，了解愈加精准的用户目的。
要实现这一点，在通用模型的基础上首要要添加电商专业常识，在多年堆集的电商职业数据中练习。
但此刻通用大模型还在根据输入续写文本，比方当用户提出一个问题，模型很有或许按格式弥补多个类似问题，而不是答复这个问题。
职业中处理这个问题的办法AI与人类偏好对齐。SFT（指令微调）让大模型学会怎样完结用户的指令，RLHF（人类反应强化学习）让大模型学会什么样的答复满意人类偏好。在淘宝天猫的实践中，还参加了产品上线后不断迭代用户的反应偏好。
接下来要处理的是大模型答复中的，业界称为“错觉问题”。对此，淘宝天猫技能团队从模型表里两方面，双管齐下去处理。
模型内，也便是在模型练习阶段就引进很多电商职业数据。
模型外，经过RAG（检索增强生成）技能，针对不同的问题，调用不同的常识库，获取实时更新的产品信息。
更进一步的，针对需求实时调用外部东西的问题，淘宝天猫技能团队利用Tool learning技能，优化大模型了解东西、挑选东西和调用东西的才能，并供给可解释的东西调用途径，使答复内容更精确，答复形式愈加丰厚。
比方淘宝问问里用户的一次一般查询，不只调用了大模型生成才能，还调用了淘宝产品引荐才能和内容社区的视频引荐才能。更杂乱的场景如旅行策划，还会调用合作伙伴飞猪的机酒预定才能。
终究，以淘宝问问为代表的一系列大模型产品，在大模型基础上有目的识别、任务规划、回忆和运用外部东西才能，正朝着Agent（智能体）的方向开展，也便是大模型职业必争的下一个阶段。
双十一大考，AI成绩怎样？
以往每年双十一，对技能、工程来说都是一轮大考。本年对AI的参加来说，更增添了一层初度实战查验的味道。
现在，淘宝天猫集团这一波AI成果，是不是也代表着一些清晰的新趋势？
首要，AI技能创新拓展了电商的边界，添加了或许性。
购物从需求清晰知道要买什么，去查找。变成了只要有需求，都能够问询AI。
即便之前不知道该买什么或者底子不认为能经过购买产品处理的需求，都或许由AI为你引荐出来。
其次，AI技能创新改善了商家的工作办法和生产效率。
与买家的情况类似但又不同，卖家被AI引荐的则是后台功用、运营东西
以往商家运用淘宝天猫商家后台的千牛工作台，有不低的学习本钱，功用太丰厚，很多不知道在哪，甚至不知道某个功用的存在。
AI加持下，也变成了店肆运营进程中有任何需求就能够找AI，让AI定位到合适的功用，或经过RAG技能解答商家的问题。
终究，双十一虽已曩昔，但留下很多与AI交互后的名贵经历和数据。
淘宝天猫集团本就具有完好的电商职业数据、职业经历，并凭仗其打造出规模化的AI产品，双十一期间产生很多用户反应数据，又能够再投入到算法改善，终究构成滚雪球效应。
OpenAI开发者日标志着AI职业越来越卷，YC创始人Paul Graham给提出建议，若要在竞争中不被筛选，需求做到：
- 不只依赖AI，还依赖于特定范畴的深沉范畴常识
- 与终端用户建立非常密切的联系
而这两点，恰好也是淘宝天猫集团天然生成所擅长的。
在AIGC职业有个说法，“AI一天，人间一年”，期待下一年618、双十一，AI又能给我们带来什么购物新体会。
