导语 | 跟着 AI 技能的蓬勃开展，大模型的开源化正成为人工智能范畴的新潮流，但一同引发的伦理和安全危险也饱受咱们重视，怎么把握平衡其间的尺度成为开源的一大难题。咱们又应该怎么有用进行开源办理？未来将走向何方？今天，咱们特邀了开源社联合创始人、腾讯云 TVP 刘天栋老师，他首先从 AI 智能体热点现象切入，然后过渡到开源面对的机会与应战，最后层层分析 AI 开源的办理之道。
作者简介
刘天栋.Ted，长期专心于参加国内外开源社区，现在包括：开源社联合创始人 | Apache 软件基金会正式会员、孵化器项目委员会成员和导师、社区开展委员会成员 | 腾讯云 TVP；以及开源相关企业或参谋咨询作业，如 BAIN & Company External Advisor。历任开源雨林社区参谋、腾讯云腾源会开源参谋、微软中国战略事务总监、微软敞开技能公司及微软亚太研发集团首席技能布道师；甲骨文(中国)渠道及联盟总监、Linux 战略总监、大中华区中间件事业部总经理；Turbolinux亚太区副总裁等。
导言
继机械化、电气化、信息化之后，咱们迎来了第四次工业革命——智能化。在我看来，开源运动是第四次工业革命中最关键的思想元素之一，因为开源不只大幅地改变了出产协作形式，一同也是推翻式技能立异的催化剂。
关于第四次工业革命的中心大咖——人工智能来说，人工神经网络、机器学习、深度学习、大模型（LLMs）等的诞生，仅仅人类思想巨大征途的初步，咱们根本无法预见奇点（singularity) 何时会到来，也无法明晰描绘人类未来日子的景象。咱们对未来的想象，不是去考虑什么会改变，而是去考虑什么不会改变。
相较于科技不可预知的解放，我以为思想的解放更为关键，而敞开和开源或许就是其间的一个解答。以下是我的调查与反思。
一、解读AI开源的机会与应战
（一）从斯坦福开源智能体小镇看AI开展
不久前，许多人工智能的场景还仅限于个人与机器的互动。可是，人类无量的创造力很快地就更进一步打破了这个鸿沟，进入了模仿的世界。
最近火爆的斯坦福开源 AI 智能体小镇，它是基于斯坦福论文《 Generative Agents: Interactive Simulacra of Human Behavior 》的发布，这种场景被AI Town 复现出来了。
值得调查的是 AI Town 里 25 位 AI 智能体（类人智能体，以下简称 Agent）之间的自主互动，例如其间一位女人建议的情人节晚宴为由头，接着产生的 Agent 之间自发性地对这个宴会的传达、方案、反应和主意以及他们的行为，可分成以下三类：
- 信息传达：Agent 之间互相告知信息并使其在城镇中社交传达；
- 联系回忆：回忆 Agent 之间曩昔的互动并稍后提及那些前期事情；
- 协调：与其他 Agent 一同策划并参加情人节派对。
能够想象，未来咱们将进一步模仿人们怎么在作业中互动，例如，模仿银行的数字财物保管事务，乃至是航空指挥和操控中心的场景。
一方面，AI 智能体或许比人更为牢靠，AI Town 的研究人员要求人类以角色扮演的方法，模仿他们观看到的 Agents 的行为和语言来回答采访问题；成果发现 Agents 产生的成果比人类参加者角色扮演的效果更可信。或许是人类远比 AI Agents 来得更为复杂和难以猜测？
但与此一同，跟着人工智能大模型正在逐步被人类 “征服”，也将带来危险或许。在这个 AI Town 里，人类能够扮演 Agent 与其它 Agent 互动，也能够直接影响 Agent 的主意。因而产生了两个主要问题：首先，Agent 无法照实反映人类的心情（如愤怒），这会影响模仿成果在实际世界的使用。其次，由于对模型征服或优化的人为干涉，将或许带来伦理和危险问题。研究人员正告，将会存在构成不适当的 “准社会联系 (parasocial relationship)”、过错推论的影响、加重与生成人工智能相关的现有危险，以及在设计过程中过度依靠 Generative Agents 等危险。例如咱们经过上述在 AI Town 里模仿银行的数字财物保管事务，或是航空指挥和操控中心的事务被使用在实在日子里，将产生难以预知的危险。
近期华盛顿大学、港大等研究人员发布了类人智能体 Humanoid Agents，指出AI 传神还原人类情感！会饿会孤单、会跑步，会发火[1]等。在曩昔，智能体尽管能够完结看似可信的举动，但和实在人类思想方法并不像，绝大多数人类也并不会提早制定方案，然后在日常日子中一丝不苟地执行这些方案。为了处理智能体和人类思想差异问题，研究者从心理学和社会学中汲取了创意，引进了快考虑（体系 1）和慢考虑（体系 2）的元素，以及马斯洛需求理论等，如图所示。
Humanoid Agents 引入了体系 1 所需的三个要素——基本需求（饱腹感、健康和能量）、情感和联系密切程度，来让智能体体现得更像人类。然后使用体系 2 来规划对应的需求，如此智能体就能调整自己的日常活动，并和其他智能体的互动与对话。
新的研究令人振奋，可是，上述的 “或许危险” 是否也将因而加快且加重呢？有一个值得咱们注意的关键点，社会大脑假说提出，人类的认知才干很大程度上是为了追寻社会联系的质量而进化的。那么这些 AI 智能体的认知才干也或许将跟着 AI 智能体之间的社会联系而进化。
（二）智能体是受控进化或自主进化
假如是自主地进化，人类将怎么保证它不会失控？假如是受控的进化，那么由谁以及怎么来操控呢？
● 生命游戏（自主进化）
很多人都知道或是体验过“康威生命游戏” [2]。只需求透过几个简略的规矩设定，生命游戏能够递归创造出无量巨大的结构，就像细胞组成安排，安排构成器官，器官构成体系，体系组成个别，个别组成社群，社群缔造社会，社会构成国家，以此类推无量无尽。现在，简直所有的核算机都是冯诺伊曼构型，而生命游戏的运算方法愈加接近生命活动的实在情况。神经网络活动在理论上也相同如此，在悠远的未来，咱们很或许在这些围棋似的生命游戏之中，发现人工智能的真正钥匙。
试想一下，假使这个 AI Town 或是 Humanoid Agents 像生命游戏相同，鸿沟继续扩大、算力继续增强、Agents 不断添加，那么将会产生什么样的演化？是否会像生命游戏相同地自主繁衍下一代，产生新的自我学习或新的类生命形态呢？
● 模仿理论/缸中大脑（受控的进化）
以伊隆.马斯克为代表的不少科学家和思想家，则相信咱们日子的世界或许是一个由更先进的文明创造的模仿，如核算机模仿或 “缸中大脑”。听起来令人难以置信，对吗？可是，跟着科技的进步，超级核算机或超级人工智能将极有或许创造出传神模仿。人工智能体的最新开展使该理论更接近实际，或许会成为人工智能开展前史上关键的时刻。
前 Google DeepMind 创始人以及 Inflection AI 的创始人 Mustafa Suleyman 在他的 《The Coming Wave》书里以为：“咱们很难操控 (contain) AI，可是咱们一定要做到，否则就是人类被操控！”
● 26 号世界 or 终结者
一个闻名的试验“25 号世界 (又称老鼠乌托邦)”，前 24 个老鼠乌托邦以及第 25 号世界都是以全员灭绝告终。这样的成果令人毛骨悚然！假如将老鼠换成 AI Agents (Humanoid Agents)，那么 AI Town 会变成 26 号世界 ，以全体员灭亡告终吗？
Mustafa Suleyman 以为 AI (结合其它科技，如量子电脑、材料科学、机器人、基因工程、生物和农业科技等) 将能大幅提高出产力，让动力、粮食、医疗、 制作等的成本趋近于零，并为未来的物资无限供给的零边际成本社会的或许性感到振奋。因为人类将从无用的劳作中解放出来，从而发挥创意追求愿望。他在某种程度上拥护 OpenAI 创始人 Sam Altman 提出的全民基本收入 (Universal Basic Income – UBI) 的主意。
其实，除了骰子乐观的一面，还有几种薛定谔的猫的或许性：
➢ 假如人类在地球上饱食终日，无所事事，是否会变成 26 号世界自我消亡？
➢ 人类变成如 Elon Musk 所说的跨星际物种，殖民月球、火星或是飞出太阳系。是否会像迪斯尼电影 WALL.E 里太空船上无事无能的肥胖人类，在万能 AI 操控下的（26号）世界飞船中逐步消亡？
➢ 或者人类在成为跨星际物种之前或之际，就因为逃不出前史轮回的自相残杀而自我终结？
➢ 或是被人工智能体化身的终结者（天网里的 Terminator）消灭了？
二、生命以负熵为生，开源势在必行
上述论说看起来一片晦暗，其实我是个深信并饯别敞开与开源的乐观主义者。如导言所说：“咱们对未来的想象，不是去考虑什么会改变，而是去考虑什么不会改变”。
不会改变的是世界的物理定律：只要是在一个不敞开的环境里，无论是热力学第二定律适用的物理环境，25 号世界或是小到个人、家庭、公司、社会等，假如不保持敞开的办理、状态和心态，那么由于熵增而趋于热寂的情况就必定产生。
薛定谔说：“生命以负熵为生”。负熵求生需求有外力来做功，要保持敞开，还需求智能化。从人类的进化史来看，咱们大概率不会因为智能化而怠惰，反而是与天斗、与人斗、与己斗，其乐无量的例证很多。
人类正携手人工智能，透过互相的外力做功和双向奔赴的智能化，共同为减熵找到出路。例如 AI 快速地飞入千行百业、千家万户为人类服务，而人类对 AI 才干进化的介入，如调优（Fine-tuning）与强化学习（RLHF）等尽力，也从未停止。
因而，减熵里最关键的一步，即人工智能的敞开与开源势在必行。否则，由少量人或寡头操控的封闭人工智能黑盒子，终究只会带领咱们走向消亡与热寂。
三、人工智能开源的办理
作为通用人工智能（Aritificial General Intelligence）的代表——生成式人工智能（Generative AI）的推翻式立异与突破带来了无限的机会及想象空间，当然一同也带来了应战乃至明显而立刻的危险。
（一）范式转移使办理成为或许
当以大模型为代表的人工智能的才干，遇上开源，犹如干柴遇到烈火，立即成为互相相辅相成的飞轮。Meta 大模型 Llama 2 的开源（开源界多以为 Llama 2 的开源加上了商用的限制，因而不纯粹），引爆了全球及中国人工智能的开源气势。相同的范式转移，咱们现已在操作体系、云核算、大数据、区块链、IoT 等多个范畴重复地见到。例如 Google 的安卓体系（Android）、TensorFlow，微软的 VS Code、Meta 的 Pytorch 等，都是透过开源成功地打造强壮的开源生态体系的典范。
现在少量科技巨子公司试图以其财力抢占算力，霸占一代又一代科学家在神经网络、机器学习（深度学习等）、通用人工智能等范畴，前仆后继地投入研究的成果。咱们期盼这些科技巨子公司们能见贤思齐，学习伊隆马斯克以其推翻式科技立异加上出产流程立异的思想与尽力，推进并饯别开源，来打造本身的护城河，而非透过闭源及专利打造封闭的黑盒子，制作熵增、阻止立异。否则这些现在的巨子，终将如凯文凯利猜测相同，必将会被新创公司和开源的浪潮所淹没。
（二）重重危险下多样化应对
强壮的人工智能也带来了政治、社会、经济、科技、伦理道德方方面面的危险，例如操作推举、散播假消息、使用 DeepFake 欺诈、轻视成见、侵略隐私、违背知识产权、损伤人权、安全合规缝隙等。
很多人忧虑一旦生成式 AI 开源之后，一个高中生或大学生在自家车库里，就有或许使用 AI 学习并制作出生物或化学等大杀伤力武器；一些美国大公司的人工智能驱动的招聘体系被暴露出对种族、性别、长持平的参数有轻视性的设定；还有使用简直能够以假乱真的个人形象及语音被盗用、被仿制来进行欺诈等等。
或许很多人对 2007-2008 年在美国产生的次级借款（简称次贷）风暴回忆犹新。它基本上是由华尔街少量极度聪明的一批人构筑了一种非常复杂，除了他们没有人能搞懂的金融衍生产品，亦即把一些信誉等级不佳的房屋借款包装成高赢利的衍出产品，最后信誉崩塌导致了雷曼兄弟的倒闭，以及随之而来全球的金融风暴。少量人、极其聪明、黑盒子算法，听起来是否很熟悉吗？未来的次脑风暴会不会也在逐步构成呢？这不由引人深思。
但也无需太过悲观，在我看来，人工智能开源的办理有以下切入点：
● 精英办理
全球许多有识之士以为开源是人类出产联系立异以及技能立异，透过敞开式协作共赢的最佳手段。 政府、企业、科研安排以及开源社区携手协作，采纳任人唯贤、精英办理（Meritocracy）的形式，树立一个专业、可信而跨范畴的中立咨询安排，博采周咨并快速更新迭代出一套《人工智能法案》（欧盟花了四年多时间精心打磨，值得参阅），并将开源纳为中心根底理念。国内最近出台的《生成式人工智能服务办理暂行办法》是一个测验的开始。
● 界说人工智能开源
Mustafa Suleyman 以为西方世界不需求歹意地假设中国会试图使用高科技，例如人工智能、生物科技等，来损伤人类。他希望西方发达国家集团立刻打开控管人工智能的开展方向，而且也包容中国加入全球协作。
世界开源社区长久以来拥护认同的 “OSI 开源界说十条”，也应该适用于尚在全球范围评论的 “人工智能开源界说”。除了软件之外，人工智能开源应该彻底开源大模型、结构、算法、参数、微调权重以及脱敏之后的数据集。
全球开源界的专家们普遍以为，开源许可证（包括人工智能的开源）里应该只专心于商标、知识产权、再分发限制之类的条款，没有必要考虑囊括伦理道德等或许造成轻视的条款，这些应该由法令来标准。
相关法令在究责时，应该专心于到达终端用户手中的终究制品，如 App，自动驾驶汽车，儿童玩具等，以及数据的隐私与安全合规。而非去究责作为质料、东西或是半成品的开源项目。举个例子，假如你用铁块和木条等质料组成了一个东西锤。假如有人用了这个东西锤损伤了人，那么法令应该去追查供给铁块与木条的质料厂商，还是制成东西锤的制作商吗？
只要专心于监管终究制品所产生的成果而非过程，那么立异将不受影响，监管的成本与难度将大幅下降，从而提高功率，因为敞开协作的开源社区里将会有很多的眼睛在帮忙监管。
● 与世界接轨
别的，全球多家开源基金会和安排也现已打开了协作，希望能影响欧美方针制定者在人工智能和安全合规上，借由开源助力制定新的人工智能与网络安全合规的方针与法令。一同，敞开源代码促进会（Open Source Initiative）正与 Linux 基金会以及其它诸多开源基金会和安排，携手推进界说新一代的开源人工智能的界说（Defining Open Source AI）以及相关的许可证。开源社也参加到了全球开源基金会和安排互动评论的环节。只要推进或鼓励上述中立安排以及开源社区，迅速与世界开源基金会和安排严密互动，才干合力影响欧美发达国家的方针制定者。
● 用魔法打败魔法
由上述中立安排或是科研安排，开展出一套人工智能对抗机制，深入研究、挖掘与模仿最坏情况与场景，例如散播假消息、使用 DeepFake 欺诈、轻视成见、侵略隐私、违背知识产权、损伤人权、安全合规缝隙等；亦即使用人工智能魔法打败人工智能邪法。
四、结语
《礼记 礼运大同篇》曾言：“大道之行也，天下为公。… 是谓大同。”
在当前，开源运动需求更好地与社会主义市场经济交融，让个人的才干与潜力充分发挥，从而构成新时代的铁三角。咱们能够从开源被列入“十四五”规划纲要里，为数字经济供给根底养料便可看出国家的登高望远和剑及履及。
当封闭与围堵的逆流不断延伸，咱们需求拥抱敞开与开源，携手志同道合的全球有识之士与安排，共同刻画新一代人类命运共同体。天下为公才是人类以及人工智能真正的出路。
