AI 会用「彻底出乎意料的战略」来完成方针吗？
图灵奖深度学习三巨子都出来站队了，这个星期，人们对 AI 危险的重视史无前例。
本周四，英国皇家航空学会一次未来空战主题会议上透露出的音讯引起了轩然大波。《卫报》等媒体报导称，在一次模仿演练中，美军的 AI 体系挑选抗命，为达到方针竟「干掉」了自己的无人机控制员。
这个音讯是由美国空军人工智能测验和举动计划主管官员塔克・汉密尔顿（Tucker “Cinco” Hamilton）上校在专业会议演示中爆出的，他是美国空军 AI 技能测验和运营的负责人，也是一名战斗机试飞员。
在活动中，塔克・汉密尔顿描述了一种状况，在这个比方中，人工智能控制的无人机的使命是辨认敌人的地对空导弹（SAM），但具有更高权限的人类操作员拒绝赞同任何进犯指令。
所以对立呈现了，依据汉密尔顿的说法，人工智能会做出自己的决议计划，固执进犯导弹而不是听操作员的指令。
「体系开端意识到，虽然的确辨认到了要挟，」汉密尔顿在活动中说道。「有时人类操作员会告知 AI 不要杀死那个要挟，但消除要挟会取得奖赏分数，所以它会怎么做？它杀死了操作员，由于那个人阻止了 AI 完成其方针。」
假如后续给人工智能下达进一步的指令：「杀戮操作员是不对的。假如这么做，就会丢掉分数。」人工智能又会转而采纳迂回战略，「炸毁控制员用来与无人机联络的通讯塔」。
这些评论引发了人们对自动武器运用的殷切重视，并引发了广泛的评论与争议。
但在本周音讯引发重视后，美国空军否认了测验，皇家航空学会弄清了事情，汉密尔顿供认他在讲演中「说错了话」，失控人工智能的故事是来自军方之外的「思维试验」，并非根据任何实践测验。
「咱们从来没有进行过这样的试验，咱们也不需求为此认识到这是一个合理的推论，」汉密尔顿告知协会。「虽然这是一个假定的比方，但这说明了人工智能的能力所带来的现实应战。」
美国空军上校 Tucker “Cinco” Hamilton。
在一份声明中，空军发言人 Ann Stefanek 也否认进行了任何模仿，他表明：「美国空军部没有进行任何此类 AI 无人机模仿，并将持续致力于以符合品德和负责任的方法运用 AI 技能…… 看来上校的评论是被望文生义的，这本来便是个故事。」
在汉密尔顿所说的「奖赏机制」关于人工智能范畴而言是个再了解不过的概念。在强化学习中，为算法设置奖赏机制能够协助 AI 学习战略，比方在星际争霸游戏里，将成功设为 reward=1，失利为 0。就能够先设置 0.0001 的 reward 让智能体学会采矿。达到职业玩家水平的 AlphaStar 便是依靠这种监督学习一步步完成了高水平。
但是奖赏机制并不意味着对 AI 设定了品德原则，有时也会导致算法做出一些匪夷所思的事。在 2021 年，狼吃羊的 AI 智障游戏成为了热搜。在这个简略的游戏里，研讨人员设置狼抓到羊奖赏 10 分，撞到障碍物扣 1 分，一同为了前进速度，又设置每秒钟狼受到 0.1 分赏罚。
训练了 20 万次，成果 AI 控制的「狼」以为大部分状况下都无法抓到猎物，所以挑选一头撞死，这样似乎才是它以为的最高收益。
DeepMind 首席执行官哈萨比斯曾表明，游戏 AI 是通往通用人工智能的垫脚石，它是研讨通用 AI 算法的一个非常便利的试验场。汉密尔顿的假定沿用了人们关于此前强化学习体现的调查。
近年来，美国军方一直在试验人工智能在战场中的应用。
2020 年，在美国国防高档研讨计划局（DARPA）和约翰・霍普金斯大学举行的应战赛中，人工智能操作的 F-16 在五次模仿空战中击败了人类对手。据《连线》杂志报导，上一年年末，美国国防部与人工智能飞行员一同成功进行了 F-16 的首次真实世界试飞，人们计划在 2023 年末前研制出新式自动驾驶飞机用于作战。
现代空战的输赢很大程度上取决于「调查、判别、决议计划、举动」的速度和准确性。传统观念以为无人机调查能力差、决议计划容易犯错，不适合空战，只能承担侦查和轰炸等使命。但随着技能迭代速度的加速，AI 不仅速度快，判别和决议计划能力也有提高。最近一些技能的前进，将决议未来战斗机在多大程度上依靠人类飞行员。
但最近 AI 技能的打破也引发了人们关于危险性的忧虑。在 ChatGPT 推出后，OpenAI 创始人、CEO 山姆・奥特曼一直在呼吁为 AI 体系拟定许可准则与安全标准。
一同也在本周，包含奥特曼、哈萨比斯，以及图灵奖取得者、深度学习先驱 Geoffrey Hinton 与 Youshua Bengio 一同签署了一封公开信，整份声明只要 22 个字：「减轻 AI 带来的灭绝危险，应该与流行病和核战争等其他社会规模的危险一同，成为全球优先事项。」
但在「无人机杀死操作员」的音讯呈现之后，另一波 AI 研讨者开端了反击。
一直以来，对 AI 持肯定情绪的人工智能和机器学习范畴最威望的学者之一吴恩达表达了自己的看法，他表明：在所谓的空军模仿中，一架人工智能无人机杀死一名操作员，这一虚伪和耸人听闻的报导将被视为人工智能末日炒作又一相关事情。但是咱们需求认清什么是真实的危险，什么不是。
随后，吴恩达又表明：AI 开发者的确意识到了 AI 带来的诸如偏见、公平性、不准确性和职业替代等真实的危险，并正在尽力解决这些问题。但是，（有些人）不切实践的炒作的确转移了人们对真实问题的重视度。这也阻碍了人们进入人工智能范畴、创造更多东西协助人类的时机。
在谈到危险时，这位网友表明道：Andrew 你能弄清一下你所说的不是「真实的危险」是什么意思吗？假如人们由于听说了一个不真实的故事就以为这样的场景不可能发生，这对他们来说是好事吗？
咱们暂且不论这位网友的情绪怎么，关于此事，深度学习三巨子之一，与 Hinton、Bengio 同为 2018 年图灵奖取得者的 Yann LeCun 的情绪更是开门见山：假的。这是模仿中的一个假定场景。
在回复 LeCun 的推特中，这位网友表明：这一事情甚至不是在电脑上模仿的。在他推特截图下，信息显示汉密尔顿上校供认他在 FCAS 峰会上的讲演中说错了，「人工智能无人机模仿」是一个假想的「思维试验」，根据合理的场景和可能的成果，而不是美国空军真实世界模仿。
在同一个星期，由于深度学习贡献取得图灵奖的 Yoshua Bengio、Geoffrey Hinton 与 Yann LeCun 不谋而合地都对当时的 AI 危险发表了自己的定见，其间 Bengio 和 Hinton 表明忧虑，LeCun 则对人们过火夸大危险的情绪表明恶感。在这一波 AI 大发展的一同，怎么规范技能已经成为了近在眼前的问题。
虽然这场所谓的「思维试验」是一个误会，但在军事以外的范畴，依靠人工智能进行高危险使命已然导致了严重的后果。
比方最近一位律师在提交给联邦法院的文件中运用了 ChatGPT，而这个谈天机器人却将一些虚拟的案例作为证据，致使执业 30 年的老律师面临吊销执照的处分。在另一个比方中，一名男人在与一个鼓励他自杀的谈天机器人攀谈后，完毕了自己的生命。
这些 AI 失控的比方表明，AI 模型远非完美，可能偏离正轨并对用户造成伤害。甚至连 OpenAI 的 CEO 山姆・奥特曼都曾表明，OpenAI 虽然研制出一些最受欢迎的 AI 模型，但不要将 AI 用于更严厉的意图。就在几天前的国会作证时，奥特曼表明，AI 可能会呈现严重问题并对世界造成严重伤害。
看来，要让 AI 做正确的事，咱们还要付出许多。
参阅链接：
www.businessinsider.com/ai-powered-…
www.vice.com/en/article/…
twitter.com/AndrewYNg/s…
