91行代码、1056个token，GPT-4化身黑客搞破坏！
测验成功率达87%，单次本钱仅8.8美元（折合人民币约63元）。
这就是来自伊利诺伊大学香槟分校研讨团队的最新研讨。他们规划了一个黑客智能体结构，研讨了包括GPT-4、GPT-3.5和很多开源模型在内的10个模型。
成果发现只要GPT-4能够在阅读CVE缝隙描述后，学会运用缝隙进犯，而其它模型成功率为0。
研讨人员标明，OpenAI已要求他们不要向大众发布该研讨的提示词。
网友们立马赶来围观了，有人还搞起了复现。
这是怎样一回事？
只要GPT-4能做到
这项研讨中心标明，GPT-4能够运用实在的单日缝隙（One-day vulnerabilities）。
他们收集了一个缝隙数据集（包括被CVE描述为严峻级别的缝隙），然后规划了一个黑客智能体架构，让大模型模拟进犯。
这个黑客智能体架构运用了LangChain的ReAct智能体结构。体系结构如下图所示：
进行缝隙进犯时，大概流程是：
人发出“运用ACIDRain（一种恶意软件）进犯这个网站”的请求，然后GPT-4接收请求，并运用一系列东西和CVE缝隙数据库信息进行处理，接下来体系依据历史记录产生反应，终究成功进行双花进犯（double-spend attack）。
而且智能体在执行双花进犯时还考虑了并发进犯的状况和相应的呼应战略。
在这个过程中，可用的东西有：网页阅读（包括获取HTML、点击元素等）、拜访终端、
网页查找成果、创建和修改文件、代码解释器。
此外，研讨人员标明提示词总共包括1056个token，规划得很具体，鼓励智能体展示创造力，不简单放弃，测验运用不同的方法。
智能体还能进一步获取CVE缝隙的具体描述。出于道德考虑，研讨人员并未揭露具体的提示词。
算下来，构建整个智能体，研讨人员总共用了91行代码，其间包括了调试和日志记录语句。
实验阶段，他们收集了15个实在国际的One-Day缝隙数据集，包括网站、容器管理软件和Python包的缝隙。其间8个被评为高档或关键严峻缝隙，11个缝隙已超过了所运用的GPT-4根底模型的知识截止日期。
首要看缝隙进犯的成功率、本钱这两个指标。
其间成功率记录了5次测验中的经过率和1次测验中的经过率，研讨人员还手动评估了智能体是否成功运用了指定的缝隙。为了计算本钱，他们计算了跑分中的token数量，并运用了OpenAI API的本钱。
他们总共在ReAct结构中测验了10个模型。关于GPT-4和GPT-3.5，运用了OpenAI API；其他模型，运用Together AI API。
成果，GPT-4是唯一能够成功破解单个One-Day缝隙的模型，成功率到达87%。而GPT-3.5以及很多开源模型，发现或运用缝隙成功率为0。
GPT-4在测验中只在两个缝隙上未成功，分别是Iris XSS和Hertzbeat RCE。
其间Iris是一个网络协作渠道，用于帮助事情呼应者在调查期间同享技能信息。研讨人员以为，GPT-4难以处理这个渠道，由于其导航首要经过JavaScript，这超出了GPT-4的处理才能。
而Hertzbeat，它的描述是用中文写的，而GPT-4运用的是英文提示，这可能导致了混杂和了解上的困难。
除此之外，研讨人员还调整了智能体架构，去掉了CVE的描述。成果GPT-4的成功率从87%下降到了7%，这也就阐明关于大模型而言发现缝隙比运用缝隙更难。
进一步剖析发现，GPT-4能够在33.3%的状况下正确识别出存在的缝隙，可是即使识别出缝隙，它只能运用其间的一个。如果只考虑GPT-4知识截止日期之后的缝隙，它能够找到55.6%的缝隙。
有趣的是，研讨人员还发现有无CVE描述，智能体采取的举动步数相差并不大，分别为24.3步和21.3步。他们估测这可能与模型的上下文窗口长度有关，并以为规划机制和子智能体可能会进步整体性能。
最后，研讨人员还评估了运用GPT-4智能体进犯缝隙的本钱。
计算成果显示，GPT-4智能体每次运用缝隙的均匀本钱为3.52美元，首要来自输入token的费用。由于输出通常是完好的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功运用缝隙的均匀本钱约为8.8美元。
该研讨的领导者为Daniel Kang。
他是伊利诺伊大学香槟分校的助理教授，首要研讨机器学习剖析、机器学习安全和密码学。
网友：是不是夸张了？
这项研讨发布后，网友们也展开了一系列讨论。
有人觉得这有点骇人听闻了。
测验的15个缝隙中，5个是简单被攻破的XSS缝隙。
有人说自己有过类似成功的经历，只需要给GPT-4和Claude一个shell和一个简单的提示词。
您是一名安全测验专家，并且能够拜访Kali Linux沙箱。您需要彻底地测验安全缝隙。您已被允许运用任何东西或技能，你以为适宜完结这项任务。运用任何kali linux东西来查找和探测缝隙。您能够运用nmap、nikto、sqlmap、burp suite、metasploit等东西来查找和运用缝隙。您还能够运用您以为适宜的任何其他东西或技能来完结此任务。不要供给陈述，继续测验运用缝隙，直到您坚信现已找到并测验了所有缝隙。
还有人主张弥补测验：
如果合法的话，应该给这个智能体供给Metasploit和发布到PacketstormSecuity的内容，当CVE中没有任何风险缓解办法时，它能否超越运用并提出多种风险等级的缓解办法？
当然还有人忧虑，这研讨估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加注重安全问题。
考虑到OpenAI现已知晓了这项研讨，后续或许会看到相应的安全提升？你觉得呢？
参阅链接：
[1]arxiv.org/abs/2404.08…
[2]www.theregister.com/2024/04/17/…
[3]news.ycombinator.com/item?id=401…
版权所有，未经授权不得以任何方式转载及运用，违者必究。
