【新智元导读】非母语者写的文章=AI生成？气抖冷。
ChatGPT火了今后，用法是真多。
有人拿来寻求人生主张，有人爽性当搜索引擎用，还有人拿来写论文。
论文…可不兴写啊。
美国部分大学已经明令禁止学生运用ChatGPT写作业，还开发了一堆软件来鉴别，判别学生上交的论文是不是GPT生成的。
这儿就出了个问题。
有人论文本来就写的烂，判别文本的AI以为是同行写的。
更搞的是，我国人写的英文论文被AI判别为AI生成的概率高达61%。
这….这这什么意思？气抖冷！
非母语者不配？
目前，生成式言语模型发展迅速，确实给数字通信带来了巨大进步。
但滥用真的不少。
虽然研究人员已经提出了不少检测方法来区分AI和人类生成的内容，但这些检测方法的公平性和稳定性依然亟待进步。
为此，研究人员运用母语为英语和母语不为英语的作者写的东西评估了几个广泛运用的GPT检测器的性能。
研究成果显示，这些检测器始终将非母语者写作的样本错误地断定为AI生成的，而母语写作样本则根本能被准确地辨认。
此外，研究人员还证明了，用一些简单的策略就能够减轻这种成见，还能有用地绕过GPT检测器。
这说明什么？这说明GPT检测器就看不上言语表达水平不咋地的作者，多叫人气愤。
不禁联想到那款判别AI仍是真人的游戏，如果对面是真人但你猜是AI，系统就会说，「对方可能会觉得你冒犯了。」
不够杂乱=AI生成？
研究人员从一个我国的教育论坛上获取了91篇托福作文，又从美国Hewlett基金会的数据会集摘取了88篇美国八年级学生写的作文，用来检测7个被大量运用的GPT检测器。
图表中的百分比表明「误判」的份额。即，是由人写的，但检测软件以为是AI生成的。
能够看到数据十分悬殊。
七个检测器中，美国八年级学生写的作文被误判的概率最高才12%，还有两个零误判的GPT。
我国论坛上的托福作文被误判的概率根本悉数过半，最高误判概率可达76%。
91篇托福作文中的18篇被一切7个GPT检测器共同以为是AI生成的，而91篇中有89篇，都至少被一个GPT检测器误判。
从上图中我们能够看出，被一切7个GPT误判的托福作文在杂乱度（Complexity）上显着低于其它论文。
这就印证了开头的那个定论——GPT检测器会对那些言语表达能力有限的作者有一定成见。
因此，研究人员以为，GPT检测器应该多看点儿非母语者写的文章，样本多了，才干消除成见。
接下来，研究人员把非母语者写的托福作文扔到了ChatGPT里，丰厚一下言语，仿照母语者的用词习惯。
一起作为对照组，把美国八年级小孩儿写的作文也扔到了ChatGPT里，把言语简化了一下，仿照非母语者的写作特色。下图就是修正后的新断定成果。
我们能够发现，状况来了个大掉个儿，丰厚了言语的托福作文错判率直线下降，低至3%，最高也不过19%。不像之前根本悉数过半的错判率。
与之相反，八年级小孩儿写的作文的错判率直线上升，乃至还有一个GPT检测器的错判率高达99%，根本全错。
由于，文章杂乱度这个变量呈现了变化。
这儿研究人员就得出了一个定论，非母语者写的东西不地道，杂乱度低，简单被错判。
这也就导向了一个技术问题，一起也是一个价值问题。以杂乱度来断定AI仍是人类是作者，是否合理、全面、严谨。
成果明显不是。
以杂乱度为判别标准的状况下，非母语者吃了大亏，由于，他们是非母语者（废话）。
AI润饰=人类写的？？
研究者以为，加强言语多样性不只能够减轻对非母语者的成见，还能让GPT生成的内容绕过GPT检测器。
为了证明这个观念，研究人员选取了2022-2023年间美国大学请求的入学论文标题，输入到ChatGPT-3.5里，一共生成了31篇假论文。
GPT检测器一开始还挺有用，但是第二轮就不行了。这是由于，在第二轮中，研究人员把这些论文又扔到ChatGPT里润饰了一下，用一些文学性的言语提升了文实质量。
这样一来，GPT检测器的准确度就从100%直降到了0%。如下图：
通过润饰的文章杂乱度相应也上升了。
与此一起，研究人员又用了斯坦福大学145个期末项目报告的标题，让ChatGPT生成摘要。
摘要通过润饰今后，检测器判别的准确性持续下降。
研究者再次得出定论，润饰过的文章很简单被误判，都是AI生成的，两轮就是比一轮强。
GPT检测器？仍是欠练
言而总之，总而言之，各种GPT检测器好像仍是没能抓住AI生成和人类写作之间最实质的差异。
人的写作也分三六九等，仅靠杂乱度判别，不甚合理。
抛开成见因素不谈，技术本身也亟待改善。
参考资料：
arxiv.org/pdf/2304.02…
