DeepMind的AI智能体，又来卷自己了！
留意看，这个名叫BBF的家伙，只用2个小时，就掌握了26款雅达利游戏，功率和人类适当，超越了自己一众前辈。
要知道，AI智能体通过强化学习解决问题的作用一直都不错，但最大的问题就在于这种方式功率很低，需要很长时刻探索。
而BBF带来的打破正是在功率方面。
怪不得它的全名能够叫Bigger、Better、Faster。
而且它还能只在单卡上完结练习，算力要求也降低许多。
BBF由谷歌DeepMind和蒙特利尔大学共同提出，目前数据和代码均已开源。
最高可获得人类5倍成果
用于评价BBF游戏体现的数值，叫做IQM。
IQM是多方面游戏体现的归纳得分，本文中的IQM成果以人类为基准进行了归一化处理。
经与多个前人成果比较较，BBF在包括26款雅达利游戏的Atari 100K测试数据会集获得了最高的IQM成果。
而且，在练习过的26款游戏中，BBF的成果现已超越了人类。
与体现类似的Eff.Zero比较，BBF消耗的GPU时刻缩短了将近一半。
而消耗GPU时刻类似的SPR和SR-SPR，功能又和BBF差了一大截。
而在重复进行的测试中，BBF达到某一IQM分数的份额始终保持着较高水平。
甚至有超越总测试次数1/8的运行当中获得了5倍于人类的成果。
即便加上其他没有练习过的雅达利游戏，BBF也能获得超越人类一半的分数IQM分数。
而如果独自看未练习的这29款游戏，BBF的得分是人类的四至五成。
以SR-SPR为基础修改
推进BBF研讨的问题是，如安在样本量稀疏的情况下扩展深度强化学习网络。
为了研讨这一问题，DeepMind将目光聚焦在了Atari 100K基准上。
但DeepMind很快发现，单纯增大模型规模并不能进步其体现。
在深度学习模型的规划中，每步更新次数（Replay Ratio，RR）是一项重要参数。
具体到雅达利游戏，RR值越大，模型在游戏中获得的成果越高。
终究，DeepMind以SR-SPR作为基础引擎，SR-SPR的RR值最高可达16。
而DeepMind经过归纳考虑，选择了8作为BBF的RR值。
考虑到部分用户不肯花费RR=8的运算本钱，DeepMind一起开发了RR=2版本的BBF
DeepMind对SR-SPR中的多项内容进行修改之后，选用自监管练习得到了BBF，首要包括以下几个方面：
- 更高的卷积层重置强度：进步卷积层重置强度能够增大面向随机目标的扰动起伏，让模型体现更好并削减损失，BBF的重置强度增加后，扰动起伏从SR-SPR的20%进步到了50%
- 更大的网络规模：将神经网络层数从3层进步至15层，宽度也增大4倍
- 更新规模（n）缩小：想要进步模型的体现，需要使用非固定的n值。BBF每4万个梯度过程重置一次，每次重置的前1万个梯度过程中，n以指数形式从10下降至3，衰减阶段占BBF练习过程的25%
- 更大的衰减因子（）：有人发现增大学习过程中的值能够进步模型体现，BBF的值从传统的0.97增至0.997
- 权重衰减：防止过度拟合的出现，BBF的衰减量约为0.1
- 删除NoisyNet：原始SR-SPR中包括的NoisyNet不能进步模型体现
消融试验结果表明，在每步更新次数为2和8的条件下，上述要素对BBF的体现均有不同程度的影响。
其中，硬复位和更新规模的缩小影响最为明显。
而关于上面两个图中没有说到的NoisyNet，对模型体现的影响则并不明显。
论文地址：
arxiv.org/abs/2305.19…
GitHub项目页：
github.com/google-rese…
参阅链接：
[1]the-decoder.com/deepminds-n…
[2]www.marktechpost.com/2023/06/12/…
—完—
