在深度学习年代，联邦学习（FL）供给了一种分布式的协作学习的办法，允许多安排数据所有者或客户在不走漏数据隐私的情况下协作练习机器学习模型。但是，大多数现有的 FL 办法依赖于会集式服务器进行大局模型聚合，然后导致单点故障。这使得系统在与不诚笃的客户打交道时容易遭到歹意进犯。本文中，FLock 系统选用了点对点投票机制和奖赏与削减机制，这些机制由链上智能合约供给支持，以检测和阻挠歹意行为。FLock 理论和实证剖析都证明了所提出办法的有用性，表明该结构对于歹意客户端行为具有鲁棒性。
现在，机器学习（ML），更具体地说，深度学习现已改变了从金融到医疗等广泛的职业。在当前的 ML 范式中，练习数据首先被搜集和策划，然后经过最小化练习数据上的某些丢失规范来优化 ML 模型。学习环境中的一个一起基本假设是练习数据能够立即访问或轻松地跨核算节点分发，即数据是「会集式」的。
但是，在一个具有多个「客户端」（即数据持有者）的系统中，为了确保数据会集化，客户端必须将本地数据上传到一个会集设备（例如中心服务器）以进行上述的会集式练习。尽管会集式练习在各种深度学习使用中取得了成功，但对数据隐私和安全的忧虑日益增长，特别是当客户端持有的本地数据是私有的或包含灵敏信息时。
联邦学习（FL）能够处理练习数据隐私的问题。在一个典型的 FL 系统中，一个中心服务器担任聚合和同步模型权重，而一组客户端操作多站点数据。这促进了数据治理，由于客户端仅与中心服务器交换模型权重或梯度，而不是将本地数据上传到中心服务器，而且现已使 FL 成为利用多站点数据同时保护隐私的规范化处理计划。
但是，现有的 FL 大多不能确保来自客户端的上传模型更新的质量。例如，咱们能够将歹意行为定义为经过投毒进犯故意下降大局模型学习功能（例如准确性和收敛性）的行为。进犯者能够经过操作客户端损坏 FL 系统，而不是黑进中心服务器。这项作业专心于防护客户端投毒进犯。
一种处理计划是将 FL 与如全同态加密（FHE）和安全多方核算（SMPC）等杂乱的暗码协议相结合，以减轻客户端的歹意行为。但是，选用这些杂乱的暗码协议为 FL 参加者引入了明显的核算开销，然后损害了系统功能。
FLock.io 公司及其合作研讨者们（上海人工智能试验室 Nanqing Dong 教授、帝国理工大学 zhipeng Wang 博士、帝国理工大学 William Knoettenbelt 教授及卡内基梅隆大学 Eric Xing 教授）经过提出一种根据区块链和分布式账本技能的安全可靠的 FL 系统结构来处理传统联邦学习（FL）依赖于会集式服务器进行大局模型聚合，然后导致单点故障这个问题，并将此系统规划命名为 FLock。
在该研讨中，团队借助区块链、智能合约和代币经济学规划一种能够反抗歹意节点进犯（尤其是投毒进犯）的 FL 结构。该作业的效果近期被 IEEE Transactions on Artificial Intelligence (TAI) 接纳。
-
论文标题：Defending Against Poisoning Attacks in Federated Learning with Blockchain
办法介绍
创意来源
FLock 的机制规划遭到了证明权益（PoS）区块链共同机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启示。
PoS 要求参加者经过奖赏诚笃行为并经过削减权益来赏罚不诚笃行为，鼓励诚笃行为。例如，在以太坊上，期望参加验证区块并识别链头的节点运营商将以太币存入以太坊上的智能合约中。某位验证者从总验证者池中随机挑选作为区块提出者提出新区块， 其他验证者则检查新区块并证明它们是否有用。假如验证者未能完结其间相应的使命，他们就即会遭到赏罚或削减；诚笃节点则会收到奖赏。
《The Resistance》游戏则经过投票机制，每轮游戏中玩家独立推理并投票，然后完成大局共同。《The Resistance》有两个不匹配的竞赛方，其间较大的一方被称为反抗力量，另一方被称为特务。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「特务」并被踢出游戏。反抗力量的方针是投票淘汰所有特务，而特务的方针是冒充反抗力量并生计到最后。
全体规划
根据 PoS 和《The Resistance》的启示，FLock 提出了一个新颖的根据区块链的 FL 大局聚合的多数投票机制，其间每个 FL 参加客户端独立验证聚合本地更新的质量，并为大局更新的承受度投票。参加者需求典当财物或代币。
每一轮 FL 练习中，参加者将被随机选中参加两种类型的行动，提议（上传本地更新）和投票。聚合者（能够是区块链矿工或许其他 FL 链下聚合者）将对收到的本地更新进行聚合然后得到大局聚合。假如大多数投票承受大局聚合，提议者将交还其典当的代币，而投票承受的投票者不仅会交还，而且还会取得投票回绝的投票者的典当代币的奖赏，反之亦然。
根据股权根底聚合机制的全体规划如下图所示。
算法细节如下所示：
-
在每一轮中，从参加的客户端中随机挑选提议者来进行本地练习并将本地更新上传到区块链。
-
随机挑选的投票者将下载聚合的本地更新，执行本地验证，并投票承受或回绝。
- 假如大多数投票者投票「承受」，那么大局模型将被更新，提案者和投票「承受」的投票者将取得奖赏。
- 相反，假如大多数投票者投票「回绝」，则大局模型将不会更新，提案者和投票「承受」的投票者的典当代币将被削减。
该算法的最终方针是让歹意参加者的长期均匀收益为负值，进而使其典当代币削减到低于某个允许阈值，然后被提出 FL 系统。
试验成果
FLock 的试验在 Kaggle Lending Club 数据集和 ChestX-ray14 数据集上显示剖析了该计划的可行性和鲁棒性，包含：
与传统 FL 相比，FLock 反抗歹意节点的能力：如下图所示，FLock （即 FedAVG w/block）在有歹意节点的情况下仍然保持了稳健的功能。
歹意参加者的典当代币改变：同理论剖析共同，歹意参加者的均匀代币跟着练习轮数 / 时刻的添加而削减。而且，假如赏罚力度增大（即 gamma 增大），则歹意参加者的均匀代币的削减速度将会增大。
诚笃参加者的典当代币改变：相对应的，诚笃参加者的均匀代币跟着练习轮数 / 时刻的添加而添加。而且，假如赏罚力度增大大（即 gamma 增大），则诚笃参加者的均匀代币的添加速度将会增大。
歹意参加者的存活时刻：歹意参加者的存活时刻将会跟着赏罚力度增大而缩短。
诚笃参加者的存活时刻：FLock 的试验成果也指出，在歹意节点占比较多的时候（即 eta 增大时），较大的赏罚力度也会形成部分诚笃节点的存活时刻缩短（由于每一轮的提议者和投票者是随机选取的）。因而，在实际使用中，要结合考虑歹意节点占比（即 eta）设置赏罚力度（即 gamma）。
**总结与展望
**
FLock 提出了一种根据区块链、智能合约和代币经济学的能够抵歹意节点进犯的 FL 结构。该计划证明了区块链和 FL 结合的可行性，证明了区块链不仅能够在去中心化和鼓励参加者在金融和医学等领域的现实世界中的 FL 使用中发挥重要作用，而且还能够用来防护投毒进犯。
FLock 的计划已被进一步落地完成：www.flock.io/
团队将于近期推出首个版本的去中心化 AI 模型练习渠道，基建包含了鼓励系统，联邦学习和一键微调脚本。渠道将主要面向两类人群：Developer：欢迎各位 Kaggle 及 Huggingface 玩家前期入驻，完结模型练习与验证以取得鼓励；Task Creator：有模型练习或许微调需求的公司或许团队能够在FLock渠道上发布使命，FLock供给基建安排开发者，然后省去组建AI团队，寻找用户根底与数据的杂乱进程，并简化作业流。有兴趣请邮件 FLock 团队：hello@flock.io
研讨方面，FLock 也正在探究更加多维度的 decentralized AI 安全处理计划，如借助零知识证明处理 FL 中心节点作恶的问题。
Let’s wait for more decentralized AI solutions from FLock!
与此同时，FLock.io 公司致力于将此技能投入到工程实践，也于最近官宣种子轮六百万美元的融资，由 Lightspeed Faction（光速美国）领投。
