Page 32 - 金融科技视界2022-8期
P. 32
Technical Tracking
技术追踪
联邦学习典型架构（来自《Introduction to Federated Learning and Privacy Preservation》）
这一架构中，一个中心服务器 构，这一数据分布方式被称为数 习无法采用MPC减少信息泄露，
作为参数服务器协调多个数据方 据水平分割（对应分割学习场景中 因为任一方从两方梯度汇聚结果
的服务器（作为工作服务器）进行 常见的数据垂直分割）。这一架构 就能推出对方梯度，采用MPC进
联合机器学习训练，各工作服务器 缺乏对计算结果的管控，即任一 行梯度安全汇聚需要更多数据方
基于本地样本数据计算出的梯度 参与方都能得到模型参数。 才有意义。【注】联邦学习的定义
信息交给参数服务器进行汇聚， 联邦学习另一个弱点是计算 和范畴问题。联邦学习没有业内
参数服务器将最新迭代的模型参 中间信息（梯度）的泄露，多项研 一致认可的严格定义。除了上述典
数下放给各工作服务器。 究表明该泄露有暴露原始数据敏 型架构外，一些厂商和科研成果
与传统分布式机器学习的区 感信息的风险。为了减少梯度信息 机构还提出了新的联邦学习架构，
别在于：每个worker/数据方是一 泄露，联邦学习一般采用MPC或 包括用于数据垂直分割场景的架
个独立的实体，各自持有自己的训 者差分隐私技术进行各方梯度的 构。然而这些架构是否属于联邦学
练样本（全体样本的子集），而不 汇聚。 习在业内特别是学术界没有共识，
是所有worker和样本属于同一机 需要注意的是：两方联邦学 不少架构其实属于分割学习。为了
30 金融科技视界
