联邦学习FedAvg中模型聚合过程的理解分析
更新时间：2022年05月11日 11:51:13 作者：Cyril_KI
这篇文章主要为大家介绍了FedAvg中模型聚合过程的理解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
问题
联邦学习原始论文中给出的FedAvg的算法框架为：
参数介绍： K 表示客户端的个数， B表示每一次本地更新时的数据量， E 表示本地更新的次数， η表示学习率。
首先是服务器执行以下步骤：
对每一个本地客户端来说，要做的就是更新本地参数，具体来讲：
- 把自己的数据集按照参数B分成若干个块，每一块大小都为B。
- 对每一块数据，需要进行E轮更新：算出该块数据损失的梯度，然后进行梯度下降更新，得到新的本地 w 。
- 更新完后 w w w将被传送到中央服务器，服务器整合所有客户端计算出的 w，得到最新的全局模型参数 wt+1
- 客户端收到服务器发送的最新全局参数模型参数，进行下一次更新。
我们仔细观察server的最后一步：
聚合
那么针对聚合，就有以下两种情况。
1. 聚合所有客户端
服务器端每次将新的全局模型发送给全部客户端，并且聚合全部客户端的模型参数。如果客户端未被选中，那么一轮通信结束后，该客户端的模型为一轮通信开始时从服务器获得的初始模型。
设当前全局模型为 wt，服务器选中了 m个客户端（集合V），m个客户端本地更新完毕后，服务器端的聚合公式为：
也就是说，每一次聚合时服务器端都将所有客户端的模型考虑在内。
2. 仅聚合被选中的客户端
服务器每次只是将当前新的参数传递给被选中的模型，并且只是聚合被选中客户端的模型参数。
设当前全局模型为 wt，服务器选中了 m 个客户端（集合V），然后将wt只发送给这 m个客户端。 m m m个客户端训练完毕后，服务器端的聚合公式为：
3. 选择
虽然原始论文中对所有K个客户端都进行了聚合，但在真正实现时，感觉用第二种会更好一点，因为如果客户端数量很庞大，每一次通信都会有不小的代价，用第二种会明显降低通信成本。
以上就是FedAvg中模型聚合过程的理解分析的详细内容，更多关于FedAvg模型聚合的资料请关注脚本之家其它相关文章！
相关文章
本文主要介绍 github pull最新代码的资料，这里对 github pull最新代码做了详细流程介绍，有需要的小伙伴可以参考下2016-09-09
几乎没有哪个程序员能够写出一个bug都没有的代码，但是解决方法总是比困难多得多。多实践和坚毅的决心是成功的关键，这样才能够写出清洁代码，保证软件系统的可靠性2014-03-03
ChatGPT是当前自然语言处理领域的重要进展之一，可应用于多种场景，如智能客服、聊天机器人、语音助手等。本文通过调用OpenAI GPT-3模型提供的Completion API来实现一个更加智能的QQ机器人，文中原理代码介绍的非常详细，感兴趣的同学可以参考下2023-05-05
markdown是一个面向写作的语法引擎，markdown的最终目的都是解析成html用于网页浏览，所以它兼容html语法，即你可以在 markdown文档中使用原生的html标签2016-08-08
在CentOS7中使用命令行直接安装Vscode时，打开Vscode出现界面卡死、无响应情况，如何处理这个问题呢，今天小编给大家带来了Centos7中Vscode无响应的问题及解决方法，感兴趣的朋友一起看看吧2021-07-07
对于开发人员来讲，演示内网web站点、本地开发微信公众号、小程序开发、调试第三方支付系统对接等开发环境，往往需要一个环境可以进行调试，市面上内网穿透工具有很多，这里推荐一款简单又好用的cpolar，可以永久免费使用，不限制流量，支持http/https/tcp协议2022-09-09
最新WebStorm2020.2注册码永久激活(激活到2089年)
JetBrains旗下有多款编译器工具（如：IntelliJ、WebStorm、PyCharm等）在各编程领域几乎都占据了垄断地位。今天给大家带来的是将WebStorm最新版激活至2089年2020-09-09
Loongnix安装PyCharm Community 2020.2.3的教程详解
这篇文章主要介绍了Loongnix安装PyCharm Community 2020.2.3的教程详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-11-11
解决Chrome在新版MacOS上报错 NET::ERR_CERT_WEAK_KEY 的问题
这篇文章主要介绍了解决Chrome在新版MacOS上报错 NET::ERR_CERT_WEAK_KEY 的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-05-05
本文主要介绍了Mac下更换Homebrew镜像源的实现方法，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧2021-07-07
最新评论