中山大学陈翔老师课题组郑斯辉同学获

IEEE ICC 2021最佳论文奖

2021年6月，由IEEE主办、原定于加拿大蒙特利尔召开的国际通信大会(ICC)在互联网上以虚拟会议形式召开，该会议是世界通信行业规模最大、最具影响力的标志性学术会议之一。中山大学电子与信息工程学院 I3C 实验室硕士研究生郑斯辉与其导师陈翔副教授完成的论文《联邦学习上下行链路通信设计和分析》(Design and Analysis of Uplink and Downlink Communications for Federated Learning)获本届大会最佳论文奖(Best Paper Award)。该论文的合作者还有弗吉尼亚大学的沈聪教授。

联邦学习/联盟学习(Federated Learning, FL)技术是近年来备受关注的一种分布式人工智能架构，在该架构中由一个中心服务器调度多个用户设备进行协作训练，最终得到高精度的神经网络模型，而不需要收集用户数据，具备显著的隐私保护优势。然而，目前深度神经网络的庞大规模以及机器学习训练的迭代特性导致该过程需要大量模型的广播和回传，导致 FL技术面临着通信开销巨大的瓶颈问题。

论文围绕上述问题，从通信的角度对 FL 过程模型的量化传输展开了研究。论文对 FL 和无线通信融合的系统框架进行了分析，在此基础上针对上下行链路的特点进行了量化方案设计。在上行链路中，论文将问题聚焦在“对何量化”以及“如何量化”两个问题，指出可以基于 FL 的流程特点采用差分传输，从而提高有限量化位宽下的传输精度；同时还设计了一套完整的量化方案，并引入随机舍入进行优化。对于下行链路而言，采用的是广播信道，这导致差分传输不再适用，因此论文提出一种分层量化方案，可跟踪神经网络各层的动态范围并进行量化参数的精细化匹配。除此之外，论文还从理论上分析了不同量化方案的收敛性能，明确了不同方案的收敛条件，提供了更加完备的理论支撑。论文的实验结果验证了方案的优越性——对于目前FL研究普遍使用的数据集而言，所提方案可以降低超过80%的通信开销，某些情况下甚至可以达到极致的 1-比特量化，可以有效提高 FL 的通信效率。最终该论文在今年 ICC 提交的论文中脱颖而出，获得了最佳论文奖。