我校师生在多模态联邦学习方向的最新成果被CVPR录用

近日，我校计算机科学与工程学院副教授亓帆以及所指导的2022级研究生李帅撰写的论文“Adaptive Hyper-graph Aggregation for Modality-Agnostic Federated Learning”被计算机视觉和人工智能领域国际公认的顶级会议IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR 2024）录用。

模型框架图

该研究针对多模态联邦学习中常见的模态不兼容问题展开了深入研究，提出了一种创新的自适应超图聚合的多模态联邦学习框架。该框架通过结构化设计客户模型、全局共识原型增强器以及自适应超图聚合协作图三大关键模块，有效应对多模态联邦学习环境中的模态异质性和统计异质性挑战。即使在服务器无法获取客户端模态信息的情况下，该框架也能够自适应地完成多模态客户端聚合。