我院王之琼教授团队在基于多模态生理信号的睡眠分期领域取得重要突破，相关工作以“Robust Sleep Staging over Incomplete Multimodal Physiological Signals via Contrastive Imagination”为题，被NeurIPS 2024（Annual Conference on Neural Information Processing Systems，神经信息处理系统大会）录用。论文第一作者为我院2022级博士生沈奇，通信作者为我院王之琼教授。

NeurIPS作为当前全球最负盛名的人工智能学术会议之一，是CCF（中国计算机学会）推荐的A类会议。在谷歌学术发布的全球学术期刊和会议影响力排名中位列第7，在所有人工智能领域期刊和会议中位列第1，H5 index高达337。与ICML、ICLR并称为人工智能领域难度最大、水平最高、影响力最强的“三大会议”。

EEG、EOG和EMG等多模态生理信号为自动睡眠分期（ASS）提供了丰富而可靠的生理信息。然而，在真实的世界中，各种模态的完备性难以保证，严重影响了基于多模态学习的ASS的性能。此外，生理信号中时间上下文信息的挖掘也是一个严峻的挑战。为此，提出了一个鲁棒的多模态睡眠分期框架命名为对比想象模态睡眠网络（CIMSleepNet）。具体来说，CIMSleepNet通过结合模态感知想象模块（MAIM）和语义和模态校准对比学习（SMCCL）来处理任意模态缺失的问题。其中，MAIM通过学习所有通道的共享表征分布，来捕捉通道之间的交互。同时，SMCCL引入了语义和模态的先验信息，在保持模态特异性的同时，检查语义一致性。利用SMCCL的校准，MAIM恢复的数据分布与真实的数据分布保持一致。进一步设计了一个多级跨分支时间注意力机制，它在片段内和片段间水平上方便地挖掘跨尺度的时间上下文表示。在多个数据集上验证了所提出方法在不同缺失率下的性能，结果表明该方法展现出最高的稳定性。

图1方法总体框架

图2 不同缺失率的睡眠分期性能对比

据悉，王之琼教授团队近年来，一直在多模态学习、生物信息学、健康大数据分析等领域开展研究工作，相关成果已经在IEEE Transactions on Knowledge and Data Engineering (TKDE, CCF A)、International Conference on Data Engineering (ICDE, CCF A)、International Joint Conference on Artificial Intelligence (IJCAI, CCF A)以及 IEEE Transactions on Instrumentation and Measurement (TIM)、IEEE Transactions on Emerging Topics in Computational Intelligence (TETCI)、IEEE/ACM Transactions on Computational Biology and Bioinformatics (TCBB)等期刊及会议发表。提出的医学人工智能系列方法，得到了国内外学术界的高度认可，被广泛应用于医疗健康领域。