近期，王之琼教授团队在放射学报告自动生成研究领域取得重要突破，研究成果以“End-to-end Clustering Enhanced Contrastive Learning for Radiology Reports Generation”为题，发表在IEEE Transactions on Emerging Topics in Computational Intelligence上。论文的第一作者为我院博士研究生刘馨遥，通讯作者为王之琼教授。

放射学报告的自动生成不仅能够减轻医生的工作负担，更重要的是可以减少因经验不足而导致的误诊和漏诊。然而，由于医疗数据中存在的数据偏差，在编码器-解码器架构中使用典型交叉熵损失往往会导致生成的报告中忽略关键的临床异常。因此，研究提出一种端到端的聚类增强的对比学习模型，生成更多样化的放射报告。具体而言，将来自transformer解码器的图像特征和文本语义特征进行融合，构建自适应对齐融合的编码器-解码器网络，消除不同模态之间的信息冗余。此外，还提出了一种标签引导的对比学习模块。利用高斯竞争对融合后的特征进行聚类。基于聚类结果进行有监督的对比学习，以增强特征表示能力。

图1. 所提出方法的主要思路

在自动生成放射学报告的任务中，仅使用输入图像的特征进行编码和解码是次优的。同时考虑图像特征和包含文本语义信息的特征能够生成更高质量的放射学报告。然而，图像特征和文本特征之间可能存在一定的相关性。直接的特征融合方法会导致信息冗余，从而影响模型的性能。为了解决这个问题，研究中引入了一个自适应对齐融合的编码器-解码器模块，通过注意力机制强调图像中的重要区域，抑制不相关区域以获得更好的特征表示。

图2. 自适应对齐融合的编码器-解码器网络

使用混合高斯分布对数据集中的样本进行聚类，获取每个样本的标签。由于患者可能同时患有多种疾病，因此，数据的分布是复杂多样的，聚类的类别数难以确定。为了解决这一问题，提出了一种不需要手动设置参数的自适应聚类网络。简单来说，聚类网络由多个高斯单元组成，用于聚类的类别数上限由高斯单元的数量决定。将充分融合后的特征通过聚类网络计算联合高斯分布概率。最大概率值对应的高斯分布的指数即为聚类标签。基于聚类标签的有监督对比学习为语义上与目标样本更接近的“硬”负样本分配更多权重，以生成更高质量的放射学报告。