本网讯 近日，我校人工智能学院马文涛特任教授团队与国防科技大学、南昌航空大学合作完成的研究论文From Granularity to Consensus: Mitigating Sample Defects for Remote Sensing Image-Text Retrieval在国际知名期刊《ISPRS Journal of Photogrammetry and Remote Sensing》（中科院1区top，IF=12.9）上刊发。该研究针对遥感图-文跨模态检索中的训练样本缺陷问题，提出双粒度共识引导的假负样本抑制模型（CFSN²），有效提升了复杂场景下遥感图-文跨模态语义匹配与检索性能。

遥感图-文跨模态检索通过建立遥感影像与自然语言之间的语义联系，实现“以文搜图”和“以图搜文”，是支撑海量遥感数据智能查询与应用的重要技术。遥感场景中，不同影像及其文字描述往往具有相近的语义内容，部分实际相关、但未被标注为配对的图-文样本对容易被当作负样本参与训练，干扰模型对语义关系的学习。同时，不同训练批次的场景组成存在差异，容易造成图-文相似度估计波动，进一步影响样本判别的可靠性与模型训练的稳定性。

针对上述问题，研究团队从整体场景与局部细节两个层面协同建模，构建了集相似度稳定估计、假负样本识别和自适应抑制于一体的学习框架。该方法通过动量特征队列汇集历史训练信息，缓解不同批次间的分布波动；利用高斯混合模型分析双粒度相似度分布，依据两个层面的共同判断识别潜在假负样本；进一步根据识别置信度动态调整样本权重，减少错误负样本对模型优化的干扰，提升图像与文本之间的语义对齐能力。

该研究为农业遥感数据的便捷获取和高效利用提供了技术基础。相关技术可拓展应用于农业与乡村遥感影像库，支持工作人员利用自然语言描述查找相关影像，为耕地资源调查、农田水利管理和村庄规划提供影像检索支撑。此外，该技术有望减少海量影像查找与筛选中的人工投入，提高基层部门获取和利用遥感信息的效率，促进遥感数据在农业资源精细化管理、乡村生态环境治理和数字乡村建设中的应用，为农业现代化与乡村全面振兴提供科技支撑。

我校为论文第一完成单位，人工智能学院2024级博士研究生陈少凡为论文第一作者，马文涛特任教授为通讯作者。相关研究得到国家自然科学基金，安徽省自然科学基金、江西省自然科学基金以及安徽农业大学引进高层次人才科研启动项目的共同资助。

论文链接：https://www.sciencedirect.com/science/article/pii/S0924271626004879?dgcid=author