近日，云南大学云南马来亚学院（现代工学院）周维教授研究团队在人工智能安全与内容可信治理方向取得系列重要进展。团队紧扣生成式人工智能快速发展带来的内容安全与可信应用需求，围绕模型安全和应用层安全两大主线，在遗忘学习、对抗攻击、虚假信息检测等关键问题上持续开展系统性研究。2025年以来，相关成果先后发表于人工智能与自然语言处理领域中国计算机学会（CCF）推荐的A类国际学术会议AAAI、ACL，B类国际学术会议NAACL，以及网络与信息安全领域CCF推荐的A类国际权威期刊IEEE TIFS等，为人工智能技术在公共安全和产业场景中的安全可靠应用提供了有力支撑。部分代表性成果介绍如下：
一是在生成式人工智能驱动的虚假信息检测方向取得新突破。团队系统分析生成式人工智能显著提升新闻多样性后，针对基于多模态大模型的虚假信息检测系统带来的稳健性挑战，提出“模型感知漂移”和“证据漂移”概念，构建大规模新闻多样性数据集，揭示了现有方法在应对多样化生成虚假信息方面的局限性，为新一代虚假信息检测模型的设计和评估提供了重要参考。
二是在遥感图像融合与恢复上取得突破。该研究在架构耦合与损失约束层面实现了遥感图像光谱恢复和分辨率恢复任务的规范化联合优化。深入分析了两个任务之间的联系和共性，设计了多尺度混合交叉模块、曼巴上采样模块、双池化注意力通过层级递进方式实现耦合，对空间特征与光谱特征进行联合编码、融合及重建。借助曼巴模型的建模能力实现梯度共享与相互增强，对特征进行显式对齐。该论文系统探索了遥感图像在光谱恢复和分辨率恢复联合优化任务上面临的挑战，解决了以往只能在单个任务上独立实现的问题。
三是在语境错配型虚假信息的可解释检测方面取得重要进展。针对多模态大模型在语境错配型）虚假信息检测中存在深层语义关系挖掘不足、对外部证据噪声敏感等问题，团队提出“共存关系生成”和“关联评分”策略，协同利用模型内部表征与外部证据，提升图文语义共存关系识别能力，显著增强了对语境错配型虚假信息的可解释检测能力。
四是在大语言模型驱动的多源知识融合虚假新闻检测方向取得阶段性成果。面向复杂多跳文本虚假信息识别场景，团队针对大语言模型在证据检索不足、噪声过滤薄弱、内部知识利用不充分等问题，构建集语料库检索与知识图谱检索于一体的多源知识融合框架，引入冗余过滤和知识转换机制，在多项虚假新闻检测基准数据集上取得显著性能提升，为构建高效、可靠的大模型内容核查系统提供了有益探索。
五是在深度神经网络黑盒对抗攻击方向取得重要进展。针对实际部署中无法获取模型参数与梯度的黑盒场景，团队基于条件扩散模型构建对抗样本生成框架，使生成样本更加贴近目标模型判别边界，在跨模型迁移时保持较高攻击成功率的同时显著降低查询开销。该方法具有良好的通用性和可集成性，可作为基础模块嵌入多类黑盒攻击流程，为系统化评估和提升深度学习模型安全防护能力提供了新的技术手段。
本系列研究成果均以云南大学为第一作者单位完成，周维教授担任通讯作者。第一作者包括云南大学江倩副教授，研究生刘仁阳、李钒效、李大洋等。合作作者包括金鑫副教授、董云云讲师、宋冰冰讲师、唐丽讲师、研究生王倩倩、何灿源等。相关研究工作得到国家自然科学基金、云南省重点研发计划等项目的资助，并与新加坡国立大学、南洋理工大学等国内外高校和科研机构建立了稳定合作关系，为持续推动云南大学在人工智能安全与内容可信治理领域的高质量科研创新和人才培养奠定了坚实基础。
参考文献：
[1] Drifting Away from Truth: GenAI-Driven News Diversity Challenges LVLM-Based Misinformation Detection, AAAI 2026（CCF A类会议）, DOI: 10.48550/arXiv.2508.12711, 通讯作者：周维
[2] MFmamba: A Multi-function Network forPanchromatic Image Resolution Restoration Based on State-Space Model, AAAI 2026（CCF A类会议）, DOI: 10.48550/arXiv.2511.18888, 通讯作者：周维
[3] CMIE: Combining MLLM Insights with External Evidence for Explainable Out-of-Context Misinformation Detection, Findings of ACL 2025（CCF A类会议）, DOI: 10.18653/v1/2025.findings-acl.487, 通讯作者：周维
[4] IMRRF: Integrating Multi-Source Retrieval and Redundancy Filtering for LLM-based Fake News Detection, NAACL 2025（CCF B类会议）, DOI: 10.18653/v1/2025.naacl-long.461, 通讯作者：周维
[5] Boosting Black-Box Attack to Deep Neural Networks With Conditional Diffusion Models, IEEE Transactions on Information Forensics and Security（TIFS，CCF A类期刊）, 2024, DOI: 10.1109/TIFS.2024.3390609, 通讯作者：周维
来源：云南马来亚学院（现代工学院）
编辑：张懿淼 责任编辑：李哲
