|
ICASSP(International Conference on Acoustics, Speech, and Signal Processing)会议作为西南科技大学推荐的三类高质量国际论文中的A级会议,其主题涵盖了广泛的领域,包括音频信号处理、语音识别与合成、多媒体信号处理、图像处理、机器学习、人工智能等。
我院神经网络与图像处理实验室俞文心教授团队陈世宇同学在2023年的第48届ICASSP会议中发表了一篇关于图像修复领域的相关论文。在会议期间,他展示了论文的海报,进行学术报告,并积极与其他参会人员进行了深入的学术交流。以下是论文的相关内容:
题目:Image Inpainting with Semantic-aware Transformer
作者:Shiyu Chen , Wenxin Yu, Qi Wang , Jun Gong, Peng chen
概要:
图像修复是一项重要的计算机视觉任务,旨在通过自动填充缺失或损坏的图像区域,使图像恢复完整和无缺陷。现有的方法主要依赖于卷积神经网络(CNN)在理解高级语义方面的优势。然而,最近的研究表明,将Transformer模型应用于视觉领域可以解决卷积核无法关注到远距离信息的问题。
论文提出了一种全新的语义感知的Transformer模型,该模型不仅包含了之前视觉Transformer中的自注意力模块,还引入了一个用于感知整个数据集的语义特征的注意力模块。此外,论文对VQ-VAE模型做出改进,设计Quantized Semantic Vector Memory(QSVM)来实现对整个数据集中的图像的高级特征的提取和保存。通过在不同数据集上进行的实验,论文验证了其方法的有效性和优越性,与现有的先进方法相比取得了更好的修复效果。
附图:
图1 论文中提出模型的结构图
图2 参会现场海报展示
图3 参会现场与其他参会人员进行像学术讨论