2022-10-18 | 科研部 南科大学子郜晨阳在视觉领域知名期刊发表研究成果

近日，南方科技大学计算机科学与工程系本科生郜晨阳以第一作者的身份在知名期刊IEEETransactions on Image Processing 发表研究成果，题为"Conditional Feature Learning based Transformer for Text-Based Person Search"。

近年来, 随着公共安全需求的增加, 视频监控技术得到了广泛的应用, 产生了海量的视频监控数据, 然而从如此大规模的视频数据中搜索犯罪嫌疑人十分困难，因此能够从视频监控中自动搜寻行人的算法具有重要的应用价值。基于文本的行人重识别（text-based person search）是解决该问题的一种有效方法。现有的基于Transformer的方法大多简单地将图像特征和文本特征进行拼接，然后输入到Transformer中，暴力地学习一个跨模态表征。但是这种弱监督的学习方式难以显式地建立图像区域和单词之间的关联，导致较差的特征分布。为了解决这个问题，我们改进了Transformer的结构，改进后的Transformer可以显式地学习到图像区域和单词之间的关联，对于每一个图像区域或者单词，都会输出一个分数来衡量它和另一个模态的匹配程度。实验结果表明提出方法的精度大幅度优于相关的前沿方法。

图1：方法整体框架

图2：Conditional Feature Learning based Transformer

该论文基于郜晨阳本科时期创新实验和腾讯犀牛鸟精英人才计划的研究成果，郜晨阳为论文第一作者。本文由南方科技大学与腾讯优图实验室共同完成，南科大计算机科学与工程系副教授郑锋为论文通讯作者，南科大是论文第一单位。本文得到了腾讯犀牛鸟精英人才计划的支持。

南方科技大学计算机科学与工程系从创系之初就强调本科生的综合能力培养，以实际问题为导向，以项目为驱动，以学科交叉融合为辅助，以“学生项目小组+导师”配对的方式从大三开始每周指导本科生做多样的工程或科研项目。这样的培养方式极大地提高了学生们的动手能力、抽象思维能力、沟通表达能力和团队精神，为学生的长期发展打下了坚实的基础，促进学生从知识学习型向知识创造型转变。

论文链接：https://ieeexplore.ieee.org/document/9893017 

供稿：计算机科学与工程系

通讯员：潘伟英

主图：丘妍

编辑：朱增光