北京大学取得多模态行人重识别方法专利，实现准确高效的行人重识别

25日消息，据国家知识产权局公告，北京大学取得一项名为“一种基于多层次跨模态差异调和的多模态行人重识别方法”，授权公告号CN116682144B，申请日期为2023年6月。

专利摘要显示，本发明提供了一种基于多层次跨模态差异调和的多模态行人重识别方法，属于计算机视觉领域。方法包括训练样本的获取，以及行人图片和相应文本描述的预处理；使用模态编码器‑模态共享解码器架构，在一组可学习的语义查询嵌入的引导下，提取出模态对齐的视觉和文本特征；通过交叉身份双模拟学习，利用一个差异预测器，帮助不同身份行人特征间的相关性在不同模态间转换，缓解身份级别的跨模态差异；最后使用模型输出的模态对齐的视觉特征和文本特征，计算查询文本特征和图像库中图像特征之间的相似度矩阵，实现准确高效的行人重识别。