多模态内容细粒度理解与生成

大模型高效可信学习

   

081104-模式识别与智能系统
081203-计算机应用技术

2013-09--2018-06   中国科学院大学   博士
2009-09--2013-06   武汉大学   学士

   

2024-10~2025-10,新加坡国立大学, 访问学者（合作教授Chua Tat Seng）
2020-10~现在, 中国科学院自动化研究所, 副研究员
2018-07~2020-10,中国科学院自动化研究所, 助理研究员

2024-08-31-今,中国图象图形学学会, 交通视频专委会委员
2023-12-01-2023-12-31,2023年全国大学生机器人大赛评委, 评委
2023-04-10-今,BSIG女科技工作者委员会, 委员
2021-12-19-今,中国图象图形学学会, 机器视觉专委会委员
2020-08-01-今,中国图象图形学学会, 多媒体专委会委员

图像与视频检索

奖项与荣誉

（1）2015年 全国研究生智慧城市视频分析挑战赛-跨摄像头目标跟踪竞赛二等奖

（2）2015年 欧洲图形国际会议-多视角3D目标检索竞赛第一名

（3）2018年 中科院Rokid人工智能奖

（4）2018年 吴文俊人工智能科技进步二等奖

（5）2019年 IEEE视觉通信与图像处理国际会议（VCIP）车辆识别竞赛冠军

（6）2019年 中国科学院科技成果转化二等奖

（7）2020年 中国发明协会发明创新银奖

（8）2022年 入选北京科协2022-2024年度青年人才托举工程

（9）2022年 北京大数据技能大赛“智慧安防”赛道优胜奖和最佳技术奖

（10）2023年 所在团队被评为“科苑名匠”

（11）2023年 北京市科学技术奖自然科学二等奖

​

[1] 朱宽, 郭海云, 郝祥兆, 唐明, 王金桥. 基于多模态多形式统一的多轮图文理解与定位方法及装置. CN: CN118797562B, 2024-12-06.
[2] 朱宽, 郭海云, 姜昕雪, 唐明, 王金桥. 基于隐式结构特征的生成式指代分割方法及装置. CN: CN118570481B, 2024-12-06.
[3] 王金桥, 曲美至, 郭海云. 基于伪标签优化的弱监督跨模态目标检索模型训练方法. CN: CN118314416A, 2024-07-09.
[4] 王金桥, 曲美至, 郭海云. 基于多视图关系一致性的弱监督跨模态目标检索方法. CN: CN118314417A, 2024-07-09.
[5] 朱宽, 郭海云, 王金桥, 唐明. 图像识别方法、装置、电子设备和存储介质. CN: CN116740414B, 2024-03-01.
[6] 朱宽, 郭海云, 王金桥, 唐明. 图像识别方法、装置、电子设备和存储介质. CN: CN116740414A, 2023-09-12.
[7] 郭海云, 闫天翊, 王金桥, 唐明. 视觉检索模型的无监督训练方法、装置和电子设备. CN: CN116089652B, 2023-07-18.
[8] 赵朝阳, 王金桥, 郭海云. 人脸识别模型的训练方法、装置、设备和存储介质. CN: CN115953819A, 2023-04-11.
[9] 赵朝阳, 王金桥, 郭海云. 人脸识别模型的训练方法、装置、设备和存储介质. CN: CN115953819B, 2023-08-15.
[10] 郭海云, 王金桥, 唐明, 朱宽. 行人重识别模型训练方法、行人重识别方法、装置和设备. CN: CN115082966A, 2022-09-20.
[11] 郭海云, 吴畏, 王金桥, 唐明. 基于一致性损失的细粒度图像模型训练及识别方法和装置. CN: CN114821203A, 2022-07-29.
[12] 郭海云, 伍虹燕, 王金桥. 基于粗标签辅助的半监督细粒度图像识别方法和设备. CN: CN115294350B, 2023-08-04.
[13] 郭海云, 伍虹燕, 王金桥. 基于粗标签辅助的半监督细粒度图像识别方法和设备. CN: CN115294350A, 2022-11-04.
[14] 王金桥, 张森, 郭海云, 蔡岗, 凃鸣非, 张慧辰, 尤冬海, 杨卓敏. 基于关键点检测和局部特征对齐的车辆重识别方法. CN: CN112990152A, 2021-06-18.
[15] 郭海云, 温馨, 王金桥, 唐明, 伍虹燕. 基于分布学习的自适应方差和权重的人脸年龄估计方法. CN: CN112560823A, 2021-03-26.
[16] 郭海云, 王金桥, 伍虹燕. 基于图网络的多粒度特征学习的图像精细分类方法及系统. CN: CN111814920B, 2021-01-05.
[17] 郭海云, 朱宽, 王金桥, 唐明. 基于语义一致水平条和前景修正的行人重识别方法. CN: CN111783753B, 2020-12-15.
[18] 郭海云, 王金桥, 伍洪燕. 基于图网络的多粒度特征学习的精细分类方法及系统. CN: CN111814920A, 2020-10-23.
[19] 郭海云, 王金桥, 唐明, 刘松岩. 基于特征对抗学习和自相似性聚类的跨域目标重识别方法. CN: CN111738172B, 2021-02-12.
[20] 郭海云, 王金桥, 唐明, 刘松岩. 基于循环一致性的无监督人体姿态迁移方法、系统及装置. CN: CN111739115B, 2021-03-16.
[21] 王金桥, 郭海云, 卢汉清. 基于深度学习的车型识别模型构建方法及车型识别方法. CN: CN106570477A, 2017-04-19.

发表论文40余篇，其中一作或通讯作者论文20余篇，包括TIP、TNNLS等中科院一区期刊论文，AAAI、ECCV、CVPR、ACL、ACM MM等国际顶级会议论文，谷歌学术引用1800余次。完整论文列表请查阅DBLP和Google Scholar 。申请国家发明专利20多项。牵头制定智能交通行业标准2项。

[1] 安泓岩, 朱宽, 郭海云, 王金桥. FOCUS:Fine-grained Optimization with Semantic Guided Understanding for Pedestrian Attributes Recognition. ICME. 2025, 第 3 作者null(null): 
[2] Weijie Zhou, Manli Tao, Chaoyang Zhao, Haiyun Guo, Honghui Dong, Ming Tang, Jinqiao Wang. PhysVLM: Enabling Visual Language Models to Understand Robotic Physical Reachability. CVPR. 2025, 第 4 作者null(null): https://arxiv.org/abs/2503.08481.
[3] 李巍, 朱宽, 郭海云, 王金桥. Semantic-aware Fine-grained Point Augmentation for 3D Multi-modal Object Detection. ICME. 2025, 第 3 作者null(null): 
[4] Jinghan He, Kuan Zhu, Haiyun Guo, Junfeng Fang, Zhenglin Hua, Yuheng Jia, Ming Tang, TatSeng Chua, Jinqiao Wang. Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence. ACL. 2025, 第 3 作者  通讯作者  null(null): https://arxiv.org/abs/2412.13949.
[5] Jinghan He, Haiyun Guo, Kuan Zhu, Ming Tang, Jinqiao Wang. SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models. EMNLP. 2024, 第 2 作者  通讯作者  null(null): https://arxiv.org/abs/2411.06171.
[6] Xin He, Haiyun Guo, Kuan Zhu, Bingke Zhu, Xu Zhao, Jianwu Fang, Jinqiao Wang. Monocular Lane Detection Based on Deep Learning: A Survey. arxiv. 2024, 第 2 作者https://arxiv.org/abs/2411.16316.
[7] TNNLS. 2023, 第 2 作者  通讯作者  
[8] 贺靖涵, 郭海云, 唐明, 王金桥. Continual Instruction Tuning for Large Multimodal Models.. 2023, 第 2 作者null(null): 
[9] Li, Wei, Guo, Haiyun, Dong, Honghui, Tang, Ming, Zhou, Yue, Wang, Jinqiao. Bi-Level Implicit Semantic Data Augmentation for Vehicle Re-Identification. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS[J]. 2023, 第 2 作者  通讯作者  
[10] 朱宽, 郭海云, 刘松岩, 王金桥, 唐明. Learning Semantics-Consistent Stripes With Self-Refinement for Person Re-Identification. IEEE Trans. Neural Networks Learn. Syst.[J]. 2023, 第 2 作者
[11] Xu, Mingyuan, Guo, Haiyun, Jia, Yuheng, Dai, Zhitao, Wang, Jinqiao. Pseudo Label Rectification With Joint Camera Shift Adaptation and Outlier Progressive Recycling for Unsupervised Person Re-Identification. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS[J]. 2023, 第 2 作者  通讯作者  24(3): 3395-3406, http://dx.doi.org/10.1109/TITS.2022.3224233.
[12] Zhu Kuan, Guo Haiyun, Tang Ming, Wang Jinqiao. Learning semantics- consistent stripes with self-refinement for person re-identification. IEEE Transactions on neural networks and learning system[J]. 2022, 第 2 作者  通讯作者  
[13] Xu, Mingyuan, Guo, Haiyun, Jia, Yuheng, Dai, Zhitao, Wang, Jinqiao. Pseudo Label Rectification With Joint Camera Shift Adaptation and Outlier Progressive Recycling for Unsupervised Person Re-Identification. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS[J]. 2022, 第 2 作者  通讯作者  
[14] Zhu, Kuan, Guo, Haiyun, Liu, Songyan, Wang, Jinqiao, Tang, Ming. Learning Semantics-Consistent Stripes With Self-Refinement for Person Re-Identification. IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS[J]. 2022, 第 2 作者  通讯作者  http://dx.doi.org/10.1109/TNNLS.2022.3151487.
[15] Zhang, La, Guo, Haiyun, Zhu, Kuan, Qiao, Honglin, Huang, Gaopan, Zhang, Sen, Zhang, Huichen, Sun, Jian, Wang, Jinqiao. Hybrid Modality Metric Learning for Visible-Infrared Person Re-Identification. ACM TRANSACTIONS ON MULTIMEDIA COMPUTING COMMUNICATIONS AND APPLICATIONS[J]. 2022, 第 2 作者  通讯作者  18(1): http://dx.doi.org/10.1145/3473341.
[16] Zhu, Kuan, Guo, Haiyun, Yan, Tianyi, Zhu, Yousong, Wang, Jinqiao, Tang, Ming. PASS: Part-Aware Self-Supervised Pre-Training for Person Re-Identification. ECCV. 2022, 第 2 作者
[17] Tu Mingfei, Zhu Kuan, Guo Haiyun, Miao, Qinghai, Wang Jinqiao. Multi-granularity Mutual Learning Network for Object Re-identification. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS[J]. 2022, 第 3 作者  通讯作者  
[18] Liu, Songyan, Guo, Haiyun, Zhu, Kuan, Wang, Jinqiao, Tang, Ming. Unsupervised cycle-consistent person pose transfer. NEUROCOMPUTING[J]. 2021, 第 2 作者  通讯作者  453: 502-511, http://dx.doi.org/10.1016/j.neucom.2020.10.059.
[19] Wen Xin, Li Biying, Guo Haiyun, Tang Ming, Wang Jinqiao. Adaptive Variance Based Label Distribution Learning For Facial Age Estimation. ECCV. 2020, 第 3 作者
[20] Liu, Songyan, Guo, Haiyun, Hu, JianGuo, Zhao, Xu, Zhao, Chaoyang, Wang, Tong, Zhu, Yousong, Wang, Jinqiao, Tang, Ming. A novel data augmentation scheme for pedestrian detection with attribute preserving GAN. NEUROCOMPUTING[J]. 2020, 第 2 作者  通讯作者  401(11): 123-132, http://dx.doi.org/10.1016/j.neucom.2020.02.094.
[21] Zhu Kuan, Guo Haiyun, Tang Ming, Wang Jinqiao. Identity-Guided Human Semantic Parsing for Person Re-Identification. ECCV. 2020, 第 2 作者
[22] Guo, Haiyun, Zhu, Kuan, Tang, Ming, Wang, Jinqiao. Two-Level Attention Network With Multi-Grain Ranking Loss for Vehicle Re-Identification. IEEE TRANSACTIONS ON IMAGE PROCESSING[J]. 2019, 第 1 作者28(9): 4328-4338, http://dx.doi.org/10.1109/TIP.2019.2910408.
[23] Zhu, Yousong, Zhao, Chaoyang, Gun, Haiyun, Wang, Jinqiao, Zhao, Xu, Lu, Hanqing. Attention CoupleNet: Fully Convolutional Attention Coupling Network for Object Detection. IEEE TRANSACTIONS ON IMAGE PROCESSING[J]. 2019, 28(1): 113-126, http://ir.ia.ac.cn/handle/173211/23587.
[24] Guo, Haiyun, Wu, Huiyao, Zhao, Chaoyang, Zhang, Huichen, Wang, Jinqiao, Lu, Hanqing. Cascade Attention Network for Person Re-Identification. 26th IEEE International Conference on Image Processing (ICIP). 2019, 第 1 作者  通讯作者  2264-2268, http://apps.webofknowledge.com/CitedFullRecord.do?product=UA&colName=WOS&SID=5CCFccWmJJRAuMzNPjj&search_mode=CitedFullRecord&isickref=WOS:000521828602078.
[25] Zhao, Xu, Zhao, Chaoyang, Guo, Haiyun, Zhu, Yousong, Tang, Ming, Wang, Jinqiao. Elite Loss for scene text detection. NEUROCOMPUTING[J]. 2019, 第 3 作者333(333): 284-291, http://ir.ia.ac.cn/handle/173211/23594.
[26] Guo Haiyun, Zhao Chaoyang, Liu Zhiwei, Wang Jinqiao, Lu Hanqing. Learning Coarse-to-fine Structured Feature Embedding for Vehicle Re-identification. AAAI. 2018, 第 1 作者http://ir.ia.ac.cn/handle/173211/20902.
[27] Wang Jinqiao, Guo Haiyun, Miao Qinghai, Huang Min, He Yating. Deep Embedding Network For Robust Age Estimation. 2017, 第 2 作者http://ir.ia.ac.cn/handle/173211/20118.
[28] Zhu Yousong, Wang Jinqiao, Zhao Chaoyang, Guo Haiyun, Lu Hanqing. Scale-Adaptive Deconvolutional Regression Network for Pedestrian Detection. Asian Conference on Computer Vision (ACCV). 2016, 第 4 作者10112: 416-430, 
[29] Zhu Yousong, Lu Hanqing, Guo Haiyun, Zhao Chaoyang, Wang Jinqiao. Scale-adaptive Deconvolutional Regression Network for Pedestrian Detection. 2016, 第 3 作者http://ir.ia.ac.cn/handle/173211/20146.
[30] Guo, Haiyun, Wang, Jinqiao, Lu, Hanqing. Multiple deep features learning for object retrieval in surveillance videos. IETCOMPUTERVISION[J]. 2016, 第 1 作者  通讯作者  10(4): 268-272, https://www.webofscience.com/wos/woscc/full-record/WOS:000380260100005.
[31] Guo, Haiyun, Wang, Jinqiao, Gao, Yue, Li, Jianqiang, Lu, Hanqing. Multi-View 3D Object Retrieval With Deep Embedding Network. IEEE TRANSACTIONS ON IMAGE PROCESSING[J]. 2016, 第 1 作者25(12): 5526-5537, http://dx.doi.org/10.1109/TIP.2016.2609814.
[32] Haiyun Guo, Jinqiao Wang, Min Xu, Zhengjun Zha, Hanqing Lu. Learning Multi-view Deep Features for Small Object Retrieval in Surveillance Scenarios. ACM Multimedia. 2015, 第 1 作者http://ir.ia.ac.cn/handle/173211/12449.
[33] Guo Haiyun, Wang Jinqiao, Lu Hanqing. Learning Deep Compact Descriptor with Bagging Auto-encoders for Object Retrieval. ICIP. 2015, 第 1 作者http://ir.ia.ac.cn/handle/173211/20133.
[34] Guo Haiyun, Wang Jinqiao, Xu Min, Zha ZhengJun, Lu Hanqing. Learning Multi-view Deep Features for Small Object Retrieval in Surveillance Scenarios. ACM International Conference on Multimedia. 2015, 第 1 作者  通讯作者  859-862, http://dx.doi.org/10.1145/2733373.2806349.

(1)主持科技部重大项目课题、国家自然科学基金项目、广东省重点研发计划项目课题、阿里巴巴创新研究计划项目、公安部交通管理科学研究所开放课题等项目，作为技术骨干参与国家自然科学基金面上项目、工信部揭榜挂帅项目、中科院STS双创计划项目、广州市领军团队项目。所研发的核心技术为智慧交通、智慧安防、智能监管等产业服务，并与阿里、华为、公安部交通管理科学研究所、中国电子进出口有限公司等多家单位开展了技术合作。

(2)在PRCV2019会议上与交通运输部规划研究院、长安大学等单位联合组织举办了车纹识别技术挑战赛，引起了广泛关注，推动了相关领域的发展。

(3)担任IEEE TIP、TNNLS、TIFS、TMM、PR、KBS等国际期刊和CVPR、ICCV、NeurIPS、ECCV、AAAI、ACM MM、RCV等国内外会议审稿人。

（ 1 ） 国产自主可控多模态大模型关键技术, 参与, 地方任务, 2023-12--2025-09
（ 2 ） 基于局部关系与语义约束的视觉检索, 参与, 国家任务, 2023-01--2026-12
（ 3 ） 原生全栈国产自主可控超大规模模型训练技术, 负责人, 国家任务, 2021-12--2024-12
（ 4 ） 基于对抗学习与关系建模的监控视频目标检索研究, 负责人, 国家任务, 2021-01--2023-12
（ 5 ） 面向智慧高速场景的鲁棒多粒度车辆重识别技术研究, 负责人, 境内委托项目, 2020-11--2022-06
（ 6 ） 跨媒介智能理解软件关键技术, 负责人, 地方任务, 2020-01--2022-12
（ 7 ） 基于混合增强智能的平行智能理论研究及验证, 负责人, 地方任务, 2020-01--2022-12
（ 8 ） 基于结构关系和知识学习的大规模视觉目标检索, 参与, 国家任务, 2018-01--2021-12

   

1. 2018-2023. 朱宽，博士研究生，模式识别与智能系统（联合培养，发表论文TIP2019、ECCV2020、ECCV2022、TNNLS2022、TNNLS2023，获得2019年IEEE VCIP国际车辆重识别竞赛冠军和2020年度国家奖学金，毕业去向：中科院自动化所）

2. 2018-2021. 温馨，硕士研究生（非全日制），人工智能（发表论文ECCV2020，毕业去向：国防科技大学读博） 

3. 2019-2022. 凃鸣非，硕士研究生，计算机应用技术（联合培养，发表论文TITS2022，毕业去向：香港科技大学广州分校读博） 

4. 2019-2022. 伍虹燕，硕士研究生，计算机应用技术（联合培养，发表论文MMM2022、PRCV2023，获得2021年度国家奖学金）

5. 2019-2022. 吴畏，硕士研究生（非全日制），人工智能

6. 2020-2022. 闫天翊，硕士研究生（非全日制），人工智能（发表论文ICPR，毕业去向：澳门大学读博）

7. 2020至今. 李巍，博士研究生（北京交通大学联合培养，发表论文3篇，获得2021年度一等学业奖学金）

8. 2021至今. 安泓岩，硕士研究生（非全日制），人工智能（发表论文ICME，毕业去向：国科大联培读博）

9. 2021至今. 何鑫，硕士研究生（非全日制），人工智能（中科院一区论文在投1篇，毕业去向：国科大联培读博）

10. 2021至今. 贺靖涵，博士研究生，模式识别与智能系统（发表论文IEIR2023、EMNLP 2024、ACL2025）

11. 2023至今. 郝祥兆，硕士研究生，计算机应用技术（CCF A类论文在投1篇）

12. 2023至今. 侯智严，硕士研究生，计算机应用技术（CCF A类论文在投1篇）

13. 2023至今. 郭鸿宇，硕士研究生（北京交通大学联合培养）（CCF A类论文在投1篇）

14. 2024至今. 杨天宇，硕士研究生，模式识别与智能系统

15. 2024至今. 李会瑞，硕士研究生（非全日制），人工智能

16. 2024至今. 郭书敬，硕士研究生（非全日制），人工智能

17. 2025至今. 肖以成，硕士研究生，计算机应用技术（CCF A类论文在投1篇）

1. 2018. 吴卉尧（本科实习），发表ICIP论文1篇，荷兰埃因霍芬理工大学读研

2. 2018. 孙逸晨（本科实习），美国波士顿大学读研

3. 2022. 徐东宇（带本科毕设），中国科学院自动化研究所读研

4. 2022. 徐铭远（硕士实习），发表TITS论文1篇，字节跳动工作