基本信息

朱贵波  男  硕导  中国科学院自动化研究所

中国科学院自动化研究所紫东太初大模型研究中心副研究员硕士研究生导师,武汉英才优秀青年人才,主要研究方向包括多模态大模型、视频内容理解、行为识别与检测、视觉目标跟踪等。担任国家科技创新2030—“新一代人工智能”重大项目课题负责人和科技部重大专项任务负责人,主持自然科学基金2项,曾作为核心骨干申请并参与了包括国家重点研发计划、中科院先导A项目、广东省重点研发计划等在内的多个国家或省级项目。作为中国科学院“科苑名匠”紫东太初多模态大模型研究团队核心成员,全程参与大模型从0到1的构建,推动国际首个图文音三模态大模型“紫东太初”及其升级版本紫东太初2.0(全模态认知大模型)与紫东太初3.0(多模态智能体大模型)的研发,实现基于昇腾AI的全栈国产化适配,并成为首批通过国家备案的大模型,相关成果荣获2022年世界人工智能大会SAIL奖。在国产AI训练优化方面,作为核心成员参与的国产化算力优化及产业化项目获湖北省科技进步二等奖。学术成果涵盖IEEE TIP、TNNLS、T-CYB等权威期刊及NeurIPS、AAAI、IJCAI等国际顶会,共发表论文30余篇,授权国家发明专利10项,参与国家标准《人工智能 预训练模型 第1部分:参考架构》、国家标准《人工智能 预训练模型 第2部分:评测指标与方法》、国家标准《人工智能 预训练模型 第3部分:服务能力成熟度评估》、《信息技术 计算机视觉 术语》等4项人工智能国家标准和《工业AI视觉外观检测系统通用技术规范》等2个团体标准制定。曾获中国科学院Rokid人工智能科学奖,并在KDD CUP、Eurographics、IEEE BigData、铁路人工智能算法大赛等国内外竞赛中斩获冠军,担任CVPR 2020 Anti-UAV竞赛及研讨会程序委员会共同主席,其在“紫东太初”相关研发中夺得7项国际竞赛冠军,荣获2023年中国算力大会“算力中国·年度突破成果”奖、DC Tech创新先锋奖和2024年祖冲之人工智能创新成果奖。

电子邮件: gbzhu@nlpr.ia.ac.cn
通信地址: 北京市海淀区中关村东路95号
邮政编码: 100190

研究领域

专业:模式识别与智能系统、计算机应用技术

研究方向:目标检测与跟踪、视频内容理解、多模态大模型、自监督学习、小样本学习

招生信息

招生方向:图像与视频处理、模式识别与智能系统; 

招生要求:计算机专业、电子信息、自动化、人工智能、数学等相关专业,要对科研怀有强烈的兴趣和追求卓越的精神,希望你具备良好的数学基础和自主学习能力,动手能力强,有团队精神; 

招生类型:硕士研究生,及国科大非全日制硕士;

培养模式:根据学生的特点,因材施教。面向应用问题,着重培养动手实践能力;面向国际前沿科学问题,着重培养科研创新能力。


招生专业
081104-模式识别与智能系统
081203-计算机应用技术
招生方向
模式识别与智能系统
计算机技术

教育背景

2013-09--2016-06   中国科学院自动化研究所   工学博士
2010-09--2013-06   中国科学院自动化研究所   工学硕士
2005-09--2009-06   武汉大学   工学学士
学历

中国科学院自动化所,2013.09--2016.07,工学博士

​中国科学院自动化所,2010-2013, 工学硕士

武汉大学,2005--2009,   工学学士


学位

中国科学院自动化研究所,2016,工学博士

工作经历

2018.11至今:中国科学院自动化研究所 副研究员 硕士生导师

2016.07 - 2018.10: 中国科学院自动化研究所 助理研究员

工作简历
2018-11~2023-06,中国科学院自动化研究所, 副研究员
2016-07~2018-10,中国科学院自动化研究所, 助理研究员

专利与奖励


奖励信息
(1) 湖北省科技进步二等奖, 二等奖, 省级, 2024
(2) 祖冲之—人工智能前沿创新奖, 一等奖, 其他, 2024
(3) 2023铁路人工智能算法大赛, 特等奖, 其他, 2023
(4) 中国算力大会算力中国年度突破成果奖, 一等奖, 其他, 2023
(5) 世界人工智能大会SAIL最高奖, 一等奖, 其他, 2022
(6) 中国计算大会“DC Tech创新先锋”优秀成果奖, 一等奖, 其他, 2022
(7) VideoNet视频内容识别挑战赛, 一等奖, 其他, 2019
(8) 中国科学院Rokid奖学金, 一等奖, 院级, 2016
(9) 全国智慧城市视频分析挑战赛目标跟踪任务, 一等奖, 其他, 2015
(10) 全国智慧城市视频分析挑战赛跨场景目标跟踪任务, 一等奖, 其他, 2015
(11) 欧洲图形图像国际会议多视觉目标检索竞赛, 一等奖, 其他, 2015
专利成果
( 1 ) 少样本目标检测方法、装置和电子设备, 发明专利, 2022, 第 1 作者, 专利号: CN114861842b

( 2 ) 基于Transformer的非接触式呼吸率测量方法, 专利授权, 2022, 第 3 作者, 专利号: CN114343612B

( 3 ) 图像处理、缺陷检测方法及装置、电子设备和存储介质, 发明专利, 2022, 第 8 作者, 专利号: CN114255221A

( 4 ) 基于通用视觉预训练模型的图像质量评价方法及系统, 专利授权, 2022, 第 3 作者, 专利号: CN113743332B

( 5 ) 基于Transformer的非接触式心率测量方法, 发明专利, 2021, 第 2 作者, 专利号: CN113408508B

( 6 ) 基于端到端网络的非接触式心率测量方法、系统和装置, 专利授权, 2021, 第 2 作者, 专利号: CN112200162A

( 7 ) 目标异常检测方法及装置, 发明专利, 2024, 第 2 作者, 专利号: CN17173530B

出版信息


发表论文
(1) UniVAD: 用于小样本视觉异常检测的免训练统一模型, UniVAD: A Training-free Unified Model for Few-shot Visual Anomaly Detection, IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2025, 第 3 作者  通讯作者
(2) 看透他们的思想:从跨受试者功能磁共振成像中学习可迁移的脑解码模型, See Through Their Minds: Learning Transferable Brain Decoding Models from Cross-Subject fMRI, Proceedings of the AAAI Conference on Artificial Intelligence, 2025, 第 3 作者  通讯作者
(3) BrainCLIP:通过 CLIP 实现通用自然视觉刺激解码的大脑表征, BrainCLIP: Brain Representation via CLIP for Generic Natural Visual Stimulus Decoding, IEEE Transactions on Medical Imaging, 2025, 第 4 作者
(4) 从通用模型中提取稀疏专家模型, Extracting Sparse Specialist Models from Generalist Models, ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2025, 第 4 作者
(5) ADFormer:基于双 CNN-Transformer 架构的可泛化小样本异常检测, ADFormer: Generalizable Few-Shot Anomaly Detection with Dual CNN-Transformer Architecture, IEEE Transactions on Instrumentation and Measurement, 2024, 第 3 作者  通讯作者
(6) 异常检测大模型:基于图文大模型的工业异常检测, AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models, AAAI Conference on Artificial Intelligence, 2024, 第 3 作者  通讯作者
(7) Filo:通过细粒度描述与高质量定位实现零样本异常检测, Filo: Zero-shot anomaly detection by fine-grained description and high-quality localization, Proceedings of the 32nd ACM International Conference on Multimedia, 2024, 第 3 作者  通讯作者
(8) ShiftFormer: Spatial-Temporal Shift Operation in Video Transformer, ICME, 2023, 第 2 作者
(9) ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路*, The Inspiration Brought by ChatGPT to LLM and the New Development Ideas of Multi-modal Large Model, 数据分析与知识发现, 2023, 第 2 作者
(10) Dynamic Orthogonal Projection Constrained Discriminative Tracking, IEEE SIGNAL PROCESSING LETTERS, 2022, 第 3 作者
(11) 太素:1.66亿大规模高质量中文视觉-语言预训练数据集, TaiSu: A 166M Large-scale High-Quality Dataset for Chinese Vision-Language Pre-training, Conference and Workshop on Neural Information Processing Systems(NeurIPS), 2022, 第 2 作者  通讯作者
(12) Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation, ACM MULTIMEDIA, 2021, 第 7 作者
(13) Enhanced Bounding Box Estimation with Distribution Calibration for Visual Tracking, SENSORS, 2021, 第 3 作者
(14) High-Performance Discriminative Tracking with Target-Aware Feature Embeddings, PRCV, 2021, 第 3 作者
(15) High-Performance Discriminative Tracking with Transformers, ICCV, 2021, 第 4 作者
(16) Improving Multiple Object Tracking With Single Object Tracking, CVPR, 2021, 第 4 作者
(17) 基于Transformer的高性能判别跟踪, High-Performance Discriminative Tracking with Transformers, International Conference on Computer Vision(ICCV), 2021, 第 4 作者
(18) 基于单目标跟踪的多目标跟踪, Improving Multiple Object Tracking with Single Object Tracking, IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2021, 第 4 作者
(19) Feature Distilled Tracking, IEEE TRANSACTIONS ON CYBERNETICS, 2019, 第 1 作者
(20) Dynamic Collaborative Tracking, IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, 2019, 第 1 作者
(21) Image Class Prediction by Joint Object, Context, and Background Modeling, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2018, 第 2 作者
(22) Bundled Local Features for Image Representation, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2018, 第 3 作者
(23) Dynamic Collaborative Tracking, IIEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, 2018, 第 3 作者
(24) Appearance features in Encoding Color Space for visual surveillance, NEUROCOMPUTING, 2018, 第 3 作者
(25) End-to-End Lifelong Learning: a Framework to Achieve Plasticities of both the Feature and Classifier Constructions, COGNITIVE COMPUTATION, 2018, 第 4 作者
(26) Diverse Neuron Type Selection for Convolutional Neural Networks, 2017, 第 1 作者
(27) Image classification by search with explicitly and implicitly semantic representations, INFORMATION SCIENCES, 2017, 第 2 作者  通讯作者
(28) Feature Distilled Tracking, IEEE TRANSACTION ON CYBERNETICS, 2017, 第 2 作者
(29) MC-HOG Correlation Tracking with Saliency Proposal, IN PROCEEDINGS OF THE THIRTIETH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, 2016, 第 2 作者
(30) MC-HOG correlation tracking with saliency proposal, AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI), 2016, 第 1 作者  通讯作者
(31) Learning weighted part models for object tracking, COMPUTER VISION AND IMAGE UNDERSTANDING, 2016, 第 3 作者
(32) PERSON RE-IDENTIFICATION VIA RICH COLOR-GRADIENT FEATURE, 2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO (ICME), 2016, 第 3 作者
(33) Clustering based ensemble correlation tracking, COMPUTER VISION AND IMAGE UNDERSTANDING, 2016, 第 1 作者
(34) Person re-identification via rich color-gradient feature, 2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO (ICME), 2016, 第 4 作者
(35) DualDS: A Dual Discriminative Rating Elicitation Framework for Cold Start Recommendation, KNOWLEDGE-BASED SYSTEMS, 2015, 第 4 作者
(36) Weighted Part Context Learning for Visual Tracking, IEEE TRANSACTIONS ON IMAGE PROCESSING, 2015, 第 1 作者
(37) Collaborative Correlation Tracking, IN PROCEEDINGS OF BRITISH MACHINE COMPUTER VISION, 2015, 第 1 作者
(38) Part Context Learning for Visual Tracking, IN PROCEEDINGS OF BRITISH MACHINE COMPUTER VISION, 2014, 第 1 作者
(39) Clustering Ensemble Tracking, ASIAN CONFERENCE ON COMPUTER VISION (ACCV), 2014, 第 2 作者
(40) OBJECT TRACKING WITH PART-BASED DISCRIMINATIVE CONTEXT MODELS, 2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 2014, 第 1 作者
(41) Object Tracking with Part-Based Discriminative Context Models, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 2014, 第 2 作者
(42) Collaborative Tracking: Dynamically Fusing Short-Term Trackers and Long-Term Detector, Advances in Multimedia Modeling, 19th International Conference, 2013, 第 1 作者

科研活动

   
科研项目
( 1 ) 基于时空序列建模和自学习的鲁棒高效视觉目标跟踪, 负责人, 国家任务, 2021-01--2024-12
( 2 ) 基于在线对抗学习的视觉目标跟踪研究, 负责人, 国家任务, 2018-01--2020-12
( 3 ) 室内零售安防场景中的人体动作识别关键技术研究项目, 负责人, 企业委托, 2021-01--2022-01
( 4 ) 跨媒介智能理解软件关键技术, 参与, 地方任务, 2020-01--2022-12
( 5 ) 基于小样本深度学习的小目标智能识别研究, 参与, 国家任务, 2020-06--2021-12
( 6 ) 跨模态通用人工智能平台, 参与, 中国科学院计划, 2021-01--2022-12
( 7 ) 基于大规模预训练基础模型的多模态多任务理解关键技术研究, 负责人, 地方任务, 2021-12--2023-11
( 8 ) 通用视觉模型关键技术研究, 负责人, 国家任务, 2021-12--2023-11
( 9 ) 多模态关联建模与统一表征, 负责人, 国家任务, 2023-01--2025-12
( 10 ) 基于DCU的高性能领域定制算子库, 负责人, 国家任务, 2022-01--2024-12