基本信息

朱翔昱      中国科学院自动化研究所

电子邮件: xiangyu.zhu@ia.ac.cn

通信地址: 北京市海淀区中关村东路95号中国科学院自动化研究所

邮政编码: 100190


英文主页:https://xiangyuzhu-open.github.io/homepage/ (随时更新最新学术成果)

谷歌学术:https://scholar.google.com/citations?user=1rbNk5oAAAAJ&hl=zh-CN

研究领域

朱翔昱,博士,中国科学院自动化研究所多模态人工智能系统全国重点实验室项目研究员、博士生导师,研究兴趣包括:计算机视觉、三维重建与AI4Science,具体研究内容包括:生物特征识别、数字人及仿生人、世界模型、AI+空气动力学。

在国际主流期刊与会议上发表论文150余篇,在IEEE T-PAMI, IJCV, IEEE-TIP, IEEE-TIFS等顶级期刊及CVPR, ICCV, ECCV, NIPS, ICLR, AAAI等顶级会议发表论文50余篇,授权国内发明专利专利24项,发表文章的Google Scholar总引用12000余次。承担了国家自然科学基金重大项目(培育项目)、面上项目,中科院先导A专项课题、北京市联合项目。主持了华为、腾讯、阿里、商汤、Mimimax、美的等企业委托项目,开源代码在Github上收获8000余星,被PyTorch官方Twitter报道。

入选国家级青年拔尖人才计划国际模式识别协会(IAPR)生物特征识别青年学者奖(YBIA)(两年一次,每次从全球范围内评选40岁以下学者一名),百度学术全球华人AI青年学者榜单(全球25人)、曾获中国图象图形学学会自然科学二等奖(第一完成人),中国电子学会科技进步二等奖。

IEEE高级会员、中国计算机学会CCF高级会员、中国图象图形学学会CSIG高级会员、VALSE EACC、中国图象图形学学会青托俱乐部副主席、中国人工智能学会模式识别专委会(CAAI-PR)副秘书长、中国图象图形学学会生物特征识别专委会(CSIG-BR)副秘书长。

任生物特征识别国际期刊IEEE Transactions on Information Forensics & Security (T-IFS, CCF:A) 、Transactions on Biometrics, Behavior, and Identity Science (T-BIOM)、模式识别国际知名期刊Pattern Recognition (PR, CCF:B) 编委,国际生物特征识别大会 IJCB 2025 程序主席(Program Chair)。

招生信息

   
招生专业
081104-模式识别与智能系统
081203-计算机应用技术
招生方向
计算机视觉
三维重建
AI4Science

教育背景

2012-09--2017-07   中国科学院自动化研究所   博士(导师:李子青)
2008-09--2012-07   四川大学   学士

工作经历

   
工作简历
2025-02~现在, 中国科学院自动化研究所, 项目研究员
2019-10~2025-02,中国科学院自动化研究所, 副研究员
2017-07~2019-10,中国科学院自动化研究所, 助理研究员

教授课程

人工智能原理与算法
视频监控及应用

专利与奖励

   
奖励信息
(1) 中国计算机学会CCF高级会员, 省级, 2026
(2) 国家级青年人才, 一等奖, 国家级, 2026
(3) 中国图象图形学学会(CSIG)高级会员, 省级, 2025
(4) 2024 WACV 生成式时代人脸识别竞赛 冠军, 一等奖, 其他, 2024
(5) 中国图象图形学学会自然科学奖(第一完成人), 二等奖, 省级, 2024
(6) 2023 中国生物特征识别大会(CCBR)最佳论文提名奖, 一等奖, 其他, 2023
(7) 国际模式识别协会(IAPR)生物特征青年学者奖(YBIA)(每两年评选一次,每次全球范围内评选一名), 一等奖, 其他, 2023
(8) 百度学术AI华人青年学者榜单, 其他, 2022
(9) 2022中国生物特征识别大会(CCBR)最佳Poster论文, , 其他, 2022
(10) IEEE Senior Member, 其他, 2021
(11) 中国电子学会科技进步奖, 二等奖, 省级, 2021
(12) 北京科协青年人才托举工程, , 省级, 2021
(13) 中国图像图形学会优秀博士论文提名奖, 二等奖, 省级, 2020
(14) 2019 国际计算机视觉大会(ICCV)轻量级人脸识别竞赛 冠军, 一等奖, 其他, 2019
(15) 2019 IEEE国际多媒体与博览国际会议最佳学生论文提名奖, , 其他, 2018
(16) 2017 中国生物特征识别大会(CCBR)最佳学生论文奖, , 其他, 2017
(17) 2017 国际人脸和姿态识别会议(FG)人脸微表情竞赛第一名, 一等奖, 其他, 2017
专利成果
( 1 ) 基于素描输入的纹理可控的三维精细人脸重建方法及装置, 发明授权, 2024, 第 1 作者, 专利号: CN118553001B

( 2 ) 人脸活体检测方法及装置, 发明专利, 2024, 第 3 作者, 专利号: CN118314611A

( 3 ) 场景自适应的精细三维人脸重建方法、系统、电子设备, 发明授权, 2024, 第 2 作者, 专利号: CN113269862B

( 4 ) 无监督的人体部件区域确定方法及装置, 发明授权, 2024, 第 3 作者, 专利号: CN117197843B

( 5 ) 基于单张图像的三维人体重建方法及相关设备, 发明专利, 2024, 第 3 作者, 专利号: CN117392326A

( 6 ) 无监督的人体部件区域确定方法及装置, 发明专利, 2023, 第 3 作者, 专利号: CN117197843A

( 7 ) 活体检测方法、装置、电子设备和存储介质, 发明专利, 2023, 第 2 作者, 专利号: CN116978132A

( 8 ) 基于人脸不适度的人脸伪造与活体联合检测方法和相关设备, 发明专利, 2023, 第 2 作者, 专利号: 202311383622.2

( 9 ) 一种三维人脸重建及六自由度位姿估计方法、装置及设备, 发明专利, 2023, 第 1 作者, 专利号: CN116843834A

( 10 ) 基于元学习的域自适应的人脸识别方法、系统、装置, 发明授权, 2023, 第 1 作者, 专利号: CN112541458B

( 11 ) 三维人体重建方法及装置, 发明专利, 2023, 第 2 作者, 专利号: CN115953533A

( 12 ) 人脸伪造检测模型构建方法、人脸伪造检测方法和装置, 发明专利, 2022, 第 1 作者, 专利号: CN115240243A

( 13 ) 三维人体重建方法及装置, 发明专利, 2022, 第 1 作者, 专利号: CN114612605A

( 14 ) 一种实体轨迹的反事实预测方法及装置, 发明专利, 2022, 第 2 作者, 专利号: CN114377398A

( 15 ) 三维人体重建的方法、装置、电子设备及存储介质, 发明专利, 2022, 第 2 作者, 专利号: CN113936090A

( 16 ) 场景自适应的精细三维人脸重建方法、系统、电子设备, 发明专利, 2021, 第 2 作者, 专利号: CN113269862A

( 17 ) 基于元学习的域自适应的人脸识别方法、系统、装置, 发明专利, 2021, 第 1 作者, 专利号: CN112541458A

( 18 ) 人脸关键点检测方法及装置, 专利授权, 2021, 第 1 作者, 专利号: CN108764048B

( 19 ) 基于单张源域样本的新场景人脸识别模型构建方法、系统, 发明专利, 2021, 第 2 作者, 专利号: CN112329617A

( 20 ) 面向精细结构的三维人脸重建方法、系统、装置, 发明专利, 2020, 第 1 作者, 专利号: CN112002014A

( 21 ) 基于神经网络的大规模非均衡数据的人脸识别方法、系统, 发明专利, 2019, 第 2 作者, 专利号: CN109948478A

( 22 ) 基于多任务学习的人脸和关键点联合检测系统、方法, 发明专利, 2019, 第 4 作者, 专利号: CN109919097A

( 23 ) 基于语义对齐的人脸关键点检测方法、系统、装置, 专利授权, 2019, 第 1 作者, 专利号: CN109902641A

( 24 ) 基于证件照与现场照的人脸识别方法及系统, 专利授权, 2018, 第 2 作者, 专利号: CN108875559A

( 25 ) 人脸检测方法及装置、计算机可读存储介质、设备, 专利授权, 2017, 第 2 作者, 专利号: CN107403141A

( 26 ) 人脸检测方法及装置、计算机可读存储介质、设备, 专利授权, 2017, 第 2 作者, 专利号: CN107220618A

( 27 ) 基于三维人脸模型的人脸关键点检测方法, 专利授权, 2017, 第 1 作者, 专利号: CN107122705A

出版信息

   
发表论文
(1) Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image, IEEE Transactions on Image Processing, 2023, 第 4 作者  通讯作者
(2) Intrinsic Physical Concepts Discovery with Object-Centric Predictive Models, The IEEE/CVF Computer Vision and Pattern Recognition Conference, CVPR 2023, 2023, 第 2 作者
(3) Face forgery detection by 3d decomposition and composition search, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2023, 第 1 作者
(4) MVP-Human Dataset for 3D Clothed Human Avatar Reconstruction from Multiple Frames, IEEE Transactions on Biometrics, Behavior, and Identity Science (TBIOM), 2023, 第 1 作者
(5) Grouped knowledge distillation for deep face recognition, AAAI Conference on Artificial Intelligence (AAAI), 2023, 第 2 作者
(6) OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023, 2023, 第 2 作者
(7) Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023, 2023, 第 2 作者  通讯作者
(8) 基于改进慢快网络的猕猴多行为识别方法, A multi-behavior recognition method for macaques based on improved SlowFast network, 生物医学工程学杂志, 2023, 第 3 作者
(9) Face Forgery Detection by 3D Decomposition and Composition Search, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2023, 第 1 作者
(10) Human Parsing With Part-Aware Relation Modeling, IEEE TRANSACTIONS ON MULTIMEDIA, 2023, 第 5 作者
(11) Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape, IEEE Transaction on Pattern Analysis and Machine Intelligence, 2022, 第 1 作者
(12) Human Parsing with Part-aware Relation Modeling, IEEE Transactions on Multimedia, 2022, 第 5 作者
(13) Consistent Sub-Decision Network for Low-Quality Masked Face Recognition, IEEE SIGNAL PROCESSING LETTERS, 2022, 第 2 作者
(14) Face Forgery Detection by Multi-dimensional Image Decomposition, CCBR, 2022, 第 2 作者
(15) Caged Monkey Dataset: A New Benchmark for Caged Monkey Pose Estimation, PRCV, 2022, 第 2 作者
(16) Deconfounding Physical Dynamics with Global Causal Relation and Confounder Transmission for Counterfactual Prediction, AAAI Conference on Artificial Intelligence (AAAI), 2022, 第 2 作者
(17) Contrastive and Consistent Learning for Unsupervised Human Parsing, CCBR, 2022, 第 4 作者
(18) Object Dynamics Distillation for Scene Decomposition and Representation, 5th International Conference on Learning Representations (ICLR 2022), 2022, 第 2 作者
(19) Face Forgery Detection by 3D Decomposition, Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, 2021, 
(20) 3D Context-Aware PIFu for Clothed Human Reconstruction, BIOMETRIC RECOGNITION (CCBR 2021), 2021, 第 2 作者
(21) Fast Adapting Without Forgetting for Face Recognition, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2021, 第 2 作者
(22) Decomposed Meta Batch Normalization for Fast Domain Adaptation in Face Recognition, IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, 2021, 第 2 作者
(23) Towards Fast, Accurate and Stable 3D Dense Face Alignment, 2021, 第 2 作者
(24) Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation, ACM Multimedia, 2021, 第 2 作者
(25) Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing, 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, 第 4 作者
(26) Out-of-Distribution Detection for Reliable Face Recognition, IEEE SIGNAL PROCESSING LETTERS, 2020, 第 2 作者
(27) Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction, Proceedings of 16th European Conference on Computer Vision, 2020, 
(28) Learning Meta Face Recognition in Unseen Domains, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, 第 2 作者
(29) Learning Meta Model for Zero-and Few-shot Face Anti-spoofing, AAAI Conference on Artificial Intelligence (AAAI), 2020, 第 1 作者
(30) Learning Meta Face Recognition in Unseen Domains, 2020, 第 2 作者
(31) Domain Balancing: Face Recognition on Long-Tailed Domains, 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, 第 2 作者
(32) GRAND CHALLENGE OF 106-POINT FACIAL LANDMARK LOCALIZATION, 2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW), 2019, 第 5 作者
(33) Single Shot Attention-Based Face Detector, LECTURE NOTES IN COMPUTER SCIENCE, 2019, 第 1 作者
(34) AdaptiveFace: Adaptive Margin and Sampling for Face Recognition, 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2019), 2019, 第 2 作者
(35) Efficient Face Alignment with Fast Normalization and Contour Fitting Loss, ACM TRANSACTIONS ON MULTIMEDIA COMPUTING COMMUNICATIONS AND APPLICATIONS, 2019, 第 2 作者
(36) Learning Lightweight Face Detector with Knowledge Distillation, International Conference on Biometrics (ICB), 2019, 第 3 作者
(37) Improving Face Anti-Spoofing by 3D Virtual Synthesis, 2019 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB), 2019, 第 2 作者
(38) Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection, 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2019), 2019, 第 2 作者
(39) Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection, 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV 2019), 2019, 第 2 作者
(40) Dense Facial Landmark Localization: database and annotation tool, IEEE 34rd Youth Academic Annual Conference of Chinese Association of Automation (YAC), 2019, 第 1 作者
(41) Face Alignment in Full Pose Range: A 3D Total Solution, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2019, 第 1 作者
(42) Large-scale bisample learning on id versus spot face recognition, International Journal of Computer Vision, 2019, 第 1 作者
(43) Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection, 2019, 第 2 作者
(44) Face Synthesis for Eyeglass-Robust Face Recognition, BIOMETRIC RECOGNITION, CCBR 2018, 2018, 第 2 作者
(45) Detecting Face with Densely Connected Face Proposal Network, NEUROCOMPUTING, 2018, 第 2 作者
(46) Co-Referenced Subspace Clustering, 2018, 第 6 作者
(47) Face Synthesis for Eyeglasss-Robust Face Recognition, LECTURE NOTES IN COMPUTER SCIENCE, 2018, 第 4 作者
(48) Single Shot Attention-Based Face Detector, BIOMETRIC RECOGNITION, CCBR 2018, 2018, 第 3 作者
(49) Cross-Modality Face Recognition via Heterogeneous Joint Bayesian, IEEE SIGNAL PROCESSING LETTERS, 2017, 第 5 作者
(50) FaceBoxes: A CPU Real-time Face Detector with High Accuracy, 2017, 第 5 作者
(51) S3FD: Single Shot Scale-invariant Face Detector, 2017, 第 6 作者
(52) FaceBoxes: A CPU Real-time Face Detector with High Accuracy, 2017 IEEE INTERNATIONAL JOINT CONFERENCE ON BIOMETRICS (IJCB), 2017, 第 2 作者
(53) Countermeasures to face photo spoofing attacks by exploiting structure and texture information from rotated face sequences, MOBILE BIOMETRICS, 2017, 第 1 作者
(54) Detecting Face with Densely Connected Face Proposal Network (Best Student Paper Award), Chinese Conference on Biometrics (CCBR), 2017, 第 1 作者
(55) Embedding Deep Metric for Person Re-identification: A Study Against Large Variations, LECTURE NOTES IN COMPUTER SCIENCE, 2016, 第 1 作者
(56) Face Alignment Across Large Poses: A 3D Solution, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 1 作者
(57) Embedding Deep Metric for Person Re-identification: A Study Against Large Variations, COMPUTER VISION - ECCV 2016, PT I, 2016, 第 3 作者
(58) Learning Discriminative Features with Class Encoder, 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 3 作者
(59) Face Alignment Across Large Poses: A 3D Solution, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 1 作者
(60) Embedding Deep Metric for Person Re-identication: A Study Against Large Variations, 2016, 第 7 作者
(61) Discriminative 3D Morphable Model Fitting, IEEE 11th International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2015, 第 1 作者  通讯作者
(62) Person Re-Identification by Local Maximal Occurrence Representation and Metric Learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 3 作者
(63) Person Re-Identification by Local Maximal Occurrence Representation and Metric Learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 3 作者
(64) High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 1 作者
(65) Object Detection by Labeling Superpixels, 2015, 第 1 作者
(66) High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild, 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2015, 第 1 作者
(67) Object Detection by Labeling Superpixels, 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2015, 第 3 作者
(68) Robust 3D Morphable Model Fitting by Sparse SIFT Flow, International Conference on Pattern Recognition, (ICPR2014)., 2014, 第 1 作者
发表著作
(1) Countermeasures to face photo spoofing attacks by exploiting structure and texture information from rotated face sequences, IET Digital Library, 2017-01, 第 3 作者
(2) Handbook of Face Recognition-Chapter 3 Facial Landmark Localization, Springer, 2024-01, 第 1 作者

科研活动

学术服务:


  • Associate Editor, IEEE Transactions on Information Forensics and Security (TIFS) (CCF:A类期刊,中科院一区)
  • Associate Editor, Pattern Recognition (PR) (CCF:B类期刊,中科院一区)
  • Associate Editor, IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM)
  • Program Chair, The IEEE International Joint Conference on Biometrics (IJCB) 2025
  • Area Chair, The Association for the Advancement of Artificial Intelligence (AAAI) 2020,2021,2022
  • Area Chair, The IEEE International Joint Conference on Biometrics (IJCB) 2023
  • 中国图象图形学学会(CSIG)青托俱乐部,副主席
  • 中国人工智能学会模式识别专委会(CAAI-PR),副秘书长



学术活动组织:


  • 2025 CCBR Workshop: “生物特征识别前沿交叉论坛”
  • 2025 Valse Workshop: “当生物特征识别遇上AI4Science”
  • 2024 CCBR Workshop: “面部生物特征识别论坛”
  • 2024 Valse Webinar: “数字人脸生成:二维方法与三维方法”
  • 2022 ECCV Workshop: “1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars”
  • 2021 CVPR Competition: “3D face reconstruction from multiple 2D images”
  • 2021 ICME Competition: “The 3rd Grand Challenge of 106-Point Facial Landmark Localization” 
  • 2020 ICME Competition:”The 2nd Grand Challenge of 106-Point Facial Landmark Localization”
  • 2019 ICME Competition:”Grand Challenge of 106-p Facial Landmark Localization”
科研项目
( 1 ) 可解释视觉表征的构建与学习(国自然重大项目培育项目), 负责人, 国家任务, 2026-01--2028-12
( 2 ) 基于AI的流场快速预测模型开发, 负责人, 境内委托项目, 2025-12--2026-12
( 3 ) 科学数据再平衡与增强(中科院先导A课题), 负责人, 中国科学院计划, 2025-02--2027-01
( 4 ) 北京市前沿项目-高保真颌面三维预测及手术模拟(北京市联合项目), 负责人, 地方任务, 2024-10--2027-09
( 5 ) 多目标任务规划与资源调度算法研究, 负责人, 境内委托项目, 2024-09--2025-08
( 6 ) 多模态信息引导的数字内容可控生成技术研究与应用(北京市科技计划), 参与, 地方任务, 2023-09--2025-09
( 7 ) 可驱动人脸神经辐射场构建研究(商汤), 负责人, 境内委托项目, 2022-08--2023-07
( 8 ) 颅面短小畸形的精准外科诊疗体系研究(中国医学科学院整形医院), 负责人, 境内委托项目, 2022-08--2026-05
( 9 ) 腾讯AI Lab犀牛鸟专项研究计划, 负责人, 境内委托项目, 2022-05--2023-05
( 10 ) 人脸神经辐射场(Minimax), 负责人, 境内委托项目, 2021-12--2022-12
( 11 ) 高清AI说话数字人系统(深锶科技), 负责人, 境内委托项目, 2021-12--2022-12
( 12 ) 电商直播场景下的3D数字人及多模态交互技术(阿里巴巴), 负责人, 境内委托项目, 2021-10--2022-10
( 13 ) 慧眼智能照护系统研制(季华实验室), 负责人, 境内委托项目, 2021-04--2022-04
( 14 ) 中国科学院青年创新促进会, 负责人, 其他国际合作项目, 2021-01--2024-12
( 15 ) 人脸识别稽核系统业务专项技术与服务(中国—东盟信息港股份有限公司), 负责人, 境内委托项目, 2021-01--2022-01
( 16 ) 人脸识别算法与应用研究(西湖大学), 负责人, 境内委托项目, 2020-12--2021-11
( 17 ) 拟人化网络多媒体深度伪造技术研究(科技部重点研发), 参与, 国家任务, 2020-07--2023-06
( 18 ) 音视频伪造与鉴伪(中科院先导C), 参与, 研究所自主部署, 2020-01--2022-12
( 19 ) 基于深度时空关系的视频关键点跟踪(国自然青年项目), 负责人, 国家任务, 2019-01--2021-12
( 20 ) 基于特征点的人脸三维重建技术(华为校企合作), 负责人, 境内委托项目, 2018-11--2020-06