基本信息

朱翔昱      中国科学院自动化研究所

电子邮件: xiangyu.zhu@ia.ac.cn

通信地址: 北京市海淀区中关村东路95号中国科学院自动化研究所

邮政编码: 100190


英文主页:https://xiangyuzhu-open.github.io/homepage/ (随时更新最新学术成果)

谷歌学术:https://scholar.google.com/citations?user=1rbNk5oAAAAJ&hl=zh-CN

研究领域

中国科学院自动化研究所项目研究员,从事生物特征识别、数字人、AI4Science(空气动力学)研究与应用。入选国家级青年人才计划,国际模式识别协会(IAPR)生物特征识别青年学者奖(YBIA)获得者(两年一次,每次从全球范围内评选40岁以下学者一名)。共发表论文100余篇,发表文章的Google Scholar总引用次数为11000余次,入选IEEE Senior Member,百度学术全球华人AI青年学者榜单(全球25人)。获得三次国际竞赛冠军以及四项最佳论文及提名奖。授权国家发明专利16项。任生物特征识别国际期刊IEEE Transactions on Information Forensics & Security (T-IFS, CCF:A) 、模式识别国际知名期刊Pattern Recognition (PR, CCF:B) Associate Editor, 国际生物特征识别大会 IJCB 2025 Program Chair,中国图象图形学学会青托俱乐部副主席, 中国人工智能学会模式识别专委会副秘书长。获中国图象图形学学会自然科学二等奖(第一完成人),中国电子学会科技进步二等奖。提出的人脸三维建模方法在国际上产生了较广泛的影响力,相关成果被PyTorch官方Twitter报道,开源代码在Github上收获8000余星。主持中科院先导A专项课题,国自然重大培育、面上项目,华为、腾讯、阿里、商汤等企业委托项目。研发的三维人脸及人体动捕系统在阿里数字人生、淘宝直播、天猫数字藏品等APP上线;研发的大规模人脸布控系统已在河南省公安厅、广州市公安局、无锡市公安局、福州市铁路公安处等单位应用;研发的人脸身份认证服务平台应用于人民银行、太平人寿、证通股份等金融单位。

招生信息

   
招生专业
081104-模式识别与智能系统
081203-计算机应用技术
招生方向
生物特征识别
三维人脸/人体重建
神经网络可解释性

教育背景

2012-09--2017-07   中国科学院自动化研究所   博士(导师:李子青)
2008-09--2012-07   四川大学   学士

工作经历

   
工作简历
2025-02~现在, 中国科学院自动化研究所, 项目研究员
2019-10~2025-02,中国科学院自动化研究所, 副研究员
2017-07~2019-10,中国科学院自动化研究所, 助理研究员

教授课程

人工智能原理与算法
视频监控及应用

专利与奖励

   
奖励信息
(1) 2024 WACV 生成式时代人脸识别竞赛 冠军, 一等奖, 其他, 2024
(2) 中国图象图形学学会自然科学奖(第一完成人), 二等奖, 省级, 2024
(3) 2023 中国生物特征识别大会(CCBR)最佳论文提名奖, 一等奖, 其他, 2023
(4) 国际模式识别协会(IAPR)生物特征青年学者奖(YBIA)(每两年评选一次,每次全球范围内评选一名), 一等奖, 其他, 2023
(5) 百度学术AI华人青年学者榜单, 其他, 2022
(6) 2022中国生物特征识别大会(CCBR)最佳Poster论文, , 其他, 2022
(7) IEEE Senior Member, 其他, 2021
(8) 中国电子学会科技进步奖, 二等奖, 省级, 2021
(9) 北京科协青年人才托举工程, , 省级, 2021
(10) 中国图像图形学会优秀博士论文提名奖, 二等奖, 省级, 2020
(11) 2019 国际计算机视觉大会(ICCV)轻量级人脸识别竞赛 冠军, 一等奖, 其他, 2019
(12) 2019 IEEE国际多媒体与博览国际会议最佳学生论文提名奖, , 其他, 2018
(13) 2017 中国生物特征识别大会(CCBR)最佳学生论文奖, , 其他, 2017
(14) 2017 国际人脸和姿态识别会议(FG)人脸微表情竞赛第一名, 一等奖, 其他, 2017
专利成果
( 1 ) 基于素描输入的纹理可控的三维精细人脸重建方法及装置, 发明授权, 2024, 第 1 作者, 专利号: CN118553001B

( 2 ) 人脸活体检测方法及装置, 发明专利, 2024, 第 3 作者, 专利号: CN118314611A

( 3 ) 场景自适应的精细三维人脸重建方法、系统、电子设备, 发明授权, 2024, 第 2 作者, 专利号: CN113269862B

( 4 ) 无监督的人体部件区域确定方法及装置, 发明授权, 2024, 第 3 作者, 专利号: CN117197843B

( 5 ) 基于单张图像的三维人体重建方法及相关设备, 发明专利, 2024, 第 3 作者, 专利号: CN117392326A

( 6 ) 无监督的人体部件区域确定方法及装置, 发明专利, 2023, 第 3 作者, 专利号: CN117197843A

( 7 ) 活体检测方法、装置、电子设备和存储介质, 发明专利, 2023, 第 2 作者, 专利号: CN116978132A

( 8 ) 基于人脸不适度的人脸伪造与活体联合检测方法和相关设备, 发明专利, 2023, 第 2 作者, 专利号: 202311383622.2

( 9 ) 一种三维人脸重建及六自由度位姿估计方法、装置及设备, 发明专利, 2023, 第 1 作者, 专利号: CN116843834A

( 10 ) 基于元学习的域自适应的人脸识别方法、系统、装置, 发明授权, 2023, 第 1 作者, 专利号: CN112541458B

( 11 ) 三维人体重建方法及装置, 发明专利, 2023, 第 2 作者, 专利号: CN115953533A

( 12 ) 人脸伪造检测模型构建方法、人脸伪造检测方法和装置, 发明专利, 2022, 第 1 作者, 专利号: CN115240243A

( 13 ) 三维人体重建方法及装置, 发明专利, 2022, 第 1 作者, 专利号: CN114612605A

( 14 ) 一种实体轨迹的反事实预测方法及装置, 发明专利, 2022, 第 2 作者, 专利号: CN114377398A

( 15 ) 三维人体重建的方法、装置、电子设备及存储介质, 发明专利, 2022, 第 2 作者, 专利号: CN113936090A

( 16 ) 场景自适应的精细三维人脸重建方法、系统、电子设备, 发明专利, 2021, 第 2 作者, 专利号: CN113269862A

( 17 ) 基于元学习的域自适应的人脸识别方法、系统、装置, 发明专利, 2021, 第 1 作者, 专利号: CN112541458A

( 18 ) 人脸关键点检测方法及装置, 专利授权, 2021, 第 1 作者, 专利号: CN108764048B

( 19 ) 基于单张源域样本的新场景人脸识别模型构建方法、系统, 发明专利, 2021, 第 2 作者, 专利号: CN112329617A

( 20 ) 面向精细结构的三维人脸重建方法、系统、装置, 发明专利, 2020, 第 1 作者, 专利号: CN112002014A

( 21 ) 基于神经网络的大规模非均衡数据的人脸识别方法、系统, 发明专利, 2019, 第 2 作者, 专利号: CN109948478A

( 22 ) 基于多任务学习的人脸和关键点联合检测系统、方法, 发明专利, 2019, 第 4 作者, 专利号: CN109919097A

( 23 ) 基于语义对齐的人脸关键点检测方法、系统、装置, 专利授权, 2019, 第 1 作者, 专利号: CN109902641A

( 24 ) 基于证件照与现场照的人脸识别方法及系统, 专利授权, 2018, 第 2 作者, 专利号: CN108875559A

( 25 ) 人脸检测方法及装置、计算机可读存储介质、设备, 专利授权, 2017, 第 2 作者, 专利号: CN107403141A

( 26 ) 人脸检测方法及装置、计算机可读存储介质、设备, 专利授权, 2017, 第 2 作者, 专利号: CN107220618A

( 27 ) 基于三维人脸模型的人脸关键点检测方法, 专利授权, 2017, 第 1 作者, 专利号: CN107122705A

出版信息

   
发表论文
(1) Towards 3D Face Reconstruction in Perspective Projection: Estimating 6DoF Face Pose from Monocular Image, IEEE Transactions on Image Processing, 2023, 第 4 作者  通讯作者
(2) Intrinsic Physical Concepts Discovery with Object-Centric Predictive Models, The IEEE/CVF Computer Vision and Pattern Recognition Conference, CVPR 2023, 2023, 第 2 作者
(3) Face forgery detection by 3d decomposition and composition search, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2023, 第 1 作者
(4) MVP-Human Dataset for 3D Clothed Human Avatar Reconstruction from Multiple Frames, IEEE Transactions on Biometrics, Behavior, and Identity Science (TBIOM), 2023, 第 1 作者
(5) Grouped knowledge distillation for deep face recognition, AAAI Conference on Artificial Intelligence (AAAI), 2023, 第 2 作者
(6) OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023, 2023, 第 2 作者
(7) Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023, 2023, 第 2 作者  通讯作者
(8) 基于改进慢快网络的猕猴多行为识别方法, A multi-behavior recognition method for macaques based on improved SlowFast network, 生物医学工程学杂志, 2023, 第 3 作者
(9) Face Forgery Detection by 3D Decomposition and Composition Search, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2023, 第 1 作者
(10) Human Parsing With Part-Aware Relation Modeling, IEEE TRANSACTIONS ON MULTIMEDIA, 2023, 第 5 作者
(11) Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape, IEEE Transaction on Pattern Analysis and Machine Intelligence, 2022, 第 1 作者
(12) Human Parsing with Part-aware Relation Modeling, IEEE Transactions on Multimedia, 2022, 第 5 作者
(13) Consistent Sub-Decision Network for Low-Quality Masked Face Recognition, IEEE SIGNAL PROCESSING LETTERS, 2022, 第 2 作者
(14) Face Forgery Detection by Multi-dimensional Image Decomposition, CCBR, 2022, 第 2 作者
(15) Caged Monkey Dataset: A New Benchmark for Caged Monkey Pose Estimation, PRCV, 2022, 第 2 作者
(16) Deconfounding Physical Dynamics with Global Causal Relation and Confounder Transmission for Counterfactual Prediction, AAAI Conference on Artificial Intelligence (AAAI), 2022, 第 2 作者
(17) Contrastive and Consistent Learning for Unsupervised Human Parsing, CCBR, 2022, 第 4 作者
(18) Object Dynamics Distillation for Scene Decomposition and Representation, 5th International Conference on Learning Representations (ICLR 2022), 2022, 第 2 作者
(19) Face Forgery Detection by 3D Decomposition, Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, 2021, 
(20) 3D Context-Aware PIFu for Clothed Human Reconstruction, BIOMETRIC RECOGNITION (CCBR 2021), 2021, 第 2 作者
(21) Fast Adapting Without Forgetting for Face Recognition, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2021, 第 2 作者
(22) Decomposed Meta Batch Normalization for Fast Domain Adaptation in Face Recognition, IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, 2021, 第 2 作者
(23) Towards Fast, Accurate and Stable 3D Dense Face Alignment, 2021, 第 2 作者
(24) Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation, ACM Multimedia, 2021, 第 2 作者
(25) Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing, 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, 第 4 作者
(26) Out-of-Distribution Detection for Reliable Face Recognition, IEEE SIGNAL PROCESSING LETTERS, 2020, 第 2 作者
(27) Beyond 3DMM Space: Towards Fine-grained 3D Face Reconstruction, Proceedings of 16th European Conference on Computer Vision, 2020, 
(28) Learning Meta Face Recognition in Unseen Domains, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, 第 2 作者
(29) Learning Meta Model for Zero-and Few-shot Face Anti-spoofing, AAAI Conference on Artificial Intelligence (AAAI), 2020, 第 1 作者
(30) Learning Meta Face Recognition in Unseen Domains, 2020, 第 2 作者
(31) Domain Balancing: Face Recognition on Long-Tailed Domains, 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, 第 2 作者
(32) GRAND CHALLENGE OF 106-POINT FACIAL LANDMARK LOCALIZATION, 2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW), 2019, 第 5 作者
(33) Single Shot Attention-Based Face Detector, LECTURE NOTES IN COMPUTER SCIENCE, 2019, 第 1 作者
(34) AdaptiveFace: Adaptive Margin and Sampling for Face Recognition, 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2019), 2019, 第 2 作者
(35) Efficient Face Alignment with Fast Normalization and Contour Fitting Loss, ACM TRANSACTIONS ON MULTIMEDIA COMPUTING COMMUNICATIONS AND APPLICATIONS, 2019, 第 2 作者
(36) Learning Lightweight Face Detector with Knowledge Distillation, International Conference on Biometrics (ICB), 2019, 第 3 作者
(37) Improving Face Anti-Spoofing by 3D Virtual Synthesis, 2019 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB), 2019, 第 2 作者
(38) Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection, 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR 2019), 2019, 第 2 作者
(39) Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection, 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV 2019), 2019, 第 2 作者
(40) Dense Facial Landmark Localization: database and annotation tool, IEEE 34rd Youth Academic Annual Conference of Chinese Association of Automation (YAC), 2019, 第 1 作者
(41) Face Alignment in Full Pose Range: A 3D Total Solution, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 2019, 第 1 作者
(42) Large-scale bisample learning on id versus spot face recognition, International Journal of Computer Vision, 2019, 第 1 作者
(43) Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection, 2019, 第 2 作者
(44) Face Synthesis for Eyeglass-Robust Face Recognition, BIOMETRIC RECOGNITION, CCBR 2018, 2018, 第 2 作者
(45) Detecting Face with Densely Connected Face Proposal Network, NEUROCOMPUTING, 2018, 第 2 作者
(46) Co-Referenced Subspace Clustering, 2018, 第 6 作者
(47) Face Synthesis for Eyeglasss-Robust Face Recognition, LECTURE NOTES IN COMPUTER SCIENCE, 2018, 第 4 作者
(48) Single Shot Attention-Based Face Detector, BIOMETRIC RECOGNITION, CCBR 2018, 2018, 第 3 作者
(49) Cross-Modality Face Recognition via Heterogeneous Joint Bayesian, IEEE SIGNAL PROCESSING LETTERS, 2017, 第 5 作者
(50) FaceBoxes: A CPU Real-time Face Detector with High Accuracy, 2017, 第 5 作者
(51) S3FD: Single Shot Scale-invariant Face Detector, 2017, 第 6 作者
(52) FaceBoxes: A CPU Real-time Face Detector with High Accuracy, 2017 IEEE INTERNATIONAL JOINT CONFERENCE ON BIOMETRICS (IJCB), 2017, 第 2 作者
(53) Countermeasures to face photo spoofing attacks by exploiting structure and texture information from rotated face sequences, MOBILE BIOMETRICS, 2017, 第 1 作者
(54) Detecting Face with Densely Connected Face Proposal Network (Best Student Paper Award), Chinese Conference on Biometrics (CCBR), 2017, 第 1 作者
(55) Embedding Deep Metric for Person Re-identification: A Study Against Large Variations, LECTURE NOTES IN COMPUTER SCIENCE, 2016, 第 1 作者
(56) Face Alignment Across Large Poses: A 3D Solution, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 1 作者
(57) Embedding Deep Metric for Person Re-identification: A Study Against Large Variations, COMPUTER VISION - ECCV 2016, PT I, 2016, 第 3 作者
(58) Learning Discriminative Features with Class Encoder, 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 3 作者
(59) Face Alignment Across Large Poses: A 3D Solution, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 第 1 作者
(60) Embedding Deep Metric for Person Re-identication: A Study Against Large Variations, 2016, 第 7 作者
(61) Discriminative 3D Morphable Model Fitting, IEEE 11th International Conference and Workshops on Automatic Face and Gesture Recognition (FG), 2015, 第 1 作者  通讯作者
(62) Person Re-Identification by Local Maximal Occurrence Representation and Metric Learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 3 作者
(63) Person Re-Identification by Local Maximal Occurrence Representation and Metric Learning, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 3 作者
(64) High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 第 1 作者
(65) Object Detection by Labeling Superpixels, 2015, 第 1 作者
(66) High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild, 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2015, 第 1 作者
(67) Object Detection by Labeling Superpixels, 2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2015, 第 3 作者
(68) Robust 3D Morphable Model Fitting by Sparse SIFT Flow, International Conference on Pattern Recognition, (ICPR2014)., 2014, 第 1 作者
发表著作
(1) Countermeasures to face photo spoofing attacks by exploiting structure and texture information from rotated face sequences, IET Digital Library, 2017-01, 第 3 作者
(2) Handbook of Face Recognition-Chapter 3 Facial Landmark Localization, Springer, 2024-01, 第 1 作者

科研活动

学术服务:

  • Associate Editor, IEEE Transactions on Information Forensics and Security (TIFS) (CCF:A类期刊,中科院一区)
  • Associate Editor, Pattern Recognition (PR) (CCF:B类期刊,中科院一区)
  • Associate Editor, IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM)
  • ​Associate Editor, IEEE Transactions on Biometrics, Behavior, and Identity (TBIOM)
  • Program Chair, The IEEE International Joint Conference on Biometrics (IJCB) 2025
  • Area Chair, The Association for the Advancement of Artificial Intelligence (AAAI) 2020,2021,2022
  • Area Chair, The IEEE International Joint Conference on Biometrics (IJCB) 2023
  • 中国图象图形学学会(CSIG)青托俱乐部,副主席
  • 中国人工智能学会模式识别专委会(CAAI-PR),副秘书长



学术活动组织:

  • 2025 CCBR Workshop: “生物特征识别前沿交叉论坛”
  • 2025 Valse Workshop: “当生物特征识别遇上AI4Science”
  • 2024 CCBR Workshop: “面部生物特征识别论坛”
  • 2024 Valse Webinar: “数字人脸生成:二维方法与三维方法”
  • 2022 ECCV Workshop: “1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars”
  • 2021 CVPR Competition: “3D face reconstruction from multiple 2D images”
  • 2021 ICME Competition: “The 3rd Grand Challenge of 106-Point Facial Landmark Localization” 
  • 2020 ICME Competition:”The 2nd Grand Challenge of 106-Point Facial Landmark Localization”
  • 2019 ICME Competition:”Grand Challenge of 106-p Facial Landmark Localization”
科研项目
( 1 ) 可解释视觉表征的构建与学习(重大培育项目), 负责人, 国家任务, 2026-01--2028-12
( 2 ) 科学数据再平衡与增强(中科院先导A课题), 负责人, 中国科学院计划, 2025-02--2027-01
( 3 ) 北京市前沿项目-高保真颌面三维预测及手术模拟(北京市联合项目), 负责人, 地方任务, 2024-10--2027-09
( 4 ) 北京市科技计划-多模态信息引导的数字内容可控生成技术研究与应用, 参与, 地方任务, 2023-09--2025-09
( 5 ) 腾讯AI Lab犀牛鸟专项研究计划, 负责人, 境内委托项目, 2022-05--2023-05
( 6 ) 中国科学院青年创新促进会, 负责人, 其他国际合作项目, 2021-01--2024-12
( 7 ) 人脸活体检测测试, 负责人, 境内委托项目, 2021-01--2021-12
( 8 ) 人脸识别算法与应用研究, 负责人, 境内委托项目, 2020-12--2021-11
( 9 ) 拟人化网络多媒体深度伪造技术研究, 参与, 国家任务, 2020-07--2023-06
( 10 ) 音视频伪造与鉴伪, 参与, 研究所自主部署, 2020-01--2022-12
( 11 ) 基于深度时空关系的视频关键点跟踪, 负责人, 国家任务, 2019-01--2021-12
( 12 ) 基于特征点的人脸三维重建技术, 负责人, 境内委托项目, 2018-11--2020-06
( 13 ) 三维人脸识别校正算法用3D人脸模型、3D人脸数据库和接口制作技术服务, 负责人, 境内委托项目, 2018-11--2019-12