机器人操作技能的视觉特征学习、机器人感知-决策联合学习、具身智能（embodied AI）

   

081104-模式识别与智能系统

机器人视觉抓取，机器人模仿学习，自主学习, embodied AI 具身智能

2003-09--2009-06   中国科学院自动化研究所   模式识别与智能系统，博士学位
1999-09--2003-06   中南大学   计算机科学与技术，学士

2015-11~至今，中科院自动化所，副研究员

2014-11~2015-11,中科院自动化所，助理研究员

2011-06~2014-10,美国南加州大学, Postdoctoral Fellow

2009-06~2011-06,芬兰奥卢大学, Senior Research Scientist

2011-06~2014-10,美国南加州大学, Postdoctoral Fellow
2009-06~2011-06,芬兰奥卢大学, Senior Research Scientist

2020-07-01-今,CCF-智能机器人专委会委员,
2015-09-01-今,CCF-计算机视觉专委会委员,

   

（1） Second-Place Winner of the ManiSkill-ViTac 2026 Challenge on Manipulation Skill Learning with Vision and Tactile Sensing held in conjunction with CVPR 2026, 二等奖, 其他, 2026
（2） Intel 室内机器人学习挑战赛, 一等奖, 其他, 2023
（3） CVPR2019视觉定位竞赛第三名, , 其他, 2019
（4） Mobile Multimedia Computing研讨会最佳论文奖, 其他, 2015
（5） ECCV多摄像机目标跟踪竞赛第一名, , 其他, 2014

（ 1 ） 物体抓取位姿的检测方法、装置、设备及存储介质, 发明专利, 2023, 第 2 作者, 专利号: CN115564832A

（ 2 ） 基于概率本体的语义定位方法、装置及机器人, 发明专利, 2022, 第 5 作者, 专利号: CN114417876A

（ 3 ） 基于本体知识表示的机器人任务处理方法及系统, 发明专利, 2021, 第 5 作者, 专利号: CN113821648A

（ 4 ） 面向杂质性目标的机器人操作协同抓取方法、系统及设备, 发明专利, 2021, 第 3 作者, 专利号: 202110290232.5

（ 5 ） 用于连接ROS的通讯系统, 发明专利, 2020, 第 4 作者, 专利号: CN110955536A

（ 6 ） 消防机器人和基于云平台架构的消防机器人系统, 发明专利, 2020, 第 3 作者, 专利号: CN110888442A

（ 7 ） 一种具备在线地图构建和导航功能的自主消防机器人系统, 发明专利, 2019, 第 6 作者, 专利号: CN110201340A

（ 8 ） 基于视觉的遥操作机器人控制系统及方法, 专利授权, 2017, 第 4 作者, 专利号: CN107363831A

（ 9 ） 基于虚拟现实的机器人远程示教系统, 专利授权, 2017, 第 4 作者, 专利号: CN107263449A

（ 10 ） 基于多摄像机的目标连续跟踪方法, 发明专利, 2010, 第 3 作者, 专利号: CN101751677A

（ 11 ） 基于信息融合的夜间视觉监控方法, 发明专利, 2009, 第 3 作者, 专利号: CN101409825A

   

（1） PEAfowl: Perception-Enhanced Multi-View Vision-Language-Action for Bimanual Manipulation, IEEE ROBOTICS AND AUTOMATION LETTERS, 2026, 第 8 作者  通讯作者
（2） FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation, IEEE ROBOTICS AND AUTOMATION LETTERS, 2026, 第 3 作者
（3） CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning, International Conference on Machine Learning 2026, 2026, 第 3 作者
（4） TREND: Task-Oriented World Models for Visual Robotic Manipulation, IEEE ROBOTICS AND AUTOMATION LETTERS, 2026, 第 3 作者
（5） StellarGCN: A Star Identification Method Based on Graph Neural Network, IEEE Transactions on Aerospace and Electronic Systems, 2026, 第 2 作者  通讯作者
（6） High-fidelity marker-level 3D deformation simulation of visuotactile sensors, Biomimetic Intelligence and Robotics, 2026, 第 3 作者
（7） SENIOR: Efficient Query Selection and Preference-Guided Exploration in Preference-based Reinforcement Learning, IROS 2025, 2025, 第 4 作者
（8） Learn-Gen-Plan: Bridging the Gap between Vision Language Models and Real-world Long-horizon Dexterous Manipulations, IEEE Transactions on Automation Science and Engineering, 2025, 第 5 作者
（9） ArrangeNet: A Voting-Based Network for Predicting Goal Positions in Robotic Object Rearrangement, ROBIO, 2025, 第 2 作者  通讯作者
（10） Q-Vector: A General 6-DoF Grasping Framework Based on Self-Supervised Deep Reinforcement Learning, ROBIO, 2025, 第 4 作者
（11） MISCGrasp: Leveraging Multiple Integrated Scales and Contrastive Learning for Enhanced Volumetric Grasping, IROS2025, 2025, 第 2 作者  通讯作者
（12） NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection, ICRA, 2025, 第 2 作者  通讯作者
（13） PLOT: Human-like Push-grasping Synergy Learning in Clutter with One-shot Target Recognition, Ieee transactions on cognitive and developmental systems, 2024, 第 4 作者
（14） Ontology based autonomous robot task processing framework, FRONTIERS IN NEUROROBOTICS, 2024, 第 3 作者  通讯作者
（15） GelStereo 2.0: An Improved GelStereo Sensor With Multimedium Refractive Stereo Calibration, IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, 2023, 第 5 作者
（16） Inverse Reinforcement Learning with Attention-based Feature Extraction from Video Demonstrations, 2023 IEEE International Conference on Robotics and Biomimetics, 2023, 第 3 作者
（17） Multi-view Self-supervised Object Segmentation, 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2023, 第 3 作者  通讯作者
（18） GPDAN: Grasp Pose Domain Adaptation Network for Sim-to-Real 6-DoF Object Grasping, IEEE ROBOTICS AND AUTOMATION LETTERS, 2023, 第 3 作者  通讯作者
（19） 神经符号学及其应用研究, Study on NeuroSymbolic learning and its applications, 智能科学与技术学报, 2022, 第 1 作者
（20） Learning-based Six-axis Force/Torque Estimation Using GelStereo Fingertip Visuotactile Sensing, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2022, 第 3 作者
（21） Joint Self-Supervised Monocular Depth Estimation and SLAM, International Conference on Pattern Recognition, 2022, 第 2 作者  通讯作者
（22） Meta-Imitation Learning by Watching Video Demonstrations, International Conference on Learning Representations, 2022, 第 4 作者
（23） Meta-Residual Policy Learning: Zero-Trial Robot Skill Adaptation via Knowledge Fusion, IEEE ROBOTICS AND AUTOMATION LETTERS, 2022, 第 5 作者
（24） VGPN: 6-DoF Grasp Pose Detection Network Based on Hough Voting, International Conference on Intelligent Robots and Systems (IROS 2022), 2022, 第 2 作者  通讯作者
（25） Picking out the Impurities: Attention-based Push-Grasping in Dense Clutter, ROBOTICA, 2022, 第 2 作者
（26） Manipulation skill learning on multi-step complex task based on explicit and implicit curriculum learning, SCIENCE CHINA-INFORMATION SCIENCES, 2022, 第 3 作者
（27） 3DTDesc: learning local features using 2D and 3D cues (vol 32, 53, 2021), MACHINE VISION AND APPLICATIONS, 2021, 第 2 作者
（28） Hierarchical Learning from Demonstrations for Long-Horizon Tasks, International conference on robotics & automation (ICRA), 2021, 第 4 作者
（29） 3DTDesc: learning local features using 2D and 3D cues, MACHINE VISION AND APPLICATIONS, 2021, 第 2 作者
（30） A Novel Heterogeneous Actor-critic Algorithm with Recent Emphasizing Replay Memory, INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING, 2021, 第 3 作者
（31） SOZIL: Self-Optimal Zero-shot Imitation Learning, Ieee transactions on cognitive and developmental systems, 2021, 第 5 作者
（32） DIMSAN: Fast Exploration with the Synergy between Density-based Intrinsic Motivation and Self-adaptive Action Noise, IEEE International Conference on Robotics and Automation (ICRA), 2021, 第 5 作者
（33） ACDER: Augmented Curiosity-Driven Experience Replay, 2020 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 2020, 第 5 作者
（34） Real-Sim-Real Transfer for Real-World Robot Control Policy Learning with Deep Reinforcement Learning, APPLIED SCIENCES-BASEL, 2020, 第 2 作者  通讯作者
（35） Dynamic Guided Network for Monocular Depth Estimation, INTERNATIONALCONFERENCEONPATTERNRECOGNITION, 2020, 第 2 作者
（36） Localizing Discriminative Visual Landmarks for Place Recognition, 2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 2019, 第 2 作者
（37） Learning Category-level Implicit 3D Rotation Representations for 6D Pose Estimation from RGB Images, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2019, 第 2 作者
（38） Self-modeling Tracking Control of Crawler Fire Fighting Robot Based on Causal Network, 2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 2019, 第 5 作者
（39） Programming by Visual Demonstration for Pick-and-Place Tasks using Robot Skills, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2019, 
（40） 机器人操作技能学习方法综述, A Review of Robot Manipulation Skills Learning Methods, 自动化学报, 2019, 第 3 作者
（41） 基于改进SIFT-ICP算法的物体点云建模方法, Object point cloud modeling method based on improved SIFT-ICP algorithm, 高技术通讯, 2019, 第 3 作者
（42） A robotic shared control teleoperation method based on learning from demonstrations, INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS, 2019, 第 4 作者
（43） Visual Localization in Changing Environments using Place Recognition Techniques, 24th International Conference on Pattern Recognition (ICPR), 2018, 第 2 作者
（44） Probabilistic Voting for Sequence Based Visual Place Recognition, 24th International Conference on Pattern Recognition (ICPR), 2018, 第 2 作者
（45） 3DTNet: Learning Local Features using 2D and 3D Cues, 6th International Conference on 3D Vision (3DV), 2018, 第 2 作者
（46） 基于深度学习的机器人抓取位置检测方法, A method for robotic grasping position detection based on deep learning, 高技术通讯, 2018, 第 4 作者
（47） Querying geo-tagged videos for vision applications using spatial metadata, EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, 2017, 第 1 作者
（48） Overview of Deep Learning, 2017 32nd Youth Academic Annual Conference of Chinese Association of Automation (YAC), 2017, 第 2 作者  通讯作者
（49） 一种基于深度学习的机械臂抓取方法, 机器人, 2017, 第 2 作者  通讯作者
（50） Optimization of Radial Distortion Self-Calibration for Structure from Motion from Uncalibrated UAV Images, 2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 2016, 第 2 作者
（51） Semantic Segmentation with Modified Deep Residual Networks, 第7届全国模式识别会议 (CCPR 2016), 2016, 第 3 作者
（52） Persistent People Tracking and Face Capture using a PTZ Camera, MACHINE VISION AND APPLICATIONS, 2016, 第 1 作者
（53） The multi-strand graph for a PTZ tracker, 12th IEEE International Conference on Advanced Video and Signal Based Surveillance, 2015, 第 4 作者
（54） Gift: A geospatial image and video filtering tool for computer vision applications with geo-tagged mobile videos, IEEE International Conference on Multimedia and Expo, 2015, 第 1 作者
（55） Learning predictable binary codes for face indexing, PATTERN RECOGNITION, 2015, 第 2 作者
（56） Exploring Context Information for Inter-Camera Multiple Target Tracking, IEEE Winter Conference on Applications of Computer Vision, 2014, 第 1 作者
（57） Persistent People Tracking and Face Capture Over a Wide Area, IEEE Conference on Computer Vision and Pattern Recognition Workshop on Long-term Detection and Tracking, 2014, 第 2 作者
（58） Janus - Multi Source Event Detection and Collection System for Effective Surveillance of Criminal Activity, JOURNAL OF INFORMATION PROCESSING SYSTEMS, 2014, 第 6 作者
（59） Towards a Practical PTZ Face Detection and Tracking System, 2013 IEEE WORKSHOP ON APPLICATIONS OF COMPUTER VISION (WACV), 2013, 第 1 作者
（60） Demo:Persistent People Tracking and Face Capture using a PTZ Camera, International Conference on Distributed Smart Cameras, 2013, 第 1 作者
（61） Matching Groups of People by Covariance Descriptor, International Conference on Pattern Recognition, 2010, 第 1 作者
（62） Person Re-identification Based on Global Color Context, 10th Asian Conference on Computer Vision, 2010, 第 1 作者
（63） Boosting Clusters of Samples for Sequence Matching in Camera Networks, International Conference on Pattern Recognition, 2010, 第 2 作者
（64） Recovering the topology of multiple cameras by finding continuous paths in a trellis, International Conference on Pattern Recognition, 2010, 第 1 作者
（65） Matching Tracking Sequences Across Widely Separated Cameras, IEEE International Conference on Image Processing, 2008, 第 1 作者
（66） Human Appearance Matching Across Multiple Non-overlapping Cameras, International Conference on Pattern Recognition, 2008, 第 1 作者
（67） Real-time moving object classification with automatic scene division, 2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOLS 1-7, 2007, 第 2 作者
（68） Continuously Tracking Objects Across Multiple Widely Separated Cameras, The 8th Asian Conference on Computer Vision, 2007, 第 1 作者
（69） Context Enhancement of Nighttime Surveillance by Image Fusion, International Conference on Pattern Recognition, 2006, 第 1 作者

   

（ 1 ）  软硬协同通才智能体框架研究, 负责人, 国家任务, 2025-12--2028-11
（ 2 ） 脑控多自由度机械臂智能控制算法研究, 负责人, 境内委托项目, 2025-06--2025-10
（ 3 ） 人-机互学习的脑机交互辅助控制策略研究, 负责人, 境内委托项目, 2025-06--2025-10
（ 4 ） 2024 年工业物流等行业用无轨导航项目, 负责人, 国家任务, 2024-07--2026-06
（ 5 ） **目标检测和图神经网络**, 负责人, 境内委托项目, 2023-10--2025-08
（ 6 ） 自主无人系统的开放通用高端智能控制器, 负责人, 国家任务, 2022-06--2025-05
（ 7 ） 室外大范围复杂动态场景安保机器人长期导航与场景理解, 负责人, 国家任务, 2020-01--2023-12
（ 8 ） 面向空间在轨灵巧操作的机器人模仿学习研究, 负责人, 境内委托项目, 2019-01--2020-12
（ 9 ） 机器人知识和技能获取与增长的人工智能和机器学习理论与方法, 参与, 国家任务, 2018-01--2020-12
（ 10 ） 基于多模态传感关联与多层次知识协同的视觉测量理论与方法研究, 参与, 国家任务, 2018-01--2020-12
（ 11 ） 水下机器人自主感知、导航与控制, 参与, 国家任务, 2018-01--2020-01
（ 12 ） 基于镜像神经机制的操作技能自主学习技术研究, 参与, 地方任务, 2017-01--2018-12
（ 13 ） 基于多源视频的大范围场景目标跟踪, 负责人, 国家任务, 2016-01--2018-12

已指导学生

郑力铭  硕士研究生  085400-电子信息  

马文轩  硕士研究生  081101-控制理论与控制工程  

安璇  硕士研究生  085404-计算机技术  

范庆宇  硕士研究生  081101-控制理论与控制工程  

现指导学生

赵冉  硕士研究生  081101-控制理论与控制工程  

胡锦瑞  硕士研究生  081203-计算机应用技术  

王镕煜  硕士研究生  081104-模式识别与智能系统