机器人操作技能的视觉特征学习、机器人感知-决策联合学习、具身智能（embodied AI）

   

081101-控制理论与控制工程

机器人视觉抓取，机器人模仿学习，自主学习, embodied AI 具身智能

2003-09--2009-06   中国科学院自动化研究所   模式识别与智能系统，博士学位
1999-09--2003-06   中南大学   计算机科学与技术，学士

2015-11~至今，中科院自动化所，副研究员

2014-11~2015-11,中科院自动化所，助理研究员

2011-06~2014-10,美国南加州大学, Postdoctoral Fellow

2009-06~2011-06,芬兰奥卢大学, Senior Research Scientist

2020-07-01-今,CCF-智能机器人专委会委员,
2015-09-01-今,CCF-计算机视觉专委会委员,

   

（1） CVPR2019视觉定位竞赛第三名, , 其他, 2019
（2） Mobile Multimedia Computing研讨会最佳论文奖, 其他, 2015
（3） ECCV多摄像机目标跟踪竞赛第一名, , 其他, 2014

[1] 葛悦光, 王硕, 张少林, 鲁涛, 蔡莹皓, 温大勇, 王睿, 王海涛. 基于本体知识表示的机器人任务处理方法及系统. CN: CN113821648A, 2021-12-21.

[2] 鲁涛, 卢宁, 蔡莹皓, 王硕. 面向杂质性目标的机器人操作协同抓取方法、系统及设备. 202110290232.5, 2021-03-16.

[3] 刘巍, 温大勇, 鲁涛, 蔡莹皓, 杨彩云, 葛悦光, 李朋, 常文凯, 王硕. 用于连接ROS的通讯系统. CN: CN110955536A, 2020-04-03.

[4] 葛悦光, 温大勇, 蔡莹皓, 鲁涛, 刘巍, 李朋, 常文凯, 王硕. 消防机器人和基于云平台架构的消防机器人系统. CN: CN110888442A, 2020-03-17.

[5] 王硕, 李朋, 杨彩云, 鲁涛, 温大勇, 蔡莹皓, 常文凯, 王睿, 刘巍, 葛悦光. 一种具备在线地图构建和导航功能的自主消防机器人系统. CN: CN110201340A, 2019-09-06.

[6] 王硕, 席宝, 鲁涛, 蔡莹皓, 刘乃军. 基于视觉的遥操作机器人控制系统及方法. CN: CN107363831A, 2017-11-21.

[7] 王硕, 刘乃军, 鲁涛, 蔡莹皓, 席宝. 基于虚拟现实的机器人远程示教系统. CN: CN107263449A, 2017-10-20.

[8] 谭铁牛, 黄凯奇, 蔡莹皓. 基于多摄像机的目标连续跟踪方法. CN: CN101751677A, 2010-06-23.

[9] 谭铁牛, 黄凯奇, 蔡莹皓. 基于信息融合的夜间视觉监控方法. CN: CN101409825A, 2009-04-15.

   

（1） 本体知识表示方法在机器人领域的应用研究综述, A survey on applications of ontology knowledge representation in robotics, 智能科学与技术学报, 2022, 第 3 作者
（2） Learning-based Six-axis Force/Torque Estimation Using GelStereo Fingertip Visuotactile Sensing, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2022, 第 3 作者
（3） Joint Self-Supervised Monocular Depth Estimation and SLAM, International Conference on Pattern Recognition, 2022, 通讯作者
（4） Meta-Imitation Learning by Watching Video Demonstrations, International Conference on Learning Representations, 2022, 第 4 作者
（5） Meta-Residual Policy Learning: Zero-Trial Robot Skill Adaptation via Knowledge Fusion, IEEE ROBOTICS AND AUTOMATION LETTERS, 2022, 第 5 作者
（6） VGPN: 6-DoF Grasp Pose Detection Network Based on Hough Voting, International Conference on Intelligent Robots and Systems (IROS 2022), 2022, 通讯作者
（7） Picking out the Impurities: Attention-based Push-Grasping in Dense Clutter, ROBOTICA, 2022, 第 2 作者
（8） Manipulation skill learning on multi-step complex task based on explicit and implicit curriculum learning, SCIENCE CHINA-INFORMATION SCIENCES, 2022, 第 3 作者
（9） Hierarchical Learning from Demonstrations for Long-Horizon Tasks, International conference on robotics & automation (ICRA), 2021, 第 4 作者
（10） 3DTDesc: learning local features using 2D and 3D cues, MACHINE VISION AND APPLICATIONS, 2021, 第 2 作者
（11） A Novel Heterogeneous Actor-critic Algorithm with Recent Emphasizing Replay Memory, INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING, 2021, 第 3 作者
（12） SOZIL: Self-Optimal Zero-shot Imitation Learning, Ieee transactions on cognitive and developmental systems, 2021, 第 5 作者
（13） DIMSAN: Fast Exploration with the Synergy between Density-based Intrinsic Motivation and Self-adaptive Action Noise, IEEE International Conference on Robotics and Automation, ICRA 2021, 2021, 第 5 作者
（14） ACDER: Augmented Curiosity-Driven Experience Replay, 2020 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 2020, 第 5 作者
（15） Real-Sim-Real Transfer for Real-World Robot Control Policy Learning with Deep Reinforcement Learning, APPLIED SCIENCES-BASEL, 2020, 通讯作者
（16） Dynamic Guided Network for Monocular Depth Estimation, International Conference on Pattern Recognition, 2020, 第 2 作者
（17） Localizing Discriminative Visual Landmarks for Place Recognition, 2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 2019, 第 2 作者
（18） Learning Category-level Implicit 3D Rotation Representations for 6D Pose Estimation from RGB Images, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2019, 第 2 作者
（19） Self-modeling Tracking Control of Crawler Fire Fighting Robot Based on Causal Network, 2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 2019, 第 5 作者
（20） Programming by Visual Demonstration for Pick-and-Place Tasks using Robot Skills, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2019, 
（21） 机器人操作技能学习方法综述, A Review of Robot Manipulation Skills Learning Methods, 自动化学报, 2019, 第 3 作者
（22） 基于改进SIFT-ICP算法的物体点云建模方法, Object point cloud modeling method based on improved SIFT-ICP algorithm, 高技术通讯, 2019, 第 3 作者
（23） A robotic shared control teleoperation method based on learning from demonstrations, International Journal of Advanced Robotic Systems, 2019, 第 4 作者
（24） Visual Localization in Changing Environments using Place Recognition Techniques, 2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 2018, 第 2 作者
（25） Probabilistic Voting for Sequence Based Visual Place Recognition, 2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 2018, 第 2 作者
（26） 3DTNet: Learning Local Features using 2D and 3D Cues, 2018 INTERNATIONAL CONFERENCE ON 3D VISION (3DV), 2018, 第 2 作者
（27） 基于深度学习的机器人抓取位置检测方法, A method for robotic grasping position detection based on deep learning, 高技术通讯, 2018, 第 5 作者
（28） Querying geo-tagged videos for vision applications using spatial metadata, EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING, 2017, 第 1 作者
（29） Overview of Deep Learning, 2017, 第 2 作者
（30） 一种基于深度学习的机械臂抓取方法, 机器人, 2017, 通讯作者
（31） Optimization of Radial Distortion Self-Calibration for Structure from Motion from Uncalibrated UAV Images, 2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 2016, 第 2 作者
（32） Semantic Segmentation with Modified Deep Residual Networks, Proceedings of Chinese Conference on Pattern Recognition, 2016, 第 3 作者
（33） Persistent People Tracking and Face Capture using a PTZ Camera, MACHINE VISION AND APPLICATIONS, 2016, 通讯作者
（34） Overview of Deep Learning, 2016 31ST YOUTH ACADEMIC ANNUAL CONFERENCE OF CHINESE ASSOCIATION OF AUTOMATION (YAC), 2016, 通讯作者
（35） The multi-strand graph for a PTZ tracker, IEEE International Conference on Advanced Video and Signal Based Surveillance, 2015, 第 4 作者
（36） Gift: A geospatial image and video filtering tool for computer vision applications with geo-tagged mobile videos, IEEE International Conference on Multimedia and Expo, 2015, 第 1 作者
（37） Learning predictable binary codes for face indexing, PATTERN RECOGNITION, 2015, 第 2 作者
（38） Exploring Context Information for Inter-Camera Multiple Target Tracking, IEEE Winter Conference on Applications of Computer Vision, 2014, 第 1 作者
（39） Persistent People Tracking and Face Capture Over a Wide Area, IEEE Conference on Computer Vision and Pattern Recognition Workshop, 2014, 第 2 作者
（40） Janus - Multi Source Event Detection and Collection System for Effective Surveillance of Criminal Activity, Journal of Information Processing Systems, 2014, 第 6 作者
（41） Towards a Practical PTZ Face Detection and Tracking System, 2013 IEEE WORKSHOP ON APPLICATIONS OF COMPUTER VISION (WACV), 2013, 通讯作者
（42） Demo:Persistent People Tracking and Face Capture using a PTZ Camera, International Conference on Distributed Smart Cameras, 2013, 第 1 作者
（43） Matching Groups of People by Covariance Descriptor, International Conference on Pattern Recognition, 2010, 第 1 作者
（44） Person Re-identification Based on Global Color Context, 10th Asian Conference on Computer Vision, 2010, 第 1 作者
（45） Recovering the topology of multiple cameras by finding continuous paths in a trellis, International Conference on Pattern Recognition (ICPR), 2010, 第 1 作者
（46） Boosting Clusters of Samples for Sequence Matching in Camera Networks, International Conference on Pattern Recognition, 2010, 第 2 作者
（47） Matching Tracking Sequences Across Widely Separated Cameras, IEEE International Conference on Image Processing, 2008, 第 1 作者
（48） Human Appearance Matching Across Multiple Non-overlapping Cameras, International Conference on Pattern Recognition, 2008, 第 1 作者
（49） Real-time moving object classification with automatic scene division, 2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOLS 1-7, 2007, 第 2 作者
（50） Continuously Tracking Objects Across Multiple Widely Separated Cameras, The 8th Asian Conference on Computer Vision, 2007, 第 1 作者
（51） Context Enhancement of Nighttime Surveillance by Image Fusion, International Conference on Pattern Recognition, 2006, 第 1 作者

   

（ 1 ） 基于多源视频的大范围场景目标跟踪, 负责人, 国家任务, 2016-01--2018-12
（ 2 ） 面向空间在轨灵巧操作的机器人模仿学习研究, 负责人, 其他任务, 2019-01--2020-12
（ 3 ） 机器人知识和技能获取与增长的人工智能和机器学习理论与方法, 参与, 国家任务, 2018-01--2020-12
（ 4 ） 基于多模态传感关联与多层次知识协同的视觉测量理论与方法研究, 参与, 国家任务, 2018-01--2020-12
（ 5 ） 水下机器人自主感知、导航与控制, 参与, 国家任务, 2018-01--2020-01
（ 6 ） 基于镜像神经机制的操作技能自主学习技术研究, 参与, 地方任务, 2017-01--2018-12
（ 7 ） 室外大范围复杂动态场景安保机器人长期导航与场景理解, 负责人, 国家任务, 2020-01--2023-12
（ 8 ） 自主无人系统的开放通用高端智能控制器, 负责人, 国家任务, 2022-06--2025-05

现指导学生

郑力铭  硕士研究生  085400-电子信息  

马文轩  硕士研究生  081101-控制理论与控制工程  

安璇  硕士研究生  085400-电子信息