基本信息

张启超 博士 副研究员 硕导

深度强化学习团队(负责人：赵冬斌研究员)

单位： 中国科学院自动化研究所
邮件： zhangqichao2014@ia.ac.cn

电话：010-82544501
地址： 北京市海淀区中关村东路95号

最新消息

     更多研究工作请访问英文主页。

研究方向

近年来，围绕动态环境下真实数据驱动的自动驾驶预测&决策任务，研究包括深度强化学习算法（基于模型强化学习、离线强化学习等）、自动驾驶交互预测与决策规划、自动驾驶虚拟仿真场景生成等。  提出以 “高效在线强化学习算法”和“真实数据驱动的动态环境建模”为核心的迭代技术框架，并积极部署于室外自动驾驶机器人应用研究。

  •  针对“高效在线强化学习算法”，提出了事件驱动强化学习方法（IEEE TCYB 19’, IEEE TNNLS 18’(ESI高被引)，IEEE TSMC:A 17’(ESI高被引)），获中科院院长优秀奖，人工智能学会优秀博士论文提名奖，提出动态视域的值扩展强化学习方法（IEEE TNNLS 22’），获得2020 ICRA DJI RoboMaster AI Challenge决策赛道一等奖。
  • 针对“真实数据驱动的动态环境建模”，提出结合模仿学习&强化学习的高保真交互行为建模方法（IEEE TITS 22’），面向动态环境室外机器人，提出基于强化学习的决策控制算法（J FRANKLIN I 22’, IJAS 21’, IEEE CIM 17’），获DAI 2020 华为SMARTS单车决策赛道第1名。

招收自动化类、计算机类、人工智能类专业的硕士生、实习生（本科生可优先保研）。

081101-控制理论与控制工程--（聚焦于自动驾驶预测决策方向）
081104-模式识别与智能系统--（聚焦于深度强化学习算法方向）

招收对相关方向感兴趣的实习生，有意者请与我联系zhangqichao2014@ia.ac.cn，智能化大厦1004房间。

教育背景

2014-09--2017-06   中国科学院自动化研究所   博士研究生
2012-09--2014-06   东北大学   硕士研究生
2008-09--2012-06   东北电力大学   学士

工作经历

   
工作简历
2020-09~现在, 中国科学院自动化研究所, 硕士生导师
2019-10~现在, 中国科学院自动化研究所, 副研究员
2017-07~2019-09,中国科学院自动化研究所, 助理研究员
社会兼职

鹏城实验室，兼职副研究员；

中国人工智能学会智能驾驶专委会，委员；

中国计算机学会智能汽车专委会，执行委员；

中国自动化学会自适应动态规划专委会，会议；

中国生产力促进中心汽车工作委员会，副秘书长

教授课程

强化学习
多智能体系统

出版信息

发表论文：

  • Qichao Zhang,Yinfeng Gao, Yikang Zhang, Youtian Guo, Dawei Ding, Yunpeng Wang, Peng Sun, Dongbin Zhao, “TrajGen: generating realistic and diverse trajectories with reactive and feasible agent behaviors for autonomous driving," IEEE Transactions on Intelligent Transportation Systems, DOI: 10.1109/TITS.2022.3202185, 2022.

  • Junjie Wang, Qichao Zhang*, Dongbin Zhao, et al., “Dynamic horizon value estimation for model-based reinforcement learning,” IEEE Transactions on Neural Networks and Learning Systems, 2022. DOI: 10.1109/TNNLS.2022.3215788.
  • Junjie Wang, Qichao Zhang*, Dongbin Zhao, “Highway lane change decision-making via attention-based deep reinforcement learning,” IEEE/CAA Journal of Automatica Sinica, vol. 9, no. 3, pp. 567-569, 2022. DOI: 10.1109/JAS.2021.1004395. (SCI Q1, IF 6.171)
  • Yuqi Liu, Yinfeng Gao, Qichao Zhang*, Dawei Ding, Dongbin Zhao, “Multi-task safe reinforcement learning for navigating intersections in dense traffic,” Journal of the Franklin Institute, https://doi.org/10.1016/j.jfranklin.2022.06.052, 2022.
  • Haoran Li, Qichao Zhang, Zhao, “Deep reinforcement learning-based automatic exploration for navigation in unknown environment,” IEEE Transactions Neural Network and Learning Systems, 31(6): 2064-2076, 2020. （SCI Q1）
  • Qichao Zhang, Dongbin Zhao*, et al., “Event-based robust control for uncertain nonlinear systems using adaptive dynamic programming,” IEEE Transactions Neural Network and Learning Systems, 2018, 29(1): 37-50. （SCI Q1，ESI Highly cited papers）
  • Qichao Zhang, Dongbin Zhao*, et al., “Event-triggered  H∞ control for continuous-time nonlinear system via concurrent learning,”  IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017, 47(7),  1074-1081. （SCI Q1，ESI Highly cited papers）
  • Dongbin Zhao, Zhongpu Xia, Qichao Zhang*, “Model-free optimal control based intelligent cruise control with hardware-in-the-loop demonstration,” IEEE Computational Intelligence Magazine, 2017, 12(2): 56-69.
  • Dongbin Zhao, Qichao Zhang, Ding Wang, et al. “Experience replay for optimal control of nonzero-sum game systems with unknown dynamics," IEEE Transactions on Cybernetics, 2015, 46(3): 854-865.（SCI Q1，ESI Highly cited papers）
  • Dong Li, Dongbin Zhao, Qichao Zhang, et al., “Reinforcement learning and deep learning based lateral control for autonomous driving [application notes][J],” IEEE Computational Intelligence Magazine, 2019, 14(2): 83-98.
  • ...

科研活动

   
在研项目

​（ 1 ） 数据驱动的仿真交通场景生成方法研究, 负责人, 国家任务, 2022-01--2025-12

（ 2 ） 离线强化学习混排策略研究, 负责人, 企业委托(美团), 2022-11--2023-10 

（ 3 ） 离线强化学习与自动驾驶策略研究, 负责人, 百度松果基金, 2022-09--2023-08 

（ 4 ） 虚实融合的多机器人智能博弈决策技术与应用, 课题负责人, 研究所自选, 2021-01--2023-12 

（ 5 ） 变化环境下的新型强化学习算法研究, 课题核心骨干, 科技部重点研发计划, 2022.11--2027.10 

指导学生

   
在读学生

直接指导：

1. 方兴，研一，离线强化学习算法，模式识别与智能系统，本科毕业于电子科技大学，推免型硕士研究生，2022.09-

2. 王君礼，研一，自动驾驶联合预测算法，模式识别与智能系统，本科毕业于四川大学，硕士研究生，2022.09


联合指导：

1. 王俊杰，自动驾驶超车换道算法，本科毕业于重庆大学，硕博生，（导师：赵冬斌研究员)

2. 刘育琦，自动驾驶路口通行决策算法，硕士毕业于中科院空间中心，博士生，（导师：赵冬斌研究员）

3. 李丁，自动驾驶联合预测与决策算法，硕士毕业于天津大学，博士生，（导师：赵冬斌研究员）

4. 孙敬博，强化学习的泛化性研究，硕士毕业于北京理工大学，博士生(鹏程联合培养)（导师：赵冬斌研究员）

5. 高胤峰，精准世界模型的自动驾驶决策，本硕毕业于北京科技大学，博士生，（导师：丁大伟教授）

6. 郑宇鹏，研一，自动驾驶感知与预测算法，模式识别与智能系统，本科毕业于中国科学院大学，硕士研究生，2022.09

7. 刘学义，大四实习，自动化专业，本科就读于西北工业大学，推免型直博生，（导师：赵冬斌研究员）2023.09

8. 徐凯旋，大四实习，自动化专业，本科就读于北京航空航天大学，推免型直博生，（导师：赵冬斌研究员）2023.09

9. 涂崧峻，大四实习，自动化专业，本科就读于中南大学，推免型直博生(鹏程联合培养)，（导师：赵冬斌研究员）2023.09