主要从事视觉认知计算研究，目前研究工作主要集中在视觉认知机制（注意、记忆等）的计算建模，进而提出基于认知机制的新型视觉计算理论与方法，同时也能辅助揭示典型认知过程的机制机理。发表国际期刊和国际会议论文50多篇，包括TPAMI、TIP、TMM、NIPS、ICCV、CVPR等，其中CVPR2010他引200多次、CVPR2015他引1000多次，Google总引用3000多次，h-index指数22，相关研究工作获得1个最佳论文奖（CVPR DeepVision Workshop 2014），指导学生获得ICPR2014最佳学生论文奖，相关研究成果授权和申请专利10余项。主持3项国家自然科学基金项目（2个面上1个青基），主持多项企业合作项目（国家电网项目、高德地图等），指导10名博硕士开展研究工作。

(1) 认知机制计算建模：注意、记忆等

(2) 结构关系计算建模：行为、交互等

(3) 视觉语言计算建模：导航、问答等

       希望招收若干名有志于视觉认知计算研究的硕士研究生：（1）有较好的数理基础；（2）对视觉、语言、认知、计算等问题感兴趣；（3）主观能动性强，对工作、生活有极大的热情；（4）有志于研究人工智能前沿基础。

081203-计算机应用技术

计算机视觉
认知计算

2005-09--2011-07   中国科学院大学   工学博士
2001-09--2005-07   武汉大学   工学学士

中国科学院大学    2005-09--2011-07    工学博士
武汉大学               2001-09--2005-07    工学学士

中国科学院大学    2011    工学博士

   

2015-05~现在, 中国科学院自动化研究所, 副研究员
2011-07~2015-05,中国科学院自动化研究所, 助理研究员

深度学习理论及应用
深度学习
深度学习理论与应用
模式识别研讨与实践

   

（1） Attribute-Guided Attention for Referring Expression Generation and Comprehension, IEEE Transactions on Image Processing, 2020, 第 2 作者
（2） Learning visual relationship and context-aware attention for image captioning, Pattern Recognition, 2020, 第 2 作者
（3） Cross-Modal Cross-Domain Moment Alignment Network for Person Search, IEEE Conference on Computer Vision and Pattern Recognition, 2020, 第 2 作者
（4） Pose-Guided Multi-Granularity Attention Network for Text-Based Person Search, AAAI Conference on Artificial Intelligence, 2020, 第 3 作者
（5） Graph Sequence Recurrent Neural Network for Vision-Based Freezing of Gait Detection, IEEE Transactions on Image Processing, 2019, 第 3 作者
（6） An Attention Enhanced Graph Convolutional Lstm Network for Skeleton-based Action Recognition, IEEE Conference on Computer Vision and Pattern Recognition, 2019, 第 3 作者
（7） Stacked Memory Network for Video Summarization, ACM Multimedia, 2019, 第 2 作者
（8） Skeleton-based action recognition with spatial reasoning and temporal stack learning, European Conference on Computer Vision, 2018, 第 3 作者
（9） Multimodal Memory Modelling for Video Captioning, IEEE Conference on Computer Vision and Pattern Recognition, 2018, 第 2 作者
（10） Hierarchical Memory Modelling for Video Captioning, ACM Multimedia, 2018, 第 2 作者
（11） Multistage Adversarial Losses for Pose-based Human Image Synthesis, IEEE Conference on Computer Vision and Pattern Recognition, 2018, 第 2 作者
（12） Instance-Aware Image and Sentence Matching With Selective Multimodal LSTM, IEEE Conference on Computer Vision and Pattern Recognition, 2017, 第 2 作者
（13） Super-Resolution via Bidirectional Recurrent Convolutional Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 第 2 作者
（14） Bidirectional Recurrent Convolutional Networks for Multi-Frame Super-Resolution. Advances in Neural Information Processing Systems, Neural Information Processing Systems, 2015, 第 2 作者
（15） Conditional High-order Boltzmann Machine: A Supervised Learning Model for Relation Learning, International Conference on Computer Vision, 2015, 第 2 作者
（16） Hierarchical Recurrent Neural Network for Skeleton Based Action Recognition, IEEE Conference on Computer Vision and Pattern Recognition, 2015, 第 2 作者
（17） Generalized Autoencoder: A Neural Network Framework for Dimensionality Reduction, IEEE Conference on Computer Vision and Pattern Recognition Workshop, 2014, 第 1 作者
（18） Simulating Human Saccadic Scanpath on Natural Images, IEEE Conference on Computer Vision and Pattern Recognition, 2011, 第 1 作者
（19） Measuring Visual Saliency by Site Entropy Rate, IEEE Conference on Computer Vision and Pattern Recognition, 2010, 第 1 作者

（ 1 ） 基于注意记忆计算建模的模型可解释性研究, 主持, 国家级, 2020-01--2023-12
（ 2 ） 基于小样本机器学习方法的输电线路典型冰风灾害特征识别及预测技术研究, 参与, 院级, 2018-01--2020-12
（ 3 ） 深度认知神经网络理论与方法研究, 参与, 国家级, 2017-01--2021-12