²  跨模态内容理解和推理

随着各行业多模态数据的快速增长和累积，如何跨越视觉、语言等不同模态信息实现对世界更加泛化的分析和推理，对于提升计算机的智能水平至关重要。因此，结合视觉与语言的跨模态智能技术成为近年来备受关注的研究领域，在多媒体智能创作、智慧教育、AI辅助医疗等越来越多场景中得到应用。于静老师长期专注于结合视觉和语言的跨模态智能理解，包括但不限于跨媒体检索、视觉/视频问答、多模态对话、图像/视频描述生成、视觉场景图生成等。近年来，研究组重点关注如何结合人类认知机理和常识知识，让机器实现人类对世界的多模态认知能力。

由于研究组研究方向涉及视觉和语言，因此发表论文包括CV、NLP、深度学习等多个方向，在CVPR、ICML、ACM MM、IJCAI、AAAI、ACL、EMNLP、Colling 、TIP、TMM、PR等国际著名期刊和会议上发表 40 余篇。相关技术成果在国际权威评测和竞赛(国际视觉对话竞赛、国际机器翻译大赛、国际语义评测大赛)中多次获得名列前茅(两项第二，多项前三)。学生研究的关键技术能够结合真实的需求并在实际场景中得到应用。

        研究方向详细介绍，请关注研究组主页和研究组知乎专栏。

研究组主页：https://mmlab-iie.github.io/
研究组知乎专栏：https://www.zhihu.com/column/c_1284803871596797952

对如何做科研、如何选择研究点、如何写论文有困惑的同学，可关注于老师B站课程《科研与学术论文写作指南》
B站课程：https://space.bilibili.com/301285406
课程PPT：https://mmlab-iie.github.io/course/

特殊说明1： 本研究组一直欢迎有志于人工智能，跨媒体智能、自然语言处理、机器学习等方面研究的本科生、硕士生、博士生加入。 有兴趣者请与于老师直接邮件联系。
特殊说明2： 如果希望报考本研究组的研究生，请发于老师个人邮箱并附带简历。
特殊说明3：如果有研究单位，个人和企业对本研究组的研究感兴趣，请您发邮件直接联系。本研究组仍在发展阶段，非常希望能有更多的科研支持和合作。 
邮箱: yujing02@iie.ac.cn

【研究组优点】

(1) 跨模态方向目前在工业界和学术界都有很强的生命力，在推荐系统、网络安全、教育、交通、医疗等各领域都有广泛应用；

(2) 依托信工所第二研究室这个平台，研究组目前有充足的科研经费和计算资源；

(3) 组内有定期学术交流，并邀请国内外知名学者访问，与MILA研究所、阿德莱德大学、多伦多大学、MSRA等研究机构，以及腾讯、阿里等企业都有长期合作，有良好的学术交流氛围；

(4) 研究组导师有较高的学术能力，且认真负责，学生会得到较好的指导；

(5) 研究组师生关系融洽，老师和学生互相尊重，亦师亦友，共同进步；

(6)学生发展前景不错，原研究组学生目前就业于百度、腾讯、阿里等互联网公司，或赴CMU、UC Berkeley、明尼苏达大学、马普研究所等学术机构继续深造。硕士研究生均能发表CCF-A类论文，为找工作积累扎实的研究和实践能力。

2021.10至今    中科院信息工程研究所 信息内容安全技术国家工程实验室  副研究员

2014.04-2021.09 中科院信息工程研究所 信息内容安全技术国家工程实验室  助理研究员

所获荣誉及奖励                                                                   

1.   2021年度 视觉与学习青年学者研讨会（VALSE 2021）大会焦点论文

2.   2020年度 中国科学院大学校级优秀课程、网络安全学院院级优秀课程

3.   2019年度 信息内容安全技术国家工程实验室“优秀员工”

4.   2017年度 中科院信息工程研究所“重大科技进展奖”

5.   2017年度 中科院信息工程研究所所级“优秀共产党员”

6.   2016年度 中科院信息工程研究所所级“优秀员工”

7.   2015年度 信息内容安全技术国家工程实验室“团队建设奖”

8.  2014年度 信息内容安全技术国家工程实验室“团队建设奖”

申请发明专利                                                                       

1.       一种面向多模式图匹配的并行加速方法，授权号：201811228936.4（第1发明人）

2.       一种基于弱结构相关性的多模式图索引构建方法，授权号：201811466997.4（第1发明人）

3.       一种面向文本和图像的跨媒体检索方法及电子装置，受理号：202010663328.7 （第1发明人）

4.       一种基于力导引算法的图数据可视化布局优化方法，受理号：201710992552.9（第1发明人）

5.       一种基于结构相关性的多模式图匹配方法，受理号：201711023877.2 （第3发明人）

6.       一种对稀疏矩阵进行压缩和查询的方法及系统，受理号：201510152316.7（第3发明人）

代表性学术论文（按重要性排序）

²  期刊论文

1.       Jing Yu, Xiaoze Jiang, Zengchang Qin, Yue Hu, Qi Wu. Learning Dual Encoding Model for Adaptive Visual Understanding in Visual Dialogue. IEEE Transactions on Image Processing (TIP), 2020,30(1):220-233 (SCI, 影响因子: 10.856, JCR: Q1)

2.       Jing Yu, Weifeng Zhang, Yuhang Lu, Zengchang Qin, Yue Hu, Qi Wu. Reasoning on the Relation: Enhancing Visual Representation for Visual Question Answering and Cross-modal Retrieval. IEEE Transactions on Multimedia (TMM), 2020,22(12):3196-3209 (SCI, 影响因子：6.513，JCR：Q1)

3.       Jing Yu, Zihao Zhu, Yujing Wang, Yue Hu, Jianlong Tan. Cross-modal knowledge reasoning for knowledge-based visual question answering. Pattern Recognition (PR), 2020, 108(2020): 107563 (SCI, 影响因子：7.740，JCR：Q1)

4.       Jing Yu, Weifeng Zhang, Zhuoqian Yang, Zengchang Qin, Yue Hu. Cross-modal learning with prior visual relation knowledge. Knowledge-Based Systems (KBS), 2020, 203(2020) (SCI, 影响因子：5.921，JCR：Q1)

5.       Jing Yu, Yuhang Lu, Weifeng Zhang, Zengchang Qin, Yanbing Liu, Yue Hu. Learning cross-modal correlations by exploring inter-word semantics and stacked co-attention. Pattern Recognition Letters (PRL), 2020, 130: 189-198 (SCI, 影响因子：3.756, JCR: Q2)

6.       Jing Yu, Zengchang Qin, Tao Wan and Xi Zhang, Feature Integration analysis of bag-of-features model for image retrieval. Neurocomputing, 2013, 120(23):355-364 (SCI, 影响因子：5.719，JCR：Q2)

7.       Jing Yu, Yanbing Liu, Yu Zhang, Mengya Liu, Jianlong Tan, Li Guo (2015). Survey on Large-Scale Graph Pattern Matching. Journal of Computer Research and Development (计算机研究与发展), 2015, 52(2):391-409 (CCF中文-A类)

8.       Weifeng Zhang, Jing Yu, Hua Hu, Haiyang Hu. Multimodal feature fusion by relational reasoning and attention for visual question answering. Information Fusion, 2020, 55:116-126 (SCI, 影响因子：12.975, JCR: Q1 )

9.       Weifeng Zhang, Jing Yu, Wenhong Zhao, Chuan Ran. DMRFNet: Deep Multimodal Reasoning and Fusion for Visual Question Answering and explanation generation. Information Fusion, 2021, 72: 70-79 (SCI, 影响因子：12.975, JCR: Q1 )

10.    Wei Peng, Yue Hu, Jing Yu, Luxi Xing, Yuqiang Xie. APER: AdaPtive Evidence-driven Reasoning Network for machine reading comprehension with unanswerable questions. Knowledge-Based Systems (KBS), 2021, 229:107364 (SCI, 影响因子：5.921，JCR：Q1)

11.    Zengchang Qin, Jing Yu*（唯一通讯）, Yonghui Cong and Tao Wan, Topic correlation model for cross-modal multimedia information retrieval. Pattern Analysis and Applications (PAA), 2016,19:1007-1022 (SCI, 影响因子，2.580, JCR: Q3)

²  会议论文

1.     Yang Ding, Jing Yu（唯一通讯), Bang Liu, Yue Hu, Mingxin Cui, Qi Wu. MuKEA: Multimodal Knowledge Extraction and Accumulation for Knowledge-based Visual Question Answering, CVPR, 2022 (CCF-A类)

2.     Jing Yu, Yuan, Chai, Yujing Wang, Yue Hu, Qi Wu. CogTree: Cognition Tree Loss for Unbiased Scene Graph Generation. IJCAI, 2021. (CCF-A类)

3.     Zihao Zhu, Jing Yu*(共同一作，唯一通讯), Yujing Wang, Yue Hu, Qi Wu, et al. Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual Question Answering. IJCAI, 2020. (CCF-A类)

4.     Xiaoze Jiang*, Jing Yu*(共同一作，唯一通讯), Xingxing Zhang, Yue Hu, Qi Wu, et al. DAM: Deliberation, Abandon and Memory Networks for Generating Detailed and Non-repetitive Responses in Visual Dialogue. IJCAI，2020. (CCF-A类)

5.     Xiaoze Jiang, Jing Yu*(唯一通讯), Zengchang Qin, Yingying Zhuang, Xingxing Zhang, Qi Wu(2020), Deep Visual Understanding Like Humans: An Adaptive Dual Encoding Model for Visual Dialogue. AAAI, 2020. (CCF-A类)

6.     Xinjie Lin, Gang Xiong, Gaopeng Gou, Junzheng Shi, Jing Yu*(唯一通讯). ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification. WWW, 2022 (CCF-A类)

7.     Yujing Wang, Yaming Yang, Jianggang Bai, Mingliang Zhang, Jing Bai, Jing Yu, Gao Huang, Evolving Attention with Residual Convolutions. ICML, 2021. (CCF-A类)

8.     Yajing Sun, Yue Hu, Jing Yu, Yuqiang Xie. History-adaption knowledge incorporation mechanism for multi-turn dialogue system. AAAI, 2021. (CCF-A类)

9.     Xiaoze Jiang, Siyi Du,  Zengchang Qin,  Yajing Sun,  Jing Yu. KBGN: Knowledge-Bridge Graph Network for Adaptive Vision-Text Reasoning in Visual Dialogue. ACM MM, 2020. (CCF-A类)

10.   Yajing Sun, Yong Shan, Chengguang Tang, Yue Hu, Yinpeng Dai, Jing Yu, Jian Sun. Unsupervised Learning of Deterministic Dialogue Structure with Edge-Enhanced Graph Auto-Encoder, AAAI, 2020. (CCF-A类)

11.   Yongxiu Xu, Chuan Zhou, Heyan Huang, Jing Yu, Yue Hu. WLinker: Modeling Relational Triplet Extraction as Word Linking. ICASSP, 2022 (CCF-B 类)

12.   Wei Peng, Yue Hu, Jing Yu, Luxi Xing, Yuqiang Xie. MCR-NET: A Multi-Step Co-Interactive Relation Network for Unanswerable Questions on Machine Reading Comprehension. ICASSP, 2021. (CCF-B类)

13.   Luxi Xing, Yue Hu, Jing Yu, Yuqiang Xie, Wei Peng. Coarse-to-Careful: Seeking Semantic-Related Knowledge for Open-Domain Commonsense Question Answering. ICASSP, 2020. (CCF-B类)

14.   Wei Peng, Yue Hu, Luxi Xing, Yuqiang Xie, Jing Yu, Yajing Sun. Bi-directional Cognitive Thinking Network for Machine Reading Comprehension. COLING, 2020. (CCF-B类)

15.   Meizi Zhou, Jing Yu*(唯一通讯), Yanbing Liu, Li Guo . PatternTreeISO: A Pattern Graph Correlation Framework for Accelerating Subgraph Isomorphism over Large Graphs. CIKM, 2016. (CCF-B类)

16.   Jing Yu, Chenghao Yang, Zengchang Qin, Zhuoqian Yang, Yue Hu. Semantic Modeling of Textual Relationships in Cross-modal Retrieval. KSEM, 2019. (CCF-C类)

17.   Jiangang Bai, Yujing Wang, Yiren Chen, Yaming Yang, Jing Bai, Jing Yu, Yunhai Tong. Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees. EACL, 2021. (CCF-C类)

18.   Zhuoqian Yang, Zengchang Qin, Jing Yu, Tao Wan. Prior Visual Relationship For Visual Question Answering. ICIP, 2020. (CCF-C类)

19.   Jingjing Guo, Jing Yu*(唯一通讯), Yuhang Lu, Yue Hu, and Yanbing Liu, 2D-Convolution based Feature Fusion for Cross-Modal Correlation Learning, International Conference on Computational Science. ICCS, 2019.

20.   Yiming Xu, Jing Yu*(唯一通讯), Jingjing Guo, Yue Hu and Jianlong Tan, Fine-Grained Label Learning via Siamese Network for Cross-modal Information Retrieval, International Conference on Computational Science. ICCS, 2019.

21.   Jing Yu, Yuhang Lu, Zengchang Qin, Weifeng Zhang. Modeling Text with Graph Convolutional Network for Cross-Modal Information Retrieval. PCM, 2018. (CCF-C类)

22.   Yuhang Lu, Jing Yu*(唯一通讯), Yanbing Liu, Yanbing Liu, Jianlong Tan, Li Guo, Weifeng Zhang. Fine-grained Correlation Learning with Stacked Co-attention Networks for Cross-modal Information Retrieval. KSEM, 2018. (CCF-C类)

23.   Yu Zhang, Yanbing Liu, Jing Yu, Ping Liu and Li Guo. VSEP: A distributed algorithm for graph edge partitioning. ICA3PP, 2015. (CCF-C类)

24.   Jing Yu, Yonghui Cong, Zengchang Qin and Tao Wan, Cross-modal topic correlations for multimedia retrieval, ICPR,2012 (CCF-C类)

25.   Yonghui Cong, Zengchang Qin, Jing Yu and Tao Wan, Cross-modal information retrieval- a case study on Chinese Wikipedia, ADMA 2012, LNCS 7713 (CCF-C类)

26.   Xiaoli Yuan, Jing Yu, Zengchang Qin and Tao Wan, A bag-of-features model with integrated SIFT-LBP features for content-based image retrieval, ICIP, 2011. (CCF-C类)

²  专著章节

1.   Jing Yu, Zengchang Qin, and Tao Wan (2015), Topic Correlations of Cross-Modal Multimedia Information Retrieval, Multimedia Retrieval - Perspectives and Challenges, DOI: 10.15579/gcsr.vol4.ch3, GCSR Vol. 4, pp. 43-66

学术活动组织

1.      2021年 中国计算机学会青年精英大会（CCF YEF）“算法治理”论坛，论坛执行主席：沈华伟、于静，特邀讲者：唐杰、文继荣、陈兵、姚羽

2.     2021年 CCF “科研与学术论文写作工作坊”，论坛组织者：中国计算机学会理事、虚拟现实与可视化专委会主任、天津理工大学罗训教授，和CCF广州分部秘书长、华南师范大学郝天永教授。于静报告内容为“科研写作基础”（4小时）

3.     2021年 组织学术论坛“学术道德、科研与学术论文写作”，邀请北京大学董彬教授（世界数学家大会讲者）

4.    2021年 组织所级学术报告：“计算机视觉中Transformer注意力建模及自监督学习”，邀请MSRA资深研究员胡瀚（ICCV Best Paper）

5.    2020年 ChinaMM 2020“视觉与语言相结合的跨媒体智能分析与应用” 青年学者论坛，论坛主席：梅涛、秦曾昌、于静，特邀讲者：刘偲、王鹏、吴琦、黄岩

6.     2020年 组织所级学术报告：“基于图结构的自然语言处理”，邀请蒙特利尔大学MILA研究所教授刘邦

7.     2019年 组织所级学术报告：“强化学习和预训练模型”，邀请MSRA资深研究员张星星（ACL 最佳审稿人）

学术界及产业界特邀报告

1.  2022年 受CCF邀请，参与“CCF 学生领航计划（SPP）”系列报告，作“英文学术论文写作指南”、“英文学术论文写作规范和日常积累”系列报告

2.  2022年 受江苏省视觉计算与可信人工智能暑期学校邀请，作“英文学术论文写作指南”报告

3.  2022年 受海南数字孪生与智网互联创新实验室邀请，在“CCF数字候鸟主力自贸港”系列活动中作题为“认知启发的跨模态智能”学术报告

4.  2022年 受解放军信息工程大学邀请，作“面向多场景低资源加密流量分类的加密流量预训练技术”学术报告

5.  2022 受上海大学邀请，作“科学研究与学术论文写作基础”报告分享

6.  2021年 受中国计算机图像图形学学会邀请，作“认知启发的跨模态智能”学术报告

7.  2021年 受中科院邀请，录制“认知启发的跨模态智能”课程，在中科院慕课平台共享

8.  2021年 受VALSE 2021邀请，作“视觉场景图生成”、“知识型视觉问答”等学术报告

9.  2020年 受阿里文娱邀请，作“多模态理解及在视觉对话中的应用”学术报告

10. 2020年 受中文信息学会、北京大学邀请，作“认知启发的视觉对话技术”学术报告

11. 2020年 受Keep 研究院邀请，作 “视觉问答技术研究”学术报告

12. 2019年 受上海大学计算机学院邀请，作“面向视觉问答的深层推理技术”学术报告

学生培养                                                             

2014年至今，累计培养硕士生11人（5人获“中国科学院大学优秀毕业生”）、博士生6人、本科生4人。已毕业学生年级、姓名、毕业去向如下：

1.     2014级学硕    刘梦雅（国科大优秀毕业生）          南安普顿大学，攻读博士

2.     2014级学硕  周美孜（国科大优秀毕业生）           明尼苏达大学，攻读博士

3.     2015级学硕    刘小梅（国科大优秀毕业生）          国际关系学院，讲师

4.     2015级学硕  王翔                                                       腾讯公司，算法专家

5.     2016级学硕  卢宇航（国科大优秀毕业生）           阿里巴巴公司，算法专家

6.     2017级学硕  胡雪丹（联合培养导师：王斌）       小米公司，算法专家

7.     2017级学硕  郭晶晶（国科大优秀毕业生）           百度公司，算法专家

8.     2018级学硕  朱梓豪（毕业答辩优秀）                   香港中文大学，攻读博士

9.     2018级学硕  蒋萧泽（联合培养导师：秦曾昌）   快手，算法专家（北京市优秀毕业生）

10.   2018级学硕  唐钰葆                                                 中科院计算所，攻读博士

11.   2017本科生  杨卓谦（北航，客座）                     CMU，攻读博士

12.   2017本科生  杨承昊（北航，客座）                     UC Berkeley, 攻读博士

13.   2018本科生  徐义明（河南大学，客座）             阿姆斯特丹大学，攻读博士

14.   2019本科生  李润东（北航，客座）                     香港中文大学，攻读博士