081203-计算机应用技术
081104-模式识别与智能系统
081002-信号与信息处理

语音语言理解，言语认知，多模态感知，多模态大模型
言语神经科学，言语障碍，言语神经建模
语音语言信息处理，脑电信息处理，听觉信息处理，多模态信息处理

1989-04--1992-06   日本静冈大学   工学博士
1988-01--1989-03   日本静冈大学   进修生
1982-09--1984-10   清华大学   硕士
1978-03--1982-07   清华大学   学士

   

2023-12~现在, 中科院深圳先进技术研究院, 研究员
2015-07~2023-12,天津大学智能与计算学部, 教授（兼职）
2009-10~2015-06,天津大学计算机学院, 教授、院长
2002-10~2003-09,法国科学院语音通信研究所, 一级研究科学家
2001-04~2022-03,日本北陆先端科学技术大学院大学, 教授
1998-08~1999-07,加拿大滑铁卢大学电子与计算机工程系, 访问学者
1992-06~2001-03,日本ATR人类信息处理研究所, 主任研究员
1989-04~1992-06,日本静冈大学, 工学博士
1988-01~1989-03,日本静冈大学, 进修生
1984-11~1988-01,天津大学计算机系, 讲师
1982-09~1984-10,清华大学, 硕士
1978-03~1982-07,清华大学, 学士

2022-08-01-今,Frontier in Language Science, 副主编
2021-02-01-今,中文信息学会, 理事
2019-09-01-2023-10-30,中国计算机学会, 理事
2018-05-01-2023-12-08,中国计算机学会语音专委会, 主任

   

（1） 融合专业教学，提升计算科学思维能力，推进计算机基础教学改革与实践, 二等奖, 国家级, 2014
（2） 日本电气通信基础技术研究所科学发明奖, 一等奖, 院级, 1994
（3） 天津市人防指挥和管理计算机网络系统, 二等奖, 省级, 1989
（4） 汉语语音合成系统, 三等奖, 省级, 1988

   

（1） MBCFNet: A Multimodal Brain-Computer Fusion Network for human intention recognition, Knowledge-Based Systems, 2024, 第 6 作者  通讯作者
（2） Unraveling Predictive Mechanism in Speech Perception and Production: Insights from EEG Analyses of Brain Network Dynamics, Journal of Shanghai Jiaotong University (Science), 2024, 第 2 作者  通讯作者
（3） Theoretical analysis of divide-and-conquer ERM: From the perspective of multi-view, Information Fusion, 2024, 第 5 作者
（4） CFDRN: A Cognition-inspired Feature Decomposition and Recombination Network for Dysarthric Speech Recognition, IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2023, 第 4 作者  通讯作者
（5） Disordered speech recognition considering low resources and abnormal articulation, Speech Communication, 2023, 第 3 作者
（6） Emotion recognition using spatial-temporal EEG features through convolutional graph attention network, Journal of Neural Engineering, 2023, 第 5 作者  通讯作者
（7） Multimodal evidence for predictive coding in sentence oral reading, Cerebral Cortex, 2023, 第 4 作者  通讯作者
（8） Wav2vec-MoE: An unsupervised pre-training and adaptation method for multi-accent ASR, Electronics Letters, 2023, 第 6 作者  通讯作者
（9） Learning affective representations based on magnitude and dynamic relative phase information for speech emotion recognition, Speech Communication, 2022, 第 3 作者  通讯作者
（10） Multi-resolution modulation-filtered cochleagram feature for LSTM-based dimensional emotion recognition from speech, Neural Networks, 2021, 第 2 作者  通讯作者

（ 1 ） 听觉信息处理研究前沿, 上海交通大学出版社, 2021-04, 第 1 作者
（ 2 ） 语音信息处理理论与实践, 高等教育出版社, 2022-09, 第 2 作者

   

（ 1 ） 言语交互意图理解的神经机理与建模研究, 负责人, 国家任务, 2023-01--2026-12

（1）MRI-based physiological and acoustic modeling    2014-09-12