081203-计算机应用技术

人工智能，多模态情感识别，跨模态智能

2003-04--2006-03   日本国立德岛大学   博士

   

2006-06~2011-05,哈佛大学, 博士后研究员
2003-04~2006-03,日本国立德岛大学, 博士

自然语言处理

   

（1） 多模态共情交互系统关键技术 及应用, 三等奖, 省级, 2023
（2） 多模态类人情感自然交互关键技术研究, 其他, 2022
（3） 高吞吐、低延迟场景下的智能人机对话关键技术及应用, 二等奖, 省级, 2021

（ 1 ） 自适应数量的辨别性区域定位与表示方法, 2022, 第 3 作者, 专利号: 202210227954.0

（ 2 ） 一种基于特征解耦合的文字-图像对生成方法和装置, 2022, 第 3 作者, 专利号: 202210148651.X

（ 3 ） 一种基于深度学习的面部动作捕捉方法及系统, 2022, 第 2 作者, 专利号: CN114049678A

（ 4 ） 一种离散表征的视频行为识别系统及方法, 2022, 第 2 作者, 专利号: CN113936243A

（ 5 ） 结合关键词和语义理解表征的检索式回复对话方法及系统, 2022, 第 1 作者, 专利号: CN113934835A

（ 6 ） 一种音频驱动人脸动画生成方法、装置、设备与介质, 2021, 第 2 作者, 专利号: CN113838174A

（ 7 ） 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统, 2021, 第 1 作者, 专利号: CN113837153A

（ 8 ） 一种基于共性特征提取的跨语种语音情感识别方法和系统, 2021, 第 1 作者, 专利号: CN113611286A

（ 9 ） 一种基于复合表情加工的注意偏向训练评估系统和方法, 2021, 第 2 作者, 专利号: CN113576482A

（ 10 ） 一种说话人自适应的多视角对话情感识别方法及系统, 2021, 第 2 作者, 专利号: CN113571097A

（ 11 ） 一种基于增强学习的图像描述对抗生成方法, 2021, 第 3 作者, 专利号: 202111120908.2

（ 12 ） 一种融合情感编码的音频驱动人脸动画生成方法及系统, 2021, 第 1 作者, 专利号: CN113378806A

（ 13 ） 一种基于多特征融合的视频行为识别方法, 2021, 第 1 作者, 专利号: CN113343950A

（ 14 ） 一种融合词汇及音素发音特征的情感语音合成方法及系统, 2021, 第 2 作者, 专利号: CN113257225A

（ 15 ） 沟通障碍的智能评估方法及评估系统, 2021, 第 5 作者, 专利号: CN113143296A

（ 16 ） 一种基于眼球轨迹追踪的广告智能评估方法及系统, 2021, 第 4 作者, 专利号: CN113159844A

（ 17 ） 一种基于电商预售模式的产品折扣智能设置方法, 2021, 第 3 作者, 专利号: CN113112302A

（ 18 ） 一种基于视频基础单元分析的复杂行为识别方法, 2021, 第 1 作者, 专利号: CN112990122A

（ 19 ） 一种视频多目标人脸表情识别方法和系统, 2021, 第 1 作者, 专利号: CN112990119A

（ 20 ） 一种融合上下文进行超类推理的零样本对象检测方法, 2021, 第 2 作者, 专利号: CN112749738A

（ 21 ） 一种融合人群信息的语音情感识别方法和系统, 2021, 第 1 作者, 专利号: CN112712824A

（ 22 ） 一种基于门机制多模态融合的情感分析方法, 2021, 第 1 作者, 专利号: CN112597841A

（ 23 ） 一种基于语义、情感惯性和情感共性的对话情感分析方法, 2021, 第 1 作者, 专利号: CN112579762A

（ 24 ） 一种基于卷积长短期记忆网络的人脸表情识别方法, 2021, 第 1 作者, 专利号: CN112580527A

（ 25 ） 一种基于多特征自适应融合的人脸表情识别方法, 2021, 第 1 作者, 专利号: CN112560824A

（ 26 ） 一种群体情感同质性的实时评估方法和评估系统, 2021, 第 1 作者, 专利号: CN112545519A

（ 27 ） 一种VR沉浸效果的实时评估方法和评估系统, 2020, 第 2 作者, 专利号: CN111651060B

   

（1） VLP2MSA: Expanding vision-language pre-training to multimodal sentiment analysis, Knowledge-Based Systems, 2024, 第 8 作者
（2） Improving Speech Emotion Recognition with Unsupervised Speaking Style Transfer, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2024), 2024, 
（3） RedCore: Relative Advantage Aware Cross-modal Representation Learning for Missing Modalities with Imbalanced Missing Rates, AAAI, 2024, 
（4） Least-Effort Adversarial Attack Against Gait-based Identity Recognition System, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2024), 2024, 
（5） Affective Computing: Recent Advances, Challenges, and Future Trends, Intelligent Computing, 2024, 
（6） CORECODE: A Common Sense Annotated Dialogue Dataset with Benchmark Tasks for Chinese Large Language Model, AAAI, 2024, 第 4 作者
（7） Graph-enhanced Hybrid Sampling for Multi-armed Bandit Recommendation, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2024), 2024, 
（8） Fusing Modality-Specific Representations and Decisions for Multimodal Emotion Recognition, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2024), 2024, 
（9） EEG-based affective computing in virtual reality with a balancing of the computational efficiency and recognition accuracy, Computers in Human Behavior, 2023, 
（10） Multi-Modal Emotion Recognition Using Multiple Acoustic Features and Dual Cross-Modal Transformer, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2024), 2023, 
（11） Neural evidence of face processing in social anxiety disorder: A systematic review with meta-analysis, Neuroscience & Biobehavioral Reviews, 2023, 
（12） Revisit Sampling Theory of Bandlimited Graph Signals: One Bridge Between GSP and DSP, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2023), 2023, 
（13） Taking a Part for the Whole: An Archetype-agnostic Framework for Voice-Face Association, ACMMM, 2023, 第 5 作者
（14） Fast MSE-based Sampling of Bandlimited Graph Signals via Low-pass Impulse Responses, IEEE Transactions on Signal Processing, 2023, 
（15） Layer-wise Fusion with Modality Independence Modeling for Multi-modal Emotion Recognition, ACL, 2023, 
（16） Capsule Network With Label Dependency Modeling For Multi-Label Emotion Classification, 26th European Conference on Artificial Intelligence (ECAI), 2023, 
（17） Disentangling Prosody Representations with Unsupervised Speech Reconstruction, IEEE Transactions on Audio, Speech and Language Processing, 2023, 
（18） Fast Sampling and Reconstruction for Linear Inverse Problems From Vectors to Tensors, IEEE TRANSACTIONS ON SIGNAL PROCESSING, 2022, 第 11 作者
（19） MSE-targeted Sampling of Bandlimited Graph, EUSIPCO2022, 2022, 第 1 作者
（20） Fast Sampling for Large-scale Linear Inverse, EUSIPCO2022, 2022, 第 11 作者
（21） 脑机接口技术赋能元宇宙, 张江科技评论, 2022, 第 2 作者
（22） HIERARCHICAL AND MULTI-VIEW DEPENDENCY MODELLING NETWORK FORCONVERSATIONAL EMOTION RECOGNITION, 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022, 第 11 作者
（23） Multi-task Learning for Speech Emotion and Emotion Intensity Recognition, Asia Pacific Signal and Information Processing Association (APSIPA) Annual Summit and Conference 2022, 2022, 第 11 作者
（24） 情感计算：让机器拥有“情商”, 张江科技评论, 2021, 第 1 作者

   

（ 1 ） 大规模分布式人工智能高效训练范式及试验验证, 负责人, 国家任务, 2022-06--2026-05
（ 2 ） 多模态情感识别基础理论与关键技术研究, 负责人, 地方任务, 2019-06--2023-05