冯洋
研究员、博士生导师
个人简介
冯洋,中国科学院计算技术研究所 研究员、博士生导师、自然语言处理团队负责人、“新百星人才引进计划”入选者,计算机学会杰出会员、人工智能学会首批杰出会员。在中科院计算所获得博士学位后,先后在谢菲尔德大学和南加州大学信息科学研究所(USC/ISI)开展研究工作。担任国际计算语言学学会(ACL)执委、第四届和第五届中文信息学会青年工作委员会副主任、计算语言学专委会执行委员(共7人)等,多次担任ACL/EMNLP/IJCAI等国内外会议高级领域主席、ACL Rolling Review常任高级领域主席等。获得国内首个“ACL最佳论文奖”、人工智能学会第七届理事会“杰出贡献奖”、CCF自然语言处理专委会“青年新锐奖”、“钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等,领导研发了百聆大模型并开放试用(https://nlp.ict.ac.cn/bayling),作为项目负责人主持多项国家重点研发计划项目、国家自然科学基金项目等,与华为、腾讯、百度、字节跳动等公司开展合作研究。
2017年加入计算所后,指导的学生获得 “ACL最佳论文奖”(ACL开办50多年来国内首个)、 “中国中文信息学会优秀博士学位论文”、“中国科学院百篇优秀博士学位论文”、“世界人工智能大会青年优秀论文奖”、“北京市优秀毕业生”、“ 腾讯犀牛鸟精英人才培养计划奖学金”等奖项,1人次入围“CCF博士学位论文奖励计划”(共18人入围),2人次分别于直博三年级获得中科院计算所“所长特别奖(夏培肃奖)”(每年2人)和“所长特别奖”(每年7人左右)。支持学生参与学术服务和学术分享,指导的学生担任过中文信息学会青工委学生工作委员会主任、国际会议ACL/NAACL/EACL/ARR的领域主席,多人次担任过EMNLP/COLING论文预讲会的程序委员会主席、全国性学术会议的学生研讨会主席,在国际顶级会议EMNLP举办3小时时长的Tutorial,作为国内唯一学者受邀参加国际对话评估研讨会。
研究方向:
人工智能、自然语言处理、大模型
最新消息
- 招聘博士后、教师和实习生, 有意者请邮件联系。
- 2025年5月,1篇论文被ICML 2025接收,2篇论文被ACL 2025接收。
- 2025年1月,1篇论文被NAACL 2025接收。
- 2025年1月,2篇论文被ICLR 2025接收,分别是语音大模型LLaMA-Omni和视觉理解大模型LLaVA-Mini。
- 2025年1月,1篇关于大模型同声传译的论文被AAAI 2025接收。
- 2024年12月,我当选为国际计算语言学学会执委(ACL Secretary)。
- 2024年9月26日,我们1篇关于大模型解码加速的论文被NeurIPS 2024录用。
- 2024年9月,2023届博士毕业生邵晨泽入选2024年度“中国科学院百篇优秀博士学位论文”。
- 2024年6月5日,我们发布了实时语音翻译模型StreamSpeech,能够以一个模型同时完成语音识别、实时语音到文本翻译和实时语音到语音翻译,在离线和实时语音翻译上均取得了目前最好的性能。论文、代码、模型和演示系统均已公布,欢迎关注。
- 2024年5月,9篇论文被ACL 2024录用,其中5篇主会论文,4篇Findings论文。
- 团队发表介绍百聆通用大模型文章并开放内测,更多内容详见 https://nlp.ict.ac.cn/bayling 。
- 招聘博士后、教师和实习生, 有意者请邮件联系。
- 2025年5月,1篇论文被ICML 2025接收,2篇论文被ACL 2025接收。
- 2025年1月,1篇论文被NAACL 2025接收。
- 2025年1月,2篇论文被ICLR 2025接收,分别是语音大模型LLaMA-Omni和视觉理解大模型LLaVA-Mini。
- 2025年1月,1篇关于大模型同声传译的论文被AAAI 2025接收。
- 2024年12月,我当选为国际计算语言学学会执委(ACL Secretary)。
- 2024年9月26日,我们1篇关于大模型解码加速的论文被NeurIPS 2024录用。
- 2024年9月,2023届博士毕业生邵晨泽入选2024年度“中国科学院百篇优秀博士学位论文”。
- 2024年6月5日,我们发布了实时语音翻译模型StreamSpeech,能够以一个模型同时完成语音识别、实时语音到文本翻译和实时语音到语音翻译,在离线和实时语音翻译上均取得了目前最好的性能。论文、代码、模型和演示系统均已公布,欢迎关注。
- 2024年5月,9篇论文被ACL 2024录用,其中5篇主会论文,4篇Findings论文。
- 团队发表介绍百聆通用大模型文章并开放内测,更多内容详见 https://nlp.ict.ac.cn/bayling 。
发表论文
部分发表论文: [更多论文]
Qingkai Fang, Yan Zhou, Shoutao Guo, Shaolei Zhang, Yang Feng. LLaMA-Omni 2: LLM-based Real-time Spoken Chatbot with Autoregressive Streaming Speech Synthesis. To appear in Proceedings of ACL 2025.
Zhengrui Ma, Yang Feng, Min zhang. Overcoming Non-monotonicity in Transducer-based Streaming Generation. To appear in Proceedings of ICML 2025.
Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng. LLaMA-Omni: Seamless Speech Interaction with Large Language Models. In Proceedings of ICLR 2025.
Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng. LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token. In Proceedings of ICLR 2025.
Shoutao Guo, Shaolei Zhang, Zhengrui Ma, Yang Feng. Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation. In Proceedings of AAAI 2025.
Zhuofan Wen, Shangtong Gui, Yang Feng. Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration. To appear in Proceedings of NeurIPS 2024.
Shaolei Zhang, Tian Yu, Yang Feng. TruthX: Alleviating Hallucinations by Editing Large Language Models in Truthful Space. In Proceedings of ACL 2024.
Shaolei Zhang, Qingkai Fang, Zhuocheng Zhang, Zhengrui Ma, Yan Zhou, Langlin Huang, Mengyu Bu, Shangtong Gui, Yunji Chen, Xilin Chen, Yang Feng. BayLing: Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models. In arXiv:2306.10968.
Yang Feng, Chenze Shao. Non-Autoregressive Models for Fast Sequence Generation. In Proceedings of EMNLP 2022: Tutorial Abstracts.
Wen Zhang, Yang Feng, Fandong Meng, Di You, Qun Liu. Bridging the Gap between Training and Inference for Neural Machine Translation. In Proceedings of ACL 2019. (获得ACL 2019最佳论文奖)
系统开源
LLaVA-Mini:高效视觉理解大模型
2025年1月,我们开源了高效多模态大模型LLaVA-Mini,能够在统一架构下高效地处理并理解普通图像、高分辨率图像和长视频。根据可解释性实验得到的多模态大模型内部注意力特点,LLaVA-Mini对视觉信息进行了有效压缩,每张图像仅需1个视觉token进行表示。在保证视觉理解性能的基础上,LLaVA-Mini显著提升了图像和视频理解的效率,具体表现为:减少计算量(FLOPs降低77%)、缩短响应时延(每张图像处理仅需40毫秒)、显著降低显存占用(从每张图像360MB降至0.6MB,支持在24GB GPU上处理长达3小时的视频)。
LLaMA-Omni:实时语音交互大模型
2024年9月11日,我们发布了端到端语音交互大模型LLaMA-Omni,可以像GPT-4o 以极低延时与用户进行语音交互。LLaMA-Omni 基于最新的 Llama-3.1-8B-Instruct 开发,面向通用指令遵循任务,能够根据语音指令同步生成语音与文本回复,回复内容和风格均显著优于现有开源语音大模型。同时,LLaMA-Omni 的响应延时可低至 226ms,低于 GPT-4o 的平均延时 320ms。
StreamSpeech: 实时语音翻译模型
[Paper] [Code] [Models] [Demo]
2024年6月5日,我们发布了实时语音翻译模型,能够以一个模型同时完成语音识别、实时语音到文本翻译和实时语音到语音翻译,在离线和实时语音翻译上均取得了开源测试集上目前最好的性能。
BayLing(百聆通用大模型)
[Homepage] [Demo] [Paper] [Code] [Model-7b] [Model-13b]
借助交互式翻译任务可同时完成语言间对齐以及与人类意图对齐的特性,使得百聆大模型在对齐人类意图的同时,完成生成能力从英语到其他语言的传递。在单轮翻译任务上,百聆达到了GPT-4 95%的性能,在交互式翻译上,百聆达到了GPT-3.5-turbo 96%的性能。研究团队还构建了双语多轮通用测试集BayLing-80并开源,在BayLing-80测试集上百聆达到了GPT-3.5-turbo 89%的性能。
2023年6月21日,在Arxiv上发表了论文Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models,开源了百聆代码以及7B和13B的模型权重,同时开放线上内测。
教授课程
通用大模型原理及训练实践:2023、2024年夏季学期
自然语言处理:2022、2023年秋季学期
学术服务
国内:
中国中文信息学会青年工作委员会副主任;
中国中文信息学会计算语言学专委会执委;
程序委员会主席:第二十一届自然语言处理青年学者研讨会(YSSNLP2024)、第十九届全国机器翻译大会(CCMT 2023)、第二十一届中国计算语言学大会(CCL 2022)、第六届语言与智能高峰论坛(2021年);
大会主席:中国自然语言处理学生研讨会 CSSNLP 2020、2021、2022、2023.
国际:
- 国际计算语言学学会执委(ACL Secretary)
- 副编辑: IEEE Transactions on Asian and Low-Resource Language Information Processing(TALLIP);
- 编委:Artifical Intelligence; The Northern European Journal of Language Technology;
- 高级领域主席: IJCAI 2025;EACL 2024; AACL 2022; EMNLP2021;
- 领域主席: NAACL 2024; EACL2023; ACL2021; EMNLP2020; COLING 2018;
- 组织委员会成员: ACL 2024 Demonstration Co-chair; ACL 2023 Workshop Co-chair; EMNLP 2020 Virtual Infra-structure Co-chair;
- ACL 2024论文奖项评定委员会委员;
- ARR Permanent Senior Action Editor (从2022年6月开始);
- 博士学位答辩委员会委员:KU Leuven、Worcester Polytechnic Institute 。
- 国际计算语言学学会执委(ACL Secretary)
- 副编辑: IEEE Transactions on Asian and Low-Resource Language Information Processing(TALLIP);
- 编委:Artifical Intelligence; The Northern European Journal of Language Technology;
- 高级领域主席: IJCAI 2025;EACL 2024; AACL 2022; EMNLP2021;
- 领域主席: NAACL 2024; EACL2023; ACL2021; EMNLP2020; COLING 2018;
- 组织委员会成员: ACL 2024 Demonstration Co-chair; ACL 2023 Workshop Co-chair; EMNLP 2020 Virtual Infra-structure Co-chair;
- ACL 2024论文奖项评定委员会委员;
- ARR Permanent Senior Action Editor (从2022年6月开始);
- 博士学位答辩委员会委员:KU Leuven、Worcester Polytechnic Institute 。
指导学生
在读博士生:
张绍磊,2020年入学,获得2022年度中科院计算所“所长特别奖(夏培肃奖)”(共2人)
张倬诚,2020年入学(与张民教授联合指导)
房庆凯,2021年入学,获得2023年度中科院计算所“所长特别奖”(共7人)
马铮睿,2021年入学(与张民教授联合指导)
郭守涛,2022年入学
张珂豪,2022年入学
卜梦煜,2023年入学
周䶮,2023年入学
温卓凡,2024年入学
朱纪龙,2024年入学
在读硕士生:
鄢子文,2022年入学
杨哲,2022年入学
雨田,2023年入学
乔康裕,2024年入学
已毕业博士:
邵晨泽,2018年-2023年,获得2023年度北京市“优秀毕业生”、2024年度“中国科学院百篇优秀博士学位论文”、入围“CCF博士学位论文奖励计划”(共18人)
谷舒豪,2017年-2023年,获得2020年度“所长优秀奖”
欧蛟,2015年-2023年(2019年开始指导)
刘舒曼,2015年-2023年(与刘群教授联合指导,2022年开始指导)
张文,2013年-2019年,获得ACL 2019唯一“最佳论文奖”、2019年度中文信息学会“优秀博士学位论文”、2020年度“世界人工智能大会青年优秀论文奖”(与刘群教授联合指导,2017年开始指导)
已毕业硕士:
刘龙祥,2021年-2024年
黄浪林,2021年-2024年
武煊甫,2020年-2023年
李泽康,2019年-2022年,获得“优秀毕业生”称号
郭登级,2019年-2022年
李绩成,2018年-2021年(2019年开始指导)
单勇,2018年-2021年
王树根,2017年-2020年(与刘群教授联合指导)
薛海洋,2016年-2019年(与刘群教授联合指导,2017年开始指导)
李京谕,2016年-2019年(与刘群教授联合指导,2017年开始指导)
2025年5月16日更新。