基本信息
李健  男  硕导  中国科学院信息工程研究所
电子邮件: lijian9026@iie.ac.cn
通信地址: 北京市海淀区树村路19号
邮政编码: 100085

研究领域

本人致力于为大语言模型和其他机器学习方法提供理论保证和设计高效算法,以缩小理论与算法之间的差距。我的研究兴趣包括但不限于:

  1. 大模型和深度学习理论:研究大语言模型的独特能力(如涌现、顿悟等),以及深度学习中良性过拟合、随着模型参数容量上升测试误差双下降现象的理论研究。

  2. 高效大模型算法:高效Transformer、大语言模型压缩方法和参数高效微调(PEFT)。

  3. 大规模机器学习方法:为大规模机器学习方法提供统计保证及改进算法,包括联邦学习、分布式学习、随机特征、Nyström方法、草图方法等。


招生信息

希望报考学生有良好的数理基础、编程能力,勤奋、踏实、有强自驱力。

个人主页:lijian.ac.cn


招生专业
083900-网络空间安全
081203-计算机应用技术
招生方向
数据挖掘
多媒体信息智能化处理

教育背景

2015-09--2020-07   中国科学院大学   博士
2011-09--2015-07   东北大学   学士

工作经历

2023.10 - 至今,中国科学院信息工程研究所,副研究员一级、优才A

2020.09 - 2023.11,中国科学院信息工程研究所,助理研究员、博士后、优才B-青年预聘研究员

社会兼职
2018-03-01-今,审稿人, TPAMI、JMLR、ICML、NeurIPS、ICLR、AAAI、IJCAI 审稿人

发表论文

[25] High-dimensional analysis for Generalized Nonlinear Regression: From Asymptotics to Algorithm, AAAI Conference on Artificial Intelligence (AAAI), 2024, CCF-A 会议第 1 作者

​[24] FedNS: A Fast Sketching Newton-type Algorithm for Federated Learning, AAAI Conference on Artificial Intelligence (AAAI), 2024, CCF-A 会议第 1 作者

[23] Improving Differentiable Architecture Search via self-distillation, Neural Networks, 2023, CCF-B 期刊,通讯作者

[22] Optimal Convergence for Agnostic Kernel Learning With Random Features, IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 2023, CCF-B 期刊,第 1 作者

[21] Optimal Rates for Agnostic Distributed Learning, IEEE Transactions on Information Theory (TIT), 2023, CCF-A 期刊,第 1 作者

[20]  Optimal Convergence Rates for Distributed Nyström Approximation, Journal of Machine Learning Research (JMLR), 2023, CCF-A 期刊,第 1 作者

[19] Optimal Convergence Rates for Agnostic Nyström Kernel Learning, International Conference on Machine Learning (ICML), 2023, CCF-A 会议,第 1 作者

[18] Towards Sharp Analysis for Distributed Learning with Random Features, International Joint Conference on Artificial Intelligence (IJCAI), 2023, CCF-A 会议,第 1 作者

[17] Optimal Convergence for Agnostic Kernel Learning With Random Features, IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 2023, CCF-B 期刊,第 1 作者

[16] Improving Differentiable Architecture Search via self-distillation, Neural Networks, 2023, CCF-B 期刊,通讯作者

[15] Towards Sharper Risk Bounds for Agnostic Multi-Objectives Learning, International Joint Conference on Neural Networks (IJCNN), 2023, CCF-C 会议,通讯作者

[14] Data Heterogeneity Differential Privacy: From Theory to Algorithm, International Conference on Computational Science (ICCS), 2023, IIE-B 会议,通讯作者

[13] Semi-supervised vector-valued learning: Improved bounds and algorithms, Pattern Recognition, 2023, CCF-B 期刊,第 1 作者

[12] Convolutional spectral kernel learning with generalization guarantees, Artifical Intelligence, 2022, CCF-A 期刊,第 1 作者

[11] Sharper Utility Bounds for Differentially Private Models: Smooth and Non-smooth, CIKM, 2022, CCF-B 会议,第 3 作者

[10] Non-IID Distributed Learning with Optimal Mixture Weights, European Conference on Machine Learning (ECML), 2022, CCF-B 会议,第 1 作者

[9] Ridgeless Regression with Random Features, International Joint Conference on Artificial Intelligence (IJCAI), 2022, CCF-A 会议,第 1 作者

[8] Non-IID Federated Learning With Sharper Risk Bound, IEEE Transactions on Neural Networks and Learning Systems (TNNLS), 2022, CCF-B 期刊,通讯作者

[7] Operation-level Progressive Differentiable Architecture Search, 2021 IEEE International Conference on Data Mining (ICDM), 2021, CCF-B 期刊,通讯作者

[6] Federated Learning for Non-IID Data: From Theory to Algorithm, Pacific Rim International Conference on Artificial Intelligence (PRICAI), 2021, CCF-C 会议,最佳学生论文奖,通讯作者

[5] Automated Spectral Kernel Learning, AAAI Conference on Artificial Intelligence (AAAI), 2020, CCF-A 会议,第 1 作者

[4] Approximate Manifold Regularization: Scalable Algorithm and Generalization Analysis, International Joint Conference on Artificial Intelligence (IJCAI), 2019,  CCF-A 会议,第 1 作者

[3] Multi-Class Learning using Unlabeled Samples: Theory and Algorithm, International Joint Conference on Artificial Intelligence (IJCAI), 2019,  CCF-A 会议,第 1 作者

[2] Multi-Class Learning: From Theory to Algorithm, Advances in Neural Information Processing Systems (NeurIPS), 2018,  CCF-A 会议,第 1 作者

[1] Efficient Kernel Selection via Spectral Analysis, International Joint Conference on Artificial Intelligence (IJCAI), 2017,  CCF-A 会议,第 1 作者

申请专利

[1] 一种融合表示学习和分治策略的大规模本体合并方法, 发明专利, 2019, 第 3 作者, 专利号: CN110059194A

主持项目

[1] 面向结构化预测的深度可微高斯过程方法研究, 主持, 中国博士后科学基金站中特别资助项目, 国家级, 2023.07-2024.06

[2] 跨平台数据聚合与协同技术, 主持, 国家重点研发计划子课题, 国家级, 2022.12-2025.11

[3] 面向大规模结构化预测的自动谱核学习研究, 主持, 国家自然科学基金青年基金项目, 国家级, 2022.01-2024.12

[4] 大规模自动化机器学习研究, 主持, 中国科学院特别研究助理资助项目, 院级, 2020.09-2022.09

[5] 中国科学院信息工程研究所优才A计划(预聘正高), 主持,中科院信工所人才项目,所级, 2023.11-2026.09

[6] 中国科学院信息工程研究所优才B计划(青年预聘正高), 主持,中科院信工所人才项目,所级, 2020.09-2023.11

荣誉奖励

[14] 2024年,微软亚洲研究院“铸星计划”。

[13] 2023年,港澳台大学生暑期实习活动优秀导师。

[12] 2023年,中科院信工所优才计划 A 类-预聘正高。

[11] 2021年,PRICAI 2021 最佳学生论文奖。

[10] 2020年,中国科学院特别研究助理。

[9] 2020年,中科院信工所优才计划 B 类-青年预聘正高。

[8] 2020年,百度研究院AIDU人才计划(未入职)。

[7] 2020年2月至2021年2月,斯坦福大学联合培养博士(因新冠疫情中止)。

[6] 2020年,北京市优秀毕业生。

[5] 2020年,中国科学院大学优秀毕业生。

[4] 2019年,博士研究生国家奖学金。

[3] 2019年,朱李月华优秀博士生奖。

[2] 2019年,中科院院长优秀奖。

[1] 2018年,博士研究生国家奖学金。