
周宇
博士生导师,副研究员
中国科学院信息工程研究所 第三研究室
INTIME组负责人(INTIME=INterpret Text In/and MEdia)
研究方向为人工智能、计算机视觉、
深度学习与人工智能安全,专注于:
1)场景文字处理、提取与理解
2)多模态融合分析与认知理解
3)自监督、增量与对抗学习等
电子邮箱:zhouyu@iie.ac.cn
招生信息
-具备推免资格,满足国科大及信工所推免条件;
-具备自我激励能力,具备较好的逻辑、编程、数学、英语、语文等相关能力;
-专业为计算机、人工智能、网络空间安全、自动化、电子等优先;
-直博优先,大四可以实习/毕业设计者优先;
-简历:含项目、竞赛、论文等信息,注明专业及排名(排名/总人数)、英语六/四级分数、高考省份及省排名等信息。
个人履历
教育经历
2009.12,哈尔滨工业大学,学士、硕士、博士
工作经历
- 2012.03,上海交通大学,博士后
- 2012.04至今,中国科学院信息工程研究所,助理研究员、副研究员、硕士生导师、博士生导师
学术服务
学术报告
2022年04月24日,“低质量场景文字识别技术研究”,中国图象图形学会“OCR学术前沿及产业应用”高峰论坛(报告视频),在线观众峰值8000余人
2022年06月16日,“场景文字检测、识别与理解技术研究”,企业交流报告
2022年09月30日,“场景文字表示与提取技术研究”,图像智能分析与应用国际学术研讨会,西北民族大学
专委会
- 中国图象图形学会文档图像分析与识别专委会,委员
- 国家自然科学基金委,项目评审专家
- 国家广播电视总局,项目评审专家
会议
- Area Chair: ICME-23, ICME-22, ICME-21
- SPC Member: IJCAI-21
- PC Member: CVPR-23/22/21, ICCV-21, ECCV-22, AAAI-23/22/21, IJCAI-23/22, ACM MM-22/21, ICDAR-23/21, ICPR-20, ChinaMM-21, ...
- Session Chair: ICME-21, TrustCom-14
期刊
- Reviewer: IEEE TIP/TMM/TCSVT/TITS/MM, ACM TOMM, PR, CVIU, IJPRAI ...
- 审稿人:计算机学报、中国图象图形学报
课程
2021夏季学期,人工智能安全
学术论文
场景文字 自监督学习 增量目标检测 其他工作
2023
D Yang, Y Zhou*, X Hong, A Zhang, W Wang. "One-Shot Replay: Boosting Incremental Object Detection via Retrospecting One Object." AAAI, 2023. (CCF-A, Oral Presentation, Acceptance Rate 约11.0%)
G Zeng, Y Zhang, Y Zhou*, X Yang, N Jiang, G Zhao, W Wang, XC Yin. "Beyond OCR + VQA: Towards End-to-End Reading and Reasoning for Robust and Accurate TextVQA." PR, 2023. (SCI一区, CCF-B, PDF)
2022
- 周宇*,吕嘉昊,申化文,王威,魏谨,曾港艳,曾维超,王伟平. "从检测、识别到理解:场景文字相关领域研究进展." 中国自动化学会模式识别与机器智能专委会通讯特约专栏, 2022. (链接)
- B Fang, W Wu, C Liu, Y Zhou*, D He, W Wang. "MaMiCo: Macro-to-Micro Semantic Correspondence for Self-supervised Video Representation Learning." ACM MM, 2022. (CCF-A, Oral Presentation, Acceptance Rate 5.0%, PDF)
- W Wang, Y Zhou*, J Lv, D Wu, G Zhao, N Jiang, W Wang. "TPSNet: Reverse Thinking of Thin Plate Splines for Arbitrary Shape Scene Text Representation." ACM MM, 2022. (CCF-A, PDF)
- J Wei, Y Zhang, Y Zhou*, G Zeng, Z Qiao, Y Guo, H Wu, H Wang, W Wang. "TextBlock: Towards Scene Text Spotting without Fine-grained Detection." ACM MM, 2022. (CCF-A, PDF)
- X Chen, Y Zhou, D Wu, W Zhang, Y Zhou, B Li, W Wang. "Imagine by Reasoning: A Reasoning-Based Implicit Semantic Data Augmentation for Long-Tailed Classification." AAAI, 2022. (CCF-A, PDF)
- D Yang, Y Zhou*, A Zhang, X Sun, D Wu, W Wang, Q Ye. "Multi-View Correlation Distillation for Incremental Object Detection." PR, 2022. (SCI一区, CCF-B, PDF)
- Y Zhou, X Li, Y Zhou, Y Wang, Q Hu, W Wang. "Deep Collaborative Multi-Task Network: A Human Decision Process Inspired Model for Hierarchical Image Classification." PR, 2022. (SCI一区, CCF-B, PDF)
- D Yang, Y Zhou*, W Shi, D Wu, W Wang. "RD-IOD: Two-Level Residual-Distillation-based Triple Network for Incremental Object Detection." TOMM, 2022. (SCI一区, CCF-B, PDF)
- D Luo, Y Zhou*, B Fang, Y Zhou, D Wu, W Wang. "Exploring Relations in Untrimmed Videos for Self-Supervised Learning." TOMM, 2022. (SCI一区, CCF-B, PDF)
- C Liu, Y Yao, D Luo, Y Zhou, Q Ye. "Self-supervised Motion Perception for Spatio-temporal Representation Learning." TNNLS, 2022. (SCI一区, CCF-B, PDF)
- Y Guo, Y Zhou*, X Qin, E Xie, W Wang. "UNITS: Unsupervised Intermediate Training Stage for Scene Text Detection." ICME, 2022. (CCF-B, Oral Presentation, PDF)
- C Fang, G Zeng, Y Zhou*, D Wu, C Ma, D Hu, W Wang."Towards Escaping from Language Bias and OCR Error: Semantics-Centered Text Visual Question Answering." ICME, 2022. (CCF-B, PDF)
- W Li, D Luo, B Fang, X Li, Y Zhou*, W Wang. "Video Motion Perception for Self-supervised Representation Learning." ICANN, 2022. (CCF-C, PDF)
- Y Zhang, C Liu, Y Zhou*, W, Q Ye, X Ji. "Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning." arXiv preprint, 2022. (PDF)
2021
- Z Qiao, Y Zhou*, J Wei, W Wang, Y Zhang, N Jiang, H Wang, W Wang. "PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition." ACM MM, 2021. (CCF-A, Best Paper Candidate [5/1942=2.5‰], PDF)
- G Zeng, Y Zhang, Y Zhou*, X Yang. "Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA." ACM MM, 2021. (CCF-A, Oral Presentation, Acceptance Rate 9.2%, PDF)
- X Li, Y Zhou*, Y Zhang, A Zhang, W Wang, N Jiang, H Wu, W Wang. "Dense Semantic Contrast for Self-Supervised Visual Representation Learning." ACM MM, 2021. (CCF-A, Oral Presentation, Acceptance Rate 9.2%, PDF)
- X Qin, Y Zhou*, Y Guo, D Wu, Z Tian, N Jiang, H Wang, W Wang. "Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection." ACM MM, 2021. (CCF-A, PDF)
- W Zhang, D Wu, Y Zhou, B Li, W Wang, D Meng. "Binary Neural Network Hashing for Image Retrieval." SIGIR, 2021. (CCF-A, PDF)
- X Qin, Y Zhou*, Y Guo, D Wu, W Wang. "FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection." ICASSP, 2021. (CCF-B, PDF)
- G Zeng, Y Zhang, Y Zhou*, X Yang. "A Cost-Efficient Framework for Scene Text Detection in the Wild." PRICAI, 2021. (CCF-C, PDF)
- Y Guo, Y Zhou*, X Qin, W Wang. "Which and Where to Focus: A Simple yet Accurate Framework for Arbitrary-Shaped Nearby Text Detection in Scene Images." ICANN, 2021. (CCF-C, PDF)
- X Li, Y Zhou, Y Zhou, W Wang. "MMF: Multi-Task Multi-Structure Fusion for Hierarchical Image Classification." ICANN, 2021. (CCF-C, PDF)
- H Li, Y Guo, Y Zhou*, W Wang. "Density-Net: A Density-Aware Network for 3D Object Detection." ICTAI, 2021. (CCF-C, PDF)
- Y Zhang, Y Zhou*, W Wang. "Exploring Instance Relations for Unsupervised Feature Embedding." arXiv preprint, 2021. (PDF)
- Z Qiao, Y Zhou*, D Yang, Y Zhou, W Wang. "SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition." CVPR, 2020. (CCF-A, Acceptance Rate 22%, 136 Citations, PDF)
- Y Yao, C Liu, D Luo, Y Zhou, Q Ye. "Video Playback Rate Perception for Self-Supervised Spatio-Temporal Representation Learning." CVPR, 2020. (CCF-A, Acceptance Rate 22%, 134 Citations, PDF)
- D Luo, C Liu, Y Zhou*, D Yang, C Ma, Q Ye, W Wang. "Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning." AAAI, 2020. (CCF-A, Oral Presentation, Acceptance Rate 5.8%, 134 Citations, PDF)
- W Zhang, D Wu, Y Zhou, B Li, W Wang, D Meng. "Deep Unsupervised Hybrid-similarity Hadamard Hashing." ACM MM, 2020. (CCF-A, PDF)
- S Zhao, D Wu, W Zhang, Y Zhou, B Li, W Wang. "Asymmetric Deep Hashing for Efficient Hash Code Compression." ACM MM, 2020. (CCF-A, PDF)
- Y Chen, W Wang, Y Zhou*, F Yang, D Yang, W Wang. "Self-Training for Domain Adaptive Scene Text Detection." ICPR, 2020. (CCF-C, Oral Presentation, Acceptance Rate 4.4%, PDF)
- Z Qiao, X Qin, Y Zhou*, F Yang, W Wang. "Gaussian Constrained Attention Network for Scene Text Recognition." ICPR, 2020. (CCF-C, PDF)
- Y Zhang, C Liu, Y Zhou*, W Wang, W Wang, Q Ye. "Progressive Cluster Purification for Unsupervised Feature Learning." ICPR, 2020. (CCF-C, PDF)
- Y Zhou, Y Wang, J Cai, Y Zhou, Q Hu, W Wang. "Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification." arXiv preprint, 2020. (PDF)
竞赛奖项
- ACM MM 2021, Best Paper Candidate, 5篇/1942篇, 2021
- CSIG 2022票据识别与分析挑战赛,冠军,2022
- 首届粤港澳大湾区(黄埔)国际算法算例大赛-街景图像店面招牌文字识别,三等奖,2022
- CVPR DocVQA 2020,任务1第3名,2020
- 中国人工智能·多媒体信息识别技术竞赛,手写/印刷文本OCR两项高校组冠军,2019
- ICDAR ReCTS 2019,“字符识别”、“端到端识别”高校组第3名,2019
- CVPR SkelNetOn 2019,1项第2名,2019
- ACCV IWRR 2014 最佳论文奖,2014
专利软著
发明专利
- 无需细粒度检测的场景文本提取方法、系统,2022,受理号:202211233226.7
- 基于宏观到微观语义关联对比的视频自监督表征学习方法, 2022, 受理号:202211237958.3
- 面向场景文本检测的文本检测器训练方法及文本检测方法, 2022, 受理号:202210492865.9
- 一种成本高效的场景文字检测方法及系统, 2021, 受理号: 202111295077.2
- 单阶段3D点云目标检测方法及装置、计算机设备、介质, 2021, 受理号:202111271651.0
- 基于并行迭代模仿解码的场景文字识别系统及方法, 2021, 受理号:202111026162.9
- 文本视觉问答方法和装置, 2021, 受理号:202111186856.9
- 基于多层感知机掩膜解码器的文字检测系统及方法, 2021, 受理号:202111034219.X
- 一种面向场景图像中任意形状邻近文本的检测系统及方法, 2021, 受理号:202111004566.8
- 一种基于密集语义对比的自监督视觉模型预训练方法, 2021, 受理号:202110988818.9
- 基于全卷积角点修正网络的多向场景文字检测方法及装置, 2021, 专利号:ZL 2021 1 0235490.3
- 一种多结构多任务深度神经网络及其训练、分类方法, 2020, 受理号:202011040925.0
- 基于语义强化编码器解码器框架的场景文字识别方法,2020,受理号:202010416704.2
- 一种基于自训练的文本检测器训练方法及系统,2020,专利号:ZL 2020 1 0428815.5
- 基于高斯约束注意力机制网络的场景文字识别方法及系统,2020,受理号:202010767079.6
- 基于完形填空任务的视频自监督学习方法,2019,受理号:201911348018.X
- 一种基于半监督与弱监督学习的曲形场景文字检测方法,2019,受理号:201910720688.3
- 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器,2019,专利号:ZL 2019 1 0614874.9
- 基于特征压缩与特征选择的歪斜场景文字识别方法, 2015, 专利号:ZL 2015 1 0014950.4
- 一种基于三分类器协同训练学习的网络协议识别方法及系统, 2014, 专利号: ZL 2014 1 0575510.1
- 基于直方图和超像素的场景图像文字检测方法及系统, 2014, 专利号: ZL 2014 1 0168244.0
- 一种基于语义敏感的网络协议识别方法及系统, 2014, 专利号:ZL 2014 1 0652834.0
- 一种自动检测疑似仿冒网站的方法及系统, 2013, 受理号: 201310395429.0
- 一种未知网络协议识别方法及系统, 2013, 专利号: ZL 2013 1 0189079.2
- 一种用户隐私信息保护方法及系统, 2013, 专利号: ZL 2013 1 0722437.1
软件著作权
基于数据手套的中国手语识别软件系统,2009,软著登记号:2009SR02392
科研项目
- 视听节目理解与关联技术,主持,国家重点研发计划课题,2022.12-2025.11
- 印章识别及通用文字识别,主持,企业横向项目,2022.07-2024.06
- 场景文字检测识别引擎,主持,国家广电总局项目,2022.01-2023.12
- 噪声及低分辨率条件下的图像文本识别技术研究,主持,企业横向项目,2021.04-2022.10
- 面向媒体融合与传播的富媒体信息智能提取技术,主持,国家重点实验室开放课题,2020.08-2021.07
- 多媒体数据分析系统,主持,国家级,2018.09-2019.08
- 实时数据检测分析系统, 主持, 国家重点研发计划子课题, 2017.10-2020.09
- 基于云化平台的仿冒网站检测微引擎技术研究, 主持, 国家级, 2014.06-2017.06
- 基于多示例学习和半监督学习的手势语识别研究, 主持, 国家级, 2014.01-2016.12
- 多媒体内容取证方法研究, 参与, 国家级, 2013.01-2016.12
- 海量信息分析系统, 参与, 国家级, 2014.06-2016.06
- 文字图像中特定光学字符的快速检测方法研究, 主持, 市地级, 2013.06-2014.06
- 面向复杂动态背景和可变环境的多模态手势语识别研究, 主持, 国家级, 2011.06-2012.06
学生指导
- 杨东宝,助理研究员,2020级在职博士生,在读,发表期刊会议论文10余篇(含一作AAAI Oral、PR、TOMM等);
- 秦绪功,2017级博士生,一作ACM MM-21、ICASSP-21、ICDAR-19,优秀毕业生,入职南京理工大学(教职);
- 陈语地,2017级硕士生,一作ICPR-20、PRICAI-19,3项国内外竞赛前三名,入职抖音;
- 乔一峙,2018级硕士生,一作ACM MM-21 Best Paper Candidate、CVPR-20、ICPR-20,院长奖提名、国奖、优秀毕业生,入职好未来(SSP Offer);
- 罗德昭,2018级硕士生,一作AAAI-20 Oral、TOMM-22,国奖、所长特别奖、优秀毕业生,QMUL龚少刚教授博士生;
- 曾港艳,2018级硕博生,一作ACM MM-21 Oral、PR-23、PRICAI-21,在读;
- 李晓倪,2019级硕士生,一作ACM MM-21 Oral、PR-22、ICANN-21,三好学生标兵,入职北京银行;
- 过友辉,2019级硕士生,一作ICME-22、ICANN-21,入职科大讯飞(飞星计划);
- 王一威,2020级硕士生,一作ACM MM-22,CSIG 2022票据识别与分析挑战赛冠军,国奖,第二届中国图象图形学报研究生学术论坛优秀报告,在读;
- 方一波,2020级硕士生,一作ACM MM-22 Oral,国奖,在读;
- 魏一谨,2020级硕士生,一作ACM MM-22,在读;