基本信息

周宇

博士生导师,副研究员

中国科学院信息工程研究所 第三研究室

INTIME组负责人(INTIME=INterpret Text In/and MEdia)


研究方向为人工智能、计算机视觉、

深度学习与人工智能安全,专注于:

1)场景文字处理、提取与理解

2)多模态融合分析与认知理解

3)自监督、增量与对抗学习等


电子邮箱:zhouyu@iie.ac.cn

DBLP & Google Scholar

招生信息

-具备推免资格,满足国科大及信工所推免条件;

-具备自我激励能力,具备较好的逻辑、编程、数学、英语、语文相关能力;

-专业为计算机、人工智能、网络空间安全、自动化、电子等优先;

-直博优先,大四可以实习/毕业设计者优先;

-简历:含项目、竞赛、论文等信息,注明专业及排名(排名/总人数)、英语六/四级分数高考省份及省排名等信息。

个人履历

教育经历

  • 2009.12,哈尔滨工业大学,学士、硕士、博士

工作经历

  • 2012.03,上海交通大学,博士后
  • 2012.04至今,中国科学院信息工程研究所,助理研究员、副研究员、硕士生导师、博士生导师

学术服务

学术报告

  • 2022年04月24日,低质量场景文字识别技术研究”,中国图象图形学会“OCR学术前沿及产业应用”高峰论坛(报告视频),在线观众峰值8000余人

  • 2022年06月16日,“场景文字检测、识别与理解技术研究”,企业交流报告

  • 2022年09月30日,“场景文字表示与提取技术研究”,图像智能分析与应用国际学术研讨会,西北民族大学

专委会

  • 中国图象图形学会文档图像分析与识别专委会,委员
评审咨询
  • 国家自然科学基金委,项目评审专家
  • 国家广播电视总局,项目评审专家

会议

  • Area Chair: ICME-23, ICME-22, ICME-21
  • SPC Member: IJCAI-21
  • PC Member: CVPR-23/22/21, ICCV-21, ECCV-22, AAAI-23/22/21, IJCAI-23/22, ACM MM-22/21, ICDAR-23/21,  ICPR-20, ChinaMM-21, ...
  • Session Chair: ICME-21, TrustCom-14

期刊

  • Reviewer: IEEE TIP/TMM/TCSVT/TITS/MM, ACM TOMM, PR, CVIU, IJPRAI ...
  • 审稿人:计算机学报、中国图象图形学报

课程

  • 2021夏季学期,人工智能安全

学术论文

场景文字     自监督学习     增量目标检测     其他工作     

2023

  1. D Yang, Y Zhou*, X Hong, A Zhang, W Wang. "One-Shot Replay: Boosting Incremental Object Detection via Retrospecting One Object." AAAI, 2023. (CCF-A, Oral Presentation, Acceptance Rate 约11.0%)

  2. G Zeng, Y Zhang, Y Zhou*, X Yang, N Jiang, G Zhao, W Wang, XC Yin. "Beyond OCR + VQA: Towards End-to-End Reading and Reasoning for Robust and Accurate TextVQA." PR, 2023. (SCI一区, CCF-BPDF)

2022

  1. 周宇*,吕嘉昊,申化文,王威,魏谨,曾港艳,曾维超,王伟平. "从检测、识别到理解:场景文字相关领域研究进展." 中国自动化学会模式识别与机器智能专委会通讯特约专栏, 2022. (链接)
  2. B Fang, W Wu, C Liu, Y Zhou*, D He, W Wang. "MaMiCo: Macro-to-Micro Semantic Correspondence for Self-supervised Video Representation Learning." ACM MM, 2022. (CCF-A, Oral PresentationAcceptance Rate 5.0%, PDF)
  3. W Wang, Y Zhou*, J Lv, D Wu, G Zhao, N Jiang, W Wang. "TPSNet: Reverse Thinking of Thin Plate Splines for Arbitrary Shape Scene Text Representation." ACM MM, 2022. (CCF-A, PDF)
  4. J Wei, Y Zhang, Y Zhou*, G Zeng, Z Qiao, Y Guo, H Wu, H Wang, W Wang. "TextBlock: Towards Scene Text Spotting without Fine-grained Detection." ACM MM, 2022. (CCF-A, PDF)
  5. X Chen, Y Zhou, D Wu, W Zhang, Y Zhou, B Li, W Wang. "Imagine by Reasoning: A Reasoning-Based Implicit Semantic Data Augmentation for Long-Tailed Classification." AAAI, 2022. (CCF-A, PDF)
  6. D Yang, Y Zhou*, A Zhang, X Sun, D Wu, W Wang, Q Ye. "Multi-View Correlation Distillation for Incremental Object Detection." PR, 2022. (SCI一区, CCF-BPDF)
  7. Y Zhou, X Li, Y Zhou, Y Wang, Q Hu, W Wang. "Deep Collaborative Multi-Task Network: A Human Decision Process Inspired Model for Hierarchical Image Classification." PR, 2022. (SCI一区, CCF-BPDF)
  8. D Yang, Y Zhou*, W Shi, D Wu, W Wang. "RD-IOD: Two-Level Residual-Distillation-based Triple Network for Incremental Object Detection." TOMM, 2022. (SCI一区, CCF-B, PDF)
  9. D Luo, Y Zhou*, B Fang, Y Zhou, D Wu, W Wang. "Exploring Relations in Untrimmed Videos for Self-Supervised Learning." TOMM, 2022. (SCI一区, CCF-B, PDF)
  10. C Liu, Y Yao, D Luo, Y Zhou, Q Ye. "Self-supervised Motion Perception for Spatio-temporal Representation Learning." TNNLS, 2022. (SCI一区, CCF-B, PDF)
  11. Y Guo, Y Zhou*, X Qin, E Xie, W Wang. "UNITS: Unsupervised Intermediate Training Stage for Scene Text Detection." ICME, 2022. (CCF-B, Oral Presentation, PDF)
  12. C Fang, G Zeng, Y Zhou*, D Wu, C Ma, D Hu, W Wang."Towards Escaping from Language Bias and OCR Error: Semantics-Centered Text Visual Question Answering." ICME, 2022. (CCF-B, PDF)
  13. W Li, D Luo, B Fang, X Li, Y Zhou*, W Wang. "Video Motion Perception for Self-supervised Representation Learning." ICANN, 2022. (CCF-C, PDF)
  14. Y Zhang, C Liu, Y Zhou*, W, Q Ye, X Ji. "Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning." arXiv preprint, 2022. (PDF)

2021

  1. Z Qiao, Y Zhou*, J Wei, W Wang, Y Zhang, N Jiang, H Wang, W Wang. "PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition." ACM MM, 2021. (CCF-A, Best Paper Candidate [5/1942=2.5‰], PDF)
  2. G Zeng, Y Zhang, Y Zhou*, X Yang. "Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA." ACM MM, 2021. (CCF-A, Oral Presentation, Acceptance Rate 9.2%, PDF)
  3. X Li, Y Zhou*, Y Zhang, A Zhang, W Wang, N Jiang, H Wu, W Wang. "Dense Semantic Contrast for Self-Supervised Visual Representation Learning." ACM MM, 2021. (CCF-A, Oral Presentation, Acceptance Rate 9.2%, PDF)
  4. X Qin, Y Zhou*, Y Guo, D Wu, Z Tian, N Jiang, H Wang, W Wang. "Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection." ACM MM, 2021. (CCF-A, PDF)
  5. W Zhang, D Wu, Y Zhou, B Li, W Wang, D Meng. "Binary Neural Network Hashing for Image Retrieval." SIGIR, 2021. (CCF-APDF)
  6. X Qin, Y Zhou*, Y Guo, D Wu, W Wang. "FC2RN: A Fully Convolutional Corner Refinement Network for Accurate Multi-Oriented Scene Text Detection." ICASSP, 2021. (CCF-BPDF)
  7. G Zeng, Y Zhang, Y Zhou*, X Yang. "A Cost-Efficient Framework for Scene Text Detection in the Wild." PRICAI, 2021. (CCF-C, PDF)
  8. Y Guo, Y Zhou*, X Qin, W Wang. "Which and Where to Focus: A Simple yet Accurate Framework for Arbitrary-Shaped Nearby Text Detection in Scene Images." ICANN, 2021. (CCF-C, PDF)
  9. X Li, Y Zhou, Y Zhou, W Wang. "MMF: Multi-Task Multi-Structure Fusion for Hierarchical Image Classification." ICANN, 2021. (CCF-C, PDF)
  10. H Li, Y Guo, Y Zhou*, W Wang. "Density-Net: A Density-Aware Network for 3D Object Detection." ICTAI, 2021. (CCF-C, PDF)
  11. Y Zhang, Y Zhou*, W Wang. "Exploring Instance Relations for Unsupervised Feature Embedding." arXiv preprint, 2021. (PDF)
2020
  1. Z Qiao, Y Zhou*, D Yang, Y Zhou, W Wang. "SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition." CVPR, 2020. (CCF-A, Acceptance Rate 22%, 136 CitationsPDF)
  2. Y Yao, C Liu, D Luo, Y Zhou, Q Ye. "Video Playback Rate Perception for Self-Supervised Spatio-Temporal Representation Learning." CVPR, 2020. (CCF-A, Acceptance Rate 22%, 134 CitationsPDF)
  3. D Luo, C Liu, Y Zhou*, D Yang, C Ma, Q Ye, W Wang. "Video Cloze Procedure for Self-Supervised  Spatio-Temporal Learning." AAAI, 2020. (CCF-A, Oral Presentation, Acceptance Rate 5.8%, 134 CitationsPDF)
  4. W Zhang, D Wu, Y Zhou, B Li, W Wang, D Meng. "Deep Unsupervised Hybrid-similarity Hadamard Hashing." ACM MM, 2020. (CCF-APDF)
  5. S Zhao, D Wu, W Zhang, Y Zhou, B Li, W Wang. "Asymmetric Deep Hashing for Efficient Hash Code Compression." ACM MM, 2020. (CCF-A, PDF)
  6. Y Chen, W Wang, Y Zhou*, F Yang, D Yang, W Wang. "Self-Training for Domain Adaptive Scene Text Detection." ICPR, 2020. (CCF-C, Oral Presentation, Acceptance Rate 4.4%, PDF)
  7. Z Qiao, X Qin, Y Zhou*, F Yang, W Wang. "Gaussian Constrained Attention Network for Scene Text Recognition." ICPR, 2020. (CCF-C, PDF)
  8. Y Zhang, C Liu, Y Zhou*, W Wang, W Wang, Q Ye. "Progressive Cluster Purification for Unsupervised Feature Learning." ICPR, 2020. (CCF-C, PDF)
  9. Y Zhou, Y Wang, J Cai, Y Zhou, Q Hu, W Wang. "Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification." arXiv preprint, 2020. (PDF)
2019&Pre,参见DBLP & Google Scholar

      竞赛奖项

      1. ACM MM 2021, Best Paper Candidate, 5篇/1942篇, 2021
      2. CSIG 2022票据识别与分析挑战赛,冠军,2022
      3. 首届粤港澳大湾区(黄埔)国际算法算例大赛-街景图像店面招牌文字识别,三等奖,2022
      4. CVPR DocVQA 2020,任务1第3名,2020
      5. 中国人工智能·多媒体信息识别技术竞赛,手写/印刷文本OCR两项高校组冠军,2019
      6. ICDAR ReCTS 2019,“字符识别”、“端到端识别”高校组第3名,2019
      7. CVPR SkelNetOn 2019,1项第2名,2019
      8. ACCV IWRR 2014 最佳论文奖,2014 

      专利软著

      发明专利

      1. 无需细粒度检测的场景文本提取方法、系统,2022,受理号:202211233226.7
      2. 基于宏观到微观语义关联对比的视频自监督表征学习方法, 2022, 受理号:202211237958.3
      3. 面向场景文本检测的文本检测器训练方法及文本检测方法, 2022, 受理号:202210492865.9
      4. 一种成本高效的场景文字检测方法及系统, 2021, 受理号: 202111295077.2
      5. 单阶段3D点云目标检测方法及装置、计算机设备、介质, 2021, 受理号:202111271651.0
      6. 基于并行迭代模仿解码的场景文字识别系统及方法, 2021, 受理号:202111026162.9
      7. 文本视觉问答方法和装置, 2021, 受理号:202111186856.9
      8. 基于多层感知机掩膜解码器的文字检测系统及方法, 2021, 受理号:202111034219.X
      9. 一种面向场景图像中任意形状邻近文本的检测系统及方法, 2021, 受理号:202111004566.8
      10. 一种基于密集语义对比的自监督视觉模型预训练方法, 2021, 受理号:202110988818.9
      11. 基于全卷积角点修正网络的多向场景文字检测方法及装置, 2021, 专利号:ZL 2021 1 0235490.3
      12. 一种多结构多任务深度神经网络及其训练、分类方法, 2020, 受理号:202011040925.0
      13. 基于语义强化编码器解码器框架的场景文字识别方法,2020,受理号:202010416704.2
      14. 一种基于自训练的文本检测器训练方法及系统,2020,专利号:ZL 2020 1 0428815.5
      15. 基于高斯约束注意力机制网络的场景文字识别方法及系统,2020,受理号:202010767079.6
      16. 基于完形填空任务的视频自监督学习方法,2019,受理号:201911348018.X
      17. 一种基于半监督与弱监督学习的曲形场景文字检测方法,2019,受理号:201910720688.3
      18. 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器,2019,专利号:ZL 2019 1 0614874.9
      19. 基于特征压缩与特征选择的歪斜场景文字识别方法, 2015, 专利号:ZL 2015 1 0014950.4
      20. 一种基于三分类器协同训练学习的网络协议识别方法及系统, 2014, 专利号: ZL 2014 1 0575510.1
      21. 基于直方图和超像素的场景图像文字检测方法及系统, 2014, 专利号: ZL 2014 1 0168244.0
      22. 一种基于语义敏感的网络协议识别方法及系统, 2014, 专利号:ZL 2014 1 0652834.0
      23. 一种自动检测疑似仿冒网站的方法及系统, 2013, 受理号: 201310395429.0
      24. 一种未知网络协议识别方法及系统, 2013, 专利号: ZL 2013 1 0189079.2
      25. 一种用户隐私信息保护方法及系统, 2013, 专利号: ZL 2013 1 0722437.1

      软件著作权

      1. 基于数据手套的中国手语识别软件系统,2009,软著登记号:2009SR02392

      科研项目

      • 视听节目理解与关联技术,主持,国家重点研发计划课题,2022.12-2025.11
      • 印章识别及通用文字识别,主持,企业横向项目,2022.07-2024.06
      • 场景文字检测识别引擎,主持,国家广电总局项目,2022.01-2023.12
      • 噪声及低分辨率条件下的图像文本识别技术研究,主持,企业横向项目,2021.04-2022.10
      • 面向媒体融合与传播的富媒体信息智能提取技术,主持,国家重点实验室开放课题,2020.08-2021.07
      • 多媒体数据分析系统,主持,国家级,2018.09-2019.08
      • 实时数据检测分析系统, 主持, 国家重点研发计划子课题, 2017.10-2020.09
      • 基于云化平台的仿冒网站检测微引擎技术研究, 主持, 国家级, 2014.06-2017.06
      • 基于多示例学习和半监督学习的手势语识别研究, 主持, 国家级, 2014.01-2016.12
      • 多媒体内容取证方法研究, 参与, 国家级, 2013.01-2016.12
      • 海量信息分析系统, 参与, 国家级, 2014.06-2016.06
      • 文字图像中特定光学字符的快速检测方法研究, 主持, 市地级, 2013.06-2014.06
      • 面向复杂动态背景和可变环境的多模态手势语识别研究, 主持, 国家级, 2011.06-2012.06

      学生指导

      *含与王伟平研究员、中国传媒大学张远教授联合指导学生

      1. 杨东宝,助理研究员,2020级在职博士生,在读,发表期刊会议论文10余篇(含一作AAAI Oral、PR、TOMM等);
      2. 秦绪功,2017级博士生,一作ACM MM-21、ICASSP-21、ICDAR-19,优秀毕业生,入职南京理工大学(教职);
      3. 陈语地,2017级硕士生,一作ICPR-20、PRICAI-19,3项国内外竞赛前三名,入职抖音;
      4. ,2018级硕士生,一作ACM MM-21 Best Paper Candidate、CVPR-20、ICPR-20,院长奖提名、国奖、优秀毕业生,入职好未来(SSP Offer);
      5. 罗德昭,2018级硕士生,一作AAAI-20 Oral、TOMM-22,国奖、所长特别奖、优秀毕业生,QMUL龚少刚教授博士生;
      6. 曾港艳,2018级硕博生,一作ACM MM-21 Oral、PR-23、PRICAI-21,在读;
      7. 李晓倪,2019级硕士生,一作ACM MM-21 Oral、PR-22、ICANN-21,三好学生标兵,入职北京银行;
      8. 过友辉,2019级硕士生,一作ICME-22、ICANN-21,入职科大讯飞(飞星计划
      9. ,2020级硕士生,一作ACM MM-22,CSIG 2022票据识别与分析挑战赛冠军,国奖,第二届中国图象图形学报研究生学术论坛优秀报告,在读;
      10. 2020级硕士生,一作ACM MM-22 Oral,国奖,在读;
      11. 2020级硕士生,一作ACM MM-22,在读;