研究领域：计算可视媒体（Computational Visual Media）

随着互联网和人工智能技术的发展，个人图片和视频的智能处理成为普通大众的刚需，海量图像/视频智能处理成为互联网行业的重要需求。因此，我们以深度学习为核心框架，进行基于互联网数据集的可视媒体（图像与视频为主）内容分析、内容识别、内容生成、内容呈现和内容评价等方法和应用的研究。目前的主要研究方向包括：智能美颜/美图、时尚图像分析与合成、艺术图像分析与合成、人脸识别与通用图像识别等。

我们为学生提供：与国际顶尖学者长期合作发表论文的机会、六个月以上顶级互联网公司（腾讯、滴滴、亮亮视野等）实习机会、六个月以上国际交换生留学机会。

目前主要研究课题：

   

081203-计算机应用技术
081104-模式识别与智能系统

网络内容分析与安全
图像与视频处理
计算机图形学与虚拟现实

2004-04--2007-06   法国国立信息与自动化研究院（INRIA）/法国亨利▪庞加莱南锡第一大学   博士
2001-09--2004-01   清华大学计算机科学与技术系   工学硕士
1997-09--2001-07   清华大学计算机科学与技术系   工学学士

2016-10至今，中国科学院自动化研究所模式识别国家重点实验室，研究员

2010-10~2016-10，中国科学院自动化研究所模式识别国家重点实验室，副研究员

2009-11~2010-10，中国科学院自动化研究所模式识别国家重点实验室，助理研究员

2007-10~2009-10，中国科学院自动化研究所中欧信息、自动化与应用数学联合实验室，博士后

   

（ 1 ） 一种基于多层嵌套笼体的实时交互式图像变形方法, 发明, 2013, 第 3 作者, 专利号: CN 102496140 B
（ 2 ） 三维水墨动画的制作方法, 发明, 2014, 第 3 作者, 专利号: CN 102496177 B
（ 3 ） 一种对点云数据进行全局参数化和四边形网格化方法, 发明, 2010, 第 4 作者, 专利号: PCT/ CN2009/001591
（ 4 ） 基于颜色空间分布的颜色传递方法, 发明, 2013, 第 1 作者, 专利号: CN 102521807 B
（ 5 ） 一种边相关的联合彩色去马赛克和放大方法, 发明, 2015, 第 3 作者, 专利号: CN 103347190 B
（ 6 ） 基于深度检索的树木建模方法, 发明, 2012, 第 4 作者, 专利号: CN 101847267 B
（ 7 ） 基于自适应阈值调整拒识子空间学习的人脸检测方法, 发明, 2015, 第 2 作者, 专利号: 201510811406.2
（ 8 ） 一种装配体的自动拆卸方法, 发明, 2016, 第 5 作者, 专利号: ZL201310225943.X
（ 9 ） 一种人脸关键点位定位结果的评估方法，及评估装置, 发明, 2017, 第 5 作者, 专利号: CN104966046B

* Fan Tang, Weiming Dong, Yiping Meng, Chongyang Ma, Fuzhang Wu, Xinrui Li, Feiyue Huang, Tong-Yee Lee: Image Retargetability. IEEE Transactions on Multimedia: (2019)

* Huaiyu Li, Weiming Dong, Xing Mei, Chongyang Ma, Feiyue Huang, Bao-Gang Hu: LGM-Net: Learning to Generate Matching Networks for Few Shot Learning. International Conference on Machine Learning (ICML) 2019: 3825-3834

* Yong Zhang, Baoyuan Wu, Weiming Dong, Zhifeng Li, Wei Liu, Bao-Gang Hu, Qiang Ji: Joint Representation and Estimator Learning for Facial Action Unit Intensity Estimation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019: 3457-3466

* Yingying Deng, Fan Tang, Weiming Dong, Fuzhang Wu, Oliver Deussen, Changsheng Xu: Selective clustering for representative paintings selection. Multimedia Tools and Applications 78(14): 19305–19323 (2019)

* Fuzhang Wu, Yan Kong, Weiming Dong, Yanjun Wu: Gradient-aware blind face inpainting for deep face verification. Neurocomputing 331: 301-311 (2019)

* Yucheng Zhao, Fan Tang, Weiming Dong, Feiyue Huang, Xiaopeng Zhang: Joint face alignment and segmentation via deep multi-task learning. Multimedia Tools and Applications 78(10): 13131–13148 (2019)

* Fan Tang, Weiming Dong, Yiping Meng, Xing Mei, Feiyue Huang, Xiaopeng Zhang, Oliver Deussen: Animated Construction of Chinese Brush Paintings. IEEE Transactions on Visualization and Computer Graphics 24(12): 3019-3031 (2018)

* Kekai Sheng, Weiming Dong, Haibin Huang, Chongyang Ma, Bao-Gang Hu: Gourmet photography dataset for aesthetic assessment of food images. SIGGRAPH Asia Technical Briefs 2018: 20:1-20:4

* Yu Song, Fan Tang, Weiming Dong, Xiaopeng Zhang, Oliver Deussen, Tong-Yee Lee. Photo Squarization by Deep Multi-Operator Retargeting. ACM Multimedia 2018: 1047-1055

* Kekai Sheng, Weiming Dong, Chongyang Ma, Xing Mei, Feiyue Huang, Bao-Gang Hu. Attention-based Multi-Patch Aggregation for Image Aesthetic Assessment. ACM Multimedia 2018: 879-886

* Yong Zhang, Weiming Dong, Bao-Gang Hu, Qiang Ji: Weakly-supervised Deep Convolutional Neural Network Learning for Facial Action Unit Intensity Estimation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 2314-2323

* Yong Zhang, Weiming Dong, Bao-Gang Hu, Qiang Ji: Classifier Learning with Prior Probabilities for Facial Action Unit Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 5108-5116

* Yong Zhang, Rui Zhao, Weiming Dong, Bao-Gang Hu, Qiang Ji: Bilateral Ordinal Relevance Multi-Instance Regression for Facial Action Unit Intensity Estimation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 7034-7043

* Huaiyu Li, Weiming Dong, Bao-Gang Hu: Facial Image Attributes Transformation via Conditional Recycle Generative Adversarial Networks. Journal of Computer Science and Technology 33(3): 511-521 (2018)

* Kekai Sheng, Weiming Dong, Wei Li, Joseph Razik, Feiyue Huang, Bao-Gang Hu: Centroid-aware local discriminative metric learning in speaker verification. Pattern Recognition 72: 176-185 (2017)

* Yingying Deng, Fan Tang, Weiming Dong, Hanxing Yao, Bao-Gang Hu: Style-oriented representative paintings selection. SIGGRAPH ASIA (Posters) 2017: 12:1-12:2

* Xingjia Pan, Juntao Ye, Fan Tang, Weiming Dong, Feiyue Huang, Xiaopeng Zhang: Content-based measure of image set diversity. SIGGRAPH ASIA (Posters) 2017: 43:1-43:2

* Jia Liu, Weiming Dong, Xiaopeng Zhang, Zhiguo Jiang: Orientation judgment for abstract paintings. Multimedia Tools and Applications 76(1): 1017-1036 (2017)

* Yong Zhang, Weiming Dong, Chongyang Ma, Xing Mei, Ke Li, Feiyue Huang, Bao-Gang Hu, Oliver Deussen: Data-Driven Synthesis of Cartoon Faces Using Different Styles. IEEE Transactions and Image Processing 26(1): 464-478 (2017)

* Weiming Dong, Fuzhang Wu, Yan Kong, Xing Mei, Tong-Yee Lee, Xiaopeng Zhang: Image Retargeting by Texture-Aware Synthesis. IEEE Transactions on Visualization and Computer Graphics 22(2): 1088-1101 (2016)

* Haiyong Jiang, Liangliang Nan, Dong-Ming Yan, Weiming Dong, Xiaopeng Zhang, Peter Wonka: Automatic Constraint Detection for 2D Layout Regularization. IEEE Transactions on Visualization and Computer Graphics 22(8): 1933-1944 (2016)

* Yan Kong, Weiming Dong, Xing Mei, Chongyang Ma, Tong-Yee Lee, Siwei Lyu, Feiyue Huang, Xiaopeng Zhang: Measuring and Predicting Visual Importance of Similar Objects. IEEE Transactions on Visualization and Computer Graphics 22(12): 2564-2578 (2016)

* Fuzhang Wu, Weiming Dong, Yan Kong, Xing Mei, Dong-Ming Yan, Xiaopeng Zhang, Jean-Claude Paul: Feature-aware natural texture synthesis. The Visual Computer 32(1): 43-55 (2016)

* Yiping Meng, Fan Tang, Weiming Dong, Xiaopeng Zhang: Optimal character composing for Chinese calligraphic artwork. SIGGRAPH Asia Posters 2016: 25

* Kekai Sheng, Weiming Dong, Yan Kong, Xing Mei, Jilin Li, Chengjie Wang, Feiyue Huang, Bao-Gang Hu: Evaluating the Quality of Face Alignment without Ground Truth. Computer Graphics Forum 34(7): 213-223 (2015)

* Xing Mei, Weiming Dong, Bao-Gang Hu, Siwei Lyu: UniHIST: A unified framework for image restoration with marginal histogram constraints. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015: 3753-3761

* Fuzhang Wu, Dong-Ming Yan, Weiming Dong, Xiaopeng Zhang, Peter Wonka: Inverse Procedural Modeling of Facade Layouts. ACM Transactions on Graphics (Proceedings of SIGGRAPH) 33(4): 121:1-121:10 (2014)

* Weiming Dong, Ning Zhou, Tong-Yee Lee, Fuzhang Wu, Yan Kong, Xiaopeng Zhang: Summarization-Based Image Resizing by Intelligent Object Carving. IEEE Transactions on Visualization and Computer Graphics, 20(1): 111-124 (2014)

* Dengwen Zhou, Weiming Dong, Wengang Chen. Joint demosaicking and zooming using moderate spectral correlation and consistent edge map. Journal of Electronic Imaging 23(4): 034310 (2014)

* Yong Zhang, Weiming Dong, Oliver Deussen, Feiyue Huang, Ke Li, Bao-Gang Hu: Data-driven face cartoon stylization. SIGGRAPH ASIA Technical Briefs 2014: 14:1-14:4

* Fan Tang, Yiping Meng, Weiming Dong, Xing Mei, Feiyue Huang, Xiaopeng Zhang: Animated construction of ink-wash paintings. SIGGRAPH ASIA Posters 2014: 23:1-23:1

* Fuzhang Wu, Weiming Dong, Yan Kong, Xing Mei, Jean-Claude Paul, Xiaopeng Zhang: Content-Based Colour Transfer. Computer Graphics Forum 32(1): 190-203 (2013)

* Yan Kong, Weiming Dong, Xing Mei, Xiaopeng Zhang, Jean-Claude Paul: SimLocator: robust locator of similar objects in images. The Visual Computer 29(9): 861-870 (2013)

* Xing Mei, Xun Sun, Weiming Dong, Haitao Wang, Xiaopeng Zhang: Segment-Tree Based Cost Aggregation for Stereo Matching. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2013: 313-320

* Shibiao Xu, Xing Mei, Weiming Dong, Zhiyi Zhang, Xiaopeng Zhang: Real-time ink simulation using a grid-particle method. Computers & Graphics 36(8): 1025-1035 (2012)

* Dengwen Zhou, Xiaoliu Shen, Weiming Dong: Image zooming using directional cubic convolution interpolation. IET Image Processing (6): 627–634 (2012)

* Weiming Dong, Guan-Bo Bao, Xiaopeng Zhang, Jean-Claude Paul: Fast Multi-Operator Image Resizing and Evaluation. Journal of Computer Science and Technology 27(1): 121-134 (2012)

* Dengwen Zhou, Xiaoliu Shen, Weiming Dong: Colour demosaicking with directional filtering and weighting. IET Image Processing 6(8): 1084–1092 (2012)

* Weiming Dong, Guanbo Bao, Xiaopeng Zhang, Jean-Claude Paul: Fast Local Color Transfer via Dominant Colors Mapping. SIGGRAPH ASIA Technical Sketches 2010: 46:1-46:2

* Weiming Dong, Ning Zhou, Jean-Claude Paul, Xiaopeng Zhang: Optimized image resizing using seam carving and scaling. ACM Transactions on Graphics 28(5): 125:1-125:10 (2009) 

* Weiming Dong, Ning Zhou, Jean-Claude Paul: Robust tile-based texture synthesis using artificial immune system. Neural Computing and Applications 18(3): 223-235 (2009)

* Weiming Dong, Ning Zhou, Jean-Claude Paul. Perspective-aware texture analysis and synthesis. The Visual Computer 24(7-9): 515-523 (2008)

（ 1 ） 趣味程序导学Visual C++, Learning Visual C++ through Interesting Programms, 清华大学出版社, 2002-06, 第 1 作者

科研项目

1. 腾讯，“优图研究”联合项目第六期，2018/08-2019/07

2. 国家自然科学基金重点项目，基于视觉认知的可视媒体合成与评价，2019/01-2023/12

3. 国家重点研发计划，社会安全事件智能监测与预警关键技术与装备，2018/7-2020/6

4. 中科院自动化所-亮亮视野“第一视角计算”联合实验室，2018/7-2021/6

5. 咪咕视频，视频精细化标签AI能力定制，2018/8-2019/7

6. 腾讯，“优图研究”联合项目第五期，2017/08-2018/07

7. 中国科学院，卢嘉锡国际合作团队项目，2018/01-2020/12

8. 国家自然科学基金面上项目，数据驱动的图像合成，2017/01-2020/12
9. 北京市自然基金面上项目，单图像超分辨率技术与应用，2016/01-2018/12
10. 腾讯，“优图研究”联合项目第四期，2016/08-2017/07
11. 爱奇艺，视频智能编辑创作系统，2016/02-2016/12
12. 腾讯，“优图研究”联合项目第三期，2015/08-2016/07
13. 核高基重大专项课题分任务，开源操作系统内核分析和安全性评估：基于人脸识别的关键应用程序保护，2015/04-2015/12
14. 腾讯，“优图研究”联合项目第二期，2014/08-2015/07
15. 国家自然科学基金面上项目，基于梯度场的计算成像和恢复技术，2014/01-2017/12
16. 腾讯，“优图研究”联合项目第一期，2013/08-2014/07
17. 国家自然科学基金面上项目，基于语义的图像合成，2012/01-2015/12
18. 国家高技术研究发展计划（863）项目，3D内容视觉获取技术及设备，2012/01-2014/12
19. 北京市自然基金面上项目，内容相关的图像合成研究与应用，2011/01-2013/12
20. 法国国家科研署国际合作项目，Shape Modeling: New theories and new algorithms，2010/01-2012/12
21. 企业委托（上海市科技信息中心），个性化影视动漫制作关键技术研发，2009/12-2010/11
22. 国家自然科学基金面上项目，外形信息理解的技术基础，2009/01-2011/12
23. 中国博士后科学基金特别资助，基于图像的植物建模与绘制，2008/11-2009/10
24. 教育部留学归国人员启动基金，自然景物建模与渲染中的若干问题研究，2008/08-2010/07
25. 中国博士后科学基金面上项目，真实植物场景数字化与可视化，2008/08-2009/07
26. 科技部国际合作项目，自然植被景观的动态演变模拟与应用，2007/09-2010/08
27. 国家自然科学基金面上项目，三维离散外形信息的处理和识别，2007/01-2009/12

媒体报道

• 【经济日报】听，创新梦想在拔节

•  优图在国际权威数据集Pascal VOC2012 物体分类比赛中刷新世界记录

• 【中国科学报】来一场卡通秀吧！

•  自动化所人像卡通化技术在手机应用“天天P图”中上线

•  腾讯优图登陆Siggraph Aisa2014 展示世界顶级图像技术

• 【文汇报】请梵高“出山”做动漫

腾讯 • 优图实验室

亮亮视野

快手

Snap Inc.

慧与 | Hewlett Packard Enterprise

咪咕视频

爱奇艺 • 技术产品中心
法国 • 国立信息与自动化研究院（INRIA）
法国 • 土伦大学
德国 • 康斯坦茨大学 • Visual Computiong Group
台湾 • 国立成功大学 • CGVSL
沙特 • 阿卜杜拉国王科技大学
美国 • 纽约州立大学奥尔巴尼分校
华北电力大学
中国科学院软件研究所
远鉴科技股份有限公司

学生姓名  培养单位（包括联合培养）  学位类别   入学/毕业时间    研究课题                                  毕业去向

吴富章     中国科学院自动化研究所     硕博          2010/2015         内容相关的图像合成                  腾讯优图实验室（技术大咖）

李超        北京大学                             硕士          2010/2012         图像物体材质分析与传递           德克萨斯大学达拉斯分校（读博）

沈思成     西北师范大学                      硕士          2013/2015         基于深度学习的人脸识别           远鉴科技（产品部总监）

孔彦        中国科学院自动化研究所     硕博          2011/2016          图像内容的相似模式分析          远鉴科技（图像部总监）、腾讯技术大咖

李志磊     西北师范大学                      硕士          2014/2016         人脸识别与活体验证                  中国邮政集团公司

温祥        北京交通大学                      硕士          2014/2016         基于深度学习的图像内容识别     网易

徐国智     华北电力大学                      硕士          2014/2017         基于深度学习的人脸配准           网易

刘园园     华北电力大学                      硕士          2014/2017         基于深度学习的花卉图像分类    国家电网

孟一平     中国科学院自动化研究所     硕士          2014/2017         图像可缩放度研究与应用           滴滴出行

唐帆        中国科学院自动化研究所     硕博           2013/2019        中国水墨作品数字化创作重构    远鉴科技、滴滴新锐

张勇        中国科学院自动化研究所     硕博           2012/2018        人脸面部行为分析与卡通合成    腾讯AI Lab

赵昱程     中国科学院自动化研究所     硕士           2015/2018        人脸妆容图像分析与合成          阿里巴巴

盛柯恺     中国科学院自动化研究所     硕博           2014/2019        图像美学评估的方法与应用       腾讯优图实验室（技术大咖）

李怀宇     中国科学院自动化研究所     硕博           2014/                元学习与生成式对抗网络

潘兴甲     中国科学院自动化研究所     硕博           2015/                通用目标检测

胡广宇     华北电力大学                      硕士           2015/2018        视频人脸虚拟美颜                    远鉴科技

李欣芮     华北电力大学                      硕士           2016/2019        时序数据分析与挖掘                国家电网研究院

周鹏        华北电力大学                      硕士           2016/2019        目标检测与分割                       远鉴科技

邓盈盈     中国科学院自动化研究所     硕博           2017/                艺术图像合成与评价

宋玉        中国科学院自动化研究所     普博           2017/                时尚图像呈现与美化

林敏轩     中国科学院自动化研究所     硕博           2018/                美食图像分析与合成

张旭龙     中国科学院自动化研究所     硕士           2018/                面向智能眼镜的目标检测