个人主页

研究方向与招生信息

研究领域：计算可视媒体（Computational Visual Media）

随着互联网和人工智能技术的发展，个人图片和视频的智能处理成为普通大众的刚需，海量图像/视频智能处理成为互联网行业的重要需求。因此，我们以深度学习为核心框架，进行基于互联网数据集的可视媒体（图像与视频为主）内容分析、内容识别、内容生成、内容呈现和内容评价等方法和应用的研究。目前的主要研究方向包括：图像生成、智能美颜/美图、时尚图像分析与合成、艺术图像分析与合成、图像目标检测与内容理解等。

我们的理念：科研问题来源于生活，科研成果服务于生活，AI使生活更美好，愿与热爱生活的后浪们共享科研的快乐！

欢迎对计算可视媒体学术和应用研究有兴趣的同学加盟，特别欢迎热爱美学、艺术和时尚的同学！

我们为学生提供：一流的学习科研环境、与国际顶尖学者长期学术合作的机会、六个月以上顶级互联网公司（腾讯、滴滴、快手、亮亮视野、远鉴科技等）实习机会、六个月以上国际交换生留学机会。

招生宣讲视频（2020年自动化所暑期夏令营“云游AI”片段）：视频播放提取码: 2x6a

科协云上科学营人工智能分营模识国重可视媒体合成与评价介绍：视频播放提取码：tyxx

小组工作宣传与科普微信公众号“计算创意与艺术”：

目前主要研究课题：

本年度可在中科院自动化所（可接收统考生）、国科大人工智能学院（非全日制）和郑州大学河南先进技术研究院招生，欢迎同学们联系、报考！

招生专业

081203-计算机应用技术
081104-模式识别与智能系统

招生方向

网络内容分析与安全
图像与视频处理
计算机图形学与虚拟现实

教育背景

2004-04--2007-06   法国国立信息与自动化研究院（INRIA）/法国亨利▪庞加莱南锡第一大学   博士
2001-09--2004-01   清华大学计算机科学与技术系   工学硕士
1997-09--2001-07   清华大学计算机科学与技术系   工学学士

工作经历

2016-10至今，中国科学院自动化研究所模式识别国家重点实验室，研究员

2010-10~2016-10，中国科学院自动化研究所模式识别国家重点实验室，副研究员

2009-11~2010-10，中国科学院自动化研究所模式识别国家重点实验室，助理研究员

2007-10~2009-10，中国科学院自动化研究所中欧信息、自动化与应用数学联合实验室，博士后

专利与奖励

专利成果

（ 1 ）一种基于多层嵌套笼体的实时交互式图像变形方法, 发明, 2013, 第 3 作者, 专利号: CN 102496140 B
（ 2 ）三维水墨动画的制作方法, 发明, 2014, 第 3 作者, 专利号: CN 102496177 B
（ 3 ）一种对点云数据进行全局参数化和四边形网格化方法, 发明, 2010, 第 4 作者, 专利号: PCT/ CN2009/001591
（ 4 ）基于颜色空间分布的颜色传递方法, 发明, 2013, 第 1 作者, 专利号: CN 102521807 B
（ 5 ）一种边相关的联合彩色去马赛克和放大方法, 发明, 2015, 第 3 作者, 专利号: CN 103347190 B
（ 6 ）基于深度检索的树木建模方法, 发明, 2012, 第 4 作者, 专利号: CN 101847267 B
（ 7 ）基于自适应阈值调整拒识子空间学习的人脸检测方法, 发明, 2015, 第 2 作者, 专利号: 201510811406.2
（ 8 ）一种装配体的自动拆卸方法, 发明, 2016, 第 5 作者, 专利号: ZL201310225943.X
（ 9 ）一种人脸关键点位定位结果的评估方法，及评估装置, 发明, 2017, 第 5 作者, 专利号: CN104966046B
（ 10 ）图像处理方法和装置, 发明, 2019, 第 5 作者, 专利号: CN 201410505493.4
（ 11 ）自动挑选画家代表作的方法及装置, 发明, 2020, 第 3 作者, 专利号: ZL201810759512.4
（ 12 ）图片方形化缩放方法、系统及装置, 发明, 2020, 第 3 作者, 专利号: ZL201811545250.8
（ 13 ）虚拟试衣方法和系统, 发明, 2020, 第 3 作者, 专利号: ZL201510947349.0
（ 14 ）用于人脸关键点定位与语义分割的多任务检测装置, 发明, 2020, 第 3 作者, 专利号: ZL201711310450.0

近期主要论文

* Minxuan Lin, Fan Tang, Weiming Dong, Xiao Li, Changsheng Xu, Chongyang Ma: Distribution Aligned Multimodal and Multi-Domain Image Stylization. ACM Transactions on Multimedia Computing, Communications, and Applications (2021)

* Xingjia Pan, Yingguo Gao, Zhiwen Lin, Fan Tang, Weiming Dong, Haolei Yuan, Feiyue Huang, Changsheng Xu: Unveiling the Potential of Structure-preserving for Weakly Supervised Object Localization. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2021

* Yuting Ma, Fan Tang, Weiming Dong, Changsheng Xu: Destylization of Text with Decorative Elements. The 3rd IEEE Workshop on Artificial Intelligence for Art Creation (AIART) 2021

* Yingying Deng, Fan Tang, Weiming Dong, Haibin Huang, Chongyang Ma, Changsheng Xu: Arbitrary Video Style Transfer via Multi-Channel Correlation. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI) 2021 [Code]

* Dong Chen, Fan Tang, Weiming Dong, Changsheng Xu: SiamCPN: Visual Tracking with the Siamese Center-Prediction Network. Computational Visual Media (2021)

* Yu Song, Fan Tang, Weiming Dong, Changsheng Xu: Non-dominated sorting based multi-page photo collage. Computational Visual Media (2021)

* Xingjia Pan, Fan Tang, Weiming Dong, Chongyang Ma, Yiping Meng, Feiyue Huang, Tong-Yee Lee, Changsheng Xu: Content-Based Visual Summarization for Image Collections. IEEE Transactions on Visualization and Computer Graphics 27(4): 2298-2312 (2021) [Project Page]

* Yuting Ma, Fan Tang, Weiming Dong, Changsheng Xu: Destylization of Text with Decorative Elements. ACM Multimedia Asia 2020

* Yingying Deng, Fan Tang, Weiming Dong, Chongyang Ma, Feiyue Huang, Oliver Deussen, Changsheng Xu: Exploring the Representativity of Art Paintings. IEEE Transactions on Multimedia (2020) [Code]

* Yingying Deng, Fan Tang, Weiming Dong, Wen Sun, Feiyue Huang, Changsheng Xu: Arbitrary Style Transfer via Multi-Adaptation Network. ACM Multimedia 2020: 2719-2727 [Paper][Code]

* Huaiyu Li, Weiming Dong, Bao-Gang Hu: Incremental Concept Learning via Online Generative Memory Recall. IEEE Transactions on Neural Networks and Learning Systems (2020)

* Kekai Sheng, Weiming Dong, Haibin Huang, Guohui Wang, Yong Zhang, Chongyang Ma, Bao-Gang Hu: Learning to Assess Visual Aesthetics of Food Images. Computational Visual Media (2020) [Data & Code]

* Xingjia Pan, Fan Tang, Weiming Dong, Yang Gu, Zhichao Song, Yiping Meng, Pengfei Xu, Oilver Deussen, Changsheng Xu: Self-Supervised Feature Augmentation for Large Image Object Detection. IEEE Transactions on Image Processing 29: 6745-6758 (2020)

* Xingjia Pan, Yuqiang Ren, Kekai Sheng, Weiming Dong, Haolei Yuan, Xiaowei Guo, Chongyang Ma, Changsheng Xu: Dynamic Refinement Network for Oriented and Densely Packed Object Detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020: 11204-11213 (Oral) [Paper][Data & Code]

* Minxuan Lin, Yingying Deng, Fan Tang, Weiming Dong, Changsheng Xu: Multi-Attribute Guided Painting Generation. The 2nd IEEE Workshop on Artificial Intelligence for Art Creation (AIART) 2020: 400-403 [Paper]

* Kekai Sheng, Weiming Dong, Menglei Chai, Guohui Wang, Peng Zhou, Feiyue Huang, Bao-Gang Hu, Rongrong Ji, Chongyang Ma: Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning. The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI) 2020: 5709-5716 (Spotlight) [Paper]

* Fan Tang, Weiming Dong, Yiping Meng, Chongyang Ma, Fuzhang Wu, Xinrui Li, Tong-Yee Lee: Image Retargetability. IEEE Transactions on Multimedia 22(3): 641-654 (2020) [Project Page]

* Shudan Wang, Liang Sun, Weiming Dong, Yong Zhang: Food Photo Enhancer of One Sample Generative Adversarial Network. ACM Multimedia Asia 2019: 51:1-51:8

* Yu Song, Fan Tang, Weiming Dong, Feiyue Huang, Changsheng Xu: Balance-Based Photo Posting. SIGGRAPH ASIA (Posters) 2019: 20:1-20:2

* Huaiyu Li, Weiming Dong, Xing Mei, Chongyang Ma, Feiyue Huang, Bao-Gang Hu: LGM-Net: Learning to Generate Matching Networks for Few Shot Learning. International Conference on Machine Learning (ICML) 2019: 3825-3834 [Code]

* Yong Zhang, Baoyuan Wu, Weiming Dong, Zhifeng Li, Wei Liu, Bao-Gang Hu, Qiang Ji: Joint Representation and Estimator Learning for Facial Action Unit Intensity Estimation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2019: 3457-3466

* Yingying Deng, Fan Tang, Weiming Dong, Fuzhang Wu, Oliver Deussen, Changsheng Xu: Selective clustering for representative paintings selection. Multimedia Tools and Applications 78(14): 19305–19323 (2019)

* Fuzhang Wu, Yan Kong, Weiming Dong, Yanjun Wu: Gradient-aware blind face inpainting for deep face verification. Neurocomputing 331: 301-311 (2019)

* Yucheng Zhao, Fan Tang, Weiming Dong, Feiyue Huang, Xiaopeng Zhang: Joint face alignment and segmentation via deep multi-task learning. Multimedia Tools and Applications 78(10): 13131–13148 (2019)

* Fan Tang, Weiming Dong, Yiping Meng, Xing Mei, Feiyue Huang, Xiaopeng Zhang, Oliver Deussen: Animated Construction of Chinese Brush Paintings. IEEE Transactions on Visualization and Computer Graphics 24(12): 3019-3031 (2018) [Project Page]

* Kekai Sheng, Weiming Dong, Haibin Huang, Chongyang Ma, Bao-Gang Hu: Gourmet photography dataset for aesthetic assessment of food images. SIGGRAPH Asia Technical Briefs 2018: 20:1-20:4 [Data & Code]

* Yu Song, Fan Tang, Weiming Dong, Xiaopeng Zhang, Oliver Deussen, Tong-Yee Lee. Photo Squarization by Deep Multi-Operator Retargeting. ACM Multimedia 2018: 1047-1055

* Kekai Sheng, Weiming Dong, Chongyang Ma, Xing Mei, Feiyue Huang, Bao-Gang Hu. Attention-based Multi-Patch Aggregation for Image Aesthetic Assessment. ACM Multimedia 2018: 879-886 [Data & Code]

* Yong Zhang, Weiming Dong, Bao-Gang Hu, Qiang Ji: Weakly-supervised Deep Convolutional Neural Network Learning for Facial Action Unit Intensity Estimation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 2314-2323

* Yong Zhang, Weiming Dong, Bao-Gang Hu, Qiang Ji: Classifier Learning with Prior Probabilities for Facial Action Unit Recognition. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 5108-5116

* Yong Zhang, Rui Zhao, Weiming Dong, Bao-Gang Hu, Qiang Ji: Bilateral Ordinal Relevance Multi-Instance Regression for Facial Action Unit Intensity Estimation. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 7034-7043

* Huaiyu Li, Weiming Dong, Bao-Gang Hu: Facial Image Attributes Transformation via Conditional Recycle Generative Adversarial Networks. Journal of Computer Science and Technology 33(3): 511-521 (2018)

* Kekai Sheng, Weiming Dong, Wei Li, Joseph Razik, Feiyue Huang, Bao-Gang Hu: Centroid-aware local discriminative metric learning in speaker verification. Pattern Recognition 72: 176-185 (2017)

* Yingying Deng, Fan Tang, Weiming Dong, Hanxing Yao, Bao-Gang Hu: Style-oriented representative paintings selection. SIGGRAPH ASIA (Posters) 2017: 12:1-12:2

* Xingjia Pan, Juntao Ye, Fan Tang, Weiming Dong, Feiyue Huang, Xiaopeng Zhang: Content-based measure of image set diversity. SIGGRAPH ASIA (Posters) 2017: 43:1-43:2

* Jia Liu, Weiming Dong, Xiaopeng Zhang, Zhiguo Jiang: Orientation judgment for abstract paintings. Multimedia Tools and Applications 76(1): 1017-1036 (2017)

* Yong Zhang, Weiming Dong, Chongyang Ma, Xing Mei, Ke Li, Feiyue Huang, Bao-Gang Hu, Oliver Deussen: Data-Driven Synthesis of Cartoon Faces Using Different Styles. IEEE Transactions on Image Processing 26(1): 464-478 (2017)

* Weiming Dong, Fuzhang Wu, Yan Kong, Xing Mei, Tong-Yee Lee, Xiaopeng Zhang: Image Retargeting by Texture-Aware Synthesis. IEEE Transactions on Visualization and Computer Graphics 22(2): 1088-1101 (2016)

* Haiyong Jiang, Liangliang Nan, Dong-Ming Yan, Weiming Dong, Xiaopeng Zhang, Peter Wonka: Automatic Constraint Detection for 2D Layout Regularization. IEEE Transactions on Visualization and Computer Graphics 22(8): 1933-1944 (2016)

* Yan Kong, Weiming Dong, Xing Mei, Chongyang Ma, Tong-Yee Lee, Siwei Lyu, Feiyue Huang, Xiaopeng Zhang: Measuring and Predicting Visual Importance of Similar Objects. IEEE Transactions on Visualization and Computer Graphics 22(12): 2564-2578 (2016)

* Fuzhang Wu, Weiming Dong, Yan Kong, Xing Mei, Dong-Ming Yan, Xiaopeng Zhang, Jean-Claude Paul: Feature-aware natural texture synthesis. The Visual Computer 32(1): 43-55 (2016)

* Yiping Meng, Fan Tang, Weiming Dong, Xiaopeng Zhang: Optimal character composing for Chinese calligraphic artwork. SIGGRAPH Asia Posters 2016: 25

* Kekai Sheng, Weiming Dong, Yan Kong, Xing Mei, Jilin Li, Chengjie Wang, Feiyue Huang, Bao-Gang Hu: Evaluating the Quality of Face Alignment without Ground Truth. Computer Graphics Forum 34(7): 213-223 (2015)

* Xing Mei, Weiming Dong, Bao-Gang Hu, Siwei Lyu: UniHIST: A unified framework for image restoration with marginal histogram constraints. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015: 3753-3761

* Fuzhang Wu, Dong-Ming Yan, Weiming Dong, Xiaopeng Zhang, Peter Wonka: Inverse Procedural Modeling of Facade Layouts. ACM Transactions on Graphics (Proceedings of SIGGRAPH) 33(4): 121:1-121:10 (2014)

* Weiming Dong, Ning Zhou, Tong-Yee Lee, Fuzhang Wu, Yan Kong, Xiaopeng Zhang: Summarization-Based Image Resizing by Intelligent Object Carving. IEEE Transactions on Visualization and Computer Graphics, 20(1): 111-124 (2014)

* Dengwen Zhou, Weiming Dong, Wengang Chen. Joint demosaicking and zooming using moderate spectral correlation and consistent edge map. Journal of Electronic Imaging 23(4): 034310 (2014)

* Yong Zhang, Weiming Dong, Oliver Deussen, Feiyue Huang, Ke Li, Bao-Gang Hu: Data-driven face cartoon stylization. SIGGRAPH ASIA Technical Briefs 2014: 14:1-14:4

* Fuzhang Wu, Weiming Dong, Yan Kong, Xing Mei, Jean-Claude Paul, Xiaopeng Zhang: Content-Based Colour Transfer. Computer Graphics Forum 32(1): 190-203 (2013)

* Yan Kong, Weiming Dong, Xing Mei, Xiaopeng Zhang, Jean-Claude Paul: SimLocator: robust locator of similar objects in images. The Visual Computer 29(9): 861-870 (2013)

* Xing Mei, Xun Sun, Weiming Dong, Haitao Wang, Xiaopeng Zhang: Segment-Tree Based Cost Aggregation for Stereo Matching. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2013: 313-320

* Dengwen Zhou, Xiaoliu Shen, Weiming Dong: Image zooming using directional cubic convolution interpolation. IET Image Processing (6): 627–634 (2012)

* Weiming Dong, Guan-Bo Bao, Xiaopeng Zhang, Jean-Claude Paul: Fast Multi-Operator Image Resizing and Evaluation. Journal of Computer Science and Technology 27(1): 121-134 (2012)

* Dengwen Zhou, Xiaoliu Shen, Weiming Dong: Colour demosaicking with directional filtering and weighting. IET Image Processing 6(8): 1084–1092 (2012)

* Weiming Dong, Guanbo Bao, Xiaopeng Zhang, Jean-Claude Paul: Fast Local Color Transfer via Dominant Colors Mapping. SIGGRAPH ASIA Technical Sketches 2010: 46:1-46:2

* Weiming Dong, Ning Zhou, Jean-Claude Paul, Xiaopeng Zhang: Optimized image resizing using seam carving and scaling. ACM Transactions on Graphics 28(5): 125:1-125:10 (2009)

* Weiming Dong, Ning Zhou, Jean-Claude Paul: Robust tile-based texture synthesis using artificial immune system. Neural Computing and Applications 18(3): 223-235 (2009)

* Weiming Dong, Ning Zhou, Jean-Claude Paul. Perspective-aware texture analysis and synthesis. The Visual Computer 24(7-9): 515-523 (2008)

发表著作

（ 1 ）趣味程序导学Visual C++, Learning Visual C++ through Interesting Programms, 清华大学出版社, 2002-06, 第 1 作者

学位论文

* 潘兴甲，复杂环境下的图像目标检测与可视化，工学博士，2020 [论文下载，百度网盘提取码: djd7]

* 李怀宇，面向非平稳环境的知识迁移方法研究，工学博士，2020 [论文下载，百度网盘提取码：pwhz]

* 唐帆，中国水墨作品数字化创作重构研究，工学博士，2019 [论文下载，百度网盘提取码：p59i]

* 盛柯恺，图像美学质量评估的方法与应用，工学博士，2019 [论文下载，百度网盘提取码：ghnk]

* 张勇，知识与数据共同驱动的面部行为分析与人脸卡通画合成，工学博士，2018 [论文下载，百度网盘提取码：vi4k]

* 赵昱程，人脸图像分析与妆容图像合成，工学硕士，2018 [论文下载，百度网盘提取码：djmm]

* 孟一平，图像可缩放度的研究与应用，工学硕士，2017 [论文下载，百度网盘提取码：3338]

* 孔彦，图像内容的相似模式分析，工学博士，2016 [论文下载，百度网盘提取码：qhyf]

* 吴富章，内容相关的图像合成，工学博士，2015 [论文下载，百度网盘提取码：vdgk]

科研活动

科研项目

1. 国家重点研发计划，认知计算基础理论与方法研究，2020/11-2023/10

2. 国家自然科学基金重点项目，基于视觉认知的可视媒体合成与评价，2019/01-2023/12

3. NSFC企业创新发展联合基金重点项目，知识和数据共同驱动的小样本目标识别理论和方法，2021/01-2024/12

4. 腾讯优图实验室，“优图研究”联合项目第八期，2020/08-2021/09

5. 腾讯优图实验室，“优图研究”联合项目第七期，2019/08-2020/09

6. 远鉴科技，图像内容合成与质量评价，2019/08-2020/07

7. 腾讯优图实验室，“优图研究”联合项目第六期，2018/08-2019/07

8. 国家重点研发计划，社会安全事件智能监测与预警关键技术与装备，2018/7-2020/6

9. 中科院自动化所-亮亮视野“第一视角计算”联合实验室，2018/7-2021/6

10. 咪咕视频，视频精细化标签AI能力定制，2018/8-2019/7

11. 腾讯优图实验室，“优图研究”联合项目第五期，2017/08-2018/07

12. 中国科学院，卢嘉锡国际合作团队项目，2018/01-2020/12

13. 国家自然科学基金面上项目，数据驱动的图像合成，2017/01-2020/12
14. 北京市自然基金面上项目，单图像超分辨率技术与应用，2016/01-2018/12
15. 腾讯，“优图研究”联合项目第四期，2016/08-2017/07
16. 爱奇艺，视频智能编辑创作系统，2016/02-2016/12
17. 腾讯，“优图研究”联合项目第三期，2015/08-2016/07
18. 核高基重大专项课题分任务，开源操作系统内核分析和安全性评估：基于人脸识别的关键应用程序保护，2015/04-2015/12
19. 腾讯，“优图研究”联合项目第二期，2014/08-2015/07
20. 国家自然科学基金面上项目，基于梯度场的计算成像和恢复技术，2014/01-2017/12
21. 腾讯，“优图研究”联合项目第一期，2013/08-2014/07
22. 国家自然科学基金面上项目，基于语义的图像合成，2012/01-2015/12
23. 国家高技术研究发展计划（863）项目，3D内容视觉获取技术及设备，2012/01-2014/12
24. 北京市自然基金面上项目，内容相关的图像合成研究与应用，2011/01-2013/12
25. 法国国家科研署国际合作项目，Shape Modeling: New theories and new algorithms，2010/01-2012/12
26. 企业委托（上海市科技信息中心），个性化影视动漫制作关键技术研发，2009/12-2010/11
27. 国家自然科学基金面上项目，外形信息理解的技术基础，2009/01-2011/12
28. 中国博士后科学基金特别资助，基于图像的植物建模与绘制，2008/11-2009/10
29. 教育部留学归国人员启动基金，自然景物建模与渲染中的若干问题研究，2008/08-2010/07
30. 中国博士后科学基金面上项目，真实植物场景数字化与可视化，2008/08-2009/07
31. 科技部国际合作项目，自然植被景观的动态演变模拟与应用，2007/09-2010/0