
电子邮件: caojuan@ict.ac.cn
通信地址: 北京市海淀区科学院南路6号
邮政编码: 100190
研究领域
社会多媒体内容分析,多媒体数据挖掘,人工智能内容安全
招生信息
招生专业
招生方向
多媒体内容分析
工作经历
曹娟,中国科学院计算技术研究所研究员,博士生导师,计算所前瞻研究实验室主任、数字内容合成与伪造检测实验室主任,中国科学院大学岗位教授,中国科学院“青年促进会”首批成员。获2024年公安部科学技术一等奖、2020年北京市科技进步一等奖、2020年北京市“三八红旗奖章”和2022年“世界互联网大会领先科技创新成果全球Top15”。长期从事人工智能安全、虚假伪造信息检测、多媒体技术研究,发表主流国际期刊和会议论文100余篇,累计引用8500余次。面向国家安全重大需求,带领团队从算法创新、系统搭建、设备研制三个层面长期布局,研发了“AI识谣”虚假新闻检测平台、“睿鉴图灵”伪造检测专用模型及基于国产芯片的伪造检测专用设备,成果在多个国家重大任务中规模化部署使用。
工作简历
2019-09~2023-05,中国科学院计算技术研究所, 研究员,前瞻研究实验室副主任
2008-06~2019-09,中国科学院计算技术研究所, 副研究员
教授课程
出版信息
发表论文
(2) PAD: A Robustness Enhancement Ensemble Method via Promoting Attention Diversity, LREC-COLING 2024, 2024, 第 4 作者
(3) A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement, Frontiers of Computer Science, 2024, 第 3 作者 通讯作者
(4) Bad Actor, Good Advisor: Exploring the Role of Large Language Models in Fake News Detection, AAAI 2024, 2024, 第 3 作者
(5) Let Silence Speak: Enhancing Fake News Detection with Generated Comments from Large Language Models, CIKM 2024, 2024, 第 3 作者
(6) Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling, arxiv, 2024, 第 3 作者
(7) FakingRecipe: Detecting Fake News on Short Video Platforms from the Perspective of Creative Process, ACM MM 2024, 2024, 第 3 作者 通讯作者
(8) U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation, CVPR 2024, 2024, 第 5 作者
(9) Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling, IJCAI 2024, 2024, 第 3 作者
(10) Self-Supervised Adversarial Training via Diverse Augmented Queries and Self-Supervised Double Perturbation, NeurIPS 2024, 2024, 第 3 作者
(11) DragEntity: Trajectory Guided Video Generation using Entity and Positional Relationships, MM 2024, 2024, 第 5 作者
(12) A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement, Frontiers of Computer Science, 2024, 第 3 作者 通讯作者
(13) PAD: A Robustness Enhancement Ensemble Method via Promoting Attention Diversity, LREC-COLING 2024, 2024, 第 4 作者
(14) Bad Actor, Good Advisor: Exploring the Role of Large Language Models in Fake News Detection, AAAI 2024, 2024, 第 3 作者
(15) Make-Your-Anchor: A Diffusion-based 2D Avatar Generation Framework, CVPR 2024, 2024, 第 5 作者 通讯作者
(16) U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation, CVPR 2024, 2024, 第 5 作者
(17) FakingRecipe: Detecting Fake News on Short Video Platforms from the Perspective of Creative Process, MM 2024, 2024, 第 3 作者 通讯作者
(18) Rethinking Image Editing Detection in the Era of Generative AI Revolution, MM 2024, 2024, 第 3 作者
(19) Identity-Preserving Face Swapping via Dual Surrogate Generative Models, ACM TOG, 2024, 第 4 作者
(20) Let Silence Speak: Enhancing Fake News Detection with Generated Comments from Large Language Models, CIKM 2024, 2024, 第 3 作者
(21) FakeSV: A Multimodal Benchmark with Rich Social Context for Fake News Detection on Short Video Platforms, AAAI, 2023, 第 3 作者 通讯作者
(22) Two Heads Are Better Than One: Improving Fake News Video Detection by Correlating with Neighbors, ACL, 2023, 第 5 作者 通讯作者
(23) Combating Online Misinformation Videos: Characterization, Detection, and Future Directions, MM 2023, 2023, 第 3 作者 通讯作者
(24) ERASER: Adversarial Sensitive Element Remover for Image Privacy Preservation, AAAI 2023, 2023, 第 2 作者 通讯作者
(25) Progressive Open Space Expansion for Open-Set Model Attribution, CVPR 2023, 2023, 第 5 作者
(26) A Dual Prompt Learning Framework for Few-Shot Dialogue State Tracking, WWW 2023, 2023, 第 4 作者 通讯作者
(27) MVSS-Net: Multi-View Multi-Scale Supervised Networks for Image Manipulation Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 第 4 作者
(28) Learn over Past, Evolve for Future: Forecasting Temporal Trends for Fake News Detection, ACL 2023, 2023, 第 3 作者
(29) SAFL-Net: Semantic-Agnostic Feature Learning Network with Auxiliary Plugins for Image Manipulation Detection, ICCV 2023, 2023, 第 5 作者
(30) Combat data shift in few-shot learning with knowledge graph, Frontiers of Computer Science, 2023, 第 6 作者 通讯作者
(31) Memory-Guided Multi-View Multi-Domain Fake News Detection, IEEE Transactions on Knowledge and Data Engineering, 2023, 第 3 作者 通讯作者
(32) Quantifying Robustness to Adversarial Word Substitutions, ECML-PKDD 2023, 2023, 第 3 作者
(33) Improving Fake News Detection of Influential Domain via Domain- and Instance-Level Transfer, COLING 2022, 2022, 第 6 作者
(34) Temporal Correlation-Diversity Representations for Video-Based Person Re-Identification, PRCV 2022, 2022, 第 4 作者
(35) 基于多示例学习的食品健康领域长文谣言检测, Long rumor detection in the field of food health based on multiple instance learning, 计算机工程与设计, 2022, 第 4 作者
(36) Zoom Out and Observe: News Environment Perception for Fake News Detection, ACL 2022, 2022, 第 2 作者 通讯作者
(37) Generalizing to the Future: Mitigating Entity Bias in Fake News Detection, SIGIR 2022, 2022, 第 3 作者 通讯作者
(38) Deepfake Network Architecture Attribution, AAAI 2022, 2022, 第 3 作者 通讯作者
(39) Bias oriented unbiased data augmentation for cross-bias representation learning, Multimedia Systems, 2022, 第 3 作者
(40) Delving into the Frequency: Temporally Consistent Human Motion Transfer in the Fourier Space, MM 2022, 2022, 第 5 作者 通讯作者
(41) DRAG: Dynamic Region-Aware GCN for Privacy-Leaking Image Detection, AAAI 2022, 2022, 第 2 作者 通讯作者
(42) 基于卷积神经网络的食品安全领域谣言检测方法, RUMOR DETECTION METHOD IN FOOD SAFETY FIELD BASED ON CONVOLUTIONAL NEURAL NETWORK, 计算机应用与软件, 2022, 第 3 作者
(43) Characterizing multi-domain false news and underlying user effects on Chinese Weibo, Information Processing & Management, 2022, 第 2 作者 通讯作者
(44) MDFEND: Multi-domain Fake News Detection, CIKM 2021, 2021, 第 2 作者 通讯作者
(45) Article Reranking by Memory-Enhance d Key Sentence Matching for Detecting Previously Fact-Checked Claims, ACL 2021, 2021, 第 2 作者 通讯作者
(46) Progressive Domain Expansion Network for Single Domain Generalization, CVPR, 2021, 第 3 作者 通讯作者
(47) Mining Dual Emotion for Fake News Detection, WWW 2021, 2021, 第 2 作者 通讯作者
(48) Integrating Pattern- and Fact-based Fake News Detection via Model Preference Learning, CIKM 2021, 2021, 第 3 作者 通讯作者
(49) Improving Fake News Detection by Using an Entity-enhanced Framework to Fuse Diverse Multimodal Clues, MM 2021, 2021, 第 2 作者 通讯作者
(50) 语义增强的多模态虚假新闻检测, Semantics-Enhanced Multi-Modal Fake News Detection, 计算机研究与发展, 2021, 第 2 作者 通讯作者
(51) CGNet: A Light-Weight Context Guided Network for Semantic Segmentation, IEEE Transactions on Image Processing, 2021, 第 4 作者
(52) Graph-based neural networks for explainable image privacy inference, PATTERN RECOGNITION, 2020, 第 2 作者 通讯作者
(53) Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection, ACL 2020, 2020, 第 2 作者 通讯作者
(54) Exploring the Role of Visual Content in Fake News Detection, DISINFORMATI ON, MISINFORMATI ON, AND FAKE NEWS IN SOCIAL MEDIA, 2020, 第 1 作者 通讯作者
(55) Refocused Attention: Long Short-Term Rewards Guided Video Captioning, NEURAL PROCESSING LETTERS, 2020, 第 4 作者
(56) Tree-Structured Kronecker Convolutional Network for Semantic Segmentation, IEEE ICME 2019, 2019, 第 4 作者
(57) Freely Explore the Scene with 360 degrees Field of View, IEEE VR 2019, 2019, 第 4 作者
(58) Cost-free Transfer Learning Mechanism: Deep Digging Relationships of Action Categories, ACm M, 2019, 第 4 作者
(59) Exploiting Multi-domain Visual Information for Fake News Detection, ICDM, 2019, 第 2 作者 通讯作者
(60) Unlocking Author Power: On the Exploitation of Auxiliary Author-Retweeter Relations for Predicting Key Retweeters, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2018, 第 4 作者
(61) Rumor Detection with Hierarchical Social Attention Network, CIKM'18: PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON INFORMATION AND KNOWLEDGE MANAGEMENT, 2018, 第 2 作者 通讯作者
(62) Multimodal Fusion with Recurrent Neural Networks for Rumor Detection on Microblogs, PROCEEDINGS OF THE 2017 ACM MULTIMEDIA CONFERENCE (MM'17), 2017, 第 2 作者 通讯作者
(63) 融合多模态特征的社会多媒体谣言检测技术研究, Rumor detection on social media with multimodal feature fusion, 南京信息工程大学学报:自然科学版, 2017, 第 2 作者
(64) Detection and Analysis of 2016 US Presidential Election Related Rumors on Twitter, SOCIAL, CULTURAL, AND BEHAVIORAL MODELING, 2017, 第 2 作者
(65) Novel Visual and Statistical Image Features for Microblogs News Verification, IEEE TRANSACTIONS ON MULTIMEDIA, 2017, 第 2 作者
(66) News Verification by Exploiting Conflicting Social Viewpoints in Microblogs, THIRTIETH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, 2016, 第 2 作者
(67) On application-unbiased benchmarking of web videos from a social network perspective, MULTIMEDIA TOOLS AND APPLICATIONS, 2016, 第 1 作者
(68) Web video topics discovery and structuralization with social network, NEUROCOMPUTING, 2016, 第 1 作者 通讯作者
(69) Boosted Near-miss Under-sampling on SVM ensembles for concept detection in large-scale imbalanced datasets, NEUROCOMPUTING, 2016, 第 2 作者
(70) Real-Time News Certification System on Sina Weibo, WWW'15 COMPANION: PROCEEDINGS OF THE 24TH INTERNATIONAL CONFERENCE ON WORLD WIDE WEB, 2015, 第 2 作者
(71) News Credibility Evaluation on Microblog with a Hierarchical Propagation Model, 2014 IEEE INTERNATIONAL CONFERENCE ON DATA MINING (ICDM), 2014, 第 2 作者
(72) Name-Face Association in Web Videos:A Large-Scale Dataset, Baselines, and Open Issues, JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY, 2014, 第 4 作者
(73) A Unified Geolocation Framework for Web Videos, ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY, 2014, 第 3 作者
(74) A Novel Method for Geographical Social Event Detection in Social Medi, ICIMCS, 2013, 第 2 作者
(75) : GeSoDeck: A Geo-Social Event Detection and Tracking System, ACM Multimedia, 2013, 第 1 作者
(76) An Unified Geolocation Framework for Web Video Social Network, ACM Transactions on Intelligent Systems and Technology (TIST), 2013, 第 1 作者
(77) Community as a Connector: Associating Faces with Celebrity Names in Web Videos, ACM Multimedia, 2012, 第 1 作者
(78) Web Video Geolocation by Geotagged Social Resources, IEEE TRANSACTIONS ON MULTIMEDIA, 2012, 第 3 作者
(79) Leveraging Collective Wisdom for Web Video Retrieval through Heterogeneous Community Discovery, ACM Multimedia, 2011, 第 1 作者
(80) Towards hierarchical context: unfolding visual community potential for interactive video retrieval, MULTIMEDIA TOOLS AND APPLICATIONS, 2011, 第 2 作者
(81) Tracking Web Video Topics: Discovery, Visualization, and Monitoring, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 2011, 第 1 作者 通讯作者
(82) Graph-based multi-space semantic correlation propagation for video retrieval, VISUAL COMPUTER, 2011, 第 2 作者
(83) Web video retagging, MULTIMEDIA TOOLS AND APPLICATIONS, 2011, 第 2 作者
(84) Multi-Modal Query Expansion for Web Video Search, SIGIR 2010: PROCEEDINGS OF THE 33RD ANNUAL INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH DEVELOPMENT IN INFORMATION RETRIEVAL, 2010, 第 2 作者
(85) Graph-Based Multi-Space Semantic Correlation Diffusion for Video Retrieval, The Visual Computer, International Journal of Computer Graphics, 2010, 第 1 作者
(86) 基于多模态概念关联图的视频检索, An Effective Video Retrieval Approach Based on Multi-modality Concept Correlation Graph, 计算机辅助设计与图形学学报, 2010, 第 3 作者
(87) Vulnerability analysis of RFID protocols for tag ownership transfer, COMPUTER NETWORKS, 2010,
(88) Explicit and Implicit Concept-based Video Retrieval with Bipartite Graph Propagation Model, ACM Multimedia, 2010, 第 1 作者
(89) Trajectory-based Visualization of Web Video Topics, ACM Multimedia, 2010, 第 1 作者
(90) On defining affinity graph for spectral clustering through ranking on manifolds, NEUROCOMPUTING, 2009, 第 2 作者
(91) LOCALIZING AND RECOGNIZING ACTION UNIT USING POSITION INFORMATION OF LOCAL FEATURE, ICME: 2009 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO, VOLS 1-3, 2009, 第 5 作者
(92) A density-based method for adaptive LDA model selection, NEUROCOMPUTING, 2009, 第 1 作者 通讯作者
(93) 一种基于密度的自适应最优LDA模型选择方法, A Method of Adaptively Selecting Best LDA Model Based on Density, 计算机学报, 2008, 第 1 作者
(94) Retrieval method for video content in different format based on spatiotemporal features, ADVANCES IN INFORMATION RETRIEVAL, 2007, 第 5 作者
(95) LDA-based retrieval framework for semantic news video retrieval, ICSC 2007: INTERNATIONAL CONFERENCE ON SEMANTIC COMPUTING, PROCEEDINGS, 2007, 第 1 作者 通讯作者
(96) 一种计算汉字串之间相关程度的新方法, A New Method for Calculating Relativity of Chinese Strings, 中文信息学报, 2004, 第 1 作者
(97) 隐式分词的中文输入法及其实现, A Chinese Input Approach Implicating Word Segmentation And its Implementation, 湘潭大学自然科学学报, 2003, 第 3 作者
(98) Context-Oriented Web Video Tag Recommendation, 第 2 作者
(99) Web Video Categorization based on Wikipedia Categories and Content-Duplicated Open Resources, 第 2 作者
发表著作
(2) 中国人工智能发展报告(第22章)--互联网谣言检测与知识辨伪, 中国工信出版集团, 2020-10, 第 1 作者
科研活动
科研项目
( 2 ) 中科院青年创新促进会项目, 负责人, 中国科学院计划, 2011-01--2014-12
( 3 ) UGC新闻认证预警关键技术研究, 负责人, 国家任务, 2016-01--2019-12
( 5 ) 新华社UGC新闻认证预警系统, 负责人, 企业委托, 2015-01--2016-06
( 6 ) 新华百科知识库系统构建, 负责人, 企业委托, 2015-01--2016-12
( 7 ) 网络大数据的数据与隐私保护基础理论研究, 参与, 国家任务, 2016-07--2021-07
( 8 ) XXXX, 负责人, 国家任务, 2014-06--2015-12
( 9 ) 基于轨迹的网络话题检测和可视化研究, 负责人, 国家任务, 2010-01--2012-12
( 10 ) 基于深度学习的互联网多媒体谣言检测理论与方法研究, 负责人, 研究所自选, 2017-05--2019-04
( 11 ) 互联网谣言检测与舆论引导算法研究, 负责人, 国家任务, 2018-01--2021-12
( 12 ) 复杂环境的多媒体智能感知软硬件技术研究及应用验证, 负责人, 地方任务, 2018-01--2019-12
( 13 ) 面向网络空间的事件全生命周期监测, 负责人, 国家任务, 2018-02--2021-12
( 14 ) 中国科学院计算技术研究所-寺库AI联合实验室, 负责人, 企业委托, 2019-05--2022-05
( 15 ) 图像视频伪造检测与溯源算法研究, 负责人, 国家任务, 2021-07--2023-07
( 16 ) 音视频伪造数据集和测试平台构建, 负责人, 地方任务, 2021-01--2022-01
( 17 ) 软硬跨层优化的互联网视频深伪检测专用设备研发, 负责人, 研究所自选, 2021-06--2023-05
( 18 ) XXX实验室运行技术保障项目, 负责人, 地方任务, 2021-06--2022-06
( 19 ) 基于智能芯片的伪造人脸图像检测算法研究, 负责人, 国家任务, 2020-01--2021-12
参与会议
(2)伪造检测中的取证溯源技术 中国多媒体大会 ChinaMM 2023 2023-08-03
(3)AIGC时代突围,我们需要一双鉴别真伪的眼睛 2023中国计算机学会青年精英大会 2023-05-18
(4)多模态伪造检测技术体系思考 CNCC中国计算机大会 2022-12-08
(5)睿鉴数字内容虚假伪造检测系统和设备 2022世界互联网大会 2022-11-12
(6)基于技术的互联网可信度认证体系建设与思考 人工智能与未来媒体大讲堂 2022-09-20
(7)用技术让世界更可信 格致论道演讲 2022-03-28
(8)数字内容伪造与检测 中关村论坛新技术新产品发布会 2020-09-30
(9)信息真伪鉴定 — 让世界更可信 中国多媒体大会 2020-09-19
(10)重大社会事件中的虚假新闻治理与思考 社会服务计算与突发公共事件舆情应对论坛 2020-09-05
指导学生
已指导学生
周兴 硕士研究生 081203-计算机应用技术
张俊强 硕士研究生 081203-计算机应用技术
何覃 硕士研究生 081203-计算机应用技术
申世伟 硕士研究生 081203-计算机应用技术
张雅滋 硕士研究生 081203-计算机应用技术
潘浩彬 硕士研究生 081203-计算机应用技术
李蕾 博士研究生 081203-计算机应用技术
盛强 博士研究生 081203-计算机应用技术
钟雷 硕士研究生 081203-计算机应用技术
李潇雅 硕士研究生 081203-计算机应用技术
方凌飞 硕士研究生 081203-计算机应用技术
张雪遥 硕士研究生 081203-计算机应用技术
黄子尧 硕士研究生 085211-计算机技术
亓鹏 博士研究生 081203-计算机应用技术
王子昂 硕士研究生 081203-计算机应用技术
朱勇椿 博士研究生 081203-计算机应用技术
李润东 硕士研究生 081203-计算机应用技术
赵昕颖 硕士研究生 085404-计算机技术
苏思龙 硕士研究生 085400-电子信息
李佩瑶 硕士研究生 085404-计算机技术
胡海波 硕士研究生 085404-计算机技术
孙志豪 硕士研究生 081203-计算机应用技术
现指导学生
杨天韵 博士研究生 081203-计算机应用技术
王政嘉 博士研究生 081203-计算机应用技术
弭晓月 博士研究生 081200-计算机科学与技术
宋林志 硕士研究生 085404-计算机技术
刘克安 硕士研究生 085404-计算机技术
刘晟 博士研究生 081200-计算机科学与技术
胡焙哲 博士研究生 081200-计算机科学与技术
米昊 硕士研究生 081200-计算机科学与技术
王少非 硕士研究生 085400-电子信息
石宇辉 硕士研究生 081200-计算机科学与技术
李阳 硕士研究生 081200-计算机科学与技术
吴娅 硕士研究生 085400-电子信息