9日,在外滩大会“规范AI内容 共筑清朗生态”见解论坛上,南都大数据研究院编制并发布《AI新治向:生成式人工智能内容与传播风险治理观察》报告。
“AI新治向”重磅报告首发、实验“AI造假”路人反应、专家献策“AI谣言”治理、脱口秀抛梗“AI新生活”……9日下午,以“规范AI内容 共筑清朗生态”为主题的外滩大会见解论坛在上海举办。论坛汇聚AI治理专家学者、企业精英、青年学子及青少年代表,围绕人工智能生成合成内容及传播过程中的风险挑战议题深入探讨。据悉,本次论坛由南方都市报社、南都大数据研究院、中国互联网协会人工智能工作委员会、复旦大学传播与国家治理研究中心主办。
多元协同共筑清朗生态
最新报告聚焦AI风险治理
活动现场,本次活动的主办方代表、南方都市报社主编刘江涛致辞表示,AI已经渗入日常生活当中,未来还将从根本上改变诸多方面,但社会也需要形成共识,要对AI保持一份足够的清醒,按照国家的相关要求确保人工智能安全、可靠、可控。南都愿意做“铺路石”,或是“吹哨者”,与多方协力共建智慧交流平台。
中国互联网协会人工智能工作委员会秘书长邓凯在致辞时指出,应对AI内容治理挑战可从三方面着力:一是强化标准与技术治理,加快研制AI内容识别、溯源等相关标准规范,推广数字水印、内容标识等技术;二是推动多元协同共治,构建政府、企业、协会等多方协同治理机制,促进信息共享与规则共建;三是践行科技向善,将社会责任与伦理要求置于技术发展的重要位置,重点保护未成年人等特殊群体,让AI发展更有温度、更负责任。
生成式人工智能在飞速发展的同时,也催生了AI谣言传播、隐私安全等新型风险,成为全社会关注的焦点。本次活动上,南都大数据研究院编制发布了《AI新治向:生成式人工智能内容与传播风险观察》报告。据悉,去年至今,南都大数据研究院持续开展“AI新治向”系列课题研究,聚焦内容生态、算法伦理、个人信息保护、未成年人保护等关键议题,努力为AI安全发展提供扎实的调研支撑和决策参考。该报告依托南都大数据研究院近一年来对百起风险事件的调查、数千份问卷调研及多轮社会实验为基础,尝试揭示生成式AI伴生的多类风险,解析AI虚假内容传播链,并提出“多措并举,多元共治”治理建议,让AI安全为发展输送动力。
值得一提的是,报告还通过街头实验与问卷调查,以AI假新闻为例深度解析其背后传播机制。数据显示,76.5%的受访者表示曾多次遇到AI假新闻。
传播、技术、法规、实践
专家支招AI内容治理
本次论坛旨在搭建横跨产学研媒的智慧交流平台,探寻治理破解之道,凝聚“技术可控、法规明晰、传播可信、共治有效”的行业共识。论坛现场,来自高校、机构、企业的专家,围绕传播、技术、法规、实践等核心议题展开主旨演讲,以专业的视角拆解AI内容治理的难点与破局路径。
“专业报道在AI内容的冲击下面临困境”,复旦大学新闻学院教授、传播与国家治理研究中心主任张志安指出,去中心化伴随信息质量参差,谣言与深度伪造(deepfake)内容泛滥,新闻生态呈现“多中心但无序”的复杂样态,他认为需要以“生态”视角来动态推进治理路径。
复旦大学计算与智能创新学院教授、白泽智能团队负责人张谧聚焦大模型安全治理,其认为“大模型安全”指代两方面:大模型自身的安全问题和以大模型为中心的全环节的安全。据介绍,其团队开发的JADE大模型安全风险分析治理平台已实现文本、多模态、文生图、长推理模型和Agent安全等多个维度的风险与分析全面覆盖。
中国社会科学院大学互联网法治研究中心主任、副教授刘晓春带来了对AI时代未成年人保护的理念变化思考,她提出了“调控型保护”的概念,并从身份识别、风险防范、发展促进、家长赋能四方面进行了详细解读。
9日,国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》及强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》正式施行,明确所有AI生成的文字、图片、视频等内容都要“亮明身份”,标志着我国在生成式人工智能领域迈出了构建安全可信生态的关键一步。活动现场,中国电子技术标准化研究院网络安全研究中心、人工智能安全标准研究员张妍婷围绕《标识办法》与《标识方法》的内容、价值与标识工作的落地推广展开了分享解读。
作为企业代表,蚂蚁数科AI科技产品总监鲁玮分享了AI安全防御技术思考与实践。据悉,针对AI伪造人脸、凭证伪造、AI内容幻觉等场景,蚂蚁数科技术团队已推出多项解决方案。如蚂蚁天玑实验室自研的智能测评技术已广泛用于金融机构、手机终端的评估;“光鉴智能验真”产品为物理世界中的票据、身份凭证提供防伪保障;在防御幻觉层面,大模型安全解决方案“蚁天鉴”已经针对大模型业务场景中提问、回答的交互模式,构建了一套多层防御护栏方案。
Talk Show趣绘AI日常
AI歌曲寄望安全未来
活动的“Talk Show”舞台上,复旦校园喜剧达人以“被AI硬控的一天”为主题开讲,用青春视角解锁科技与生活的碰撞。萌趣十足的小学生分享了自己“小脑袋里的AI梦”,用天马行空的想象勾勒出心目中的未来AI世界图景。论坛“AI安全倡议”环节,一首由AI独立创作演唱的歌曲《AI的期待》,伴随着轻柔旋律,传递出对法规、技术、伦理守护AI安全的寄望。
据了解,“2025 Inclusion·外滩大会”𱆕-13日在上海黄浦世博园区举行。本届外滩大会以“重塑创新增长”为主题,设场主论坛、44场见解论坛,打造了创新者舞台、投资人Meetup、科技创新赛、科技招聘会等特色活动。
报告发布
南都大数据研究院编制并发布《AI新治向:生成式人工智能内容与传播风险治理观察》报告
超七成受访者多次遇AI假新闻
问卷调查中,76.5%的受访者表示曾多次遭遇AI假新闻;街头实验中,多名受访者被AI生成的虚假信息蒙蔽,并转发该内容……生成式人工智能在飞速发展的同时,伴生出的AI谣言传播、隐私安全等新型风险,也正成为全社会关注的焦点。
9日,上海外滩大会以“规范AI内容,共筑清朗生态”为主题的见解论坛上,南方都市报、南都大数据研究院编制并发布《AI新治向:生成式人工智能内容与传播风险治理观察》报告(以下简称《“AI新治向”报告》)。
《“AI新治向”报告》以南都近一年来对百起风险事件的调查、数千份问卷调研及多轮社会实验为基础,尝试揭示生成式AI伴生的多类风险,解析AI虚假内容传播链,并提出“多措并举,多元共治”治理建议,强调为AI发展系紧安全带。
AI应用普及伴生多类风险
AI技术正加速融入千行百业,重塑生产与生活方式。然而技术在提升效率、增进创意的同时,也伴生诸多新型风险,对社会治理提出全新挑战。为回应这些新问题,南都大数据研究院推出“AI新治向”专栏,从日常场景切入,持续追踪AI风险与治理动态,涵盖深度报道,数据新闻、调查测评与视频解读等多种形态,提出可行治理建议,获得管理部门与企业平台的密切关注。比如开展“100款App AI内容标识大摸底”专题调研,为推动法规政策落地提供媒体视角;发布“保护AI世界里的孩子”等系列报道,直面AI技术滥用对青少年的影响,推动社会共同聚焦未成年人的AI安全等。
本次《“AI新治向”报告》梳理出生成式人工智能伴生的典型内容风险,包括虚假信息与误导性内容、深度合成诈骗、隐私泄露与数据滥用、版权与人格权侵害、商业与学术诚信失范,以及未成年人权益侵害等多个方面。
其中,在虚假信息与误导性内容方面,南都大数据研究院曾分析去年国起高热AI风险事件中,发%涉及AI谣言。以此前广为流传的《特朗普爱上在白宫当保洁的我》这一虚构AI短剧为例,南都调查显示,有高%的受访者曾接触到这则假新闻。另外,当人工智能模型遭到恶意指令污染时,可能会输出具有误导性的回答,例如在测试中,某些模型在被注入异常语料后,竟对“快速赚钱的十个办法”这一问题给出了“抢银行”的危险建议。
深度合成技术的滥用还催生了新型诈骗形式。不法分子通过克隆名人或亲友的音视频实施诈骗,给受害人造成巨额经济损失。比如网民曾制作并上传大量雷军的AI音频,其中不乏骂人、恶搞语音,成为舆论热点。而南都曾调查多款具备该技术能力的AI应用对声音克隆几乎不设限,错误言论、诋毁话语、涉黄词句,都可用他人声音“读”出来,风险大量存在。
与此同时,隐私泄露和数据滥用风险同样不容忽视。人工智能应用往往需要采集大量个人数据,而其强大的信息挖掘与分析能力,可能在用户不知情的情况下触及非公开或敏感信息,从而模糊隐私保护的边界。此前,微博AI智搜功能就曾因分析用户非公开博文、地理位置、消费习惯等敏感信息而引发争议。甚至,南都大数据研究院调查发现,大模型视觉推理能力的发展使得通过普通街景照片精准定位拍摄地点成为可能,这意味着用户在社交媒体上分享的照片可能被恶意利用,造成隐私泄露风险。
除了上述风险外,生成式人工智能还在挑战版权与人格权的保护边界。例如南都测评发现,某些软件提供与明星的“情侣合照”生成功能,未经授权使用可能构成对明星肖像权的侵害。
人工智能代写论文、生成虚假外卖菜品和门店图片等现象,不仅衍生出灰色产业链,还对学术和商业诚信造成严重损害。还有AI应用普遍缺乏未成年人模式,可能导致青少年接触不良内容或沉迷对话等。我们测款热门AI陪聊应用发现,多数应用对未成年人身份的识别和保护能力较弱,部分应用还存在一些极端AI人设与软色情内容,有诱导沉迷和充值之嫌。
综合来看,生成式AI风险成因复杂,是技术、管理、素养与伦理多重因素交织的结果。首先,技术本身存在局限性,生成式模型依赖训练数据,在处理复杂问题时容易产生“幻觉”,输出虚假内容。其次,训练数据质量参差不齐,数据中存在的偏见或错误会导致生成内容失真。第三,恶意滥用行为屡禁不止,不法分子通过提示词注入等手段诱导人工智能生成有害信息,深度合成技术用于诈骗也是典型例子。第四,数据管理存在明显漏洞,人工智能应用收集大量个人数据的同时,缺乏严格的保护机制,极易导致信息泄露。第五,监管与伦理规范尚未完善,技术的迭代速度远远超过法律法规的响应速度。此外,公众对人工智能技术的认知不足,辨别真伪信息能力较弱,也在客观上助长了虚假内容的传播。面对这些多重挑战,建立完善的人工智能治理体系已成为当务之急。
为何AI假新闻能轻易扩散?
为什么AI虚假内容总能轻易扩散?《“AI新治向”报告》通过街头实验与问卷调查,以AI假新闻为例深度解析其背后传播机制。数据显示,76.5%的受访者表示曾多次遇到AI假新闻。而老年人因对技术了解有限更易轻信合成内容,成为高风险人群。记者在实地采访中发现,AI生成的视频内容尤其容易使老年人产生混淆和误判。
南都大数据研究院在街头以三条近期流传的AI假新闻进行采访实验,10名受访者中人在观看新闻后表示将转发,其中关于某运动员的相关谣言转发最多,理由是“出于喜爱想帮助她”。问卷数据进一步揭示,用户转发虚假新闻的主要原因是“内容引起共鸣”和“信任信息来源”,这两项占比均超过六成。
调查数据显示,绝大多数用户依赖直觉判断真伪,超七成受访者凭借“内容逻辑”和“画面真实感”评估新闻内容的真实性,不到一半的受访者会核查新闻来源或搜索验证。在这种“强情绪+熟人/大V背书”的传播情境中,严谨的核验机制被简化为瞬间的直觉判断,从而触发了“易信易转”的传播行为。
而造谣者借助AI技术用较低成本生成高拟真,且具有情绪煽动性的内容,既贴合算法推荐机制,又轻易通过用户的“直觉式筛查”,再叠加用户网络素养不足、平台审核薄弱与流量利益驱动等因素,形成快速扩散传播链条。值得注意的是,即便事后发现误转,也%的受访者表示不会进行任何澄清或处理,虚假信息于是持续发酵,形成“雪球效应”。
需多措并举、多方共治
面对生成式人工智能伴生的多重风险,我国正在积极构建多层次、综合化的治理体系。目前,覆盖原则、规则与标准的治理网络已初步形成。近年来,《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等重要法规相继出台,月起,《人工智能生成合成内容标识办法》及配套强制性国家标准也正式生效,进一步强化了对生成内容的管理与规范。与此同时,“清朗·整治AI技术滥用”专项行动持续深入开展,平台企业也在积极履行主体责任。教育部同期出台《中小学生成式人工智能使用指南》,致力于从源头上引导青少年建立正确、健康的人工智能使用观念。
为进一步为生成式人工智能系好“安全带”,需“多措并举”。《“AI新治向”报告》提到,主要包括推行强制标识制度,使AI生成内容达到可辨识、可溯源;不断强化数据合规与授权机制,坚持最小必要原则收集个人信息,切实保障用户知情权与删除权;通过“红队测试”等方法持续提升模型可靠性与透明度;对医疗、金融、法律等高敏感度场景实行分级分类管理,严格限制AI权限,并确保人类专家进行最终核查;针对未成年人探索“青少年模式”,将AI素养教育、通识教育纳入中小学课程体系,培育未成年人对AI生成内容的批判性认知等。
而构建健康清朗网络生态,仍需多元协同、多方共治。《“AI新治向”报告》也建议,政府需在激励创新与有效监管之间寻求平衡,平台企业应当全面落实安全主体责任,公众也需主动提升批判性认知能力,学术界与行业组织则应积极推动技术标准与行业自律机制的建立与完善。唯有各方明确责任、协同发力,才能构建起一个既能鼓励创新又能有效管控风险的治理体系,确保人工智能技术真正造福于人类社会。
本次论坛由南方都市报社、南都大数据研究院、中国互联网协会人工智能工作委员会、复旦大学传播与国家治理研究中心联合主办。
出品:南都大数据研究院
监制:戎明昌 刘江涛
策划:王卫国 邹莹
统筹:凌慧珊 甄芹 张雨亭 关健明
采写:南都记者 张雨亭 陈袁 赵唯佳 朱可轩 研究员 谢小清 麦洁莹
罗韵 见习记者 张文嘉 王婕
视效:AI数据工作室 郭文哲 原毅 张许君
设计:欧阳静 罗锐 邹思曼 何欣 林泳希 尹洁琳
视频:晨曦 实习生 朱恺熙