警惕谣言插上AI之翼
警惕谣言插上AI之翼
近日,一则“有顶流明星在澳门输了10亿”的信息在互联网平台传播,配有所谓“现场照片”和“聊天记录”,引发网民热议,相关话题频繁登上热搜。3月14日,公安部网安局发布消息称,该信息系网民为博取流量使用AI输入社会热点词捏造的谣言。人工智能的进步正在推动社会发展,但与此同时,它也为谣言的制造提供便利。AI谣言呈现出哪些新特点?又该如何精准施策、有效应对?连日来,记者对此进行了采访。
一键生成
AI谣言门槛低危害大
“河南清丰县第二初级中学着火”“四川凉山发生山体滑坡灾害”……中国互联网联合辟谣平台数据显示,在互联网虚假信息举报中,利用AI技术生成谣言现象频发,混淆视听、误导认知,造成不良影响。
2月23日“山西网警”消息,网民为博眼球吸引流量,利用AI软件合成忻州市某中学发生“火灾”的图片并发布到个人短视频社交账号中,相关人员已被查处。记者用市面上流行的多款人工智能软件测试发现,在对话框内输入“火灾”这一主题有关的内容创作指令,30秒即可生成逻辑通顺、标题吸睛的“爆款文案”,包括现场救援细节的图片和音视频,让人真假难辨。
同类案例还有3月5日新疆阿克苏地区拜城县发生4.5级地震,震后仅3小时,某短视频平台便出现“已致3人死亡、65户房屋倒塌”的谣言,配以AI拼接的房屋坍塌图片和方言配音的“灾民呼救”视频。经核查,这是造谣者利用AI技术手段拼接网络旧图,发布与此次地震不符的图文、音视频等虚假信息误导公众。实际上,经当地政府全面摸排,此次地震未造成人员伤亡和财产损失。
3月13日,公安部网安局微信公众号发布典型AI谣言场景包括:伪造热点事件,用AI生成“某地重大事故”图文或视频,配煽动性标题博流量;捏造名人言论,篡改语音、合成视频,假借权威人士发布虚假政策解读;炮制伪科普,利用AI生成“科学数据”,兜售伪劣产品,如“AI检测抗癌神药”等;嫁接虚假证据,将无关图片通过AI换脸、换背景,捏造“维权证据”“聊天记录”。
“AI的出现让造谣的成本大幅降低。”AIGC提示词工程师赵钰琦表示,当前AI网络谣言具有迷惑性强和规模大的特征。根据输入指令的不同,AI在短期内能够批量生成大量内容不同的网络谣言,且随着AI技术的高度发展,谣言制造者能够精准模仿真实人物的声音、外貌乃至行为模式和语言逻辑,使得谣言内容在感官上极具欺骗性。此外,AI谣言的制作者往往围绕热点事件或敏感话题来做文章,通过虚构事实、张冠李戴、移花接木等将虚假信息与真实新闻事件进行恶意关联,以“标题党”“震惊体”等形式制造矛盾冲突点,短时间就能获得百万浏览量。
牟利造假
AI谣言涉嫌违法
为何AI会“说谎”。赵钰琦认为,AI软件是靠提示词和上下文来工作的,它的每一句回答,都严重依赖提问者的“引导”,提问者给的信息越多、越清楚,它回答得就越靠谱,反之面对缺失信息的情况,模型会自动编造看上去“合理”的细节填补,最终形成AI幻觉。在多起AI谣言背后,造谣者的动机是复杂多样的,既包括部分网民对AI软件的“试水”或寻求存在感、刺激感,也包括犯罪分子为了牟取非法利益,编造AI网络谣言,以便实施电信网络诈骗等犯罪活动。
近一年里,已经有不少“AI内容”灰色产业链曝光。南昌一家MCN机构因编造“西安爆炸”事件遭到警方调查。警方评估显示,负责人一共经营了5家MCN机构,运营账号842个,一天能AI生成4000-7000篇文章,全程基本不需要人工参与。经初步的估算,每天的收入在1万元以上;西安警方公布了一起AI造谣案件:涉案人员通过“翠绿笔墨”AI写作软件,将热门社会新闻重新拼凑、替换同义词,并批量生成内容,日均产量高达19万篇,流向6000多个自媒体账号,以获取平台流量分成,警方提取了该软件7天保存的文章,发现总量超过100万篇,涉及时事新闻、社会热点、社会生活等各方面。
天津东方律师事务所律师张卓越告诉记者,编造虚假的险情、疫情、灾情、警情,在信息网络或者其他媒体上传播,或者明知是上述虚假信息,故意在信息网络或者其他媒体上传播,严重扰乱社会秩序的,处三年以下有期徒刑、拘役或者管制;造成严重后果的,处三年以上七年以下有期徒刑。如果行为人不仅制作、传播虚假信息,而且目的是骗取互联网平台上不特定多数人的财产,则涉嫌诈骗罪。
内容标识
构建多方协同治理机制
为治理AI造假乱象,营造风清气正的网络环境,今年2月,中央网信办发布2025年“清朗”系列专项行动通知,指出今年的重点是整治AI技术滥用乱象,强化生成合成内容标识,打击借AI技术生成发布虚假信息、实施网络水军行为等问题,规范AI类应用网络生态。
为AI内容加标识,是目前解决“深度伪造”“虚假信息传播”等问题的主要措施之一,也是国内监管机构着力推进的方向。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》),将于2025年9月1日起施行。
工业和信息化部信息通信经济专家委员会委员刘兴亮认为,通过强制标识,可以有效遏制虚假行为、政治谣言等高风险内容的传播,防范技术滥用对经济社会稳定造成的威胁。《办法》首创“显式+隐式”双标识体系,文字水印、语音提示等显式标识可以直接提示用户辨别内容的真实性,降低了误导风险;元数据、数字水印等隐式标识,可以通过技术手段实现内容溯源,为监管部门提供取证依据。二者结合起来就可以形成事前警示+事后追责的全链条治理。
此外,《办法》要求服务提供者、传播平台、应用商店共同履行标识义务,有助于构建多方协同的治理机制。平台是AI谣言的主要传播渠道,要斩断AI造谣的利益链,还需要平台有所作为。抖音、快手、微信、小红书等社交平台,都已要求用户在上传内容时声明是否由AI生成。张卓越表示,平台应健全完善谣言审核识别机制,对AI生成内容第一时间添加明确标识,加大对涉及重大事件、敏感话题中图片、视频的真伪核查,及时甄别、拦截、处置不实信息和账号。同时,建立便捷的举报和投诉渠道,对于多次利用AI造谣的用户,平台不妨采取“封号”等禁止性措施,规范内容发布、传播等行为。刘兴亮认为,互联网应用分发平台需要检查AI服务的资质,用户发布AI生成内容时需要主动声明,形成技术+制度+公众参与的共治格局。(刘聪)
山西日报、山西晚报、山西农民报、山西经济日报、山西法制报、山西市场导报所有自采新闻(含图片)独家授权山西新闻网发布,未经允许不得转载或镜像;授权转载务必注明来源,例:"山西新闻网-山西日报 "。
凡本网未注明"来源:山西新闻网(或山西新闻网——XXX报)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。