Discuz! Board

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 7|回复: 0

分享AI虚假信息带来的困扰为何越来越严重了

[复制链接]

20万

主题

0

回帖

60万

积分

超级版主

Rank: 8Rank: 8

积分
601979
发表于 13 小时前 | 显示全部楼层 |阅读模式
今年十一期间,抖音、B站等平台大量涌现了“雷军AI配音”的恶搞视频,给雷军本人和小米带来了很大困扰。
在这些恶搞视频中,“雷军”锐评了堵车、假期等热门话题,还有一些不雅谩骂。一些恶搞短视频的播放量几天之内就达到上亿。对此,雷军本人在10月底发布短视频回应称,希望大家都不要再玩了,“有友投诉说国庆期间被我连续骂了7天,的确让我自己也挺困扰,让我挺不舒服的,这个事不太好。”
谈及上述事件,Gartner研究副总裁高挺告诉界面新闻,虚假信息本质上还是伪造的信息,但它的危害在大模型时代被放大了。
在一位信息安全从业者看来,“雷军AI配音”?的恶搞视频变多,主要是外站一家AI在宣传其声音克隆功能。这类玩梗,公众知道是AI模仿,传播虚假信息的风险不大。平台在治理中的难点是,因为法判断人、明星对于这种友玩梗是反对,还是出于营销目的乐见其成,在当事人明确提出赞同或反对的意见前,平台难以制定治理策略。
相比之下,新闻类的AI谣言往往带来的社会危害性更大。界面新闻搜索发现,类似的事件今年也多次发生。
近期,一篇题为《山东大妈摆摊卖水果被罚16万,监管局回应不交罚145万,法院判了》的文章在微信等平台流传非常广,也引发了很多友的争论。但经有关部门核,这篇文章系长沙一家MCN为了增加的阅读量与收益,利用AI生成的内容来博眼球。在此之前,多个短视频平台还出现过利用AI编造“地震”“运钞车抢劫”等新闻,这些内容给不明真相的友带来了一定程度的恐慌。
对于生成式AI带来的虚假新闻,各个内容类平台都明确表示会进行打击。抖音安全中心相关负责人称,对于虚假信息,论是否由AI生成,一经发现平台均会严厉处置。同时,对于AI生成内容,在符合社区内容规则的前提下,抖音要求发布者对内容进行显著标识,帮助其他用户区分虚拟与现,特别是易混淆场景。
但据界面新闻了解,治理AI生成虚假新闻的难点在于面临很高的核验成本,平台很难完全以一己之力判断信息的真性,很多情况下需要监管部门介入,但相关信息在核验过程中已经进行了速传播。
虚假信息给企业声誉以及社会正常生活秩序造成负面影响之外,还带来了诸如“络钓鱼”,或者“账户接管”等企业络安全的影响。此前,行业中曾经发生过诈分子通过AI技术仿造一家能源CEO声音,诈该高管上百万元钱财的事。AI生成的音色、音调和口音都非常逼真,导致这高管根本没意识到是诈。
高挺表示,生成式AI导致了更高破坏性、更逼真的攻击,这些攻击更难被人类识别以及被传统技术阻止,会对企业造成更大的损失。
虚假信息生产成本越来越低,但负面影响却越来越显性,只通过传统的人工核验手段已经很难完全解决问题。上述技术安全专家表示,我们需要有更多新兴的技术去解决虚假信息治理的问题。有些人利用技术手段来制造虚假信息,技术安全专家就应该能够识别这些虚假信息的特征,通过技术手段与之对抗,真正从源头解决问题。
在信息安全领域,很多技术专家已经对虚假信息治理有了一些初步共识,并把“虚假信息安全”作为一个新的技术研究方向。
具体来讲,“虚假信息安全”包含了在信息传播中能够确保完整性、评估真性以及防止冒充和追踪有害信息传播的一系列技术。背后的原理是,通过大语言模型来跟踪社交媒体上的内容,验证时通信的完整性,确保第方媒体的真性等。
Gartner在其预测的2025年十大战略技术趋势中,把“虚假信息安全”列为重要的技术趋势之一。该机构认为,未来1到3年,“虚假信息安全”技术将会产生明显的商业收益。
从研究践来看,一些技术被证明是有效的。加利福尼亚大学的一项研究表明,通过上下文标签向用户提供背景介绍、针对错误的解释以及相关权威内容等细节信息,可以有助于减少虚假内容扩散。而Facebook、X等海外内容类平台正通过人工智能等技术手段,训练系统自动对海量信息进行检测和标记,以克服人工核查的局限性。这些研究和践,对国内的内容类平台也有较强的借鉴意义。
而针对通过生成式AI带来的钓鱼诈等问题,企业和组织可以通过一套完整的技术解决方案来应对。界面新闻了解到,360、蚂蚁金服等多家国内互联已经在基于大模型研发解决方案,试图通过数据接入及解析、分析研判与溯源调查等手段识别出更多风险。


#AIGC行业资讯#360#AI#AI技术#ai配音#人工智能#大模型#抖音#搜#搜索#生成式#生成式AI#社交媒体#自动#视频
?版权声明

由此可见,agent平台有着强有力的发展脉搏,是行业发展不可或缺的动力源泉。支持企业基于本地私有知识库,训练与开发智能客服、营销自动化、智能销售场景AI应用,助力零售、金融等行业企业智能化转型与决策效率提升。https://www.betteryeah.com/agent

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|汕巨家居(浙江)有限公司

GMT+8, 2024-12-23 23:20 , Processed in 0.046351 second(s), 19 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表