官方网站-首页

2025年1月7日上午9时05分，西藏日喀则市定日县发生6.8级地震。灾情牵动人心，当地流传出的各种救援画面，更是令人揪心不已。然而，与此同时，也有一些不真实的内容趁机“浑水摸鱼”，利用人们的同情心进行误导。

比如下面这个广泛流传在“日喀则地震”视频中的图片——一个戴帽子、被压在废墟下的小孩，其实就是由AI生成的。

据“全民较真”公众号查证，它最早出现在一个叫“AI小芭芘”的账号2024年11月18日的短视频中，作者也声明了“内容由AI生成”。仔细观察图片红圈的部分，也可以看到这个小孩的左手有6根手指。

不光是这张图片，还有一些标着“日喀则地震”的图片也并非是现场图。比如这张“在废墟中妈妈用身体为孩子顶住压力”的图片，评论区还有人说“目前已经救出，其母亲多处骨折还是平安无事”，对于不明真相的路人很容易相信确有其事，但只要截图后选择“识别图片”，就能在同平台上看到2022年就有创作者发布，当时还是“一张照片一个感人故事”，明显是借由AI或旧图重新拼接，故意混淆视听。

平台上疑似使用了AI生成技术的图片，有些会由作者或平台标注提示，但有些没有。图源：网络截图

以前我们都说“有图有真相”，但随着AI的发展，有图也未必有真相。尤其是在出现重大灾情、重大事件的时候，难以避免有人利用人们的同情等情绪，利用AI的文本和图像生成功能，编造虚假信息、博取流量。

今天，我们从技术角度来剖析一下此类事件，并呼吁大家提高警惕。

AI技术愈加成熟

造假门槛越来越低

AI生成被压在废墟下孩子的图片，这背后涉及的是生成式人工智能技术，以文本到图像生成模型（Text-to-ImageModels）为核心。这类技术通过解析用户输入的文字描述，将语义信息转化为逼真的图像。

其原理基于扩散模型（DiffusionModels）或生成对抗网络（GAN，GenerativeAdversarialNetwork）。扩散模型是基于概率模型，在每一步迭代中将噪声图像调整为更加符合输入描述的形态。例如，输入“被废墟压住的(de)孩(hái)子(zi)”，模(mó)型(xíng)会(huì)解(jiě)析(xī)关键词（主体(tǐ)、情(qíng)感(gǎn)、环(huán)境(jìng)等(děng)），并(bìng)分(fēn)步(bù)骤(zhòu)添(tiān)加(jiā)废(fèi)墟(xū)、灰(huī)尘(chén)等(děng)元(yuán)素(sù)，使(shǐ)图(tú)像(xiàng)逐(zhú)步(bù)逼(bī)近(jìn)最(zuì)终(zhōng)的(de)文字(zì)描(miáo)述(shù)。

生(shēng)成(chéng)对(duì)抗(kàng)网(wǎng)络(luò)是(shì)通(tōng)过(guò)生(shēng)成(chéng)器(qì)和(hé)判(pàn)别(bié)器(qì)的(de)对(duì)抗(kàng)训(xun)练(liàn)生(shēng)成(chéng)高(gāo)质(zhì)量(liàng)图(tú)像(xiàng)。生(shēng)成(chéng)器(qì)根(gēn)据(jù)文字(zì)描(miáo)述(shù)生(shēng)成(chéng)图(tú)像(xiàng)，而(ér)判(pàn)别(bié)器(qì)判(pàn)断(duàn)生(shēng)成(chéng)的(de)图(tú)像(xiàng)是(shì)否(fǒu)真(zhēn)实(shí)。通(tōng)过(guò)不(bù)断(duàn)的(de)对(duì)抗(kàng)，模(mó)型(xíng)最(zuì)终(zhōng)生(shēng)成(chéng)高(gāo)度(dù)逼(bī)真(zhēn)的(de)场(chǎng)景(jǐng)。

一网友用AI输入文字生成的图

随着AI图像生成工具的普(pǔ)及(jí)，普(pǔ)通(tōng)用(yòng)户(hù)无需技术背景，只需输入文字即可生成相关图像，极大降低了滥用门槛，很容易引发争议。尤其是生成灾难图像，不仅可能制造恐慌，误导公众，还是对真实灾难和受灾者的亵渎。

更可怕的是，如果别有用心的人利用AI技术生成一些诸如恐怖袭击视频、灾难事件或大规模冲突的视频，还可能引起群众恐慌，导致不理性的群体行为甚至社会动荡。

AI造假的负面影响远比想象中大

如何识别和检测？

随着AI造假技术的不断发展，那些建立在“信任”基础上的社会秩序正面临前所未有的挑战。

首先，社会信息的真实性可能崩塌。如果虚假信息以高度可信的方式呈现给社会公众，操纵大众心理、大众情绪和大众预期，会引发广(guǎng)泛(fàn)的(de)社(shè)会(huì)不(bù)信(xìn)任(rèn)，公(gōng)众将不再信任新闻、名人言论或商业声明，甚至可能引发市场动荡和社会恐慌。

而长期接触虚假信息，可能让公众在真真假假中迷失自我，从而做出比较极端的选择。因为如果长期无法分辨真伪，他们要么相(xiāng)信(xìn)一(yī)切(qiè)，要(yào)么(me)不(bù)信(xìn)任(rèn)一(yī)切(qiè)，其(qí)结(jié)果(guǒ)是(shì)产(chǎn)生(shēng)“信(xìn)任(rèn)衰(shuāi)退(tuì)效(xiào)应(yīng)”。而(ér)信(xìn)任(rèn)的(de)崩(bēng)塌(tā)，对(duì)于(yú)一(yī)个(gè)健(jiàn)全社(shè)会(huì)的(de)危(wēi)害(hài)，不(bù)言(yán)而(ér)喻(yù)。

其(qí)次(cì)，司(sī)法(fǎ)系统也会面临危机。伪造的音视频证据可能干扰司法判决，削弱法律的权威性。此(cǐ)外(wài)，商(shāng)业(yè)领(lǐng)域也(yě)可(kě)能(néng)受(shòu)到(dào)严(yán)重(zhòng)冲(chōng)击(jī)。虚(xū)假(jiǎ)的(de)决(jué)策(cè)声(shēng)明(míng)或(huò)谈(tán)判(pàn)内(nèi)容(róng)可(kě)能(néng)导(dǎo)致(zhì)错(cuò)误(wù)决(jué)策(cè)和(hé)经(jīng)济(jì)损(sǔn)失(shī)等(děng)等(děng)。

回(huí)想(xiǎng)互(hù)联(lián)网(wǎng)早(zǎo)期(qī)咱们经常说的是“有图有真相”，P图的多了以后就成了“有视频有真相”，到了现在已经成了“有视频也不一定有真(zhēn)相(xiāng)”，这(zhè)个(gè)过(guò)程(chéng)不(bù)过用了20年。

此外，很多AI生成的文字、图片、视频，将掺杂在真实信息中间，影响我们的搜索结果，也就更容易出现前文中所说的将AI生成的内容当成真事的情况。

那(nà)么(me)，如(rú)(rú)何(hé)(hé)识(shi)(shi)别(bié)(bié)AI造(zào)(zào)假(jiǎ)(jiǎ)内(nèi)容(róng)呢？

制作不够精良的AI造假视频、图文用肉眼就可看出异常。例如，人物表情僵硬、面部边缘模糊、背景的过渡不自然、人脸的光影效果与周围环境的光线情况不符、手指(zhǐ)扭(niǔ)曲(qū)或(huò)手(shǒu)指(zhǐ)数(shù)量(liàng)不(bù)对(duì)等(děng)(děng)。但(dàn)(dàn)是(shì)(shì)，随(suí)(suí)着(zhe)(zhe)技(jì)(jì)术(shù)(shù)的(de)(de)进(jìn)(jìn)步(bù)(bù)，这(zhè)些(xiē)异(yì)常(cháng)特(tè)征(zhēng)越(yuè)来(lái)越(yuè)少(shǎo)，肉(ròu)眼(yǎn)分(fēn)辨(biàn)也(yě)会(huì)越(yuè)来(lái)越(yuè)难(nán)。

这(zhè)种(zhǒng)情(qíng)况(kuàng)下(xià)必(bì)须(xū)通(tōng)过技术检测、法律监管、公众教育和平台审查等方法来防范AI技术的滥用，尤其公众，一定要认识到AI造假的危险性，并提高警惕。比如，去信任那些权威机构或有权威机构背书、声誉一贯良好、出错也能自己纠错的信源；对于任何来源可疑的内容，我们都要保持合理的怀疑，尤其是打算根据这些信息采取进一步行动的时候。

面对灾情，我们能理解社会公众心系灾区，为受灾群众担忧的心情。但我们也需要警惕某些不怀好意的人利用社会公众的这种心情，通过AI技术伪造内容，骗取同情，套取流量，甚至做出更出格的、有违公序良俗的事情。

大灾面前有大爱。廓清真相，明辨真(zhēn)伪(wěi)，避(bì)免(miǎn)受(shòu)到(dào)假(jiǎ)图(tú)片(piàn)、假(jiǎ)信(xìn)息(xi)的(de)误(wù)导(dǎo)，让(ràng)谣(yáo)言(yán)无(wú)所(suǒ)遁(dùn)形(xíng)，才(cái)能(néng)让(ràng)大(dà)爱(ài)更(gèng)顺(shùn)畅(chàng)(chàng)地(de)传(chuán)递(dì)！

参(cān)考(kǎo)资(zī)料(liào)

[1]《西(xi)藏(cáng)日(rì)喀(kā)则(zé)地(de)震(zhèn)，这(zhè)个(gè)被(bèi)压(yā)在(zài)废(fèi)墟(xū)下(xià)的(de)小(xiǎo)男(nán)孩(hái)居(jū)然(rán)是(shì)AI生(shēng)成(chéng)的(de)丨(gǔn)热(rè)点(diǎn)较(jiào)真(zhēn)》

https://mp.weixin.qq.com/s/uG-N5X5H8G8khdmm3OiAgA

[2] 《防(fáng)范(fàn)化(huà)解(jiě)意(yì)识(shi)形(xíng)态(tài)领(lǐng)域重(zhòng)大(dà)风(fēng)险(xiǎn)》王(wáng)华(huá)著(zhe) 国(guó)家(jiā)行(xíng)政(zhèng)管(guǎn)理(lǐ)出(chū)版(bǎn)社(shè)

策(cè)划(huà)制(zhì)作(zuò)

作(zuò)者(zhě)丨(gǔn)新媒体

审核丨于旸腾讯玄武实验室负责人

于乃功北京工业大学机器人工程专业负责人，北京人工智能研究院机器人研究中心主任，博士生导师(shī)