▲某GEO服務(wù)商發(fā)來的報(bào)價(jià)單。圖/大河報(bào)
如今，遇到問題后，“問問AI”已成為越來越多人的習(xí)慣。但據(jù)《大河報(bào)》報(bào)道，AI查詢結(jié)果的“干凈純粹”，正遭到GEO（生成式引擎優(yōu)化）的污染。
有服務(wù)商聲稱，最低只需數(shù)千元，便可能讓企業(yè)品牌信息以客觀答案的形式優(yōu)先出現(xiàn)在AI對(duì)話框中，甚至排名第一。更有甚者，為確保內(nèi)容被AI采納，一些操作已演變?yōu)橛薪M織的“數(shù)據(jù)投毒”——通過偽造專家身份、虛構(gòu)研究報(bào)告等方式，向AI“投喂”虛假信息。
在生成式AI重塑信息生產(chǎn)模式后，內(nèi)容真實(shí)性與技術(shù)可信度問題就已成全球AI治理的核心挑戰(zhàn)。如果說因技術(shù)局限導(dǎo)致的AI幻覺現(xiàn)階段還難避免，那出于主觀誘導(dǎo)意圖的AI數(shù)據(jù)“投毒”顯然該被零容忍。
AI數(shù)據(jù)“投毒”相當(dāng)于給AI喂食變質(zhì)食物，使其神經(jīng)系統(tǒng)受損。研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的虛假文本時(shí)，大模型的有害輸出率會(huì)上升11.2%；即便只有0.001%的污染，也會(huì)導(dǎo)致有害內(nèi)容增加7.2%。
這些虛假內(nèi)容帶來的負(fù)面影響不容小覷。首先，在那些容錯(cuò)率極低的醫(yī)療、金融等場(chǎng)景中，AI推薦虛假的“權(quán)威診療方案”或“高收益投資產(chǎn)品”，可能會(huì)讓用戶因輕信而危害生命安全、遭遇經(jīng)濟(jì)損失。其次，偽造內(nèi)容通過AI傳播容易形成“遞歸污染”——錯(cuò)誤信息被反復(fù)引用，進(jìn)而破壞信息生態(tài)，扭曲公共認(rèn)知。
長(zhǎng)遠(yuǎn)看，頻繁出現(xiàn)的“AI幻覺”與錯(cuò)誤輸出，勢(shì)必會(huì)逐漸消耗用戶信任，阻礙AI產(chǎn)業(yè)發(fā)展。從報(bào)道可知，那些GEO從業(yè)者多脫胎于SEO（搜索引擎優(yōu)化）領(lǐng)域，深諳搜索引擎算法邏輯與流量規(guī)則，其手法也呈現(xiàn)出了隱蔽化和體系化特征，將特定產(chǎn)品或品牌包裝成“權(quán)威推薦”；會(huì)在網(wǎng)頁(yè)代碼中嵌入隱性指令，操控模型回答；會(huì)規(guī)?；巴段埂?，滲透高權(quán)重平臺(tái)……最終從內(nèi)容制作、平臺(tái)投放到數(shù)據(jù)“投毒”，形成閉環(huán)。
GEO灰色產(chǎn)業(yè)鏈利用技術(shù)手段與流量思維，將AI數(shù)據(jù)源變?yōu)閺V告陣地。既然如此，那對(duì)應(yīng)的系統(tǒng)性治理必須升級(jí)，需要多管齊下、多方共治。
從技術(shù)防御維度看，大模型廠商、科研機(jī)構(gòu)等當(dāng)著力提升大模型抗干擾能力，并針對(duì)性地加強(qiáng)“毒數(shù)據(jù)”識(shí)別過濾技術(shù)開發(fā)。通過為泥沙俱下的數(shù)據(jù)庫(kù)裝上過濾罩、優(yōu)先使用脫敏權(quán)威數(shù)據(jù)源的方式和多維度交叉驗(yàn)證、數(shù)據(jù)溯源等技術(shù)，對(duì)AI訓(xùn)練數(shù)據(jù)進(jìn)行嚴(yán)格篩查驗(yàn)證，確保數(shù)據(jù)的真實(shí)性和可靠性。
從法律約束層面看，既要針對(duì)GEO行業(yè)制定標(biāo)準(zhǔn)，明確數(shù)據(jù)來源審核、標(biāo)注質(zhì)量評(píng)估、內(nèi)容真實(shí)性驗(yàn)證等要求，也要加強(qiáng)對(duì)AI數(shù)據(jù)市場(chǎng)的監(jiān)管，嚴(yán)厲打擊各類非法數(shù)據(jù)交易和數(shù)據(jù)“投毒”行為。很多人為制造虛假訓(xùn)練數(shù)據(jù)構(gòu)成虛假宣傳，可根據(jù)現(xiàn)有法規(guī)對(duì)偽造數(shù)據(jù)、虛假宣傳等行為進(jìn)行追責(zé)，并公示典型案例形成威懾。
從行業(yè)自律角度看，明確AI服務(wù)提供者需建立數(shù)據(jù)分級(jí)保護(hù)制度，對(duì)高風(fēng)險(xiǎn)領(lǐng)域（如醫(yī)療、金融）設(shè)置人類專家復(fù)核節(jié)點(diǎn)，阻斷污染傳導(dǎo)；推動(dòng)企業(yè)、學(xué)術(shù)機(jī)構(gòu)、行業(yè)協(xié)會(huì)共建可信數(shù)據(jù)聯(lián)盟，共享清洗后的高質(zhì)量數(shù)據(jù)集；并將倫理審查納入AI開發(fā)流程，防止技術(shù)被濫用，并鼓勵(lì)舉報(bào)和吹哨。
都說“AI向善”，向善的前提是向真。但AI數(shù)據(jù)“投毒”灰色產(chǎn)業(yè)鏈的滋生，無疑反映了AI在利益驅(qū)動(dòng)下被“帶歪”的可能。這就需要以技術(shù)為盾、法律為劍、行業(yè)為網(wǎng)、用戶為哨，形成多管齊下、多方共治的AI治理格局，以確保AI技術(shù)用在該用到的地方，而不是被用來誤導(dǎo)和作惡。
編輯 / 徐秋穎
校對(duì) / 賈寧
