48小時炮制4000多條有害信息 “水軍”正借助AI進化

48小時炮制4000多條有害信息 “水軍”正借助AI進化

2025年03月17日 08:53 來源:解放日報
大字體
小字體

  “水軍”正借助AI進化

  本報記者 鄭子愚

  單條發(fā)布的成本低至1厘,一人可操控6000部手機,應(yīng)對熱點新聞,48小時炮制并發(fā)布4000多條有害信息……這是“AI水軍”的戰(zhàn)績。

  今年春節(jié)檔,電影《蛟龍行動》陷入排片困境、影片遭遇水軍惡意打低分等話題引發(fā)網(wǎng)友熱議,演員、導(dǎo)演等被攻擊,最終官宣撤檔。2023年春節(jié)檔上映的電影《無名》首映還沒開始,在某社交平臺就已出現(xiàn)鋪天蓋地的低分評價。今年2月,小紅書治理團隊公布,3個月內(nèi)共處置黑灰產(chǎn)賬號超過100萬個。這些事件背后都有網(wǎng)絡(luò)水軍的影子,他們偽裝成普通網(wǎng)民或消費者,通過發(fā)布、評論等對正常用戶的觀點和決策產(chǎn)生影響。

  記者調(diào)查發(fā)現(xiàn),曾經(jīng)以真人為主的網(wǎng)絡(luò)水軍,正借助AI大模型進化。網(wǎng)上浮現(xiàn)出一條圍繞AI水軍的產(chǎn)業(yè)鏈,有涉及繞開實名制批量注冊賬號和提供各類技術(shù)服務(wù)的上游,有提供防封養(yǎng)號的中游以及多種形式變現(xiàn)的下游。當AI生成的大量虛假內(nèi)容和意見占據(jù)流量,我們是否也會逐漸失去辨認真實世界的能力?

  AI水軍更具煽動性

  春節(jié)假期,曾在人氣演員工作室任職的楊冰看了熱映電影。因職業(yè)習(xí)慣,她在觀影后會瀏覽票務(wù)網(wǎng)站的評論,看到評論區(qū)里,用戶對電影《射雕英雄傳:俠之大者》打出1分,理由是電影非純漢語配音。楊冰覺得奇怪,一般人會認為電影中的方言使觀眾有沉浸感。更何況,平臺顯示,這位用戶未曾購票。此番評價,更像是AI大模型了解到電影中有方言元素而生成的。

  評論區(qū)還有一則差評是關(guān)于電影《哪吒2》,寫到“教材”等和電影基本無關(guān)的內(nèi)容。在楊冰看來,這可能是因為片中有主人公通過師門考核的劇情,算法對此做了解讀,復(fù)制了其他電影評論區(qū)里的內(nèi)容合成而來?!安⒉皇遣荒芘u電影,而是他們甚至連電影都沒看過。”依據(jù)職業(yè)經(jīng)歷,她篤定這些電影的評論區(qū)充斥著水軍。

  在楊冰看來,請水軍算是業(yè)內(nèi)公開的秘密。楊冰在演員工作室任職,會和水軍打交道。請水軍的可能是資方,也可能是粉絲行為。水軍發(fā)布的內(nèi)容只為達到雇主的目的,或制造聲浪,或攻擊對手。隨著近年來AI大模型的發(fā)展,這個曾以真人為主的群體引入AI,戰(zhàn)斗力陡然升級。此前,楊冰的甲方計劃拍攝一部電影,選角時在兩名演員間猶豫。楊冰聯(lián)系了水軍,請他們發(fā)布帖子放出風(fēng)聲。數(shù)小時內(nèi),由AI生成的策劃案和文案迅速完成,話題很快發(fā)酵,引發(fā)雙方粉絲的罵戰(zhàn)。楊冰覺得,AI水軍更易偽裝成路人,AI生成的帖子、評論甚至比一些真人寫的更具煽動性。

  “水軍頻道”非?;钴S

  楊冰透露,網(wǎng)絡(luò)水軍有一條介于灰產(chǎn)和黑產(chǎn)之間的產(chǎn)業(yè)鏈,冒頭就被打,卻又“野火燒不盡”。她介紹,工作室以往憑經(jīng)營執(zhí)照向通信運營商購買企業(yè)卡,養(yǎng)300個左右的平臺賬號。為了縮減成本,項目方會招募社會化程度低或圈子小的學(xué)生等兼職人員來養(yǎng)號,通過真人使用、互相關(guān)注點贊來維持賬號的活躍度。到了項目推廣期,這些賬號會發(fā)布相應(yīng)的推廣內(nèi)容。不過,這套工作流程的缺點除了聲量小、團隊臃腫外,還容易泄密,行業(yè)內(nèi)不乏一場場營銷策劃被泄露的先例。為規(guī)避風(fēng)險,也有資方會選擇網(wǎng)購水軍服務(wù)來制造聲浪。

  記者在某即時通訊軟件中名為“水軍頻道”的討論組中看到,頻道里活躍著370多人,任務(wù)主、中介和水軍都會在頻道內(nèi)發(fā)布需求,有派活的,有討活的。他們保持著松散的合作關(guān)系,形成眾包、分包的上下游模式。自稱“散人”的水軍幾乎人手擁有多部手機、數(shù)十個社交媒體賬號。任務(wù)主一般會招募大批“散人”來完成任務(wù)?!吧⑷恕鳖I(lǐng)取發(fā)帖、控評等任務(wù)后,會把發(fā)布內(nèi)容在各大社交平臺鋪開,接著反饋截圖和傳播效果來“領(lǐng)賞”,一般每條評論有1元至1.5元的報酬,若賬號有一定粉絲量或評論被認定為“優(yōu)質(zhì)”,還能獲得額外酬勞。如果碰到“壓熱度”“刪帖”等緊急情況,價格更高。

  隨著AI大模型發(fā)展引發(fā)關(guān)注,楊冰幾次與水軍的接觸中都能感受到,“真人水軍正漸漸向AI水軍進化”。

  互聯(lián)網(wǎng)安全服務(wù)公司“極驗”是一家為NIKE、Airbnb等全球36萬家網(wǎng)站和App提供互聯(lián)網(wǎng)安全服務(wù)的公司,主要提供行為驗證、設(shè)備標識、一鍵認證等產(chǎn)品。該公司市場部負責(zé)人葉幸介紹,公司與黑產(chǎn)已有12年的對抗經(jīng)驗,一年為客戶攔截AI水軍攻擊累計21.7億次。AI水軍借助人工智能技術(shù)生成AI與自動化腳本,在互聯(lián)網(wǎng)上批量生成內(nèi)容,蓄意操控輿論走向。與傳統(tǒng)真人水軍相比,AI水軍的危害性更大,其成本低但效率高,可全天候多任務(wù)操作。

  根據(jù)線索,記者順藤摸瓜“走”進這條正在升級的水軍產(chǎn)業(yè)鏈。相較過去,這條產(chǎn)業(yè)鏈細分成上、中、下游三層。AI水軍產(chǎn)業(yè)鏈的上游是指圍繞突破實名制、以底層技術(shù)開發(fā)實現(xiàn)改機和批量注冊的囤號環(huán)節(jié);中游是使用網(wǎng)絡(luò)搭建和集控系統(tǒng)來養(yǎng)號、躲避運營商和平臺對賬號是否為正常用戶的管控;下游則通過買賣賬號、引流、刷榜、帶節(jié)奏等方式變現(xiàn)。AI在這條產(chǎn)業(yè)鏈中的作用是貫穿始終的,在上游可輔助技術(shù)人員優(yōu)化代碼、技術(shù),在中游可大批量生成不同需求的內(nèi)容,在下游能為水軍生成策劃方案。因為有了AI大模型的強大能力,黑灰產(chǎn)人員才有了單人或幾個人就能組織一支AI水軍的想象空間。

  不少人鋌而走險囤號

  國內(nèi)通信運營商工作人員告訴記者,國內(nèi)通信運營商推出“一證五戶、一證十號”的政策,即用戶在單一運營商下辦理手機號卡數(shù)量最多不超過5張,在所有運營商下辦理手機號卡的總數(shù)最多不超過10張。也就是說,即使疊加一些應(yīng)用允許多賬號注冊的平臺規(guī)則,單個用戶的賬號注冊數(shù)量也有上限。而黑灰產(chǎn)人員要組建有規(guī)模的水軍隊伍,就先要突破政策限制,讓自己的手頭上有成百上千可以發(fā)聲的賬號。

  囤號是產(chǎn)業(yè)鏈里關(guān)鍵一步。提供賬號注冊服務(wù)的賣家小黃說,囤號流程大致是,先低價回收或租用手機,通過改機軟件修改手機機型等參數(shù)來偽裝設(shè)備。在他們的工作室里,一臺臺手機被平鋪成一面墻的樣子。此外,也可部署管理大批量實體或虛擬電話卡的“池子”,在電腦上控制手機,通過接收驗證碼的“接碼”環(huán)節(jié)實現(xiàn)批量注冊。技術(shù)、設(shè)備、服務(wù),囤號依流程上的不同節(jié)點被拆分成數(shù)個子項目,賣家會給這些項目披上諸如跨境電商創(chuàng)業(yè)、無人直播帶貨等新業(yè)態(tài)的外衣,讓人乍看不會覺得這類項目越過法律底線,讓他們得以在二手交易平臺上被找到。而在相關(guān)商品詳情頁下方,有賣家以“sm(實名)”“接碼”等圈內(nèi)黑話留言,引導(dǎo)買家到微信、QQ等站外社交平臺溝通交易,完成整套流程。

  在小黃口中,沒有經(jīng)過實名制認證和使用過的賬號稱“白號”。熱門社交平臺的白號價格為每個15元至20元。經(jīng)過實名制認證的賬號則是這個圈子里的奇貨。因為不少平臺設(shè)定用戶必須完成實名制認證,才能完整使用平臺功能。當記者提出想要已完成實名制認證的賬號時,小黃以不了解記者目的為由推脫。但在確認記者購買目的不是為了詐騙后,小黃又表示可以轉(zhuǎn)賣“朋友”的賬號。經(jīng)過實名制認證的賬號售價為每個140元至160元,售后服務(wù)包括保證賬號3日內(nèi)不被平臺封禁。

  記者了解到,為了實現(xiàn)“AI水軍團”,不少人鋌而走險囤號、突破實名制。葉幸表示,他們在調(diào)查中發(fā)現(xiàn),黑灰產(chǎn)會通過暗網(wǎng)、國外即時通訊軟件電報等方式非法購買部分公民隱私信息,再借此批量注冊,繞過“本人身份確認”。

  整個黑產(chǎn)年利潤可觀

  有了一定數(shù)量的賬號,黑灰產(chǎn)從事者就進入養(yǎng)號環(huán)節(jié)。簡單來說,養(yǎng)號就是讓一個賬號看起來像真人在使用。楊冰認為,在這個環(huán)節(jié),AI的用處很大。以往,養(yǎng)號費時費力,這也是市面上對水軍的需求大于供應(yīng)的原因之一。然而,在2019年春節(jié)后,供需關(guān)系發(fā)生變化。以往挑活干的水軍組織主動找到楊冰,咨詢有無下單意愿,并給出約為過往價1折的價格。

  AI從業(yè)人員揣摩,能和“骨折價”扯得上關(guān)系的只有一件事——2018年6月,GPT1.0發(fā)布。通過閱讀理解,GPT能生成具有邏輯性和連貫性的自然語言文本,并翻譯成另外一種語言。

  AI在自然語言處理領(lǐng)域有了新進展。楊冰發(fā)現(xiàn),原本需要幾名兼職人員苦想許久的1000條評論或動態(tài)內(nèi)容,AI只需幾分鐘就能高質(zhì)量完成。AI還有了寫代碼的能力。一個具備基本編程能力的人可以讓AI生成代碼操控爬蟲軟件,在社交、電商平臺等評論區(qū)內(nèi)采集真實用戶發(fā)布的動態(tài)、評論回復(fù),直接使用或以此訓(xùn)練AI模型。

  葉幸介紹,在與黑產(chǎn)對抗的過程中,曾發(fā)現(xiàn)黑產(chǎn)定向抓取商品評價。以化妝品產(chǎn)品為例,水軍選取點贊數(shù)量靠前的評論,提取出“冷白皮”“持妝不卡粉”“yyds(永遠的神)”等詞,總結(jié)出“情緒詞+場景描述+效果感嘆”的評論結(jié)構(gòu)化模板,批量生成高質(zhì)量評論和“種草”文章。“原來雇人發(fā)100篇帖文的錢現(xiàn)在能生成10萬條評論。”

  記者嘗試使用當下熱門的AI大模型,在提示詞中規(guī)定評論結(jié)構(gòu),要求生成100條夸贊記者虛構(gòu)出的一部電影的觀后感和評論。10多秒后,這款大模型就提供了大量高質(zhì)量評論。令人些許安慰的是,該AI大模型表示,“為保護安全邊界,此處僅展示部分示例,完整內(nèi)容需脫敏處理后提供”,故而只顯示出10條評論內(nèi)容。也有令人擔(dān)憂的地方,當記者將AI生成的內(nèi)容夾雜著真人寫的內(nèi)容一同展示給網(wǎng)友瀏覽時,部分人表示很難辨別。楊冰表示,如果使用一些開源的模型,并部署到本地,再在提示詞上下點功夫,迷惑性就更強了。

  在產(chǎn)業(yè)鏈最下游的變現(xiàn)層,AI水軍根據(jù)雇主需求在短時間內(nèi)完成發(fā)布各類內(nèi)容或者點贊、評論的工作?!斑@些都是網(wǎng)絡(luò)水軍最直接的變現(xiàn)方式?!贝送猓?、博眼球、造謠、“薅羊毛”、詐騙都屬于水軍變現(xiàn)的渠道。據(jù)報道,2024年,南昌警方在查處的一起傳播謠言虛構(gòu)事實擾亂公共秩序案中發(fā)現(xiàn),不法分子通過AI軟件生成內(nèi)容的方式,短時間內(nèi)生成了大量文章,最高峰一天能生成4000篇至7000篇,初步估算每天的收入在1萬元以上。

  葉幸告訴記者,以水軍其中一個業(yè)務(wù)“刷量”為例,開發(fā)改機軟件、AI話術(shù)生成器的利潤率為60%,倒賣電話卡、賬號和動態(tài)IP的利潤率為35%,操控群控設(shè)備完成點贊、彈幕等任務(wù)的利潤率約為15%。資金通過中介抽成、虛擬貨幣洗錢最終滿足某些MCN機構(gòu)造假需求,助推主播簽約費暴漲6倍,而單工作室3個月即可實現(xiàn)250%左右的投資回報率??v觀整個黑產(chǎn),年利潤或超200億元。

  加強AI治理,使其向善

  為了治理這類黑灰產(chǎn),相關(guān)部門、各大平臺、企業(yè)可謂煞費苦心。2024年以來,網(wǎng)信部門持續(xù)加大對網(wǎng)絡(luò)水軍打擊力度,嚴肅查處網(wǎng)絡(luò)水軍組織招募、推廣引流、刷量控評等問題,協(xié)調(diào)關(guān)閉、下架網(wǎng)站平臺400余家,清理違法違規(guī)信息482萬條,處置賬號和商家店鋪239萬個、群組5.2萬個。2月18日,社交平臺小紅書通過其官方賬號“薯管家”發(fā)布黑灰產(chǎn)團伙的典型行為,提醒用戶提高辨別力。過去三個月,治理團隊共處置黑灰產(chǎn)養(yǎng)號超過100萬個。

  車企蔚來工作人員表示,企業(yè)曾見過疑似AI改寫同一內(nèi)容、相同配圖大量水軍賬號分發(fā),來抹黑企業(yè)的情況。今年2月8日,蔚來創(chuàng)始人李斌在直播間“策反水軍”,表示將對主動提供線索的水軍提供獎勵。第二天,蔚來法務(wù)部發(fā)布的一則“懸賞公告”顯示,蔚來將提供100萬元懸賞,面向全社會征集黑公關(guān)線索。

  北京師范大學(xué)新聞傳播學(xué)院、計算傳播學(xué)研究中心教授許小可介紹,早期,對于真人水軍、AI水軍的識別相對簡單。黑灰產(chǎn)人員常在一個隱蔽場所內(nèi)工作,關(guān)聯(lián)的IP地址等信息不會變化,而正常用戶每天有各種活動,手機顯示出不同的IP、地理位置等。一些監(jiān)控軟件、平臺可以利用這個細節(jié)辨別并封禁存疑的賬號。此外,傳統(tǒng)網(wǎng)絡(luò)水軍需投入大量人力,只需要查看發(fā)帖用戶包括年齡、性別、好友等各項屬性,再看一下該用戶的發(fā)帖內(nèi)容優(yōu)劣和話題的相關(guān)度,再輔以部分平臺的驗證機制,基本能判定是正常用戶還是疑似水軍。然而在當下,單靠這套識別方式很難再精準打擊。AI水軍可通過算法批量生成文案,還能模擬真實用戶的行為。

  很多人感嘆,如今已越來越難識別同在一個場域的網(wǎng)友是真人還是AI。葉幸介紹,根據(jù)極驗數(shù)據(jù)和多行業(yè)服務(wù)經(jīng)驗,電商、社交、金融三行業(yè)的AI水軍滲透率可能在30%到40%。

  葉幸指出,當下和黑產(chǎn)之間對抗,本質(zhì)上都是成本博弈,需要不斷讓黑產(chǎn)的投入產(chǎn)出比失衡。采用的方法還是從技術(shù)、策略和資源消耗多維度入手,比如通過增加攻擊難度、延長破解時間、消耗硬件資源等。

  加強AI治理,使其向上向善,一直是主管部門努力的方向。近日,國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國家廣播電視總局聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標識辦法》,自2025年9月1日起施行。辦法明確人工智能生成合成內(nèi)容標識主要包括顯式標識和隱式標識兩種形式,并要求人工智能生成合成內(nèi)容必須添加標識。

  楊冰期待,新的標識辦法能帶來改變。(文中楊冰、小黃為化名)

  來源:解放日報

【編輯:蘇亦瑜】
發(fā)表評論 文明上網(wǎng)理性發(fā)言,請遵守新聞評論服務(wù)協(xié)議
收藏文章
表情删除后不可恢复,是否删除
取消
确定
图片正在上传,请稍后...
评论内容为空!
还没有评论,快来抢沙发吧!
本網(wǎng)站所刊載信息,不代表中新社和中新網(wǎng)觀點。 刊用本網(wǎng)站稿件,務(wù)經(jīng)書面授權(quán)。
未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制及建立鏡像,違者將依法追究法律責(zé)任。
Copyright ©1999-2025 chinanews.com. All Rights Reserved

評論

頂部