一鍵“變臉”背后暗藏諸多風險 AI換臉技術濫用亂象調查
“你是變臉溫崢嶸,那我是鍵背誰?” 演員溫崢嶸本人瀏覽短視頻時,意外發現“自己”正在直播。后暗I換她在評論區提出質疑后,藏諸查被拉黑并踢出直播間。多風而對方仍在用“她的險A象調臉”直播帶貨。 溫崢嶸近期遭遇的臉技“冒牌直播”事件,是術濫AI換臉技術濫用的典型寫照。多個直播間出現冒用溫崢嶸形象的用亂AI換臉帶貨行為。其團隊日均舉報50個假冒賬號并發出律師函,變臉可造假賬號仍屢禁不止,鍵背令她陷入“很難證明我是后暗I換我”的困境。 這一現象并非孤例。藏諸查《法治日報》記者近日調查發現,多風AI換臉與聲音克隆技術已形成一條涵蓋教程傳播與定制服務的險A象調完整灰色產業鏈,對個人權益、平臺監管等均構成嚴重威脅。
換臉技術被用于違法犯罪
11月5日,溫崢嶸在短視頻賬號進行3次以“我是真的溫崢嶸”為主題的直播,講述近期被AI偽造、換臉直播帶貨的經歷。
此前,已有多位名人深受AI換臉困擾。主持人李梓萌的AI偽造形象出現在直播間,虛假宣傳深海魚油“能治病”;奧運冠軍全紅嬋的聲音被AI克隆,用于售賣土雞蛋;醫生張文宏被換臉,其形象被用于在直播間售賣某款蛋白棒產品,銷量已過千。張文宏自述:“這些假的合成信息就像蝗災一樣,一次又一次發生……”
11月14日,中央網信辦官方賬號發文表示,有網絡賬號利用AI技術仿冒公眾人物形象,在直播、短視頻等環節發布營銷信息,誤導網民,涉嫌虛假宣傳和網絡侵權,嚴重破壞網絡生態,造成不良影響。網信部門嚴厲處置一批違法違規網絡賬號。同時,督促網站平臺發布治理公告,舉一反三,開展集中清理整治,目前已累計清理相關違規信息8700余條,處置仿冒公眾人物賬號1.1萬余個。
AI換臉技術的濫用甚至延伸至刑事犯罪領域。2024年10月,江蘇省南京市玄武區人民法院審理的一起案件中,被告人符某非法獲取195萬條公民個人信息,利用AI換臉軟件生成動態人臉視頻,成功突破某金融支付平臺的人臉識別認證系統,登錄被害人的支付賬戶,盜刷銀行卡進行消費。法院以侵犯公民個人信息罪、信用卡詐騙罪數罪并罰,判處符某有期徒刑4年6個月。
2024年,內蒙古鄂爾多斯一名消費者遭遇AI換臉詐騙,險些損失40余萬元。視頻通話中,不法分子利用AI換臉技術冒充該消費者朋友,以資金周轉為由,誘騙其轉賬40余萬元。好在警方介入及時,未造成實際損失。
相關教程和服務遍布網絡
記者調查發現,AI換臉與聲音克隆的教程及服務在網絡平臺流通。記者在各類社交平臺以“AI換臉”“聲音克隆”等為關鍵詞搜索時,雖然平臺會彈出官方提示,提醒用戶使用需“合法合規、注意辨別”“切勿輕信、謹防詐騙”,但相關內容仍在網絡空間大量存在。
比如,有相當數量以“AI科普”為標簽的賬號在各平臺公開分享換臉教程。這些視頻通常詳細列出可訪問的網站地址,逐步演示操作流程,并附有技術細節說明,如建議用戶“盡量保證替換素材與原素材的人物尺寸一致、畫面干凈無遮擋”,以保證生成效果。
根據教程指引,記者登錄相關網站驗證發現,部分平臺確實免費提供AI換臉或聲音制作服務,支付幾十元購買會員后,還能解鎖去水印、高清放大等進階功能。
除公開教程外,更為隱蔽的交易正通過網盤渠道進行。
記者觀察到,有一些打包出售的“完整教程”價格低至8元,且賣家聲稱“沒有市面主流軟件那么多限制”。這類教程通常包括云端工作流地址資料和詳細的操作說明,以及圖片去AI化、舞蹈動作模仿、人臉精修等擴展功能與相關的提示詞教學。
聲音克隆類的教程售價低至9.9元,并在宣傳中強調“支持任何形象和聲音”。記者詢問商家了解到,只要購買此安裝包,無需注冊會員即可免費破解使用對口型、克隆音色等功能。據商家描述,只需提供一段音頻文件,系統便可以在無身份認證的情況下進行克隆,單次支持30秒音頻,且不限次數。
為驗證此類教程的實際應用效果,記者購買了一份標價8元的換臉教程。該教程包含一段5分鐘的視頻教程和兩份文字材料,明確提供了平臺訪問鏈接、新用戶福利信息和操作步驟,并特別注明“對敏感詞限制極少”“生成內容無水印”。
記者發現,該平臺提供多種功能模板,內容涵蓋替換視頻人物、給人物指定部位更換衣物、對圖片中人物身體部位進行放大或動態處理等不同功能。每個模板均配備相應的提示詞教學和詳細操作步驟,用戶只需上傳參考圖片、視頻或待處理素材,等待一段時間即可生成內容。
記者實測使用一段時長5秒的視頻進行換裝操作,約3分鐘后成功生成視頻。畫面中,人物動作與神態還原度很高,被遮擋部位的服裝貼合效果也較為自然、精準。
記者注意到,該平臺內容生成功能采用運行時長計費模式,每秒收費0.2虛擬幣。教程中附有專屬邀請碼,使用者可憑此免費領取1000虛擬幣。平臺還設置了虛擬幣獎勵機制:每天登錄贈送100虛擬幣,邀請新用戶可獲500虛擬幣。
更換表述可繞過審核機制
電商平臺上,有商家為AI換臉服務披上偽裝售賣。
在某購物平臺,記者直接搜索“AI換臉”,顯示無任何結果。但記者觀察到,有部分商家會在商品詳情頁用表情符號隱喻其能提供換臉“服務”;也有商家以“啥都能做”“不限視頻內容,懂的都懂”為宣傳語,暗示私聊客服了解商品詳情。
記者了解到,10秒換臉視頻報價從15元至300元不等。例如,有商家提出,20秒內視頻(包括僅生成音頻的)統一收費80元;部分商家還推出298元200分鐘生成時長、490元年卡等套餐,承諾“一對一教學指導”,宣傳語中不乏“讓朋友客戶難辨真偽”等誘導性表述。多數商家僅核查素材內容,對用途與來源未作甄別。
為深入了解AI工具自身的內容審核機制,記者對用戶使用較多的10款文生圖、文生視頻AI工具進行實測,以對明星“一鍵變臉”等指令測試其技術邊界與審核能力。
結果顯示,僅一款AI工具明確拒絕生成真實公眾人物虛擬圖像。部分應用在簡單操作后,即可生成高度逼真的明星虛假內容。
例如,“即×”起初會以“涉及肖像權”為由拒絕明星換臉、變裝指令,但記者選擇替代選項后仍可生成;“豆×”“文×”等直接執行指令且無顯著風險提示;“通×”“天×”等僅在生成內容角落位置標注不清晰的“AI生成”字樣。
值得注意的是,部分AI工具在首次接收到涉及真實人物的指令時會予以拒絕,但通過選擇平臺的替代選項或更換表述,用戶仍可繞過初始限制,實現圖片或視頻生成。
有平臺方公開回應稱,AI內容侵權識別屬于行業性技術難題,惡意仿冒賬號在持續與平臺進行技術對抗,未來會持續加大技術投入,積極應對挑戰,維護創作者、商家及消費者的合法權益。
本報記者 趙 麗
本報實習生 王藝霏
來源: 法治日報法治經緯 更多精彩內容請進入社會新聞
- 最近發表
- 隨機閱讀
-
- 一鍵測量 操作簡單:康泰血壓計46元新低價
- 互聯網中的瑞士軍刀 Cloudflare掛了導致全球一半網站宕機
- (粵港澳全運會)全運泳池大戰收官 中國游泳再啟新程
- 百度Q3財報發布 首次披露AI業務 AI原生營銷服務同比大增262%
- 殘特奧會田徑比賽 三名運動員超世界紀錄
- 山西女籃新賽季進行多維度強化 國手張茹加盟球隊
- 天然椰子油生產!超能洗衣液39.9元到手11斤大促
- 寄生蟻潛入別人巢穴 不費一兵一卒 就能借工蟻的手殺死蟻后自己當王
- 運行11年遠超設計壽命 NASA火星探測器MAVEN“失聯”
- 馬云現身螞蟻園區,佩戴工牌與鴨舌帽盡顯低調
- 冬奧遺產再激活!科技賦能促“文商旅體”深度融合
- 里程碑!比亞迪在英國累銷突破50000輛:今年已超特斯拉
- 年終觀察:文化“新三樣”出海有何變化?
- 煙火四川TOP100餐廳出爐:成都58家霸榜 樂山小吃出圈
- 謊稱寬帶提速:家里發現不明來路的黑盒子要當心
- 華為Mate 80系列備貨量出爐:主推Pro Max 標準版管夠放開買
- 《影之刃零》制作人發文:解釋游戲何為“PS5主機獨占”
- 從沒想過的市場!研究生上門教騎自行車:一次收幾百塊
- 外媒:高市早苗仍拒絕撤回錯誤言論 其正面臨重大外交考驗
- 十五運最炫生態風:每一頭白海豚,都是游動的GDP
- 搜索
-