近期，OpenAI發布的文本轉視頻模型Sora引發全球關注，被認為將顛覆視頻內容生成方式，也進一步增加了公眾識別視頻內容真偽的難度。擔憂情緒隨之衍生。一些業內專家和觀察人士表示，這類技術的普及，恐導致深度偽造（Deepfake）內容更加泛濫，造假成本更低廉，進而增加被用于詐騙、色情等違法犯罪活動的風險和隱患。
現實中，AI深度偽造技術的非法使用，已經在一些網絡詐騙案件中出現。據媒體報道，今年2月，有詐騙團伙利用深度偽造技術向一家跨國公司的香港分公司實施詐騙，并成功騙走2億港元，這也是香港迄今為止損失最大的AI換臉詐騙案。
諸如此類的案例越來越多，如何應對深度偽造和AIGC（人工智能生成內容）等新技術帶來的安全風險，已成為全球關注的重要議題。
深度偽造已被用于違法犯罪
深度偽造是指技術利用機器的深度學習，實現圖像、聲音、視頻的篡改、偽造和自動生成，產生高度逼真且難以甄別的效果。最常見的方式就是AI換臉，此外還包括語音模擬、人臉合成、視頻生成等。
現實應用中，深度偽造技術有其積極一面。業內人士介紹，深度偽造技術開始被用于醫療和教育等領域。比如，通過數據和技術生成立體的身體模型視頻，讓醫生更直觀地進行醫學診斷和研究；又如，通過技術合成的歷史人物影像，讓教學視頻更有趣味等。
然而，硬幣的另一面是深度偽造技術也經常出現在詐騙、色情等違法犯罪活動中。近幾年，國內外均出現了利用深度偽造技術實施的詐騙案例，都造成不小的負面影響。
去年5月初，內蒙古包頭市公安局電信網絡犯罪偵查局發布一起使用AI換臉技術進行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通過微信視頻聯系他，聲稱自己的朋友在外地投標，需要430萬元保證金，想借用郭先生公司的賬戶走賬。基于視頻聊天信任的前提，郭先生并未核實錢是否到賬，就陸續轉給對方共計430萬元，之后郭先生才發現被騙。
在香港的那起AI換臉詐騙案中，詐騙者通過搜集一家跨國公司英國高層在視頻網站上的公開影像，再利用AI深度偽造技術，給詐騙者換上公司高層的面部和聲音，實施詐騙，成功從香港分公司騙走2億港元。
除了詐騙，深度偽造技術還經常對公眾人物造成名譽侵害。今年1月中下旬，香港特別行政區行政長官李家超也成為深度偽造的目標。網上出現了用人工智能偽造的電視節目片段，冒稱李家超向市民推介一項高回報的投資計劃。特區政府立即嚴正澄清，稱有關影片全屬偽造，行政長官從未作出相關言論。
美國歌手泰勒·斯威夫特，最近也深受深度偽造的困擾。近日，這名歌手的大量虛假“不雅照”在社交網絡傳播，引發關注和議論。這不是她第一次成為受害者。就在“不雅照”事件前不久，一則由AI生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上瘋傳。這則虛假廣告利用深度偽造技術，合成了泰勒·斯威夫特的聲音，并將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，宣稱免費向粉絲贈送炊具，引導受害者點擊并支付運費，但炊具不會真的送出。
“從技術原理上看，公眾人物更容易成為深度偽造的受害者?！逼姘残虐踩珜＜遗嶂怯卤硎?，由于公眾人物的視頻、音頻、圖片資料的公開性質，為AI訓練提供了大量素材，被偽造內容更加逼真，從而更容易導致深度偽造技術被非法使用。
隨著Sora等模型的開放和應用，AI換臉技術門檻持續降低，別有用心之人利用深度偽造技術可以更輕易盜用、冒充他人身份，越來越多的普通人恐將成為潛在受害者。
實際上，國內通過對普通人進行AI換臉實施違法犯罪的案例并不少見。2021年，杭州某派出所接到報警，受害人陳某稱他在與女網友視頻聊天后被對方敲詐勒索。經警方調查，對方利用AI換臉技術，將陳某的面部信息合成到不雅視頻中，借此對其實施勒索。2022年8月，古風漢服網紅魏某起訴了4家運營AI換臉軟件的公司，認為對方在自己未授權的情況下上傳包含她肖像的視頻作品，生成AI換臉視頻，侵犯了其肖像權。
技術發展帶來多重安全風險
每個人的聲音和相貌都具有獨特性，而深度偽造技術正在打破這一邊界，致使“眼見、耳聞都不再為實”。
多名專業人士指出，隨著AI技術的發展和普及，深度偽造技術被用于違法犯罪活動的比例將提升。“像Sora這類模型工具和相關軟件的開發普及，即使是不了解技術的普通人，也能制作深度偽造的內容，而且虛假內容產生的速度更快，也更難被人眼識別?！迸嶂怯抡f。
普通人接觸和使用AI換臉技術的門檻的確在降低。記者調查發現，盡管“AI換臉”“換臉”等關鍵詞已被多個電商平臺屏蔽，但通過“定制視頻”等更隱蔽的關鍵詞，仍能找到出售換臉軟件、定制換臉視頻及教授換臉技術的賣家。在某電商平臺，一名賣家通過視頻教授AI換臉技術，還提供代碼腳本網頁，收費只要39.9元。這名賣家告訴記者，根據他發的視頻教程就能學會AI換臉操作。賣家提供的教學內容顯示，用戶根據指引，完成登錄、提取臉部數據、訓練模型、換臉輸出視頻等步驟，能輕松實現AI換臉視頻制作。
相對當下一些AI換臉軟件多適用于拍照場景、影視劇片段的替換合成，這一賣家教授的換臉技術更能“為所欲為”：用于換臉的照片不受限制，可合成的視頻片段也不局限于影視作品，包括新聞、私人影片等都可被AI換臉。
“這些游走在法律邊緣的AI技術黑灰產業鏈，大大增加了技術被惡意使用的風險，給公共安全帶來更多隱患。”一名互聯網企業的網絡安全專員表示，現實中，甚至有一些金融機構人臉識別防護墻都被AI換臉騙過，社會安全風險陡增。隨著Sora等大模型技術的開發和應用，能實現用更少的人臉數據構造高逼真的特定人臉模型，客觀上降低了不法分子制作虛假人臉視頻的成本。
目前來看，深度偽造被用于詐騙等犯罪活動的風險不斷顯現，并呈現日益嚴峻的趨勢。“利用深度偽造內容實施詐騙，實際是傳統的詐騙手法利用了新技術的一種混合詐騙方式。從詐騙劇本來看，還是傳統的冒充熟人、冒充領導等套路，但其中的面部仿真、聲紋仿真使得被害人放松警惕，更容易被騙?！迸嶂怯抡f。
結合具體的犯罪案例分析，一名反詐民警告訴記者，深度偽造用于電信詐騙犯罪活動主要表現在三個方面：其一，騙子通過騷擾電話錄音等來提取某人聲音，獲取素材后，利用AI技術進行聲音合成，而后用偽造的聲音欺騙被害人。其二，騙子用AI換臉技術，偽裝成被害人的熟人，再通過視頻通話方式，進行信息確認，騙取信任。其三，騙子利用AI程序篩選受害人，分析公眾發布在網上的各類信息，根據所要實施的騙術對人群進行篩選，在短時間內便可生產出定制化的詐騙腳本，從而實施精準詐騙?！袄鐚嵤┣楦性p騙時，可以篩選出經常發布感情類信息的人群；實施金融詐騙時，可以篩選出經常搜索投資理財信息的人群等。”
除了網絡詐騙，深度偽造技術的普及，勢必將提升虛假音視頻的“真實度”，業內人士擔心，這或將助長不法分子發展出更多新型犯罪手段，用于金融詐騙、虛假新聞、色情制作、司法干擾等非法場景。
更進一步，深度偽造技術應用不當還會帶來更深遠的社會危害。華東政法大學刑事法學院副教授房慧穎認為，深度偽造技術產生的虛假影像、聲音等內容，不僅會讓個人名譽、財產和人身受到損害，還會沖擊社會信任、媒體信任，甚至被用于擾亂社會秩序甚至危害國家安全的違法犯罪活動?！吧疃葌卧旒夹g可以利用真實和虛假的信息相糅合來達到欺詐目的，隨著其被推廣和大量應用，不可避免地會帶來信息失真與泄露等嚴重后果?！狈炕鄯f分析說，這種現象會使得公共信息處于真實與虛假混雜、界限模糊的窘境，加劇社會公眾對政府組織、新聞媒體的不信任，從而引發社會信任危機。
由此可見，深度偽造等技術發展應用，對于傳統和非傳統安全，都將造成越來越大的沖擊。
技術和法律共同引導向善
盡管深度偽造等AI技術發展帶來了全新的挑戰，但受訪者們都認為，不能就此因噎廢食，而要堅持安全與發展并重的理念，通過完善制度和管理，實現促進技術革新和控制技術風險的目的。
“在技術進步的過程中，其本身就可以用來對抗深度造假行為?！迸嶂怯抡f，政府要善于用技術制約技術，加快打造深度偽造信息檢測系統。“政府和企業要投入科研力量，研究基于AI生成內容的鑒偽技術，在必要時刻，使政府、企業和公眾有能力借助工具進行鑒偽。”
此外，有受訪者建議，應要求AI合成內容服務商添加對用戶可見的數字水印，來告知用戶該圖像、音視頻內容是由AI生成，以增加用戶辨別信息真偽的能力。也有網絡技術人員建議，讓AI深度偽造技術的服務平臺、公司推行隱形水印機制，通過在視頻、音頻和圖像中嵌入不可見的水印保護信息，以快速識別AI合成內容并進行溯源，各個社交平臺也應以技術手段加強對于疑似AI生成圖、文、視頻內容的識別功能。
除了技術解決方法外，法律手段也要有所作為?！翱傮w來看，我國在深度偽造方面的規范性立法做得相對較早?！狈炕鄯f表示，我國主要從信息真實性、肖像權、個人信息保護以及國家安全等層面，對AI深度偽造技術的應用進行立法規制。
2019年11月，我國便出臺了《網絡音視頻信息服務管理規定》，對網絡音視頻服務的使用者和提供者均提出要求，即利用基于深度學習、虛擬現實等的新技術新應用制作、發布、傳播非真實音視頻信息的，應當以顯著方式予以標識，不得利用基于深度學習、虛擬現實等的新技術新應用制作、發布、傳播虛假新聞信息。
2023年1月10日，我國首部深度合成領域的專門法規《互聯網信息服務深度合成管理規定》施行。該規定要求，深度偽造服務提供者應向有關部門報告非法深度偽造、提供追索機制、提供水印免責聲明等，服務使用者應依法告知人臉被編輯的個人并取得其單獨同意。
2023年7月，我國頒布的《生成式人工智能服務管理暫行辦法》，進一步明確將對生成式人工智能服務進行“分類”和“分級”監管，深度偽造服務的提供者必須對使用該產品生成的內容負責等?！凹又饲俺雠_的網絡安全法等系列法律法規，可以說我國已經為人工智能建構了多元化監管格局，實現了多維譜系法律法規協同治理?！狈炕鄯f說。
放眼全球，美國和歐盟等也都對規范深度偽造技術進行了法律嘗試。據介紹，美國參眾兩院先后提出了側重點各異的《深度偽造責任法案》《2018惡意深度偽造禁止法案》《2019年深度偽造法案》《2020財年情報授權法案》四部法案。歐盟則于2022年6月更新《反虛假信息行為準則》，要求社交媒體從其平臺上刪除深度偽造新聞和其他虛假信息，打擊深度偽造和虛假賬戶，并對違反者處以最高達全球營業額6%的罰款。目前，歐盟正在推進的《人工智能法案》也明確了深度偽造技術的提供商將受到透明度和披露要求的約束。
深度偽造等AI技術發展，是推動社會進步的動力。如何引導技術向善，是一個需要各方共同探討和破解的難題。受訪者們普遍認為，各國應加強交流合作，通過技術和法律等手段，規避人工智能技術帶來的風險隱患，使之健康有序發展。（記者 鄔林樺）
（責任編輯：梁艷）
晉公網安備 14090202000008號 
