上海spa论坛

  - 热点要问

一张图片就能“活化”成视频?警惕AI深度合成击穿风险底线

2022-09-16 浏览: 28332

一段視頻、一段語音,未必是真人拍攝或錄制,在你不知道的手機App后臺꧑、支付界面、門禁閘機,或許有人正在盜刷你的臉。隨著人工智能(AI)深度合成技術日益精湛,合成寧國花樣年華娛樂會所的音頻ꦓ、視頻等偽造內容越來越能以假亂真。毫無疑問,我們生活的現實世界正在面臨技術濫用🌜的風險與挑戰。

盜刷人臉、篡改聲音,那都不叫事兒

近兩年來,在浙江、安徽、江蘇等地,多名盜取個人信息的犯罪嫌疑人被公安部門抓獲。犯罪嫌疑人作案流程極為雷同:先是非法獲取他人照片或有償收購他人聲音等“物料”,然后利用人工智能技術將照片“活化”、合成動態視頻,之后或直接騙過社交平臺、支付寶賬戶的人臉核驗機制,進行非法獲利;或騙過手機卡注冊過程中的人工審核環節,繼而利用他人名下的手機號進行電信網絡詐騙、網絡賭博等,使被收集信息的人遭受安全威脅和財產損失。

一張陌生人的圖片,如何“活化”成為視頻?

ꦿ半月談記者在清華大學人工智能研究院實驗室的演示電腦前看到,一張剛從微信朋友圈中下載的陌生人的正臉靜態照片導入電腦后,在技術人員的操作下,照片上的人物可瞬間“活”起來,根據指令做出相應的眨眼、張嘴🐼、皺眉等精細動作和表情變化,并在短短十幾秒內生成流暢視頻。

“完成由靜到動這一驅動操作的技術叫深度合成技術,是人工智能內容合成技術的一種。”清華大學人工智能研究院工程師蕭子豪說,深度合成技術已經衍生出包括圖像合成、視頻合成、聲音合成、文本生成等多種技術。

ꦫ在技術加持下,盜刷人臉不再是難事。在手機卡注冊、銀行卡申請、支付軟件登錄等需要人臉動態識別的環節,這些偽造的合成視頻可協助不法分子通過后臺審核驗證。

🎀

技術人員向半月談記者演示了聲音合成的操作。幾段60秒的陌生人語音通過深度合成技術,即可生成“不用打卡,直接微信轉賬給我吧”“今天你不用去接孩子了。我就在學校附近,順路去接孩子”等語音,效果如同真人發出的聲音。這種聲音合成令人“細思極恐”。

深度合成正瓦解“眼見為實”

在國內外內容平臺🦄、社交平臺上,深度合成內容呈現“量質齊升”。其中合成的影視劇片段、話題人物的換臉視頻等因具有較強娛樂性而被大量傳播。

清華大學人工智能研究院、北京瑞萊智慧科技有限公司、清華大學智媒研究中心、國家工業信息安全發展研究中心、北京市大數據中心聯合發布的《深度合成十大趨勢報告(2022)》顯示,2017年至2021年國內外主流音視頻網站、社交媒體平臺上,深度合成視頻數量的年均增長率超過77.8%。2021年新發布的深度合成視頻數量是2017年的11倍。與此同時,深度合成內容的曝光度、關注度📖、傳播力也呈指數級增長,2021年新發布深度合成視頻💯的點贊數已超3億次。

“網上流傳的視頻、語音,未必是真人拍攝或錄制。”浙江大學網絡空間安全學院院長任奎說,是全臉合成、音頻合成,還是真實拍攝錄制,許多時候憑借人眼難以分辨。

清華大學計算機系教授、人工智能研究院基礎理論研究中心主任朱軍認為,深度合成技術正在改變信息傳播內容信任鏈的底層邏輯和復雜程度,風險隱患在迅速加大。一方面,“眼見為實”的定義發生改變。盡管公眾對照片等靜態信息易被篡改已有認知,但對視頻、聲音等動態信息仍持有較高信任度,深度合成技術再次瓦解了“眼見為實”的信任邏輯。二是短視頻的廣泛傳播,使深度合成技術的濫用產生了較大范圍的影響力和破壞力。

清華大學蘇世民書院院長、教授薛瀾認為,當深度合成等人工智能技術走向“濫用”,就會帶來一系列的倫理和治理問題:輕則侵犯個人財產安全、傷害個人尊嚴和隱私,重則威脅國家安全、影響社會穩定。

引導技術向善,完善AI風險治理體系

技術是一把雙刃劍。用好這把雙刃劍,既不能讓技術成為脫韁的野馬,也不能讓技術創新原地踏步。

💦從善用技術的角度,中國工程院院士、信息技術專家鄔賀銓提出,對于技術🗹的新應用、新發展,不能“一刀切式”地禁止和干預,以免阻礙其創新。而應當從源頭上解決技術衍生的安全問題,利用技術創新、技術對抗等方式,持續提升和迭代檢測技術的能力。

朱軍認為,當前針對深度合成應用的檢測技術仍處于探索階段,手段尚不成熟。建議充分發揮科研院所、科技企業等力量,盡快形成有效、高效的深度合成應用技術檢測能力,以在輿論戰、信息戰中爭取技術優勢。

從風險治理的角度,國家工業信息安全發展研究中心副總工程師邱惠君指出,近年來的數字化轉型倒逼多國人工智能安全風險治理落地。歐盟率先在人工智能領域開展了立法,基于風險分析🍃的方法,重點明確針對高風險人工智能系統的監管框架。

“人工智能安全包括數據安全、框架安全、算法安全、模型安全、運營安全等組成部分。對此,我們應當構建‘規定+標準+法律’的一體化治理規則體系,出臺風險治理的指南、標準、評估規范,在條件具備時完善立法。”邱惠君建議,重點圍繞數據、算法、模型和運維的角度,一是構建數據采集質量規范;二是根據應用場景對人工智能進行系統風險分級分類;三是建立安全責任體系,明確設計開發單位、運維單位、數據提供方的各自責任。🔥

中倫律師事務所合伙人陳際紅表示,打擊“變臉”詐騙犯罪,應從技術的合法使用邊界🐠、技術的安全評估程序、濫用技術的法律規制等方面予以規范,提高技術濫用的違法成本。

朱軍提示,公眾應當對深度合成新技術、新應用形成正確認知,對其不良應用提高防范意識,保護好個人聲紋、照片等信息,不輕易提供人臉、指紋、虹膜等個人生物信息給他人。

來源:《半月談內部版》2022年第6期 原標題:《警惕AI深度合成擊穿風險底線》

半月談記者:張漫子 張超  【編輯:姜雨薇】