2025年2月7日，法國國家網(wǎng)絡(luò)安全局（ANSSI）聯(lián)合其他18個國家的安全機構(gòu)共同簽署《通過基于網(wǎng)絡(luò)安全的方法構(gòu)建可信AI》，圍繞基于網(wǎng)絡(luò)風險的方法構(gòu)建對人工智能的信任展開，分析了人工智能相關(guān)的網(wǎng)絡(luò)風險、攻擊場景，為不同主體提供了指導(dǎo)方針，并給出了安全實施人工智能系統(tǒng)的建議和參考資料。

一、人工智能發(fā)展現(xiàn)狀與風險分析必要性

人工智能的發(fā)展現(xiàn)狀：人工智能是一項自20世紀50年代就開始發(fā)展的變革性技術(shù)，如今其應(yīng)用幾乎滲透到從國防、能源到健康、金融等各個領(lǐng)域。像大語言模型（LLM）這類人工智能技術(shù)的快速普及，使得各利益相關(guān)方對人工智能的依賴程度日益加深。這種廣泛且迅速的應(yīng)用，標志著人工智能已成為現(xiàn)代社會和經(jīng)濟發(fā)展中不可或缺的一部分。

存在的風險：盡管人工智能發(fā)展迅猛，但用戶往往傾向于低估與人工智能相關(guān)的網(wǎng)絡(luò)風險。在缺乏足夠應(yīng)對措施的情況下，惡意行為者有可能利用人工智能系統(tǒng)存在的漏洞來達成不良目的。由于人工智能系統(tǒng)作為軟件系統(tǒng)本身就存在脆弱性，其數(shù)據(jù)在保密性和完整性方面面臨獨特挑戰(zhàn)，且與其他系統(tǒng)的互聯(lián)增加了風險擴散的可能性，這些都為惡意攻擊提供了可乘之機。

風險分析的必要性：對人工智能相關(guān)風險進行分析十分關(guān)鍵。一方面，只有深入了解這些風險，才能采取有效的措施進行緩解，從而推動人工智能在可信的環(huán)境中發(fā)展。另一方面，全面的風險分析有助于充分挖掘人工智能技術(shù)帶來的各種機遇。若忽視風險，可能會出現(xiàn)惡意行為者利用系統(tǒng)漏洞破壞人工智能技術(shù)應(yīng)用的情況，進而阻礙人工智能的進一步發(fā)展和應(yīng)用，無法實現(xiàn)其潛在價值。

二、人工智能系統(tǒng)面臨的風險

1、面臨的威脅種類

共性與特性威脅：人工智能系統(tǒng)作為軟件系統(tǒng)，存在固有脆弱性，需借助成熟的網(wǎng)絡(luò)安全實踐，從開發(fā)到漏洞管理等多環(huán)節(jié)保障其安全性。它不僅面臨與其他信息系統(tǒng)相似的網(wǎng)絡(luò)威脅，如來自托管基礎(chǔ)設(shè)施的風險，還因數(shù)據(jù)在系統(tǒng)中的核心地位，在保密性和完整性方面面臨特殊挑戰(zhàn)。

惡意人工智能的威脅：惡意使用人工智能的情況呈增長態(tài)勢且手段愈發(fā)復(fù)雜。人工智能降低了攻擊門檻，擴大了攻擊規(guī)模和效率，在諸如網(wǎng)絡(luò)釣魚、漏洞掃描及惡意代碼開發(fā)等領(lǐng)域表現(xiàn)明顯。先進的生成式人工智能甚至可能引發(fā)貫穿整個網(wǎng)絡(luò)殺傷鏈的大規(guī)模低成本攻擊。

2、風險場景

基礎(chǔ)設(shè)施受損風險：惡意行為者可利用技術(shù)、組織或人為層面的常見漏洞，對人工智能系統(tǒng)的托管和管理基礎(chǔ)設(shè)施發(fā)起攻擊，影響系統(tǒng)的保密性、完整性和可用性，這一風險在系統(tǒng)全生命周期都需重點防范。

供應(yīng)鏈攻擊風險：攻擊者可能利用供應(yīng)鏈中軟件庫、預(yù)訓(xùn)練模型提供商或服務(wù)提供商等環(huán)節(jié)的漏洞發(fā)起攻擊。以開源庫為例，因其在人工智能系統(tǒng)開發(fā)中廣泛應(yīng)用且常集成到更大框架，一旦遭受攻擊，會危及整個系統(tǒng)安全。

系統(tǒng)互聯(lián)風險：人工智能系統(tǒng)常與其他信息系統(tǒng)互聯(lián)以實現(xiàn)通信和數(shù)據(jù)整合，但這也帶來新風險。如間接提示注入攻擊，攻擊者借此遠程提取敏感信息或執(zhí)行惡意命令，尤其當人工智能系統(tǒng)與工業(yè)系統(tǒng)互聯(lián)時，風險會因工業(yè)系統(tǒng)對物理世界的直接影響而放大。

人為和組織風險：人員培訓(xùn)不足會導(dǎo)致過度依賴自動化，難以察覺人工智能系統(tǒng)的異常行為。此外，未經(jīng)組織 IT 部門批準使用的影子人工智能，可能引發(fā)數(shù)據(jù)泄露、違規(guī)及聲譽受損等問題。長期來看，在關(guān)鍵活動中過度使用人工智能，可能導(dǎo)致技術(shù)依賴，一旦系統(tǒng)故障，人力難以替代其功能。

系統(tǒng)響應(yīng)故障風險：攻擊者若篡改用于訓(xùn)練人工智能模型的數(shù)據(jù)庫，會使模型在生產(chǎn)環(huán)境中給出錯誤響應(yīng)。盡管開發(fā)者不斷增強模型對訓(xùn)練數(shù)據(jù)中毒攻擊的抵御能力，但在涉及數(shù)據(jù)分類的關(guān)鍵場景（如醫(yī)療、安防圖像識別）中，此類攻擊仍極具危險性。

三、應(yīng)對風險的指導(dǎo)方針

1、用戶、運營商和開發(fā)者指南

用例敏感性分析：在考慮使用AI系統(tǒng)時，第一步是分析用例的敏感性，確保AI系統(tǒng)的復(fù)雜性、網(wǎng)絡(luò)安全成熟度、可審計性和可解釋性與特定用例的網(wǎng)絡(luò)安全和數(shù)據(jù)隱私要求相匹配。這有助于選擇合適的 AI 系統(tǒng)，避免因系統(tǒng)特性與應(yīng)用場景不匹配而產(chǎn)生風險。

多方面實踐建議：在開發(fā)、部署或使用AI解決方案時，除遵循常規(guī)網(wǎng)絡(luò)建議外，還需采取一系列特定的良好實踐。如根據(jù)風險分析、業(yè)務(wù)需求和行動的關(guān)鍵性調(diào)整AI系統(tǒng)的自主水平，并在必要時集成人工驗證，以應(yīng)對網(wǎng)絡(luò)風險和AI模型的可靠性問題；繪制AI供應(yīng)鏈地圖，涵蓋AI組件、其他軟硬件組件和數(shù)據(jù)集，以減輕數(shù)據(jù)投毒風險并評估數(shù)據(jù)提取風險的影響；跟蹤AI系統(tǒng)與其他信息系統(tǒng)的互連情況，減少攻擊路徑；持續(xù)監(jiān)控和維護AI系統(tǒng)，降低“黑箱”性質(zhì)帶來的風險；預(yù)測重大技術(shù)和監(jiān)管變化，識別潛在新威脅，調(diào)整策略；對內(nèi)部人員進行AI挑戰(zhàn)和風險的培訓(xùn)，提高全員安全意識。

2、政策制定者指南

支持研究與能力建設(shè)：政策制定者應(yīng)支持與AI風險相關(guān)的研究，包括對抗機器學(xué)習(xí)、隱私保護計算和新興的AI攻擊性應(yīng)用等領(lǐng)域，以加深對AI風險的理解和應(yīng)對能力。同時，要支持基于共享標準的安全評估和認證能力的發(fā)展，增強對AI模型、應(yīng)用程序、數(shù)據(jù)和基礎(chǔ)設(shè)施的信任。

推廣最佳實踐與促進合作：繼續(xù)推廣最佳網(wǎng)絡(luò)安全實踐，明確指導(dǎo)方針，確保AI系統(tǒng)的安全部署和托管。根據(jù)風險水平調(diào)整安全要求，并分享反饋，幫助組織避免常見錯誤，優(yōu)化AI在運營中的集成。促進網(wǎng)絡(luò)和AI領(lǐng)域參與者之間的對話，特別是網(wǎng)絡(luò)安全機構(gòu)和AI安全機構(gòu)之間的對話，明確各自的職責范圍，共同應(yīng)對AI系統(tǒng)的網(wǎng)絡(luò)挑戰(zhàn)，重點是共享新興威脅信息和協(xié)同保護關(guān)鍵系統(tǒng)。

持續(xù)對話與國際合作：在AI峰會之后繼續(xù)保持對話，持續(xù)監(jiān)測AI系統(tǒng)面臨的不斷演變的威脅，在國際層面開展討論與合作，確定更好地保障AI價值鏈安全的指導(dǎo)方針，從而增強對AI的信任。

四、附錄內(nèi)容

附錄 1

圍繞人工智能系統(tǒng)安全實施展開，提供了全面的建議，涵蓋自我評估和推薦行動清單兩大部分，旨在幫助人工智能用戶、運營商和開發(fā)者建立系統(tǒng)安全意識，規(guī)范操作流程，降低安全風險。

1、推薦的自我評估

系統(tǒng)全生命周期安全考量：著重審視AI系統(tǒng)生命周期各階段是否具備安全基礎(chǔ)，涵蓋指導(dǎo)原則、最佳實踐基準及架構(gòu)規(guī)劃等方面，確保安全貫穿始終。從設(shè)計階段開始，就應(yīng)明確并記錄系統(tǒng)的合法目的，為后續(xù)開發(fā)和使用提供清晰方向，便于追溯和審查。

數(shù)據(jù)與模型保護：針對AI模型，需評估其保密性需求和對組織的價值，確定是否需要特殊保護措施。同時，將合規(guī)因素融入設(shè)計思維，嚴格核查AI系統(tǒng)的數(shù)據(jù)處理操作是否符合法律法規(guī)，保障系統(tǒng)合法運行。對于涉及個人數(shù)據(jù)的情況，必須采用 “隱私設(shè)計” 理念，全面保護數(shù)據(jù)和元數(shù)據(jù)，以及AI系統(tǒng)模型，防止數(shù)據(jù)泄露和濫用。

訪問權(quán)限管理：明確AI系統(tǒng)在不同階段的訪問人員，遵循最小權(quán)限原則分配權(quán)限，嚴格限制人員對系統(tǒng)資源的訪問范圍，最大程度保障AI系統(tǒng)的安全性和完整性，降低因權(quán)限濫用導(dǎo)致的安全風險。

2、推薦行動清單

通用建議：梳理AI系統(tǒng)的依賴鏈，清晰掌握系統(tǒng)運行所依賴的各個環(huán)節(jié)，對供應(yīng)商進行全面評估，包括聲譽和財務(wù)狀況，確保供應(yīng)鏈穩(wěn)定可靠。要求數(shù)據(jù)和軟件供應(yīng)商符合網(wǎng)絡(luò)安全標準，對AI系統(tǒng)進行全面風險分析，綜合考慮組織內(nèi)外部環(huán)境因素，評估系統(tǒng)故障可能帶來的多方面影響。在考慮采用云解決方案時，進行全局風險評估，權(quán)衡數(shù)據(jù)保護、性能等多方面利弊，并在服務(wù)協(xié)議中設(shè)置可逆條款，保障數(shù)據(jù)安全和操作的可追溯性。

基礎(chǔ)設(shè)施和架構(gòu)建議：詳細規(guī)劃AI系統(tǒng)的使用方式和融入決策流程的方法，特別是在自動化場景下，確保系統(tǒng)運行符合業(yè)務(wù)需求和安全規(guī)范。根據(jù)實際情況，應(yīng)用針對云環(huán)境、外包服務(wù)的安全措施，實施AI系統(tǒng)的安全管理策略，利用訪問控制系統(tǒng)嚴格限制對關(guān)鍵組件的訪問。精心設(shè)計部署計劃和架構(gòu)，確保系統(tǒng)在擴展時安全性能不受影響，全面貫徹DevSecOps原則，將安全融入開發(fā)、運維全過程。從設(shè)計源頭遵循隱私設(shè)計理念，保護數(shù)據(jù)機密性，必要時對數(shù)據(jù)進行假名化或匿名化處理，同時考慮數(shù)據(jù)訪問的必要性，減少數(shù)據(jù)泄露風險。

資源與數(shù)據(jù)管理建議：采用安全格式獲取、存儲和分發(fā)AI模型，在模型加載前實施完整性驗證機制，防止模型被篡改。評估AI系統(tǒng)中使用的庫和插件的可信度，確保外部數(shù)據(jù)的質(zhì)量和可信度，對AI系統(tǒng)的操作進行全程追溯，保證數(shù)據(jù)收集過程公平、符合倫理道德，避免數(shù)據(jù)偏見和不當使用。

學(xué)習(xí)過程安全建議：制定嚴格的數(shù)據(jù)訪問策略，限制AI系統(tǒng)對敏感數(shù)據(jù)的訪問。保障訓(xùn)練數(shù)據(jù)的存儲和訪問安全，評估學(xué)習(xí)和再學(xué)習(xí)方法的安全性，對提取的數(shù)據(jù)、元數(shù)據(jù)等進行清理、篩選，必要時進行假名化或匿名化防止處理，數(shù)據(jù)泄露和惡意攻擊影響模型訓(xùn)練結(jié)果。

應(yīng)用可靠性建議：為AI系統(tǒng)的管理任務(wù)實施多因素身份驗證，強化身份認證的安全性。保障輸入輸出數(shù)據(jù)的保密性和完整性，設(shè)置安全過濾器檢測惡意指令，及時更新數(shù)據(jù)、元數(shù)據(jù)和注釋，持續(xù)評估模型的準確性和性能，確保AI系統(tǒng)穩(wěn)定可靠運行。

組織策略建議：記錄AI系統(tǒng)的設(shè)計選擇，便于后續(xù)審查和維護。監(jiān)督系統(tǒng)運行，明確關(guān)鍵人員職責，管理分包商使用。制定風險管理策略，規(guī)劃無AI系統(tǒng)時的降級運行模式，根據(jù)組織敏感性制定生成式AI使用政策，監(jiān)測AI系統(tǒng)特定漏洞，關(guān)注技術(shù)發(fā)展趨勢，實施數(shù)據(jù)管理系統(tǒng)，采用安全的數(shù)據(jù)刪除方法，記錄產(chǎn)品中使用的數(shù)據(jù)集，便于管理和降低數(shù)據(jù)使用風險。

預(yù)防措施：定期組織員工進行AI安全風險培訓(xùn)，提高員工安全意識和應(yīng)對能力。定期開展AI系統(tǒng)安全審計，及時發(fā)現(xiàn)和修復(fù)潛在安全問題。提前預(yù)測與訓(xùn)練數(shù)據(jù)或模型相關(guān)的知識產(chǎn)權(quán)和數(shù)據(jù)保護等權(quán)利問題，避免法律糾紛和安全隱患。

附錄 2

列舉了與人工智能相關(guān)的各類參考資料，為深入研究人工智能開發(fā)、應(yīng)用、安全以及風險管理等方面提供了豐富的信息資源，涵蓋了從技術(shù)規(guī)范到法規(guī)政策等多個維度。

人工智能開發(fā)：包含多個組織發(fā)布的開發(fā)指南。AIVD強調(diào)安全開發(fā)AI系統(tǒng)；G7制定了針對開發(fā)先進AI系統(tǒng)組織的行為準則和指導(dǎo)原則；NCSC-UK與CISA聯(lián)合發(fā)布的安全AI系統(tǒng)開發(fā)指南，為開發(fā)者提供了系統(tǒng)的開發(fā)規(guī)范，這些資料為AI開發(fā)過程中的技術(shù)實現(xiàn)、道德規(guī)范等提供了重要參考。

人工智能用例：有ANSSI提出的生成式 AI 系統(tǒng)安全建議，以及 BSI、ANSSI 關(guān)于AI編碼助手的相關(guān)內(nèi)容，還有BSI對生成式AI模型在工業(yè)和政府領(lǐng)域的機遇與風險分析。這些用例從不同應(yīng)用場景出發(fā)，為各行業(yè)應(yīng)用 AI 技術(shù)時評估風險、采取安全措施提供了實際操作層面的指引。

人工智能漏洞與安全：CSA新加坡發(fā)布了AI系統(tǒng)安全指南及相關(guān)討論文件，強調(diào)保障AI安全是集體責任。CERT-In提供了軟件物料清單（SBOM）技術(shù)指南和API安全相關(guān)資料。此外，還有多篇學(xué)術(shù)研究，如關(guān)于AI在相關(guān)法案中的網(wǎng)絡(luò)安全、對抗機器學(xué)習(xí)的分類和術(shù)語等內(nèi)容。這些資料全面涵蓋了AI系統(tǒng)在漏洞發(fā)現(xiàn)、安全防護以及應(yīng)對攻擊等方面的知識。

風險管理：NIST的AI風險管理框架和OECD關(guān)于推進AI問責制的資料，為建立完善的AI風險管理體系提供了理論依據(jù)和實踐框架，有助于組織在AI應(yīng)用過程中全面評估、管理風險，確保AI系統(tǒng)的可靠運行。

術(shù)語：ISO/IEC 22989:2022和OECD分別對人工智能相關(guān)概念、術(shù)語以及AI事件相關(guān)術(shù)語進行了定義。統(tǒng)一規(guī)范的術(shù)語有助于不同人員在交流、研究和實踐中準確理解和運用相關(guān)概念，避免因術(shù)語歧義產(chǎn)生誤解。

法規(guī)示例：歐盟的《人工智能法案》和《網(wǎng)絡(luò)彈性法案》為AI技術(shù)的應(yīng)用和網(wǎng)絡(luò)安全保障提供了法律層面的規(guī)范和約束。這些法規(guī)明確了AI開發(fā)、使用過程中的責任、義務(wù)和安全標準，為政策制定者、企業(yè)和開發(fā)者提供了法律遵循的依據(jù)。

轉(zhuǎn)載鏈接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml

關(guān)注“廣東技術(shù)性貿(mào)易措施”，獲取更多服務(wù)。