核心框架:四位一體的安全治理體系
白皮書創造性地提出了AI安全治理的總體架構,將復雜的治理體系拆解為四個相互支撐、緊密聯動的維度:
1. 基礎設施安全:筑牢數字底座
AI基礎設施是模型訓練與推理的"數字土壤",其安全直接決定上層應用的可靠性。當前面臨的核心挑戰包括:
智算硬件設備安全方面,服務器、智算卡等關鍵設備面臨物理攻擊、硬件接口攻擊、固件漏洞利用等多重威脅。攻擊者可能通過探針讀取總線數據,或利用調試端口篡改系統固件。
智算云平臺安全承載著海量敏感數據,云底座的存儲服務成為數據泄露的主要目標。未經安全管理的API接口、存在已知漏洞的云操作系統、包含惡意代碼的容器鏡像,都為攻擊者提供了可乘之機。
智算MaaS平臺安全風險尤為突出。模型即服務(Model as a Service)降低了AI開發門檻,但也帶來了模型知識產權被盜取、API接口遭受流量攻擊導致服務中斷、GPU資源被惡意占用導致成本激增等新型風險。
智算算力網絡安全作為新興基礎設施,其"算力泛在、靈活接入"的特性反而成為安全隱患。算力信息的正確性與完整性直接影響全網調度,一旦節點被攻擊或仿冒,將嚴重影響算網可靠性。
2. 數據安全:守護AI的"血液系統"
數據是人工智能發展的核心驅動力,其安全風險貫穿AI全生命周期:
訓練數據安多面臨數據來源合規性、內容安全性、數據投毒攻擊等多重挑戰。攻擊者可能在數據預處理階段注入惡意樣本,使模型在特定場景下產生錯誤輸出或植入后門。低質量數據更會直接削弱模型魯棒性。
微調數據安全風險常被忽視。由于微調常基于私有數據進行,若存儲傳輸環節存在漏洞,攻擊者可通過逆向工程從模型輸出中反推敏感訓練數據,造成隱私泄露。
推理數據安全關乎高價值模型與關鍵行業數據的保護。攻擊者可能利用服務器訪問權限繞過加密保護,直接從內存導出模型,或在API關鍵點插入惡意代碼竊取用戶隱私推理數據。
知識庫數據安全在RAG(檢索增強生成)架構中至關重要。外部攻擊者可能利用SQL注入等手段非法獲取數據庫敏感信息,內部授權用戶也可能因誤操作或社會工程學攻擊導致數據泄露。
3. 模型算法安全:攻克"黑盒"難題
AI模型算法是系統的"大腦",其安全風險復雜且隱蔽:
模型訓練階段面臨數據隱私泄露、版權侵犯、數據偏見導致的公平性問題,以及對抗攻擊威脅——攻擊者通過精心設計的輸入誤導模型輸出錯誤結果。
模型微調階段的風險更加微妙。研究表明微調后的模型更容易遭受"越獄攻擊",即通過特殊指令使模型偏離安全限制。不當的微調策略還可能導致模型性能下降,增加幻覺現象發生率。
模型推理階段的對抗攻擊同樣危險。攻擊者輸入經過輕微擾動的數據樣本,即可誘使模型做出錯誤決策。訓練環境與實際應用場景的差異還可能導致"數據漂移"現象。
模型部署階段需防范模型竊取、傳輸泄露、維護更新引入新漏洞等風險。模型的可解釋性和透明度在金融、醫療等高風險領域尤為重要。
針對通用AI模型,白皮書特別指出六大典型風險:魯棒性弱、泛化性差、可解釋性差、偏見與歧視、逆向工程風險、對抗攻擊風險。對于生成式AI,則需重點關注提示詞攻擊(如角色扮演攻擊、目標劫持攻擊)、大模型接口攻擊,以及生成內容合規風險——包括侵犯他人合法權益、違反核心價值觀、模型幻覺、思維鏈安全推理風險等。
4. 應用安全:跨越"Z后一公里"
AI應用是技術與場景的結合點,安全風險呈現多樣化特征:
AI模型算法濫用風險包括虛假有害信息傳播、多模態深度偽造、模型透明性不足導致的用戶過度信任等問題。在情感支持、心理咨詢等敏感領域,用戶可能在情感和心理上過度依賴AI,引發倫理道德問題。
AI應用開發安全風險中,端側AI受限于低功耗、小內存,模型壓縮優化可能犧牲安全性;智能體的自主決策能力使其行為可能因環境反饋或對抗攻擊偏離原始目標;具身智能的物理行動能力更可能直接引發人身傷害或財產損失;智能物聯網(AIoT)則融合了AI算法脆弱性與IoT物理暴露性,風險疊加放大。
AI垂直行業應用風險各具特點:醫療領域存在手術機器人操作失誤、醫學圖像誤判、患者隱私泄露等風險;新聞領域面臨虛假信息傳播、輿論操縱威脅;金融領域需防范多模態深度偽造技術實施的盜刷、惡意注冊等欺詐行為;編程領域則要警惕AI生成代碼中的XSS、SQL注入等安全漏洞。
白皮書Z后提出了AI安全治理的發展建議,呼吁從法律法規完善、標準體系建設、前沿技術探索、人才培養與產學研協同創新等多個維度共同發力,推動我國人工智能技術健康、安全、可持續發展。
在AI技術日新月異的時代,安全治理不是創新的絆腳石,而是可持續發展的壓艙石。W有構建政府監管、企業履責、行業自律、社會協同的多元共治格局,才能讓AI技術真正造福人類社會,實現"智能向善"的美好愿景。
這份白皮書的價值,不僅在于其系統性的理論框架和豐富的實踐案例,更在于它展現了ZGAI產業界對安全治理的深刻思考和主動擔當。在AI競爭進入白熱化階段的今天,安全治理能力將成為衡量AI發展水平的重要標尺,而這份白皮書正是ZG參與AI治理、貢獻ZG智慧的重要成果。

![]() |
| 商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |