微軟開源RAMPART與Clarity AI代理安全測試工具CI化

微軟開源 RAMPART 與 Clarity 兩項 AI 代理安全工具，將安全測試（尤其是提示注入攻擊防護）整合進 CI/CD 開發流程。

RAMPART

建立在 PyRIT（生成式AI紅隊自動化框架）之上。差異在於 PyRIT 供系統完成後探索風險，RAMPART 讓工程師在開發階段就寫成測試並納入 CI。

主要測試範圍：跨提示注入攻擊（Prompt Injection）—攻擊者將指令藏於文件、郵件、客服票證等代理會讀取的資料中。

檢查項目：

LLM 不確定性處理：同一測試可重複執行多次，設定通過條件（如「多數執行結果須保持安全」）。

桌面/網頁/嵌入式應用，引導團隊釐清問題、分析失敗情境、記錄決策理由，輸出為 Markdown 文件。

AI 安全問題已超越「回答是否正確」，涵蓋代理讀取惡意指令、誤用工具、執行超出預期動作等情境。