微軟開源RAMPART，讓代理安全測試CI化

來源: iThome | 日期: 2026-05-21 | URL: https://www.ithome.com.tw/news/176011

原文摘要

微軟開源兩項 AI 代理安全工具：RAMPART 與 Clarity，將安全測試整合進開發流程（CI/CD）。

RAMPART

• 建立在既有 PyRIT（生成式AI紅隊自動化框架）之上
• 差異：PyRIT 供安全研究人員在系統完成後使用；RAMPART 讓工程師在開發階段就寫成測試並納入 CI
• 主要測試範圍：跨提示注入攻擊（Prompt Injection）
• 處理 LLM 不確定性：同一測試可重複執行多次，設定通過條件
• 檢查範圍：
  • AI 文字回應內容
  • 代理是否呼叫工具
  • 是否對外部系統造成變更
  • 行動是否在允許範圍內

Clarity

• 形式：桌面應用程式 / 網頁介面 / 嵌入開發用 AI 代理
• 功能：引導團隊釐清問題、比較方案、分析失敗情境、記錄決策理由
• 輸出：Markdown 文件存入專案目錄，可在 Code Review 時同步檢視

背景動機

企業 AI 系統可能存取電子郵件、查詢 CRM、撰寫程式碼，AI 安全問題已超越「回答是否正確」，涵蓋代理是否讀取含惡意指令的資料、誤用工具、執行超出預期的動作。

衍生頁面

• 微軟開源RAMPART與Clarity AI代理安全測試工具CI化 — 主要概念頁
• microsoft — 微軟實體頁