LLM長流程文件委派任務內容劣化問題——DELEGATE-52基準測試
微軟研究院2026年5月發表研究，揭示現階段所有主流LLM在長流程委派式文件編輯任務中，無法可靠維持文件內容的完整性與準確性。
核心問題
當LLM被委派執行長流程文件任務（如多輪次的文件修改、重組、整合），模型會逐漸：
- 刪除原始內容（較弱模型的主要問題）
- 改寫、扭曲或幻覺生成（先進模型的主要問題，且更難察覺）
DELEGATE-52 基準測試
- 規模：52個專業領域、310個工作環境
- 領域：財務、軟體工程、結晶學、樂譜記譜等真實專業環境
- 設計：加入相關但不必要的參考文件，測試模型是否引用錯誤資料
- 測試模型：19個模型（OpenAI、Anthropic、Google、Mistral、xAI、Moonshot等）
關鍵數據
| 指標 | 數據 |
|---|---|
| 20次連續互動後平均內容劣化 | 50% |
| 最佳模型（Gemini 2.5 Pro等）劣化率 | 仍約25% |
| 80%的劣化來源 | 少數關鍵性失敗 |
| Gemini 2.5 Pro達可用門檻的領域數 | 52個中僅11個 |
| 加入通用代理工具後劣化變化 | 增加6% |
先進模型的特殊風險
先進模型（如GPT-4.5、Claude 3.7、Gemini 2.5等）的失敗模式比弱模型更危險：
- 弱模型：直接刪除段落，用戶容易發現
- 先進模型：改寫文字，外觀流暢但語義已偏離——更難被人工察覺
RAG與多步驟代理人的影響
Philippe Laban（微軟研究院資深研究員）指出，RAG系統的評估不應停留在單輪檢索基準，需放入多步驟工作流程中測試，才能揭露長流程中累積的錯誤傳播。
實務建議
對企業/導入者：
- 將工作流程拆成短程、可檢查且透明的任務
- 每個關鍵步驟後進行人工審查
對開發者：
- 通用工具（檔案讀寫、程式碼執行）不足夠
- 需建立特定領域、範圍明確的工具
來源文章
相關頁面
- microsoft-research — 研究發布單位（微軟研究院）
- arXiv限制未審核AI生成內容投稿政策 — AI生成內容可靠性議題
- Redis Iris AI代理情境引擎 — AI代理記憶與情境管理（相關技術）