先進AI模型處理長流程文件任務仍不可靠,內容遭改寫更難察覺

摘要

微軟研究院論文《LLMs Corrupt Your Documents When You Delegate》指出:現階段LLM在長流程委派式文件任務中,無法維持內容完整性與準確性。

核心發現

  • DELEGATE-52基準測試:52個專業領域、310個工作環境,測試19個模型(OpenAI、Anthropic、Google、Mistral、xAI、Moonshot)
  • 20次連續互動後平均內容劣化 50%
  • 最佳模型(Gemini 3.1 Pro等)劣化率仍約 25%
  • 80%的劣化來源於少數關鍵性失敗
  • Gemini 3.1 Pro達可用門檻的領域數:52個中僅11個
  • 加入通用代理工具後劣化增加 6%

重要洞察

  • 較差模型:常見問題是刪除內容
  • 先進模型(更危險):更常改寫、扭曲或產生幻覺——文字看似仍在,實際內容已偏離原始
  • Python是唯一多數模型達到可用門檻的領域

RAG系統警示

Philippe Laban(微軟研究院資深研究員):RAG流程不應只用單輪檢索基準測試評估,而應放到多步驟工作流程中觀察。

實務建議

  • 企業:拆成短程、可檢查且透明的任務;每個關鍵步驟後進行人工審查
  • 開發者:建立特定領域、範圍明確的工具

衍生頁面