Artificial Analysis與IBM推出ITBench-AA，先進AI模型企業IT維運任務得分仍不到5成
來源: iThome | 日期: 2026-05-29 URL: https://www.ithome.com.tw/news/176212
概述
Artificial Analysis × IBM 聯合推出 ITBench-AA 企業IT任務基準測試，首波聚焦 SRE（網站可靠性工程） 情境，結果顯示所有先進AI模型得分均低於50%。
測試設計
- 資料集：由 IBM Software Innovation Lab 建立，納入企業IT維運與事件處理經驗
- 任務數量：59項SRE任務（40項公開 + 19項保留測試）
- 測試情境：Kubernetes容器叢集事件，提供警示、追蹤資料、效能指標、日誌、應用程式拓撲
- 目標：找出導致服務異常的最小且彼此獨立的根本原因實體
- 框架：Stirrup（開源參考框架），模型透過Shell存取沙箱，每任務最多100回合、重複3次
- 評分：完整召回下的平均精確率——漏掉任何根本原因即得0分
評測結果
| 模型 | 得分 | 平均回合數 | 每任務成本 |
|---|---|---|---|
| Claude Opus 4.7 | 47% | — | $5.38 |
| GPT-5.5 | 46% | 31 | — |
| Qwen3.7 Max | 42% | — | — |
| GLM-5.1（開放權重） | 40% | — | $1.23 |
| DeepSeek V4 Pro | 38% | — | — |
| Gemma 4 31B | 37% | — | $0.14 |
| Gemini 3.5 Flash | ~40% | — | $1.70 |
| Gemini 3.1 Pro Preview | 30% | 83 | $2.23 |
關鍵發現
- 所有模型得分 < 50%，AI代理在複雜企業IT維運中仍難以準確判斷根本原因
- 調查步驟多 ≠ 準確度高
- 易將上游觸發機制或同時出現的症狀誤判為根本原因
- 性價比：Gemma 4 31B（$0.14/任務）表現優異
衍生頁面
- ITBench-AA企業IT維運AI基準測試先進模型得分不到5成 — 主要基準測試概念
- ibm — IBM公司
- artificial-analysis — Artificial Analysis