ITBench-AA企業IT維運AI基準測試先進模型得分不到5成
Artificial Analysis與IBM聯合發布的ITBench-AA基準測試首波結果顯示，所有先進AI模型在企業SRE（網站可靠性工程）任務中得分均低於50%，揭示AI代理在複雜IT維運情境中的能力缺口。
測試設計
- 資料集: IBM Software Innovation Lab建立，共59項SRE任務（40公開 + 19保留）
- 情境: Kubernetes叢集事件，需找出根本原因實體
- 框架: Stirrup（開源），每任務最多100回合
- 評分: 完整召回下的平均精確率，漏掉任何根本原因即得0分
排名結果
| 模型 | 得分 | 每任務成本 |
|---|---|---|
| Claude Opus 4.7 | 47% | $5.38 |
| GPT-5.5 | 46% | — |
| Qwen3.7 Max | 42% | — |
| GLM-5.1 | 40% | $1.23 |
| Gemini 3.5 Flash | ~40% | $1.70 |
| DeepSeek V4 Pro | 38% | — |
| Gemma 4 31B | 37% | $0.14 |
| Gemini 3.1 Pro Preview | 30% | $2.23 |
關鍵洞察
- 所有模型 < 50%：AI代理在複雜IT維運根本原因分析中能力仍不足
- 調查步驟多不等於準確：Gemini 3.1 Pro用83回合僅得30%
- 性價比最佳：Gemma 4 31B（$0.14/任務）遠優於高成本模型
- 後續計畫：擴展至FinOps與CISO相關情境
來源文章
相關頁面
- ibm — IBM（共同推出此基準）
- artificial-analysis — Artificial Analysis（共同推出此基準）