紅帽OpenShift AI 3.4強化模型即服務，納入AI推論閘道與token配額控管
- 來源：iThome（ID: 487）
- URL：https://www.ithome.com.tw/news/176001
- 發布日期：2026-05-21
摘要
Red Hat OpenShift AI 3.4 將模型即服務（MaaS）列為正式企業功能（GA），內建 AI 推論閘道，解決多團隊共用 AI 模型的治理與管控問題。
主要新功能
正式可用（GA）
- 內建 AI 推論閘道：無需額外導入閘道工具或管理獨立生命週期
- Token 配額與速率限制：透過 Kubernetes CRD 設定各團隊用量
- API 金鑰自助服務：開發者可自行產生金鑰，綁定 subscription 資源範圍，支援即時撤銷
- 底層技術：Envoy、Kuadrant、Istio（皆為開源）
技術預覽階段
- Showback 功能：追蹤 token 消耗與成本歸屬（依模型與 subscription 群組）
- 企業身分驗證：透過 Authorino 整合 OpenID Connect，支援 Azure AD、Okta、Keycloak
- 外部模型路由：透過
/v1/chat/completions端點路由至多種模型來源
支援的模型來源
| 類型 | 來源 |
|---|---|
| 本機 | vLLM 推論框架 |
| 雲端 | Amazon Bedrock、Azure OpenAI、Anthropic |
與既有工具整合
- 不需替換現有 API 閘道或代理工具
- 參考整合案例：LiteLLM 與 Portkey AI Gateway
- 支援搭配 LlamaStack 處理代理式工作流程
核心問題
企業 AI 應用從 PoC 進入正式環境後，模型被多部門共用，衍生存取控管、推論端點核准、用量控管與合規報告等管理課題。
衍生頁面
- Red Hat OpenShift AI 3.4模型即服務MaaS正式可用AI推論閘道與token配額控管 — 核心概念頁面
- red-hat — 主要實體