Red Hat OpenShift AI 3.4 模型即服務（MaaS）正式可用：AI 推論閘道與 Token 配額控管
Red Hat OpenShift AI 3.4 將**模型即服務（MaaS）**列為 GA 企業功能，內建 AI 推論閘道，解決多團隊共用 AI 模型的治理與管控問題。
背景
企業 AI 應用從 PoC 進入正式環境後，模型往往被多部門共用，衍生存取控管、用量追蹤、合規報告等管理課題。OpenShift AI 3.4 直接在平台層面解決此問題。
核心功能（GA）
| 功能 | 說明 |
|---|---|
| AI 推論閘道 | 內建於 OpenShift AI，無需額外部署或獨立管理 |
| Token 配額與速率限制 | 透過 Kubernetes CRD 設定各團隊用量上限 |
| API 金鑰自助服務 | 開發者自行產生金鑰，綁定 subscription，支援即時撤銷 |
底層技術棧：Envoy、Kuadrant、Istio（皆為開源）
技術預覽功能
- Showback：OpenShift AI 儀表板內建，追蹤 token 消耗與成本歸屬（依模型與 subscription 群組）
- 企業身分驗證：Authorino 整合 OpenID Connect，支援 Azure AD、Okta、Keycloak
- 外部模型路由：透過
/v1/chat/completions路由至多種模型來源
支援的模型來源
- 本機：vLLM 推論框架
- 雲端：Amazon Bedrock、Azure OpenAI、Anthropic
整合生態
- 發布參考整合：LiteLLM 與 Portkey AI Gateway
- 支援 LlamaStack 處理代理式工作流程
- 不需替換現有 API 閘道或代理工具
相關實體
- red-hat — 開發者