Amazon EMR on EC2 可觀測性功能更新(2026)

AWS 於 2026-05-12 發布的 Amazon EMR on EC2 可觀測性功能更新,涵蓋日誌串流、監控介面與指標管理三大面向。

核心功能

近即時日誌串流

  • 自 Amazon EMR 7.11.0 起支援
  • 可將叢集日誌串流至 Amazon CloudWatch Logs
  • 無需手動設定 Bootstrap Actions 或代理程式
  • 支援 EMR 步驟執行日誌、Spark 驅動程式與執行器日誌

步驟層級 S3 日誌控制

  • 可針對個別步驟指定專屬 S3 日誌路徑
  • 支援 AWS KMS 金鑰加密,適用多租戶與資料分級環境

主控台功能擴充

  • YARN ResourceManager UI 與 Tez UI 直接存取(免 SSH 通道)
  • 步驟細節面板加入 YARN Application ID 顯示,方便追查問題

指標監控強化

  • EMR 7.0+:啟用 CloudWatch Agent 後可收集 1 分鐘間隔詳細指標
  • EMR 7.1+:自訂指標分類(Hadoop、YARN、HBase)

注意事項

啟用 CloudWatch Logs 與自訂指標會依使用量產生額外費用。

來源文章

相關頁面

  • aws — AWS 服務提供商