如要在 Managed Service for Apache Spark 叢集節點上執行 Docker 容器,請在建立叢集時啟用 Docker 選用元件。本文說明如何在 Managed Service for Apache Spark 上安裝及設定 Docker 元件。
如要進一步瞭解 Managed Service for Apache Spark 中其他可用的選用元件,請參閱「可用的選用元件」。
Docker 元件的運作方式
啟用 Managed Service for Apache Spark Docker 元件後,系統會在每個叢集節點上安裝 Docker Daemon,並在每個節點上設定 Linux 使用者和群組 (名稱皆為「Docker」),用於執行 Docker Daemon。此外,這個元件也會建立「Docker」systemd 服務,用於執行 dockerd 服務。您應使用這個 systemd 服務來管理 Docker 服務的生命週期。
安裝元件
請在建立 Managed Service for Apache Spark 叢集時安裝元件。Docker 元件可安裝於使用 Managed Service for Apache Spark 映像檔 1.5 以上版本所建立的叢集。
請參閱「支援的 Managed Service for Apache Spark 版本」,瞭解每個 Managed Service for Apache Spark 映像檔版本中包含的元件版本。
gcloud 指令
如要建立包含 Docker 元件的 Managed Service for Apache Spark 叢集,請使用 gcloud dataproc clusters create cluster-name 指令並加上 --optional-components 旗標。
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
您可以透過 Managed Service for Apache Spark API,在 clusters.create 要求中納入 SoftwareConfig.Component,以指定 Docker 元件。
控制台
- 啟用元件。
- 在 Google Cloud 控制台中,開啟 Managed Service for Apache Spark 的「建立叢集」頁面。系統會選取「Set up cluster」(設定叢集) 面板。
- 在「Components」(元件) 部分執行下列操作:
- 在「Optional components」(選用元件) 下方,選取叢集所要安裝的 Docker 及其他選用元件。
在 YARN 上啟用 Docker
如需搭配 YARN 使用自訂的 Docker 映像檔,請參閱「使用 Docker on YARN 自訂 Spark 工作執行階段環境」。
Docker Logging
根據預設,Managed Service for Apache Spark Docker 元件會設定 gcplogs driver,以將記錄寫入 Cloud Logging,詳情請參閱「查看記錄」。
Docker Registry
Managed Service for Apache Spark Docker 元件會設定 Docker,以使用預設的 Docker 登錄檔和 Container Registry。Docker 會使用 Docker 憑證輔助函式向 Container Registry 進行驗證。
在 Kerberos 叢集上使用 Docker 元件
Docker 選用元件可安裝於已啟用 Kerberos 安全性機制的叢集。