Managed Service for Apache Spark クラスタノードで Docker コンテナを実行するには、クラスタの作成時に Docker オプション コンポーネントを有効にします。このドキュメントでは、Managed Service for Apache Spark に Docker コンポーネントをインストールして構成する方法について説明します。
Managed Service for Apache Spark で使用可能なその他のオプション コンポーネントの詳細については、使用可能なオプション コンポーネントをご覧ください。
Docker コンポーネントの仕組み
Managed Service for Apache Spark Docker コンポーネントを有効にすると、各クラスタノードに Docker デーモンがインストールされます。また、各ノードに Docker デーモンを実行するための Linux ユーザーとグループ（どちらも「docker」という名前）を設定します。また、このコンポーネントは、dockerd サービスを実行するための docker systemd サービスも作成します。この systemd サービスを使用して、Docker サービスのライフサイクルを管理する必要があります。
コンポーネントをインストールする
Managed Service for Apache Spark クラスタの作成時にコンポーネントをインストールします。Docker コンポーネントは、Managed Service for Apache Spark のイメージ バージョン 1.5 以降で作成されたクラスタにインストールできます。
Managed Service for Apache Spark イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされている Managed Service for Apache Spark バージョンをご覧ください。
Google Cloud コンソール
- Google Cloud コンソールで、[クラスタの作成] ページを開きます。
- [その他の構成] をクリックして、セクションを開きます。
- [オプション コンポーネント] を編集します。
- 表示されたパネルで、[Docker] のチェックボックスをオンにして、[保存] をクリックします。
gcloud CLI
Docker コンポーネントを含む Managed Service for Apache Spark クラスタを作成するには、--optional-components フラグを指定して gcloud dataproc clusters create cluster-name コマンドを使用します。
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Docker コンポーネントは、clusters.create リクエストの一部として SoftwareConfig.Component を使用して Dataproc API で指定できます。
Docker on YARN を有効にする
YARN でカスタマイズした Docker イメージを使用するには、Docker on YARN で Spark ジョブのランタイム環境をカスタマイズするをご覧ください。
Docker のロギング
デフォルトでは、Managed Service for Apache Spark Docker コンポーネントは gcplogs driver を設定して Cloud Logging にログを書き込みます。詳細については、ログの表示をご覧ください。
Docker レジストリ
Managed Service for Apache Spark Docker コンポーネントでは、デフォルトの Docker レジストリに加えて Container Registry を使用するように Docker が構成されています。Docker は、Docker 認証ヘルパーを使用して Container Registry の認証を行います。
Kerberos クラスタで Docker コンポーネントを使用する
Docker のオプション コンポーネントは、Kerberos セキュリティを有効化して作成されたクラスタにインストールできます。