Managed Service for Apache Spark クラスタノードで Docker コンテナを実行するには、クラスタの作成時に Docker オプション コンポーネントを有効にします。このドキュメントでは、Managed Service for Apache Spark に Docker コンポーネントをインストールして構成する方法について説明します。
Managed Service for Apache Spark で使用可能なその他のオプション コンポーネントの詳細については、使用可能なオプション コンポーネントをご覧ください。
Docker コンポーネントの仕組み
Managed Service for Apache Spark Docker コンポーネントを有効にすると、各クラスタノードに Docker デーモンがインストールされます。また、各ノードに「docker」という名前の Linux ユーザーとグループが設定され、Docker デーモンが実行されます。さらに、このコンポーネントは dockerd サービスを実行する「docker」systemd サービスを作成します。この systemd サービスを使用して、Docker サービスのライフサイクルを管理する必要があります。
コンポーネントをインストールする
Managed Service for Apache Spark クラスタの作成時にコンポーネントをインストールします。Docker コンポーネントは、Managed Service for Apache Spark イメージ バージョン 1.5 以降で作成されたクラスタにインストールできます。
Managed Service for Apache Spark イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされている Managed Service for Apache Spark バージョンをご覧ください。
gcloud コマンド
Docker コンポーネントを含む Managed Service for Apache Spark クラスタを作成するには、--optional-components フラグを指定して gcloud dataproc clusters create cluster-name コマンドを使用します。
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Managed Service for Apache Spark API を使用して Docker コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。
コンソール
- コンポーネントを有効にします。
- Google Cloud コンソールで、Managed Service for Apache Spark の [クラスタの作成] ページを開きます。[クラスタの設定] パネルが選択されています。
- [コンポーネント] セクションで次の設定を行います。
- [オプション コンポーネント] で、クラスタにインストールする Docker や、他のオプション コンポーネントを選択します。
Docker on YARN を有効にする
YARN でカスタマイズした Docker イメージを使用するには、Docker on YARN で Spark ジョブのランタイム環境をカスタマイズするをご覧ください。
Docker のロギング
デフォルトでは、Managed Service for Apache Spark Docker コンポーネントは gcplogs driver を設定して Cloud Logging にログを書き込みます。詳細については、ログの表示をご覧ください。
Docker レジストリ
Managed Service for Apache Spark Docker コンポーネントでは、デフォルトの Docker レジストリに加えて Container Registry を使用するように Docker が構成されています。Docker は、Docker 認証ヘルパーを使用して Container Registry の認証を行います。
Kerberos クラスタで Docker コンポーネントを使用する
Docker のオプション コンポーネントは、Kerberos セキュリティを有効化して作成されたクラスタにインストールできます。