Managed Service for Apache Spark クラスタノードで Docker コンテナを実行するには、クラスタの作成時に Docker オプション コンポーネントを有効にします。このドキュメントでは、Managed Service for Apache Spark に Docker コンポーネントをインストールして構成する方法について説明します。
Managed Service for Apache Spark で使用できるその他のオプション コンポーネントの詳細については、 使用可能なオプション コンポーネントをご覧ください。
Docker コンポーネントの仕組み
Managed Service for Apache Spark Docker コンポーネントを有効にすると、各クラスタノードに
Docker デーモン
がインストールされます。また、Docker デーモンを実行するために、各ノードに「docker」という名前の Linux ユーザーとグループが設定されます。さらに、このコンポーネントは「docker」サービスを実行するサービスを作成します。systemddockerdDocker サービスのライフサイクルを管理するには、この systemd サービスを使用する必要があります。
コンポーネントをインストールする
Managed Service for Apache Spark クラスタの作成時にコンポーネントをインストールします。 Docker コンポーネントは、Managed Service for Apache Spark イメージ バージョン 1.5 以降 で作成されたクラスタにインストールできます。
Managed Service for Apache Spark イメージの各リリースに含まれるコンポーネント バージョンについては、 サポートされている Managed Service for Apache Spark バージョン をご覧ください。
gcloud コマンド
Docker コンポーネントを含む Managed Service for Apache Spark クラスタを作成するには、
gcloud dataproc clusters create cluster-name
コマンドと --optional-components フラグを使用します。
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Managed Service for Apache Spark API を使用して Docker コンポーネントを指定するには、 SoftwareConfig.Component を clusters.create リクエストの一部として使用します。
コンソール
- コンポーネントを有効にします。
- コンソールで、Managed Service for Apache Spark の [クラスタの作成] ページを開きます。 Google Cloud [クラスタの設定] パネルが選択されています。
- [コンポーネント] セクションで次の設定を行います。
- [オプション コンポーネント] で、クラスタにインストールする Docker やその他のオプション コンポーネントを選択します。
Docker on YARN を有効にする
YARN でカスタマイズした Docker イメージを使用するには、Docker on YARN で Spark ジョブのランタイム環境をカスタマイズするをご覧ください。
Docker のロギング
デフォルトでは、Managed Service for Apache Spark Docker コンポーネントは
設定してgcplogs driver Cloud Logging にログを書き込みます。詳細については、
ログの表示をご覧ください。
Docker レジストリ
Managed Service for Apache Spark Docker コンポーネントでは、デフォルトの Docker レジストリに加えて Container Registry を使用するように Docker が構成されています。 Docker は、Docker 認証ヘルパーを使用して Container Registry の認証を行います。
Kerberos クラスタで Docker コンポーネントを使用する
Docker のオプション コンポーネントは、Kerberos セキュリティを有効化して作成されたクラスタにインストールできます。