Komponen Docker opsional Dataproc

Untuk menjalankan container Docker di node cluster Dataproc, aktifkan komponen opsional Docker selama pembuatan cluster. Dokumen ini menjelaskan cara menginstal dan mengonfigurasi komponen Docker di Dataproc.

Untuk mempelajari lebih lanjut komponen opsional lain yang tersedia di Dataproc, lihat Komponen opsional yang tersedia.

Cara kerja komponen Docker

Saat Anda mengaktifkan komponen Docker Dataproc, komponen ini akan menginstal daemon Docker di setiap node cluster. Skrip ini juga menyiapkan pengguna dan grup Linux, yang keduanya bernama "docker", di setiap node untuk menjalankan daemon Docker. Selain itu, komponen membuat layanan systemd "docker" untuk menjalankan layanan dockerd. Anda harus menggunakan layanan systemd ini untuk mengelola siklus proses layanan Docker.

Menginstal komponen

Instal komponen saat Anda membuat cluster Dataproc. Komponen Docker dapat diinstal di cluster yang dibuat dengan versi image 1.5 Dataproc atau yang lebih baru.

Lihat Versi Dataproc yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Dataproc.

Perintah gcloud

Untuk membuat cluster Dataproc yang menyertakan komponen Docker, gunakan perintah gcloud dataproc clusters create cluster-name dengan flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Komponen Docker dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Konsol

  1. Aktifkan komponen.
    • Di konsol Google Cloud , buka halaman Create a cluster Dataproc. Panel Set up cluster dipilih.
    • Di bagian Komponen:
      • Di bagian Komponen opsional, pilih Docker dan komponen opsional lainnya untuk diinstal di cluster Anda.

Mengaktifkan Docker di YARN

Lihat Menyesuaikan lingkungan runtime tugas Spark dengan Docker di YARN untuk menggunakan image Docker yang disesuaikan dengan YARN.

Logging Docker

Secara default, komponen Dataproc Docker menulis log ke Cloud Logging dengan menetapkan gcplogs driver—lihat Melihat log Anda.

Docker Registry

Komponen Dataproc Docker mengonfigurasi Docker untuk menggunakan Container Registry selain registry Docker default. Docker akan menggunakan helper kredensial Docker untuk melakukan autentikasi dengan Container Registry.

Menggunakan komponen Docker di cluster Kerberos

Anda dapat menginstal komponen opsional Docker pada cluster yang dibuat dengan keamanan Kerberos diaktifkan.