Metadata cluster

Managed Service untuk Apache Spark menetapkan nilai metadata khusus untuk instance yang berjalan di cluster Anda:

Kunci metadataNilai
dataproc-bucketNama bucket staging cluster
dataproc-regionRegion endpoint cluster
dataproc-worker-countJumlah node pekerja di cluster. Nilainya adalah 0 untuk cluster node tunggal.
dataproc-cluster-nameNama cluster
dataproc-cluster-uuidUUID cluster
dataproc-rolePeran instance, baik Master maupun Worker
dataproc-masterNama host node master pertama. Nilainya adalah [CLUSTER_NAME]-m di cluster standar atau node tunggal, atau [CLUSTER_NAME]-m-0 di cluster ketersediaan tinggi, dengan [CLUSTER_NAME] adalah nama cluster Anda.
dataproc-master-additionalDaftar nama host yang dipisahkan koma untuk node master tambahan di cluster ketersediaan tinggi, misalnya, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 di cluster yang memiliki 3 node master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLVersi atau URL yang mengarah ke versi konektor Spark BigQuery yang akan digunakan dalam aplikasi Spark, misalnya, 0.42.1 atau gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Versi konektor Spark BigQuery default telah diinstal sebelumnya di cluster versi image Managed Service untuk Apache Spark 2.1 dan yang lebih baru. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor Spark BigQuery.

Anda dapat menggunakan nilai ini untuk menyesuaikan perilaku tindakan inisialisasi .

Anda dapat menggunakan flag --metadata dalam perintah gcloud dataproc clusters create untuk menyediakan metadata Anda sendiri:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...