Metadati del cluster

Metadati rispetto alle etichette

• I metadati personalizzati sono disponibili per i processi in esecuzione sul cluster e possono essere utilizzati dalle azioni di inizializzazione.
• Le etichette non sono facilmente disponibili per i processi in esecuzione sul tuo cluster, ma possono essere utilizzate durante la ricerca nelle risorse con l'API Dataproc.

Se hai bisogno che un dato sia disponibile per il cluster e venga utilizzato anche come parametro di ricerca API, aggiungilo sia come metadati sia come etichetta al cluster.

Managed Service for Apache Spark imposta valori di metadati speciali per le istanze in esecuzione nel cluster:

Chiave metadati	Valore
dataproc-bucket	Nome del bucket di gestione temporanea del cluster
dataproc-region	Regione dell'endpoint del cluster
dataproc-worker-count	Numero di nodi worker nel cluster. Il valore è 0 per i cluster a nodo singolo.
dataproc-cluster-name	Nome del cluster
dataproc-cluster-uuid	UUID del cluster
dataproc-role	Ruolo dell'istanza, Master o Worker
dataproc-master	Nome host del primo nodo master. Il valore è [CLUSTER_NAME]-m in un cluster standard o a nodo singolo oppure [CLUSTER_NAME]-m-0 in un cluster ad alta disponibilità, dove [CLUSTER_NAME] è il nome del cluster.
dataproc-master-additional	Elenco separato da virgole dei nomi host dei nodi master aggiuntivi in un cluster ad alta disponibilità, ad esempio [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in un cluster con 3 nodi master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL	La versione o l'URL che rimanda a una versione del connettore Spark BigQuery da utilizzare nelle applicazioni Spark, ad esempio 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Una versione predefinita del connettore Spark BigQuery è preinstallata nei cluster con versione dell'immagine Managed Service for Apache Spark 2.1 e successive. Per saperne di più, consulta Utilizzare il connettore Spark BigQuery.

Puoi utilizzare questi valori per personalizzare il comportamento delle azioni di inizializzazione.

Puoi utilizzare il flag --metadata nel comando gcloud dataproc clusters create per fornire i tuoi metadati:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...