Metadati del cluster

Metadati rispetto alle etichette

• I metadati personalizzati sono disponibili per i processi in esecuzione sul cluster e possono essere utilizzati dalle azioni di inizializzazione.
• Le etichette non sono immediatamente disponibili per i processi in esecuzione sul cluster, ma possono essere utilizzate durante la ricerca nelle risorse con l'API Dataproc.

Se hai bisogno che un dato sia disponibile per il tuo cluster e venga utilizzato anche come parametro di ricerca API, aggiungilo sia come metadati che come etichetta al cluster.

Managed Service per Apache Spark imposta valori di metadati speciali per le istanze eseguite nel cluster:

Chiave metadati	Valore
dataproc-bucket	Nome del bucket di staging del cluster
dataproc-region	Regione dell'endpoint del cluster
dataproc-worker-count	Numero di nodi worker nel cluster. Il valore è 0 per i cluster a nodo singolo.
dataproc-cluster-name	Nome del cluster
dataproc-cluster-uuid	UUID del cluster
dataproc-role	Ruolo dell'istanza, Master o Worker
dataproc-master	Il nome host del primo nodo master. Il valore è [CLUSTER_NAME]-m in un cluster standard o a un solo nodo oppure [CLUSTER_NAME]-m-0 in un cluster ad alta disponibilità, dove [CLUSTER_NAME] è il nome del cluster.
dataproc-master-additional	Elenco separato da virgole dei nomi host per i nodi master aggiuntivi in un cluster ad alta disponibilità, ad esempio [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in un cluster con 3 nodi master.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL	La versione o l'URL che rimanda a una versione del connettore Spark BigQuery da utilizzare nelle applicazioni Spark, ad esempio 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Una versione predefinita del connettore Spark BigQuery è preinstallata nei cluster Managed Service for Apache Spark 2.1 e nelle versioni immagine successive. Per saperne di più, consulta Utilizzare il connettore Spark BigQuery.

Puoi utilizzare questi valori per personalizzare il comportamento delle azioni di inizializzazione.

Puoi utilizzare il flag --metadata nel comando gcloud dataproc clusters create per fornire i tuoi metadati:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...