Dataproc définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster :
| Clé de métadonnée | Valeur |
|---|---|
dataproc-bucket | Nom du bucket de préproduction du cluster |
dataproc-region | Région du point de terminaison du cluster |
dataproc-worker-count | Nombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique. |
dataproc-cluster-name | Nom du cluster |
dataproc-cluster-uuid | UUID du cluster |
dataproc-role | Rôle de l'instance : soit Master, soit Worker |
dataproc-master | Nom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster. |
dataproc-master-additional | Liste des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Version ou URL pointant vers une version du connecteur Spark BigQuery à utiliser dans les applications Spark (par exemple, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar). Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters Dataproc de la version d'image 2.1 et ultérieures. Pour en savoir plus, consultez Utiliser le connecteur Spark BigQuery. |
Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.
Vous pouvez utiliser l'option --metadata dans la commande gcloud dataproc clusters create pour fournir vos propres métadonnées :
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...