Dataproc définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster :
| Clé de métadonnée | Valeur |
|---|---|
dataproc-bucket | Nom du bucket de préproduction du cluster |
dataproc-region | Région du point de terminaison du cluster |
dataproc-worker-count | Nombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique. |
dataproc-cluster-name | Nom du cluster |
dataproc-cluster-uuid | UUID du cluster |
dataproc-role | Rôle de l'instance : soit Master, soit Worker |
dataproc-master | Nom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster. |
dataproc-master-additional | Liste des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres. |
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL | Version ou URL qui pointe vers une version du connecteur Spark BigQuery à utiliser dans les applications Spark, par exemple 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters de version d'image 2.1 et ultérieures de Dataproc. Pour en savoir plus, consultez la page Utiliser le connecteur Spark BigQuery. |
Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.
Vous pouvez fournir vos propres métadonnées à l'aide de l'option --metadata de la
commande gcloud dataproc clusters create
:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --metadata=name1=value1,name2=value2... \ ... other flags ...