Métadonnées du cluster

Comparaison entre les métadonnées et les libellés

• Les métadonnées personnalisées sont disponibles pour les processus exécutés sur votre cluster et peuvent être utilisées par les actions d'initialisation.
• Les libellés ne sont pas facilement disponibles pour les processus s'exécutant sur votre cluster, mais peuvent être utilisés lors de la recherche de ressources à l'aide de l'API Dataproc.

Si vous avez besoin d'un jeu de données disponible pour votre cluster et utilisé comme paramètre de recherche, ajoutez-le à la fois en tant que métadonnées et libellé.

Managed Service pour Apache Spark définit des valeurs de métadonnées spéciales pour les instances exécutées dans votre cluster :

Clé de métadonnée	Valeur
dataproc-bucket	Nom du bucket de préproduction du cluster
dataproc-region	Région du point de terminaison du cluster
dataproc-worker-count	Nombre de nœuds de calcul dans le cluster. La valeur est 0 pour les clusters à nœud unique.
dataproc-cluster-name	Nom du cluster
dataproc-cluster-uuid	UUID du cluster
dataproc-role	Rôle de l'instance : soit Master, soit Worker
dataproc-master	Nom d'hôte du premier nœud maître. La valeur est [CLUSTER_NAME]-m dans un cluster standard ou à nœud unique, ou [CLUSTER_NAME]-m-0 dans un cluster à haute disponibilité, où [CLUSTER_NAME] est le nom de votre cluster.
dataproc-master-additional	Liste des noms d'hôtes séparés par une virgule pour les nœuds maîtres supplémentaires d'un cluster à haute disponibilité, par exemple [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 dans un cluster comportant trois nœuds maîtres.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL	Version ou URL pointant vers une version du connecteur Spark BigQuery à utiliser dans les applications Spark, par exemple 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Une version par défaut du connecteur Spark BigQuery est préinstallée dans les clusters d'images Managed Service pour Apache Spark 2.1 et versions ultérieures. Pour en savoir plus, consultez la page Utiliser le connecteur Spark BigQuery.

Vous pouvez utiliser ces valeurs pour personnaliser le comportement des actions d'initialisation.

Vous pouvez fournir vos propres métadonnées à l'aide de l'option --metadata de la commande gcloud dataproc clusters create :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...