Clustermetadaten

Metadaten im Vergleich zu Labels

• Benutzerdefinierte Metadaten sind für Prozesse verfügbar, die auf Ihrem Cluster ausgeführt werden, und können von Initialisierungsaktionen verwendet werden.
• Labels sind für Prozesse, die auf Ihrem Cluster ausgeführt werden, nicht ohne Weiteres verfügbar, können jedoch bei der Suche in Ressourcen mit der Dataproc API verwendet werden.

Wenn ein Datenelement für den Cluster verfügbar sein und auch als API-Suchparameter verwendet werden soll, fügen Sie es sowohl als Metadaten als auch als Label zum Cluster hinzu.

Managed Service for Apache Spark legt spezielle Metadatenwerte für die Instanzen fest, die in Ihrem Cluster ausgeführt werden:

Metadatenschlüssel	Wert
dataproc-bucket	Name des Staging-Buckets des Clusters
dataproc-region	Region des Endpunkts des Clusters
dataproc-worker-count	Anzahl der Worker-Knoten im Cluster. Bei Clustern mit einem einzelnen Knoten ist der Wert 0.
dataproc-cluster-name	Name des Clusters
dataproc-cluster-uuid	UUID des Clusters
dataproc-role	Rolle der Instanz, entweder Master oder Worker
dataproc-master	Hostname des ersten Master-Knotens. Bei einem Standardcluster oder einem Cluster mit einzelnem Knoten ist der Wert [CLUSTER_NAME]-m. In einem Hochverfügbarkeitscluster ist der Wert [CLUSTER_NAME]-m-0, wobei [CLUSTER_NAME] der Name des Clusters ist.
dataproc-master-additional	Durch Kommas getrennte Liste der Hostnamen für die zusätzlichen Masterknoten in einem Hochverfügbarkeitscluster, z. B. [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 in einem Cluster mit drei Masterknoten.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL	Die Version oder URL, die auf eine Spark BigQuery-Connector-Version verweist, die in Spark-Anwendungen verwendet werden soll, z. B. 0.42.1 oder gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. In Clustern mit der Image-Version 2.1 und höher von Managed Service for Apache Spark ist eine Standardversion des Spark BigQuery-Connectors vorinstalliert. Weitere Informationen finden Sie unter Spark BigQuery-Connector verwenden.

Sie können diese Werte verwenden, um das Verhalten von Initialisierungsaktionen anzupassen.

Sie können das Flag --metadata im Befehl gcloud dataproc clusters create verwenden, um eigene Metadaten bereitzustellen:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...