Metadatos de clústeres

Metadatos en comparación con las etiquetas

• Los metadatos personalizados están disponibles para los procesos que se ejecutan en tu clúster y se pueden usar en las acciones de inicialización.
• Las etiquetas no están disponibles para los procesos que se ejecutan en tu clúster, pero se pueden usar cuando realizas búsquedas entre los recursos con la API de Dataproc.

Si necesitas que haya datos disponibles para tu clúster y que también se usen como un parámetro de búsqueda de la API, agrégalos como metadatos y como una etiqueta a tu clúster.

Managed Service para Apache Spark establece valores especiales de metadatos para las instancias que se ejecutan en tu clúster:

Clave de metadatos	Valor
dataproc-bucket	Nombre del depósito de etapa de pruebas del clúster
dataproc-region	Región del extremo del clúster
dataproc-worker-count	Número de nodos trabajadores en el clúster. El valor es 0 para clústeres de un solo nodo.
dataproc-cluster-name	Nombre del clúster
dataproc-cluster-uuid	UUID del clúster
dataproc-role	Función de la instancia, que puede ser Master o Worker
dataproc-master	Nombre del host del primer nodo principal. El valor es [CLUSTER_NAME]-m en un clúster de nodo único o estándar, o [CLUSTER_NAME]-m-0 en un clúster de alta disponibilidad, en el cual [CLUSTER_NAME] es el nombre de tu clúster.
dataproc-master-additional	Lista de nombres de host separados por comas para los nodos principales adicionales en un clúster de alta disponibilidad, por ejemplo, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 en un clúster que tiene 3 nodos de instancias principales.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL	Es la versión o URL que apunta a una versión del conector de BigQuery para Spark que se usará en las aplicaciones de Spark, por ejemplo, 0.42.1 o gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. En los clústeres de Managed Service para Apache Spark con la versión de imagen 2.1 y posteriores, se preinstala una versión predeterminada del conector de Spark BigQuery. Para obtener más información, consulta Usa el conector de BigQuery para Spark.

Puedes usar estos valores para personalizar el comportamiento de las acciones de inicialización.

Puedes usar la marca --metadata en el comando gcloud dataproc clusters create para proporcionar tus propios metadatos:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...