Metadados de cluster

O Serviço Gerenciado para Apache Spark define valores de metadados especiais para as instâncias executadas no cluster:

Chave de metadadosValor
dataproc-bucketNome do bucket de preparação do cluster
dataproc-regionRegião do ponto de extremidade do cluster
dataproc-worker-countNúmero de workers nodes no cluster. O valor é 0 para clusters de nó único.
dataproc-cluster-nameNome do cluster
dataproc-cluster-uuidUUID do cluster
dataproc-rolePapel da instância, Master ou Worker
dataproc-masterNome do host do primeiro nó mestre. O valor é [CLUSTER_NAME]-m em um cluster de nó padrão ou único, ou [CLUSTER_NAME]-m-0 em um cluster de alta disponibilidade, em que [CLUSTER_NAME] é o nome do cluster.
dataproc-master-additionalLista separada por vírgulas de nomes de host para os nós mestres adicionais em um cluster de alta disponibilidade, por exemplo, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 em um cluster com três nós mestres.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLA versão ou o URL que aponta para uma versão do conector do Spark BigQuery a ser usada em aplicativos Spark, por exemplo, 0.42.1 ou gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. Uma versão padrão do conector do Spark BigQuery é pré-instalada no Serviço Gerenciado para Apache Spark 2.1 e clusters de versão de imagem mais recentes. Para mais informações, consulte Usar o conector do Spark BigQuery.

É possível usar esses valores para personalizar o comportamento das ações de inicialização.

Use a flag --metadata no comando gcloud dataproc clusters create para fornecer seus próprios metadados:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...