Posicionamento automático de zonas do Dataproc

Quando cria um cluster do Dataproc, os recursos do cluster usam endpoints regionais com base nas zonas do Compute Engine. Quando escolhe uma região, pode selecionar uma zona nessa região ou omitir a zona para que a funcionalidade de zona automática do Dataproc selecione uma zona para si na região que escolher. Depois de selecionar uma zona, todos os nós desse cluster são implementados nessa zona.

Pode excluir zonas dos critérios de seleção automática de zonas, desde que a região do cluster inclua, pelo menos, duas zonas não excluídas. Para mais informações, consulte o artigo Use o posicionamento automático de zonas.

Zona automática e reservas de recursos

A zona automática dá prioridade à criação de um cluster numa zona com reservas de recursos, da seguinte forma:

  • Se os recursos do cluster pedidos puderem ser totalmente satisfeitos pelos recursos reservados e, se necessário, pelos recursos a pedido numa zona, a zona automática consome os recursos reservados e a pedido, e cria o cluster nessa zona.

  • A zona automática prioriza as zonas para seleção de acordo com as reservas totais de núcleos da CPU (vCPU) numa zona.

    Exemplo: um pedido de criação de cluster especifica 20 n2-standard-2 e 1 n2-standard-64 (40 + 64 vCPUs pedidos). A zona automática dá prioridade às seguintes zonas para seleção de acordo com as reservas de vCPU totais disponíveis na zona:

    1. zone-c reservas disponíveis: 3 n2-standard-2 e 1 n2-standard-64 (70 vCPUs)
    2. zone-b reservas disponíveis: 1 n2-standard-64 (64 vCPUs)

    3. zone-a reservas disponíveis: 25 n2-standard-2 (50 vCPUs)

      Partindo do princípio de que cada uma destas zonas tem vCPU adicionais a pedido e outros recursos suficientes para satisfazer o pedido do cluster, a zona automática seleciona zone-c para a criação do cluster.

  • Se os recursos de cluster pedidos não puderem ser totalmente satisfeitos pelos recursos a pedido reservados numa zona, a zona automática cria o cluster numa zona que tem maior probabilidade de satisfazer o pedido através de recursos a pedido.

Use o posicionamento automático de zonas

Consola

Para criar um cluster do Dataproc que use o posicionamento automático de zonas:

  1. Na Google Cloud consola, abra a página do Dataproc Crie um cluster do Dataproc no Compute Engine. O painel Configurar cluster está selecionado.
  2. Na secção Localização, faça o seguinte:
    • Selecione uma região para o seu cluster.
    • Em Zona, selecione "Qualquer".

Excluir zonas: a especificação de zonas a excluir do posicionamento automático de zonas não é suportada através da Google Cloud consola. Esta funcionalidade está disponível através da CLI gcloud e da API REST.

CLI gcloud

Para criar um cluster do Dataproc que use o posicionamento automático de zonas, use o comando gcloud dataproc clusters create. Defina o sinalizador --region para uma região. Em seguida, omita o sinalizador --zone ou defina-o como uma string vazia (--zone="").--zone

Em alternativa à utilização da flag `--zone`, pode usar a flag --auto-zone-exclude-zones para especificar uma lista de zonas separada por vírgulas. A seleção automática de zonas seleciona uma zona da região especificada, mas exclui as zonas listadas dos respetivos critérios de seleção. Tenha em atenção que tem de haver, pelo menos, duas zonas não excluídas disponíveis na região do cluster.

Exemplos:

Utilização básica da zona automática:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Zona automática com zonas excluídas:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API REST

Para criar um cluster do Dataproc que use o posicionamento automático de zonas, crie um pedido da API clusters.create em JSON, deixando o campo gceClusterConfig.zoneUri vazio. No ponto final REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, insira o nome de uma região. A zona automática do Dataproc escolhe uma zona para o cluster na região especificada.

Para excluir zonas específicas, pode preencher o campo gceClusterConfig.autoZoneExcludeZoneUris com uma lista de nomes de zonas a excluir. Tenha em atenção que tem de haver, pelo menos, duas zonas não excluídas disponíveis na região do cluster.

Use nomes de recursos curtos com o posicionamento de zonas automáticas: quando especificar um URI de recurso, como machineTypeUri ou acceleratorTypeUri, num pedido de criação de cluster da API REST de posicionamento de zonas automáticas, use um nome de recurso curto sem uma especificação de zona, por exemplo, "n1-standard-2" ou "nvidia-tesla-t4".