Colocação em zona automática do Dataproc

Ao criar um cluster do Dataproc, os recursos do cluster usam endpoints regionais com base nas zonas do Compute Engine. Se escolher uma região, você poderá selecionar uma zona dentro dela ou omitir a zona para que o recurso Zona automática do Dataproc selecione uma zona para você na região escolhida. Quando uma zona é selecionada, todos os nós desse cluster são implantados nela.

É possível excluir zonas dos critérios de seleção zona automática, desde que a região do cluster inclua pelo menos duas zonas não excluídas. Para mais informações, consulte Usar a colocação em zona automática.

Reservas zona automática e recursos

A zona automática prioriza a criação de um cluster em uma zona com reservas de recursos, da seguinte maneira:

  • Se os recursos do cluster solicitados puderem ser totalmente atendidos por recursos reservados e, se necessário, por recursos sob demanda em uma zona, zona automática vai consumir os recursos reservados e sob demanda e criar o cluster nessa zona.

  • A Zona automática prioriza as zonas para seleção de acordo com o total de reservas de núcleos de CPU (vCPU) em uma zona.

    Exemplo:uma solicitação de criação de cluster especifica 20 n2-standard-2 e 1 n2-standard-64 (40 + 64 vCPUs solicitados). A Zona automática vai priorizar as seguintes zonas para seleção de acordo com o total de reservas de vCPU disponíveis na zona:

    1. zone-c reservas disponíveis: 3 n2-standard-2 e 1 n2-standard-64 (70 vCPUs)
    2. zone-b reservas disponíveis: 1 n2-standard-64 (64 vCPUs)

    3. zone-a reservas disponíveis: 25 n2-standard-2 (50 vCPUs)

      Supondo que cada uma dessas zonas tenha vCPU sob demanda adicionais e outros recursos suficientes para atender à solicitação do cluster, a zona automática selecionará zone-c para a criação do cluster.

  • Se os recursos solicitados do cluster não puderem ser totalmente atendidos pelos recursos reservados mais sob demanda em uma zona, a zona automática vai criar o cluster em uma zona que provavelmente vai atender à solicitação usando recursos sob demanda.

Usar a colocação em zona automática

Console

Para criar um cluster do Dataproc que use a colocação em zona automática:

  1. No console do Google Cloud , abra a página Criar um cluster do Dataproc no Compute Engine do Dataproc. O painel Configurar cluster está selecionado.
  2. Na seção Local, faça o seguinte:
    • Selecione uma região para o cluster.
    • Em Zona, selecione "Qualquer uma".

Excluir zonas:não é possível especificar zonas para excluir da colocação em zona automática usando o console Google Cloud . Esse recurso está disponível usando a Google Cloud CLI e a API REST.

CLI da gcloud

Para criar um cluster do Dataproc que use a colocação em zona automática, use o comando gcloud dataproc clusters create. Defina a flag --region para uma região. Em seguida, omita a flag --zone ou defina-a como uma string vazia (--zone="").--zone

Como alternativa ao uso da flag `--zone`, use a flag --auto-zone-exclude-zones para especificar uma lista de zonas separadas por vírgulas. A seleção zona automática escolhe uma zona da região especificada, mas exclui as zonas listadas dos critérios de seleção. É necessário ter pelo menos duas zonas não excluídas disponíveis na região do cluster.

Exemplos:

Uso básico da colocação em zona automática:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

Zona automática com zonas excluídas:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API REST

Para criar um cluster do Dataproc que use a colocação em zona automática, crie uma solicitação de API clusters.create JSON, deixando o campo gceClusterConfig.zoneUri vazio. No endpoint REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, insira um nome de região. A Zona automática do Dataproc escolherá uma zona para o cluster dentro da região especificada.

Para excluir zonas específicas, preencha o campo gceClusterConfig.autoZoneExcludeZoneUris com uma lista de nomes de zonas a serem excluídas. É necessário ter pelo menos duas zonas não excluídas disponíveis na região do cluster.

Use nomes de recursos curtos com a colocação em zona automática: ao especificar um URI de recurso, como machineTypeUri ou acceleratorTypeUri, em uma solicitação de criação de cluster da API REST de colocação em zona automática, use um nome de recurso curto sem uma especificação de zona, por exemplo, "n1-standard-2" ou "nvidia-tesla-t4".