Priorizar tipos de VM com VMs flexíveis

As VMs flexíveis são um recurso do Serviço Gerenciado para Apache Spark que permite especificar listas priorizadas de tipos de VM para nós principais, primários e de trabalho secundários do Serviço Gerenciado para Apache Spark ao criar um cluster do Serviço Gerenciado para Apache Spark.

Por que usar VMs flexíveis?

O problema: se um tipo de VM não estiver disponível quando você enviar uma solicitação de criação de cluster, a solicitação vai falhar, e será necessário atualizar a solicitação, o script ou o código para especificar um tipo de VM "melhor seguinte". Esse processo pode envolver várias iterações até que você especifique um tipo de VM disponível.

A solução: o recurso de VM flexível do Serviço Gerenciado para Apache Spark ajuda a criar uma solicitação de criação de cluster selecionando tipos de VM de worker mestre, primário e secundário nas listas de VMs classificadas e pesquisando zonas na região especificada do cluster com disponibilidade dos tipos de VM listados.

Limitações

  • Não é possível parar os clusters que usam VMs flexíveis.
  • Os nós principais em clusters de alta disponibilidade não podem usar VMs flexíveis, mas os nós de trabalho do cluster de alta disponibilidade podem.

Terminologia

  • Tipo de VM:a família, a capacidade de memória e o número de núcleos de CPU de uma instância de VM. O Serviço Gerenciado para Apache Spark é compatível com o uso de tipos de VM predefinidos e personalizados.
  • Nós mestre e de trabalho principais:por padrão, um cluster do Serviço Gerenciado para Apache Spark tem um nó mestre e dois nós de trabalho principais.
  • Nós de trabalho secundários:workers secundários não armazenam dados e funcionam apenas como nós de processamento. É possível usar workers secundários para escalonar a computação sem escalonar o armazenamento. O tipo padrão de worker secundário de VM flexível é uma VM spot, que é um tipo preemptivo.

Uso

  • As VMs flexíveis estão disponíveis no Serviço Gerenciado para Apache Spark nas versões 2.0.74+, 2.1.76+, 2.2.42+ e posteriores de imageversions.
    • A partir da versão de imagem 3.0, quando você cria um cluster sem especificar um tipo de máquina para um nó, o Serviço Gerenciado para Apache Spark especifica o nó com uma lista classificada de tipos de máquinas de VM flexíveis, como uma lista classificada de tipos de máquinas das séries N4, N2 e E2, otimizada para disponibilidade de recursos.

  • É possível especificar até cinco listas classificadas de tipos de VM, com até 10 tipos de VM em uma lista.

  • É possível incluir VMs flexíveis em modelos de fluxo de trabalho para oferecer resiliência contra indisponibilidade de recursos quando os clusters são criados com base no modelo.

    Recomendação:ative o posicionamento automático de zona do Serviço Gerenciado para Apache Spark, que permite que o serviço escolha uma zona com capacidade para provisionar as VMs solicitadas.

  • Por padrão, um nó de cluster precisa usar um tipo de disco. É possível usar substituições de disco para especificar tipos de disco diferentes para tipos de máquina diferentes especificados para um nó de cluster de VM flexível.

  • Embora seja possível especificar diferentes proporções de CPU para memória para tipos de VM de worker primário e secundário em um cluster, isso pode levar à degradação da performance porque a menor proporção de CPU para memória é usada como a menor unidade de contêiner.

  • Se a solicitação de criação do cluster incluir uma política de escalonamento automático, as VMs flexíveis poderão ser de diferentes famílias, mas precisarão ter a mesma quantidade de memória e contagem de núcleos.

  • Os tipos de máquinas que correspondem às reservas são selecionados primeiro em um ranking, seguidos pelos tipos de VM com o maior número de CPUs.

  • O Serviço Gerenciado para Apache Spark aplica Google Cloud cotas ao provisionamento flexível de VMs.

  • Se você atualizar um cluster criado com VMs flexíveis, o Serviço Gerenciado para Apache Spark vai selecionar e adicionar workers das listas de VMs flexíveis que você forneceu ao criar o cluster.

Como solicitar VMs flexíveis

É possível especificar até cinco listas classificadas de tipos de VM, com até 10 tipos de VM em uma lista. As listas com classificação mais baixa têm a prioridade mais alta. Por padrão, as listas de VMs flexíveis têm uma classificação de 0. Em uma lista, o Serviço Gerenciado para Apache Spark prioriza tipos de VM com reservas não usadas, seguidos pelos maiores tamanhos de VM. Os tipos de VM em uma lista com a mesma contagem de CPU são tratados da mesma forma.

É possível solicitar VMs flexíveis ao criar um cluster do Serviço Gerenciado para Apache Spark usando o console do Google Cloud , a Google Cloud CLI, a API Dataproc, o Serviço Gerenciado para Apache Airflow ou o Terraform.

Console

Para criar um cluster com VMs flexíveis, faça o seguinte:

  1. Abra a página Criar cluster.
  2. Clique em Configuração adicional para abrir a seção.
  3. Edite Workers primários ou Workers secundários. Em Adicionar tipos de worker, especifique outras VMs classificadas.

gcloud

Use o comando gcloud dataproc clusters create com as flags master-instance-selection, worker-instance-selection e secondary-worker-instance-selection para especificar listas classificadas de VMs flexíveis para workers mestre, primário e secundário.

O exemplo a seguir solicita tipos de VM principal, primária e secundária com as seguintes prioridades:

  • Provisione e2-standard-8 VMs se disponíveis (classificação 0). Se e2-standard-8 máquinas não estiverem disponíveis, provisione n2-standard-8 VMs (classificação 1).

Como o tipo de worker secundário não está especificado, as VMs secundárias spot preemptivas serão provisionadas.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

Observações:

  • --zone="": definir essa flag como um valor vazio ativa o posicionamento automático de zona, que permite que o Serviço Gerenciado para Apache Spark escolha uma zona que tenha os tipos de VM solicitados disponíveis para uso. Esse valor de flag substitui qualquer seleção de zona especificada no seu gcloud config list padrão.

API

Use o instanceFlexibilityPolicy.instanceSelectionList como parte de uma solicitação clusters.create da API Dataproc para especificar uma lista classificada de machineTypes para workers principais, secundários e mestres.

Exemplo: o snippet JSON a seguir de um corpo da solicitação clusters.create especifica os tipos de máquina mestre (masterConfig), worker primário (workerConfig) e worker secundário (secondaryWorkerConfig) com classificações 0 e 1.

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Cloud Composer

Use o operador DataprocCreateClusterOperator em um DAG do Apache Airflow para especificar instance_flexibility_policy para workers principais, primários e secundários:

from airflow import DAG
from airflow.models import Variable
from airflow.providers.google.cloud.operators.dataproc import (
    DataprocCreateClusterOperator,
)
from airflow.utils.dates import days_ago

PROJECT_ID = Variable.get("DATAPROC_PROJECT_ID")
REGION = Variable.get("DATAPROC_REGION")
CLUSTER_NAME = Variable.get("DATAPROC_CLUSTER_NAME")
NUM_WORKERS = int(Variable.get("DATAPROC_NUM_WORKERS"))
MIN_NUM_WORKERS = int(Variable.get("DATAPROC_MIN_NUM_WORKERS"))

FLEX_SELECTION_LIST = [
    {
        "machine_types": ["e2-standard-8"],
        "rank": 0,
    },
    {
        "machine_types": ["n2-standard-8"],
        "rank": 1,
    },
]

CLUSTER_CONFIG = {
    "gce_cluster_config": {
        "zone_uri": "",
    },
    "master_config": {
        "num_instances": 1,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
    "worker_config": {
        "num_instances": NUM_WORKERS,
        "min_num_instances": MIN_NUM_WORKERS,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
    "secondary_worker_config": {
        "num_instances": 4,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
}

with DAG(
    "dataproc_flexvm_dag",
    start_date=days_ago(1),
    schedule_interval=None,
    catchup=False,
) as dag:
    create_dataproc_cluster = DataprocCreateClusterOperator(
        task_id="create_dataproc_flexvm_cluster",
        project_id=PROJECT_ID,
        region=REGION,
        cluster_name=CLUSTER_NAME,
        cluster_config=CLUSTER_CONFIG,
    )

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform. Para mais informações, consulte a documentação de referência do provedor Terraform.

Use o recurso google_dataproc_cluster com blocos instance_flexibility_policy para especificar listas de VMs flexíveis classificadas:

variable "project_id" {
  type        = string
  description = "The Google Cloud project ID"
}

variable "region" {
  type        = string
  description = "The Google Cloud region for Dataproc deployment"
}

variable "cluster_name" {
  type        = string
  description = "Name of the Dataproc cluster"
}

variable "num_workers" {
  type        = number
  description = "Target number of primary workers"
}

variable "min_num_workers" {
  type        = number
  description = "Minimum primary workers for partial cluster creation"
}

resource "google_dataproc_cluster" "flex_cluster" {
  name    = var.cluster_name
  project = var.project_id
  region  = var.region

  cluster_config {
    gce_cluster_config {
      zone = ""
    }

    master_config {
      num_instances = 1
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }

    worker_config {
      num_instances     = var.num_workers
      min_num_instances = var.min_num_workers
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }

    secondary_worker_config {
      num_instances = 4
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }
  }
}

Substituições de disco

É possível especificar substituições de disco para cada tipo de máquina (seleção de instância) na especificação de VM flexível. Isso permite personalizar discos de inicialização, substituir SSDs locais e anexar discos adicionais para tipos de máquinas específicos.

Opções e regras de substituição de disco

Opções de configuração de substituição de disco:

  • Configuração do disco de base:uma configuração de disco especificada para um nó de cluster, por exemplo, especificando um tamanho de disco de inicialização para workers principais usando a flag da CLI gcloud --worker-boot-disk-size ou o campo da API Dataproc workerConfig.diskConfig.bootDiskSizeGb.
  • Substituições de disco de seleção de instância:configurações de disco para tipos de máquina especificados para um nó de cluster.

Regras de configuração de substituição de disco:

  • Configuração do disco base:se nenhuma seleção de instância para um nó de cluster incluir uma substituição de diskConfig, você poderá definir uma configuração de disco base para o nó. Essa configuração de disco base é aplicada a todas as seleções de instâncias para o nó.

  • Configurações de disco de seleção de instâncias:se uma seleção de instâncias para um nó de cluster incluir uma substituição de diskConfig, todas as seleções de instâncias no grupo de nós precisarão incluir um diskConfig. Se você também definir uma configuração de disco base para o nó, vai ocorrer um erro de validação.

  • Compatibilidade de tipo de máquina:todos os tipos de máquina em um único InstanceSelection precisam ser compatíveis com o diskConfig especificado. Por exemplo, não é possível agrupar um tipo de máquina e2-standard-4, que não oferece suporte a um hiperdisco, com um tipo de máquina n4-standard-4, que exige um hiperdisco, na mesma seleção de instâncias, já que o diskConfig não pode atender aos dois tipos de máquina.

  • Suporte a SSD local:se você configurar SSDs locais (numLocalSsds > 0) em uma configuração de substituição de disco, todos os tipos de máquina na seleção de instâncias precisarão oferecer suporte a SSDs locais.

  • Campos obrigatórios de configuração de substituição de disco:

    • Se você definir diskConfig para uma seleção de instância, bootDiskType será obrigatório.
    • Se você definir attachedDiskConfigs, type e diskSizeGb serão obrigatórios para cada disco anexado.

Exemplos de configuração de substituição de disco

O exemplo a seguir especifica as seguintes opções de configuração de substituição de disco para os seguintes nós do cluster:

  • Nós principais:use discos de inicialização padrão.
  • Workers primários: use discos personalizados por seleção de instância. Por exemplo, n4-standard-4 usa hyperdisk-balanced, enquanto n2-standard-4 usa pd-standard.
  • Workers secundários:use uma configuração de disco de base personalizada: pd-ssd com 200 GB, que é aplicada a todas as seleções de instâncias.

YAML da gcloud

Defina as políticas de VM flexível em arquivos YAML para nós mestre, worker primário e secundário:

  1. master-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   e2-standard-8
    rank: 0
  -   machineTypes:
    -   n2-standard-8
    rank: 1
  2. worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   n4-standard-4
    rank: 0
    diskConfig:
      bootDiskType: hyperdisk-balanced
      bootDiskSizeGb: 100
      bootDiskProvisionedIops: 6000
      bootDiskProvisionedThroughput: 400
      attachedDiskConfigs:
      -   type: hyperdisk-throughput
        diskSizeGb: 300
  -   machineTypes:
    -   n2-standard-4
    rank: 0
    diskConfig:
      bootDiskType: pd-standard
      bootDiskSizeGb: 400
  3. secondary-worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   e2-standard-8
    rank: 0
  -   machineTypes:
    -   n2-standard-8
    rank: 1

Use o comando gcloud dataproc clusters create para transmitir os arquivos de política:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-flexibility-policy-file=master-flex-policy.yaml \
    --num-workers=10 \
    --worker-instance-flexibility-policy-file=worker-flex-policy.yaml \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-flexibility-policy-file=secondary-worker-flex-policy.yaml

JSON da gcloud

Use o comando gcloud dataproc clusters create com especificações JSON inline diskConfig em --worker-instance-selection:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["n4-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"hyperdisk-balanced","bootDiskSizeGb":100,"bootDiskProvisionedIops":6000,"bootDiskProvisionedThroughput":400,"attachedDiskConfigs":[{"type":"hyperdisk-throughput","diskSizeGb":300}]}}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"pd-standard","bootDiskSizeGb":400}}' \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

API

Use o campo diskConfig em um instanceFlexibilityPolicy.instanceSelectionList em uma solicitação clusters.create da API Dataproc.

Exemplo de corpo da solicitação JSON:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["n4-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "hyperdisk-balanced",
              "bootDiskSizeGb": 100,
              "bootDiskProvisionedIops": 6000,
              "bootDiskProvisionedThroughput": 400,
              "attachedDiskConfigs": [
                {
                  "type": "hyperdisk-throughput",
                  "diskSizeGb": 2048
                }
              ]
            }
          },
          {
            "machineTypes": ["n2-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "pd-standard",
              "bootDiskSizeGb": 400
            }
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "diskConfig": {
        "bootDiskType": "pd-ssd",
        "bootDiskSizeGb": 200
      },
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Substituir propriedades da VM flexível

O Serviço Gerenciado para Apache Spark define propriedades no nível do cluster. Ao criar um cluster que usa VMs flexíveis, é possível substituir as propriedades geradas pelo sistema para tipos de VM flexíveis de worker primário e secundário.

gcloud

Para substituir propriedades ao criar um cluster, use a flag --properties com a seguinte sintaxe:

--properties="$ROLE:$MACHINE_TYPE:$COMPONENT_PREFIX:$COMPONENT_PROPERTY=$VALUE"
  • ROLE pode ser primary_worker ou secondary_worker.
  • Separe várias propriedades com uma vírgula.

O comando gcloud dataproc clusters create a seguir substitui o número de vCPUs que o YARN aloca para o NodeManager em workers secundários. Este exemplo define o valor yarn.nodemanager.resource.cpu-vcores em yarn-site.xml como 6 para todas as VMs de worker secundárias e2-standard-8 e n2-standard-8.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --properties="secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6,secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"

API

Para substituir propriedades, defina-as no campo properties do objeto SoftwareConfig na solicitação de criação do cluster.

Use a seguinte sintaxe para a chave da propriedade:

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY
  • ROLE pode ser primary_worker ou secondary_worker.

O objeto SoftwareConfig a seguir substitui o número de vCPUs que o YARN aloca para o NodeManager em workers secundários. Este exemplo define o valor yarn.nodemanager.resource.cpu-vcores como 6 para todas as VMs de worker secundárias e2-standard-8 e n2-standard-8.

{
  "imageVersion":"2.2.42",
  "properties": {
    "secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6",
    "secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6"
  }
}

A seguir