Prioriza los tipos de VM con VMs flexibles

Las VMs flexibles son una función de Managed Service para Apache Spark que te permite especificar listas priorizadas de tipos de VM para los nodos principales, primarios y secundarios de Managed Service para Apache Spark cuando creas un clúster de Managed Service para Apache Spark.

¿Por qué usar VMs flexibles?

El problema: Si un tipo de VM no está disponible cuando envías una solicitud de creación de clúster, la solicitud falla y debes actualizar tu solicitud, secuencia de comandos o código para especificar un tipo de VM "mejor siguiente". Este proceso de reenvío de la solicitud puede implicar varias iteraciones hasta que especifiques un tipo de VM que esté disponible.

Solución: La función de VM flexible de Managed Service para Apache Spark ayuda a que tu solicitud de creación de clústeres se realice correctamente, ya que selecciona los tipos de VM de trabajador principal, primaria y secundaria de tus listas de VM clasificadas y, luego, busca zonas dentro de la región del clúster especificada con disponibilidad de los tipos de VM enumerados.

Limitaciones

  • Los clústeres que usan VMs flexibles no se pueden detener.
  • Los nodos principales de los clústeres con alta disponibilidad no pueden usar VMs flexibles, pero los nodos trabajadores de los clústeres con alta disponibilidad sí pueden hacerlo.

Terminología

  • Tipo de VM: La familia, la capacidad de memoria y la cantidad de núcleos de CPU de una instancia de VM. Managed Service para Apache Spark admite el uso de tipos de VM personalizados y predefinidos.
  • Nodos principales y nodos trabajadores principales: De forma predeterminada, un clúster de Managed Service para Apache Spark tiene un nodo principal y dos nodos trabajadores principales.
  • Nodos trabajadores secundarios: Los trabajadores secundarios no almacenan datos y funcionan solo como nodos de procesamiento. Puedes usar trabajadores secundarios para escalar el procesamiento sin escalar el almacenamiento. El tipo de trabajador secundario de VM flexible predeterminado es una VM Spot, que es un tipo interrumpible.

Uso

  • Las VMs flexibles están disponibles en Managed Service para Apache Spark en 2.0.74+, 2.1.76+, 2.2.42+ y versiones posteriores de imageversions.
    • A partir de la versión de imagen 3.0, cuando creas un clúster sin especificar un tipo de máquina para un nodo del clúster, Managed Service para Apache Spark especifica el nodo con una lista clasificada de tipos de máquinas de VM flexibles, como una lista clasificada de tipos de máquinas de las series N4, N2 y E2, con la lista optimizada para la disponibilidad de recursos.

  • Puedes especificar hasta cinco listas clasificadas de tipos de VM, con hasta 10 tipos de VM en cada lista.

  • Puedes incluir VMs flexibles en plantillas de flujo de trabajo para proporcionar resiliencia contra la falta de disponibilidad de recursos cuando se crean clústeres a partir de la plantilla.

    Recomendación: Habilita la colocación automática de zonas de Managed Service para Apache Spark, que permite que Managed Service para Apache Spark elija una zona con la capacidad de aprovisionar las VMs solicitadas.

  • De forma predeterminada, un nodo del clúster debe usar un tipo de disco. Puedes usar invalidaciones de disco para especificar diferentes tipos de disco para los diferentes tipos de máquinas especificados para un nodo de clúster de VM flexible.

  • Si bien puedes especificar diferentes proporciones de CPU a memoria para los tipos de VM de trabajador principal y secundario en un clúster, esto puede provocar una degradación del rendimiento, ya que la proporción más pequeña de CPU a memoria se usa como la unidad de contenedor más pequeña.

  • Si tu solicitud de creación de clúster incluye una política de ajuste de escala automático, las VMs flexibles pueden pertenecer a diferentes familias de VM, pero deben tener la misma cantidad de memoria y la misma cantidad de núcleos.

  • Primero, se seleccionan los tipos de máquinas que coinciden con las reservas dentro de un rango, y luego los tipos de VM con la mayor cantidad de CPU.

  • Managed Service para Apache Spark aplica Google Cloud cuotasal aprovisionamiento de VM flexibles.

  • Si actualizas un clúster que se creó con VMs flexibles, Managed Service para Apache Spark selecciona y agrega trabajadores de las listas de VM flexibles que proporcionaste cuando creaste el clúster.

Cómo solicitar VMs flexibles

Puedes especificar hasta cinco listas clasificadas de tipos de VM, con hasta 10 tipos de VM en cada lista. Las listas con la clasificación más baja tienen la prioridad más alta. De forma predeterminada, las listas de VM flexibles tienen un rango de 0. Dentro de una lista, Managed Service para Apache Spark prioriza los tipos de VM con reservas sin usar, seguidos de los tamaños de VM más grandes. Los tipos de VM dentro de una lista con la misma cantidad de CPU se tratan de la misma manera.

Puedes solicitar VMs flexibles cuando creas un clúster de Managed Service para Apache Spark con la consola de Google Cloud , Google Cloud CLI, la API de Dataproc, Managed Service para Apache Airflow o Terraform.

Console

Para crear un clúster con VMs flexibles, haz lo siguiente:

  1. Abre la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita Trabajadores principales o Trabajadores secundarios. En Agregar tipos de trabajadores, especifica VMs clasificadas adicionales.

gcloud

Usa el comando gcloud dataproc clusters create con las marcas master-instance-selection, worker-instance-selection y secondary-worker-instance-selection para especificar listas clasificadas de VM flexibles para los trabajadores principales, primarios y secundarios.

En el siguiente ejemplo, se solicitan tipos de VM principal, secundaria y maestra con las siguientes prioridades:

  • Aprovisiona VMs e2-standard-8 si están disponibles (rango 0); si las máquinas e2-standard-8 no están disponibles, aprovisiona VMs n2-standard-8 (rango 1).

Como no se especifica el tipo de trabajador secundario, se aprovisionarán VMs secundarias interrumpibles de Spot.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

Notas:

  • --zone="": Si se configura esta marca con un valor vacío, se habilita la colocación automática en zonas, lo que permite que Managed Service para Apache Spark elija una zona que tenga disponibles los tipos de VM solicitados para su uso. El valor de esta marca anula cualquier selección de zona especificada en tu gcloud config list predeterminado.

API

Usa instanceFlexibilityPolicy.instanceSelectionList como parte de una solicitud de la API de Dataproc clusters.create para especificar una lista clasificada de machineTypes para los trabajadores principales, secundarios y maestros.

Ejemplo: El siguiente fragmento JSON de un clusters.create cuerpo de solicitud especifica los tipos de máquinas principal (masterConfig), trabajador principal (workerConfig) y trabajador secundario (secondaryWorkerConfig) con rangos 0 y 1.

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Cloud Composer

Usa el operador DataprocCreateClusterOperator en un DAG de Apache Airflow para especificar instance_flexibility_policy para los trabajadores principales, primarios y secundarios:

from airflow import DAG
from airflow.models import Variable
from airflow.providers.google.cloud.operators.dataproc import (
    DataprocCreateClusterOperator,
)
from airflow.utils.dates import days_ago

PROJECT_ID = Variable.get("DATAPROC_PROJECT_ID")
REGION = Variable.get("DATAPROC_REGION")
CLUSTER_NAME = Variable.get("DATAPROC_CLUSTER_NAME")
NUM_WORKERS = int(Variable.get("DATAPROC_NUM_WORKERS"))
MIN_NUM_WORKERS = int(Variable.get("DATAPROC_MIN_NUM_WORKERS"))

FLEX_SELECTION_LIST = [
    {
        "machine_types": ["e2-standard-8"],
        "rank": 0,
    },
    {
        "machine_types": ["n2-standard-8"],
        "rank": 1,
    },
]

CLUSTER_CONFIG = {
    "gce_cluster_config": {
        "zone_uri": "",
    },
    "master_config": {
        "num_instances": 1,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
    "worker_config": {
        "num_instances": NUM_WORKERS,
        "min_num_instances": MIN_NUM_WORKERS,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
    "secondary_worker_config": {
        "num_instances": 4,
        "instance_flexibility_policy": {
            "instance_selection_list": FLEX_SELECTION_LIST,
        },
    },
}

with DAG(
    "dataproc_flexvm_dag",
    start_date=days_ago(1),
    schedule_interval=None,
    catchup=False,
) as dag:
    create_dataproc_cluster = DataprocCreateClusterOperator(
        task_id="create_dataproc_flexvm_cluster",
        project_id=PROJECT_ID,
        region=REGION,
        cluster_name=CLUSTER_NAME,
        cluster_config=CLUSTER_CONFIG,
    )

Terraform

Si deseas obtener más información para aplicar o quitar una configuración de Terraform, consulta los comandos básicos de Terraform. Para obtener más información, consulta la documentación de referencia del proveedor de Terraform.

Usa el recurso google_dataproc_cluster con bloques instance_flexibility_policy para especificar listas clasificadas de VM flexibles:

variable "project_id" {
  type        = string
  description = "The Google Cloud project ID"
}

variable "region" {
  type        = string
  description = "The Google Cloud region for Dataproc deployment"
}

variable "cluster_name" {
  type        = string
  description = "Name of the Dataproc cluster"
}

variable "num_workers" {
  type        = number
  description = "Target number of primary workers"
}

variable "min_num_workers" {
  type        = number
  description = "Minimum primary workers for partial cluster creation"
}

resource "google_dataproc_cluster" "flex_cluster" {
  name    = var.cluster_name
  project = var.project_id
  region  = var.region

  cluster_config {
    gce_cluster_config {
      zone = ""
    }

    master_config {
      num_instances = 1
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }

    worker_config {
      num_instances     = var.num_workers
      min_num_instances = var.min_num_workers
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }

    secondary_worker_config {
      num_instances = 4
      instance_flexibility_policy {
        instance_selection_list {
          machine_types = ["e2-standard-8"]
          rank          = 0
        }
        instance_selection_list {
          machine_types = ["n2-standard-8"]
          rank          = 1
        }
      }
    }
  }
}

Anulaciones de discos

Puedes especificar anulaciones de disco para cada tipo de máquina (selección de instancias) en la especificación de tu VM flexible. Esto te permite personalizar los discos de inicio, anular las SSD locales y conectar discos adicionales para tipos de máquinas específicos.

Opciones y reglas de anulación de disco

Opciones de configuración de anulación de disco:

  • Configuración del disco base: Es una configuración de disco especificada para un nodo de clúster, por ejemplo, especificar un tamaño de disco de arranque para los trabajadores principales con la marca --worker-boot-disk-size de la gcloud CLI o el campo workerConfig.diskConfig.bootDiskSizeGb de la API de Dataproc.
  • Invalidaciones de disco de selección de instancias: Son las configuraciones de disco para los tipos de máquinas especificados para un nodo del clúster.

Reglas de configuración de anulación de disco:

  • Configuración del disco base: Si ninguna selección de instancias para un nodo del clúster incluye una anulación de diskConfig, puedes definir una configuración del disco base para el nodo. Esta configuración de disco base se aplica a todas las selecciones de instancias para el nodo.

  • Configuraciones de disco de selección de instancias: Si una selección de instancias para un nodo de clúster incluye una anulación de diskConfig, todas las selecciones de instancias en el grupo de nodos deben incluir un diskConfig (si también defines una configuración de disco base para el nodo, se produce un error de validación).

  • Compatibilidad del tipo de máquina: Todos los tipos de máquinas dentro de un solo InstanceSelection deben ser compatibles con el diskConfig especificado. Por ejemplo, no puedes agrupar un tipo de máquina e2-standard-4, que no admite un hyperdisk, con un tipo de máquina n4-standard-4, que requiere un hyperdisk, en la misma selección de instancias, ya que diskConfig no puede satisfacer ambos tipos de máquinas.

  • Compatibilidad con SSD local: Si configuras SSD locales (numLocalSsds > 0) en una configuración de anulación de disco, todos los tipos de máquinas en la selección de instancias deben admitir SSD locales.

  • Campos de configuración obligatorios para la anulación del disco:

    • Si defines diskConfig para una selección de instancias, bootDiskType es obligatorio.
    • Si defines attachedDiskConfigs, tanto type como diskSizeGb son obligatorios para cada disco conectado.

Ejemplos de configuración de anulación de disco

En el siguiente ejemplo, se especifican las siguientes opciones de configuración de anulación de disco para los siguientes nodos del clúster:

  • Nodos principales: Usan discos de arranque predeterminados.
  • Trabajadores principales: Usa discos personalizados por selección de instancia: por ejemplo, n4-standard-4 usa hyperdisk-balanced, mientras que n2-standard-4 usa pd-standard.
  • Trabajadores secundarios: Usa una configuración de disco base personalizada: pd-ssd con 200 GB, que se aplica a todas las selecciones de instancias.

YAML de gcloud

Define las políticas de VM flexible en archivos YAML para los nodos principal, de trabajador principal y de trabajador secundario:

  1. master-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   e2-standard-8
    rank: 0
  -   machineTypes:
    -   n2-standard-8
    rank: 1
  2. worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   n4-standard-4
    rank: 0
    diskConfig:
      bootDiskType: hyperdisk-balanced
      bootDiskSizeGb: 100
      bootDiskProvisionedIops: 6000
      bootDiskProvisionedThroughput: 400
      attachedDiskConfigs:
      -   type: hyperdisk-throughput
        diskSizeGb: 300
  -   machineTypes:
    -   n2-standard-4
    rank: 0
    diskConfig:
      bootDiskType: pd-standard
      bootDiskSizeGb: 400
  3. secondary-worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  -   machineTypes:
    -   e2-standard-8
    rank: 0
  -   machineTypes:
    -   n2-standard-8
    rank: 1

Usa el comando gcloud dataproc clusters create para pasar los archivos de política:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-flexibility-policy-file=master-flex-policy.yaml \
    --num-workers=10 \
    --worker-instance-flexibility-policy-file=worker-flex-policy.yaml \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-flexibility-policy-file=secondary-worker-flex-policy.yaml

JSON de gcloud

Usa el comando gcloud dataproc clusters create con especificaciones diskConfig de JSON intercaladas en --worker-instance-selection:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["n4-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"hyperdisk-balanced","bootDiskSizeGb":100,"bootDiskProvisionedIops":6000,"bootDiskProvisionedThroughput":400,"attachedDiskConfigs":[{"type":"hyperdisk-throughput","diskSizeGb":300}]}}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"pd-standard","bootDiskSizeGb":400}}' \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

API

Usa el campo diskConfig dentro de un instanceFlexibilityPolicy.instanceSelectionList en una solicitud de clusters.create de la API de Dataproc.

Ejemplo de cuerpo de la solicitud en formato JSON:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["n4-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "hyperdisk-balanced",
              "bootDiskSizeGb": 100,
              "bootDiskProvisionedIops": 6000,
              "bootDiskProvisionedThroughput": 400,
              "attachedDiskConfigs": [
                {
                  "type": "hyperdisk-throughput",
                  "diskSizeGb": 2048
                }
              ]
            }
          },
          {
            "machineTypes": ["n2-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "pd-standard",
              "bootDiskSizeGb": 400
            }
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "diskConfig": {
        "bootDiskType": "pd-ssd",
        "bootDiskSizeGb": 200
      },
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Anula las propiedades de la VM flexible

Managed Service para Apache Spark establece propiedades a nivel del clúster. Cuando creas un clúster que usa VMs flexibles, puedes anular las propiedades generadas por el sistema para los tipos de VM de Flex de trabajador principal y secundario.

gcloud

Para anular propiedades cuando creas un clúster, usa la marca --properties con la siguiente sintaxis:

--properties="$ROLE:$MACHINE_TYPE:$COMPONENT_PREFIX:$COMPONENT_PROPERTY=$VALUE"
  • ROLE puede ser primary_worker o secondary_worker.
  • Separa varias propiedades con una coma.

El siguiente comando gcloud dataproc clusters create anula la cantidad de CPU virtuales que YARN asigna a NodeManager en los trabajadores secundarios. En este ejemplo, se establece el valor yarn.nodemanager.resource.cpu-vcores en yarn-site.xml como 6 para todas las VMs de trabajadores secundarios e2-standard-8 y n2-standard-8.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --properties="secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6,secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"

API

Para anular propiedades, defínelas en el campo properties del objeto SoftwareConfig en la solicitud de creación del clúster.

Usa la siguiente sintaxis para la clave de la propiedad:

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY
  • ROLE puede ser primary_worker o secondary_worker.

El siguiente objeto SoftwareConfig anula la cantidad de CPU virtuales que YARN asigna a NodeManager en los trabajadores secundarios. En este ejemplo, se establece el valor yarn.nodemanager.resource.cpu-vcores en 6 para todas las VMs de trabajador secundarias e2-standard-8 y n2-standard-8.

{
  "imageVersion":"2.2.42",
  "properties": {
    "secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6",
    "secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6"
  }
}

¿Qué sigue?