Prioriza los tipos de VM con VMs flexibles

Las VMs flexibles son una función de Managed Service para Apache Spark que te permite especificar listas priorizadas de tipos de VM para los nodos trabajadores principales, secundarios y de la instancia principal de Managed Service para Apache Spark cuando creas un clúster de Managed Service para Apache Spark.

¿Por qué usar VMs flexibles?

El problema: Si un tipo de VM no está disponible cuando envías una solicitud de creación de clúster, la solicitud falla y debes actualizar tu solicitud, secuencia de comandos o código para especificar un tipo de VM "mejor siguiente". Este proceso de reenvío de solicitudes puede incluir varias iteraciones hasta que especifiques un tipo de VM que esté disponible.

La solución: La función de VM flexible de Managed Service para Apache Spark ayuda a que tu solicitud de creación de clúster se realice correctamente seleccionando los tipos de VM de trabajador principales, secundarios y de la instancia principal de tus listas de VMs clasificadas y, luego, buscando zonas dentro de la región del clúster especificada con disponibilidad de los tipos de VM enumerados.

Limitaciones

  • No se pueden detener los clústeres que usan VMs flexibles detenidos.
  • Los nodos de la instancia principal en los clústeres de alta disponibilidad no pueden usar VMs flexibles, pero los nodos trabajadores del clúster de HA sí pueden usarlas.

Terminología

  • Tipo de VM: La familia, la capacidad de memoria y la cantidad de núcleos de CPU de una instancia de VM. Managed Service para Apache Spark admite el uso de tipos de VM predefinidos y personalizados.
  • Nodos trabajadores principales y de la instancia principal: De forma predeterminada, un clúster de Managed Service para Apache Spark tiene un nodo de la instancia principal y dos nodos trabajadores principales.
  • Nodos trabajadores secundarios: Los trabajadores secundarios no almacenan datos y solo funcionan como nodos de procesamiento. Puedes usar trabajadores secundarios para escalar la capacidad de procesamiento sin escalar el almacenamiento. El tipo de trabajador secundario de VM flexible predeterminado es una VM Spot, que es un tipo interrumpible.

Uso

  • Las VMs flexibles están disponibles en Managed Service para Apache Spark en Managed Service para Apache Spark 2.0.74+, 2.1.76+, 2.2.42+ y versiones de imagen posteriores. *. A partir de la versión de imagen 3.0, cuando creas un clúster sin especificar un tipo de máquina para un nodo de clúster, Managed Service para Apache Spark especifica el nodo con una lista clasificada de tipos de máquinas de VM flexibles, como una lista clasificada de tipos de máquinas de las series N4, N2 y E2 , con la lista optimizada para la disponibilidad de recursos.
  • Puedes especificar hasta cinco listas de tipos de VM clasificadas, con hasta 10 tipos de VM en una lista.

  • Puedes incluir VMs flexibles en plantillas de flujo de trabajo para proporcionar resiliencia contra la falta de disponibilidad de recursos cuando se crean clústeres a partir de la plantilla.

    Recomendación: Habilita la ubicación automática de zonas de Managed Service para Apache Spark , que permite que Managed Service para Apache Spark elija una zona con la capacidad de aprovisionar las VMs solicitadas.

  • De forma predeterminada, un nodo de clúster debe usar un tipo de disco. Puedes usar anulaciones de disco para especificar diferentes tipos de disco para diferentes tipos de máquinas especificados para un nodo de clúster de VM flexible.

  • Aunque puedes especificar diferentes proporciones de CPU a memoria para los tipos de VM de trabajador principales y secundarios en un clúster, esto puede provocar una degradación del rendimiento porque la proporción más pequeña de CPU a memoria se usa como la unidad de contenedor más pequeña.

  • Si tu solicitud de creación de clúster incluye una política de ajuste de escala automático, las VMs flexibles pueden ser de diferentes familias de VM, pero deben tener la misma cantidad de memoria y recuento de núcleos.

  • Los tipos de máquinas que coinciden con las reservas se seleccionan primero dentro de un rango, seguidos de los tipos de VM con la mayor cantidad de CPUs.

  • Managed Service para Apache Spark aplica Google Cloud cuotas al aprovisionamiento de VM flexibles.

  • Si actualizas un clúster que se creó con VMs flexibles, Managed Service para Apache Spark selecciona y agrega trabajadores de las listas de VM flexibles que proporcionaste cuando creaste el clúster.

Cómo solicitar VMs flexibles

Puedes especificar hasta cinco listas de tipos de VM clasificadas, con hasta 10 tipos de VM en una lista. Las listas con la clasificación más baja tienen la prioridad más alta. De forma predeterminada, las listas de VM flexibles tienen un rango de 0. Dentro de una lista, Managed Service para Apache Spark prioriza los tipos de VM con reservas sin usar, seguidos de los tamaños de VM más grandes. Los tipos de VM dentro de una lista con la misma cantidad de CPU se tratan por igual.

Puedes solicitar VMs flexibles cuando creas un clúster de Managed Service para Apache Spark con la Google Cloud consola de, Google Cloud CLI o la API de Dataproc.

Console

Para crear un clúster con VMs flexibles, haz lo siguiente:

  1. Abre la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita Trabajadores principales o Trabajadores secundarios. En Agregar tipos de trabajadores, especifica VMs clasificadas adicionales.

gcloud

Usa el gcloud dataproc clusters create comando con master-instance-selection, worker-instance-selection y secondary-worker-instance-selection marcas para especificar listas de VM flexibles clasificadas para trabajadores principales, secundarios y de la instancia principal.

En el siguiente ejemplo, se solicitan tipos de VM principales, secundarios y de la instancia principal con las siguientes prioridades:

  • Aprovisiona VMs e2-standard-8 si están disponibles (rango 0); si las máquinas e2-standard-8 no están disponibles, aprovisiona VMs n2-standard-8 (rango 1).

Como no se especifica el tipo de trabajador secundario, se aprovisionarán VMs secundarias de instancia de procesamiento interrumpibles.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

Notas:

  • --zone="": Si configuras esta marca en un valor vacío, se habilita la ubicación automática de zonas, lo que permite que Managed Service para Apache Spark elija una zona que tenga los tipos de VM solicitados disponibles para su uso. Este valor de marca anula cualquier selección de zona especificada en tu gcloud config list predeterminado.

API

Usa instanceFlexibilityPolicy.instanceSelectionList como parte de una solicitud clusters.create de la API de Dataproc para especificar una lista clasificada de machineTypes para trabajadores principales, secundarios y de la instancia principal.

Ejemplo: El siguiente fragmento de JSON de un cuerpo de solicitud clusters.create especifica los tipos de máquinas de trabajador principal (workerConfig), trabajador secundario (secondaryWorkerConfig) y de la instancia principal (masterConfig) con los rangos 0 y 1.

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Anulaciones de disco

Puedes especificar anulaciones de disco para cada tipo de máquina (selección de instancias) en tu especificación de VM flexible. Esto te permite personalizar los discos de arranque, anular los SSD locales y conectar discos adicionales para tipos de máquinas específicos.

Opciones y reglas de anulación de disco

Opciones de configuración de anulación de disco:

  • Configuración de disco base: Una configuración de disco especificada para un nodo de clúster, por ejemplo, especificar un tamaño de disco de arranque para los trabajadores principales con la gcloud CLI --worker-boot-disk-size o el campo workerConfig.diskConfig.bootDiskSizeGb de la API de Dataproc.
  • Anulaciones de disco de selección de instancias: Configuraciones de disco para tipos de máquinas especificados para un nodo de clúster.

Reglas de configuración de anulación de disco:

  • Configuración de disco base: Si ninguna selección de instancias para un nodo de clúster incluye una anulación de diskConfig, puedes definir una configuración de disco base para el nodo. Esta configuración de disco base se aplica a todas las selecciones de instancias del nodo.

  • Configuraciones de disco de selección de instancias: Si una selección de instancias para un nodo de clúster incluye una anulación de diskConfig, todas las selecciones de instancias en el grupo de nodos deben incluir una diskConfig (si también defines una configuración de disco base para el nodo, se produce un error de validación).

  • Compatibilidad de tipos de máquinas: Todos los tipos de máquinas dentro de una sola InstanceSelection deben ser compatibles con la diskConfig especificada. Por ejemplo, no puedes agrupar un tipo de máquina e2-standard-4, que no admite un hyperdisk, con un tipo de máquina n4-standard-4, que requiere un hyperdisk, en la misma selección de instancias, ya que la diskConfig no puede satisfacer ambos tipos de máquinas.

  • Compatibilidad con SSD locales: Si configuras SSD locales (numLocalSsds > 0) en una configuración de anulación de disco, todos los tipos de máquinas en la selección de instancias deben admitir SSD locales.

  • Campos obligatorios de configuración de anulación de disco:

    • Si defines diskConfig para una selección de instancias, bootDiskType es obligatorio.
    • Si defines attachedDiskConfigs, tanto diskType como diskSizeGb son obligatorios para cada disco conectado.

Ejemplos de configuración de anulación de disco

En el siguiente ejemplo, se especifican las siguientes opciones de configuración de anulación de disco para los siguientes nodos de clúster:

  • Nodos de la instancia principal: Usa discos de arranque predeterminados.
  • Trabajadores principales: Usa discos personalizados por selección de instancias: por ejemplo, n4-standard-4 usa hyperdisk-balanced, mientras que n2-standard-4 usa pd-standard.
  • Trabajadores secundarios: Usa una configuración de disco base personalizada: pd-ssd con 200 GB, que se aplica a todas las selecciones de instancias.

YAML de gcloud

Define las políticas de VM flexible en archivos YAML para los nodos trabajadores principales, secundarios y de la instancia principal:

  1. master-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  - machineTypes:
    - e2-standard-8
    rank: 0
  - machineTypes:
    - n2-standard-8
    rank: 1
  2. worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  - machineTypes:
    - n4-standard-4
    rank: 0
    diskConfig:
      bootDiskType: hyperdisk-balanced
      bootDiskSizeGb: 100
      bootDiskProvisionedIops: 6000
      bootDiskProvisionedThroughput: 400
      attachedDiskConfigs:
      - diskType: hyperdisk-throughput
        diskSizeGb: 300
  - machineTypes:
    - n2-standard-4
    rank: 0
    diskConfig:
      bootDiskType: pd-standard
      bootDiskSizeGb: 400
  3. secondary-worker-flex-policy.yaml: 
    instanceFlexibilityPolicy:
  instanceSelectionList:
  - machineTypes:
    - e2-standard-8
    rank: 0
  - machineTypes:
    - n2-standard-8
    rank: 1

Usa el gcloud dataproc clusters create comando para pasar los archivos de política:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-flexibility-policy-file=master-flex-policy.yaml \
    --num-workers=10 \
    --worker-instance-flexibility-policy-file=worker-flex-policy.yaml \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-flexibility-policy-file=secondary-worker-flex-policy.yaml

JSON de gcloud

Usa el gcloud dataproc clusters create comando con especificaciones diskConfig de JSON intercaladas en --worker-instance-selection:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --num-masters=1 \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["n4-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"hyperdisk-balanced","bootDiskSizeGb":100,"bootDiskProvisionedIops":6000,"bootDiskProvisionedThroughput":400,"attachedDiskConfigs":[{"diskType":"hyperdisk-throughput","diskSizeGb":300}]}}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-4"],"rank":0,"diskConfig":{"bootDiskType":"pd-standard","bootDiskSizeGb":400}}' \
    --num-secondary-workers=4 \
    --secondary-worker-boot-disk-type=pd-ssd \
    --secondary-worker-boot-disk-size=200 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

API

Usa el campo diskConfig dentro de un instanceFlexibilityPolicy.instanceSelectionList en una solicitud clusters.create de la API de Dataproc.

Ejemplo de cuerpo de solicitud JSON:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["n4-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "hyperdisk-balanced",
              "bootDiskSizeGb": 100,
              "bootDiskProvisionedIops": 6000,
              "bootDiskProvisionedThroughput": 400,
              "attachedDiskConfigs": [
                {
                  "diskType": "HYPERDISK_THROUGHPUT",
                  "diskSizeGb": 2048
                }
              ]
            }
          },
          {
            "machineTypes": ["n2-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "pd-standard",
              "bootDiskSizeGb": 400
            }
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "diskConfig": {
        "bootDiskType": "pd-ssd",
        "bootDiskSizeGb": 200
      },
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Anula las propiedades de la VM flexible

Managed Service para Apache Spark establece propiedades a nivel del clúster. Cuando creas un clúster que usa VMs flexibles, puedes anular las propiedades generadas por el sistema para los tipos de VM flexibles de trabajador principales y secundarios.

gcloud

Para anular propiedades cuando creas un clúster, usa la marca --properties con la siguiente sintaxis:

--properties="$ROLE:$MACHINE_TYPE:$COMPONENT_PREFIX:$COMPONENT_PROPERTY=$VALUE"
  • ROLE puede ser primary_worker o secondary_worker.
  • Separa varias propiedades con una coma.

El siguiente comando gcloud dataproc clusters create anula la cantidad de CPU virtuales que YARN asigna a NodeManager en los trabajadores secundarios. En este ejemplo, se establece el valor yarn.nodemanager.resource.cpu-vcores en yarn-site.xml en 6 para todas las VMs de trabajador secundarias e2-standard-8 y n2-standard-8.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --properties="secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6,secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"

API

Para anular propiedades, defínelas en el campo properties del SoftwareConfig objeto en tu solicitud de creación de clúster.

Usa la siguiente sintaxis para la clave de propiedad:

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY
  • ROLE puede ser primary_worker o secondary_worker.

El siguiente objeto SoftwareConfig anula la cantidad de CPU virtuales que YARN asigna a NodeManager en los trabajadores secundarios. En este ejemplo, se establece el valor yarn.nodemanager.resource.cpu-vcores en 6 para todas las VMs de trabajador secundarias e2-standard-8 y n2-standard-8.

{
  "imageVersion":"2.2.42",
  "properties": {
    "secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6",
    "secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6"
  }
}

¿Qué sigue?