Acerca de las políticas de cargas de trabajo en los MIG

En este documento, se explican los requisitos y las limitaciones que se aplican cuando se usan políticas de cargas de trabajo con grupos de instancias administrados (MIGs). De forma predeterminada, la ubicación de las instancias de Compute Engine se administra solo especificando sus zonas. Las políticas de cargas de trabajo te permiten definir la posición física y la topología de tus instancias de procesamiento dentro de una zona. Este enfoque te ayuda, por ejemplo, a minimizar la latencia de la red en tus instancias de procesamiento colocándolas más cerca unas de otras.

Solo puedes aplicar políticas de cargas de trabajo a los MIGs que usan instancias A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs), H4D o TPU (TPU7x, v6e o v5p). Si usas instancias A4X Max o A4X, o creas un MIG con una porción de TPU multihost, se requiere una política de cargas de trabajo, a menos que crees una sola instancia de procesamiento con fines de prueba. Para las otras series de máquinas compatibles, las políticas de cargas de trabajo son opcionales.

Para controlar la posición de las instancias de procesamiento que usan otras series de máquinas, usa políticas de posición.

Información sobre las políticas de cargas de trabajo

En las siguientes secciones, se describen los casos de uso de las políticas de cargas de trabajo y las propiedades que especificas cuando creas políticas de cargas de trabajo.

Administra la posición y la topología de las instancias de procesamiento

Después de crear una política de cargas de trabajo y aplicarla a un MIG, las políticas de cargas de trabajo te ayudan a lograr lo siguiente:

  • Crea instancias de procesamiento cerca unas de otras: Si hay capacidad disponible, Compute Engine crea instancias de procesamiento cerca unas de otras. De lo contrario, Compute Engine crea solo algunas o ninguna de las instancias de procesamiento solicitadas.

  • Obtén visibilidad de la topología de tu instancia de procesamiento: Después de aplicar una política de cargas de trabajo con un tipo de alta capacidad de procesamiento (HIGH_THROUGHPUT) a un MIG y que el MIG cree instancias de procesamiento, puedes ver la posición de las instancias de procesamiento en relación con las demás. Esta información te ayuda a minimizar la latencia de la red y solucionar errores. Para obtener más información, consulta Cómo ver la topología de instancias de Compute Engine.

Puedes aplicar la misma política de cargas de trabajo a varios MIGs. Cuando lo haces, Compute Engine aplica las reglas de posición a cada MIG de forma independiente.

En la siguiente sección, se describen las propiedades que debes especificar cuando creas políticas de cargas de trabajo.

Configura las propiedades de la política de cargas de trabajo

Cuando creas una política de cargas de trabajo, debes especificar las siguientes propiedades:

  • Tipo de carga de trabajo (type): Este campo define el objetivo de alto nivel de tu clúster. Solo puedes especificar HIGH_THROUGHPUT, que le indica a Compute Engine que coloque las instancias de procesamiento lo más cerca posible para acelerar la comunicación.

  • Según la serie de máquinas que usen las instancias de procesamiento en tu MIG, puedes especificar de forma opcional una de las siguientes propiedades:

    • Topología del acelerador (acceleratorTopology): Esta propiedad te ayuda a lograr un alto rendimiento para las cargas de trabajo distribuidas que se ejecutan en varias instancias A4X Max o A4X, o en porciones de TPU multihost, que usan una configuración de red interaceleradora especializada. Para obtener más información, consulta la propiedad de topología del acelerador.

    • Distancia máxima de la topología (maxTopologyDistance): Esta propiedad define el límite físico más estricto para crear tus instancias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D, como el mismo bloque o subbloque. Si Compute Engine no puede cumplir con este límite estricto debido a errores de disponibilidad de recursos, crea solo una parte o ninguna de las instancias de procesamiento solicitadas. Para obtener más información, consulta la propiedad de distancia máxima de la topología .

Propiedad de topología del acelerador

Para lograr un rendimiento de red a gran escala y sin bloqueos, Compute Engine organiza las instancias A4X Max y A4X en una jerarquía física de bloques y subbloques.

Para crear un MIG con instancias A4X Max o A4X, o porciones de TPU multihost, debes aplicar una política de cargas de trabajo al MIG que especifique la propiedad de topología del acelerador (acceleratorTopology). Esta propiedad define la configuración de red física para una porción de instancias de procesamiento. Una porción actúa como un acelerador único y masivo que proporciona un rendimiento máximo para tus cargas de trabajo de IA o AA distribuidas.

En la siguiente tabla, se muestran los valores de topología del acelerador para A4X Max y A4X. Para obtener más información sobre los valores de topología para las porciones de TPU multihost, consulta Topología de TPU.

Valor de topología del acelerador Descripción Serie de máquinas compatible Cantidad máxima de instancias de procesamiento
1x72 Compute Engine organiza las instancias de procesamiento en subbloques densamente asignados de 18 instancias de procesamiento, lo que suma 72 GPUs. Debido a que cada subbloque requiere su propio MIG, puedes crear un máximo de 18 instancias de procesamiento por MIG. Un bloque completo consta de 25 MIGs, lo que suma 450 instancias de procesamiento. A4X Max y A4X 18

Para obtener más información sobre las instancias A4X Max y A4X, consulta Las series de máquinas A4X Max y A4X.

Propiedad de distancia máxima de la topología

Cuando creas y aplicas una política de cargas de trabajo a un MIG, Compute Engine hace todo lo posible para crear tus instancias de procesamiento cerca unas de otras. Si necesitas la máxima compacidad en una zona, te recomendamos que especifiques la propiedad de distancia máxima de la topología (maxTopologyDistance). Un valor de distancia máxima de la topología especifica que se creen instancias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D en el mismo clúster, bloque o subbloque.

En la siguiente tabla, se muestran los valores de distancia máxima de la topología y las series de máquinas que admiten:

Valor de distancia máxima de la topología Descripción Serie de máquinas compatible Cantidad máxima de instancias de procesamiento
Sin especificar (no recomendado) Compute Engine hace todo lo posible para colocar las instancias de procesamiento lo más cerca posible, pero sin garantía de distancia máxima entre las instancias de procesamiento en una zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) y H4D 1,500
CLUSTER Compute Engine crea instancias de procesamiento en bloques adyacentes dentro de un clúster. A4 y H4D 1,500
BLOCK Compute Engine crea instancias de procesamiento en el mismo bloque. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D
  • Para A4 o H4D: 150
  • Para A3 Ultra, A3 Mega o A3 High (8 GPUs): 256
SUBBLOCK Compute Engine crea instancias de procesamiento en el mismo subbloque, lo que minimiza la latencia de la red tanto como sea posible. A4, A3 Ultra y H4D 22

Precios

No hay costos adicionales asociados con la creación, eliminación o aplicación de políticas de cargas de trabajo a un MIG.

Serie de máquinas compatible

Solo puedes aplicar políticas de cargas de trabajo a los MIGs con instancias de procesamiento que usan las siguientes combinaciones de series de máquinas y modelos de aprovisionamiento:

Series de máquinas Inicio flexible Spot Con reserva Estándar
A4X Max No No Sí No
A4X No No Sí No
A4 Sí Sí Sí No
A3 Ultra Sí Sí Sí No
A3 Mega No Sí Sí No
A3 High (8 GPUs) No Sí Sí No
H4D Sí Sí Sí No
TPU7x Sí Sí Sí Sí
TPU v6e Sí Sí Sí Sí
TPU v5p Sí Sí Sí Sí

Limitaciones

Para las políticas de cargas de trabajo en los MIGs, se aplican las siguientes limitaciones:

  • Solo puedes aplicar una política de cargas de trabajo a un MIG existente o cambiar su política de cargas de trabajo si no hay instancias de procesamiento en el MIG.

  • Solo puedes aplicar políticas de cargas de trabajo a los MIGs regionales si estos usan las siguientes formas de destino de distribución:

    • Para MIGs con un tamaño objetivo: ANY o ANY_SINGLE_ZONE

    • Para solicitudes de cambio de tamaño de MIG: ANY_SINGLE_ZONE

  • No puedes actualizar una política de cargas de trabajo después de crearla.

  • No puedes configurar una segunda plantilla de instancias si tu MIG usa una política de cargas de trabajo.

  • No puedes usar políticas de cargas de trabajo junto con políticas de posición.

¿Qué sigue?