Planifica tus recursos de Cloud TPU

En esta página, se describe cómo planificar el uso de la unidad de procesamiento tensorial (TPU).

Elige una opción de consumo

Las opciones de consumo hacen referencia a las formas de obtener y usar recursos de procesamiento. Puedes solicitar capacidad de VMs de Cloud TPU según tus necesidades de velocidad, duración, costo y tolerancia a la interrupción. Incluye las siguientes opciones:

  • A pedido: Instancias estándar de pago por uso.
  • VMs Spot: Instancias interrumpibles de menor costo. Usa cuota interrumpible.
  • VMs de inicio flexible: Reserva capacidad según sea necesario, durante un máximo de 7 días, sin reservas a largo plazo ni administración compleja de cuotas.
  • Reservas: Reserva capacidad por un período específico (hasta 90 días o más de 1 año), lo que garantiza la disponibilidad. Usa la cuota a pedido.

Para la TPU v6e y las generaciones posteriores, también puedes usar GKE con Cluster Director de TPU. Esta función está disponible a través de una reserva en el modo All Capacity. Proporciona acceso completo a tu capacidad reservada y visibilidad completa del diseño, el uso y el estado del hardware de la TPU. Para obtener más información, consulta Descripción general del modo All Capacity.

En la siguiente tabla, se comparan las opciones de consumo de TPU según su funcionamiento, sus casos de uso ideales, las versiones y zonas de TPU compatibles, y los tipos de cuotas requeridos.

Opción de consumo Cómo funciona Se recomienda su uso para Versiones y zonas de TPU compatibles Tipo de cuota para la API de Cloud TPU
Reservas futuras de un año o más

Solicitas recursos TPU con anticipación por un año o más. Estos recursos se reservan para tu uso exclusivo durante ese período.

Las reservas proporcionan el nivel más alto de garantía de capacidad y un precio más bajo que los recursos según demanda.

Las reservas futuras de TPU incluyen un descuento por compromiso de uso (CUD). Los CUD proporcionan precios con descuento cuando compras un contrato por compromiso de uso. Para obtener más información, consulta Reservas futuras de un año o más

 Las reservas futuras de un año o más son ideales para los trabajos de entrenamiento de larga duración y las cargas de trabajo de inferencia. Todas las versiones de TPU: Consulta Regiones y zonas de TPU Cuota según demanda
Reservas futuras de hasta 90 días (modo de calendario) (Vista previa)

Solicitas recursos TPU para una hora de inicio y una duración específicas, entre uno y 90 días. Estos recursos se reservan para tu uso exclusivo durante ese período. Para obtener más información, consulta Reservas futuras de hasta 90 días (en modo de calendario)

Las reservas proporcionan el nivel más alto de garantía de capacidad y un precio más bajo que los recursos según demanda.

 Las reservas futuras en el modo de calendario son adecuadas para las cargas de trabajo de entrenamiento y experimentación que requieren horas de inicio precisas y tienen una duración definida.

TPU7x (Ironwood) (vista previa) para entrenamiento y entrega: us-central1-c

v6e (Trillium) para entrenamiento y entrega: asia-northeast1-b, us-east5-a

v5p para entrenamiento y entrega: us-east5-a

v5e para entrenamiento: us-west4-a

v5e para entrega: us-central1-a

 No se requiere cuota
A pedido

Solicitas recursos TPU para usarlos de inmediato y durante el tiempo que los necesites.

La opción según demanda ofrece una gran flexibilidad. Los recursos según demanda no se interrumpen, pero no hay garantía de que haya suficientes recursos de TPU disponibles para satisfacer tu solicitud. La opción a pedido es la predeterminada cuando creas recursos TPU. Para obtener más información sobre cómo crear y usar TPU según demanda, consulta Crea VMs de TPU.

 Es una buena opción para trabajos urgentes y cargas de trabajo que requieren una hora de finalización flexible. Todas las versiones de TPU: Consulta Regiones y zonas de TPU Cuota según demanda
Inicio flexible (vista previa)

Solicitas recursos TPU por un período específico, de hasta siete días, sin reservar capacidad con anticipación.

Las VMs de TPU con inicio flexible se entregan desde un grupo de capacidad exclusivo, por lo que la disponibilidad de estos recursos es mayor que la de los recursos según demanda. Para obtener más información, consulta Solicita VMs de TPU con inicio flexible.

Para obtener más información sobre el uso de VMs de TPU de inicio flexible con Google Kubernetes Engine (GKE), consulta Acerca del aprovisionamiento de GPU y TPU con el modo de aprovisionamiento de inicio flexible.

 El inicio flexible es ideal para la experimentación, las pruebas a pequeña escala, el aprovisionamiento dinámico de TPU para cargas de trabajo de inferencia, el ajuste de modelos y las ejecuciones de cargas de trabajo que tardan menos de siete días.

TPU7x (Ironwood) (vista previa): us-central1-c (solo con GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a

v5e: us-west4-a

 Cuota interrumpible
Spot

Solicitas recursos TPU que se pueden interrumpir.

Las VMs Spot están disponibles a un precio significativamente más bajo que los recursos a pedido. Las VMs Spot suelen ser más fáciles de obtener que los recursos a pedido, pero se pueden interrumpir (apagar) en cualquier momento. No hay límite en la duración del tiempo de ejecución. Para obtener más información sobre las VMs Spot de TPU, consulta Administra VMs Spot de TPU.

 Spot es una buena opción para programar cargas de trabajo de menor prioridad, como el entrenamiento previo, el ajuste y los trabajos de simulación de modelos que toleran las interrupciones de disponibilidad. Todas las versiones de TPU: Consulta Regiones y zonas de TPU Cuota interrumpible

Solicita cuota de TPU

Para usar VMs de TPU, independientemente de la opción de consumo, necesitas una cuota interrumpible o bajo demanda para los chips o núcleos de Cloud TPU. Asegúrate de tener suficiente cuota para la opción, la versión de TPU, el tamaño y la zona que elegiste. Las cuotas son específicas para cada versión de TPU y difieren para el uso interrumpible y bajo demanda. Algunas versiones de TPU tienen cuotas predeterminadas, mientras que, para otras, debes solicitar una cuota. Para obtener más información, consulta Cuotas de Cloud TPU.

Si usas TPUs con Google Kubernetes Engine (GKE), necesitas la cuota de la API de Compute Engine en lugar de la cuota estándar de la API de TPU. Para obtener más información sobre las cuotas de TPU en GKE, consulta Asegúrate de tener cuota de TPU.

Elige la versión de TPU

Selecciona la versión de TPU, por ejemplo, v5e, v5p, v6e o TPU7x (Ironwood), según las necesidades de entrenamiento o inferencia de tu modelo. Para obtener más información, consulta Versiones de TPU.

¿Qué sigue?