Acerca de GKE Volume Populator

El propagador de volúmenes de Google Kubernetes Engine (GKE) puede ayudarte a automatizar y optimizar el proceso de carga previa de datos de buckets de Cloud Storage a PersistentVolumeClaims (PVC) de destino durante el aprovisionamiento dinámico.

Cómo funciona el propagador de volúmenes de GKE

El propagador de volúmenes de GKE aprovecha el concepto principal del propagador de volúmenes de Kubernetes. En lugar de aprovisionar un volumen vacío, el propagador de volúmenes de GKE permite que un PVC haga referencia a un recurso personalizado GCPDataSource. Este recurso personalizado especifica el bucket de Cloud Storage de origen y las credenciales necesarias.

Cuando creas un PVC con un dataSourceRef que apunta a un recurso GCPDataSource, el propagador de volúmenes de GKE inicia la transferencia de datos. Copia datos del URI del bucket de Cloud Storage especificado en el volumen de almacenamiento persistente subyacente antes de que el volumen esté disponible para tus Pods.

Este proceso reduce la necesidad de usar secuencias de comandos de transferencia de datos manuales o comandos de la CLI, y automatiza la transferencia de conjuntos de datos grandes a volúmenes persistentes. El propagador de volúmenes de GKE admite transferencias de datos entre los siguientes tipos de origen y destino:

El propagador de volúmenes de GKE es un componente administrado de GKE que está habilitado de forma predeterminada en los clústeres de Autopilot y Standard. Principalmente, interactúas con el propagador de volúmenes de GKE a través de la CLI de gcloud y la CLI de kubectl.

Arquitectura

En el siguiente diagrama, se muestra cómo fluyen los datos del almacenamiento de origen al almacenamiento de destino y cómo se crea el PersistentVolume para el almacenamiento de destino con el propagador de volúmenes de GKE.

  1. Crea un PVC que haga referencia a un GCPDataSource recurso personalizado.
  2. El propagador de volúmenes de GKE detecta el PVC y comienza una tarea de transferencia de datos.
  3. La tarea de transferencia se ejecuta en un grupo de nodos existente o se crea uno nuevo si está habilitado el aprovisionamiento automático de nodos.
  4. La tarea de transferencia copia datos del bucket de Cloud Storage especificado en el recurso GCPDataSource al volumen de almacenamiento de destino.
  5. Una vez que se completa la transferencia, el PVC se vincula al volumen de almacenamiento de destino, lo que hace que los datos estén disponibles para el Pod de la carga de trabajo.

Transferencia de datos desde el almacén de datos de origen y creación de un PV para el almacenamiento de destino con el propagador de volúmenes de GKE

Ventajas clave

El propagador de volúmenes de GKE ofrece varios beneficios:

  • Propagación de datos automatizada: Propaga automáticamente los volúmenes con datos de Cloud Storage durante el aprovisionamiento, lo que ayuda a reducir la sobrecarga operativa.
  • Portabilidad de datos sin interrupciones: Traslada datos del almacén de objetos a sistemas de almacenamiento en bloque de alto rendimiento (Hyperdisk) para ayudar a optimizar el precio o el rendimiento según las necesidades de tu carga de trabajo.
  • Flujos de trabajo simplificados: Reduce la necesidad de tareas de carga de datos independientes o la intervención manual para preparar volúmenes persistentes.
  • Integración con Identity and Access Management (IAM): Usa la autenticación basada en IAM a través de Workload Identity Federation for GKE para garantizar la transferencia segura de datos con un control de acceso detallado.
  • Cargas de trabajo de IA/AA aceleradas: Carga previamente grandes conjuntos de datos, modelos y ponderaciones directamente en el almacenamiento de alto rendimiento para ayudar a acelerar las tareas de entrenamiento y de inferencia.

Casos de uso del propagador de volúmenes de GKE

Puedes usar el propagador de volúmenes de GKE para cargar grandes conjuntos de datos de entrenamiento para IA/AA. Imagina que tienes un conjunto de datos de varios terabytes para entrenar un modelo de lenguaje grande (LLM) almacenado en un bucket de Cloud Storage. Tu tarea de entrenamiento se ejecuta en GKE y requiere un alto rendimiento de E/S. En lugar de copiar los datos de forma manual, puedes usar el propagador de volúmenes de GKE para aprovisionar automáticamente un volumen de Hyperdisk ML y propagarlo con el conjunto de datos de Cloud Storage cuando se crea el PVC. Este proceso automatizado ayuda a garantizar que tus Pods de entrenamiento comiencen con acceso inmediato y de alta velocidad a los datos.

Estos son algunos ejemplos más en los que puedes usar el propagador de volúmenes de GKE:

  • Almacenamiento previo en caché de ponderaciones y recursos de modelos de IA/AA de Cloud Storage en volúmenes de Hyperdisk ML para acelerar los tiempos de carga de modelos para la entrega de inferencias.
  • Migración de datos de Cloud Storage a volúmenes persistentes para aplicaciones con estado que requieren acceso al disco de alto rendimiento.

¿Qué sigue?