Vertex AI en el dispositivo aislado de Google Distributed Cloud (GDC) te permite ejecutar cargas de trabajo de aprendizaje automático (AA) y de inteligencia artificial (IA) en un dispositivo portátil seguro. El dispositivo proporciona acceso a un conjunto selecto de APIs previamente entrenadas, por lo que puedes integrar el reconocimiento de voz, la traducción y el reconocimiento de texto en tu solución de nube privada.
Características clave
Vertex AI en el dispositivo aislado de GDC te ofrece las siguientes funciones:
- Implementación aislada: Ejecuta los servicios de Vertex AI por completo en tu dispositivo portátil, lo que garantiza la soberanía de los datos y el cumplimiento.
- Experiencia conocida de Vertex AI: Aprovecha las mismas herramientas y APIs de Google Cloud, lo que simplifica el desarrollo y la administración.
- Modelos y algoritmos compilados previamente: Accede a una variedad de modelos entrenados previamente para tareas comunes de aprendizaje automático, lo que acelera el tiempo de generación de valor.
Servicios disponibles
Vertex AI en el dispositivo aislado de GDC ofrece los siguientes servicios preentrenados:
- Reconocimiento óptico de caracteres (OCR): Extrae texto de imágenes y archivos.
- Speech-to-Text: Convierte el lenguaje hablado en texto escrito.
- Vertex AI Translation: Traduce texto entre varios idiomas.
Planificación de la capacidad y requisitos de procesamiento
Cada servicio de Vertex AI requiere diferentes recursos de procesamiento. En la siguiente tabla, se proporcionan los requisitos para cada modelo entrenado previamente:
| API previamente entrenada | Recursos de procesamiento | Requisitos de recuento de GPU | Requisitos de memoria de GPU |
|---|---|---|---|
| Reconocimiento óptico de caracteres (OCR) | GPU | Una sola GPU A100 de 80 GB | 40 GB |
| Speech‑to‑Text | CPU | No aplicable (solo CPU) | No aplicable (solo CPU) |
| Vertex AI Translation | GPU | Una sola GPU A100 de 80 GB | 50 GB |
El dispositivo de GDC aislado incluye una sola GPU NVIDIA A100 de 80 GB. Esto limita el dispositivo para que ejecute solo una API de Vertex AI previamente entrenada que dependa de la GPU a la vez. Si intentas habilitar Vertex AI Translation y OCR, la segunda API no se habilitará y aparecerá un mensaje de error que indica que los recursos de GPU son insuficientes. Sin embargo, puedes ejecutar Speech-to-Text junto con Vertex AI Translation o con OCR, ya que Speech-to-Text solo requiere recursos de CPU.
Para ayudarte a determinar la cantidad de unidades de dispositivos necesarias para tus cargas de trabajo de IA/AA, revisa los siguientes límites de capacidad para cada API previamente entrenada de Vertex AI:
| API previamente entrenada | Capacidad por unidad de dispositivo |
|---|---|
| Reconocimiento óptico de caracteres (OCR) | Hasta 30 imágenes por minuto (una imagen cada dos segundos). |
| Speech‑to‑Text | Hasta siete minutos de audio transcrito por minuto (siete segundos de audio transcrito por segundo). |
| Vertex AI Translation | Hasta 61,000 caracteres por minuto (1,024 caracteres por segundo) |
Cuando planifiques tu implementación, ten en cuenta las siguientes indicaciones:
Los límites de capacidad son aproximados y no están garantizados. La capacidad real puede variar según factores como los siguientes:
- Complejidad de los datos de entrada (por ejemplo, idioma para la traducción, calidad de la imagen para el OCR y claridad del audio para Speech-to-Text)
- Configuración específica del dispositivo.
- Uso simultáneo de otros servicios en el dispositivo.
Solo puede estar activa una API que use la GPU de forma intensiva (Vertex AI Translation o el OCR) a la vez, ya que el dispositivo de GDC aislado se limita a una sola GPU A100 de 80 GB.
Estima tu uso máximo y el posible crecimiento futuro.
Para las cargas de trabajo exigentes que requieren una mayor capacidad de procesamiento, considera implementar varias unidades de dispositivos.
En la siguiente tabla, se describen los requisitos de almacenamiento para cada servicio de Vertex AI en el dispositivo de GDC aislado:
| Componente | Requisitos de almacenamiento |
|---|---|
| Frontend de OCR | 0.1 GB |
| Backend de OCR | 5 GB |
| Extractor de OCR | 0.1 GB |
| Frontend de Speech-to-Text | 0.1 GB |
| Backend de Speech-to-Text | 1.5 GB |
| Frontend de Vertex AI Translation | 0.7 GB |
| Backend de Vertex AI Translation | 61.4 GB |
Asegúrate de que tu dispositivo tenga suficiente capacidad de almacenamiento para alojar los servicios de Vertex AI que quieras usar.
Beneficios
Vertex AI en el dispositivo aislado de GDC ofrece los siguientes beneficios:
- Experiencia de desarrollo fluida: Usa las mismas herramientas, APIs y flujos de trabajo de Vertex AI en Google Cloud, lo que hace que el desarrollo y la administración sean intuitivos y eficientes.
- Seguridad y privacidad mejoradas: Mantén el control total de tus datos y cumple con los requisitos normativos.
- Tiempo de generación de valor acelerado: Usa modelos previamente entrenados para tareas comunes de aprendizaje automático.
- MLOps optimizadas: Benefíciate de las sólidas capacidades de operaciones de aprendizaje automático para integraciones de IA sin problemas dentro de tu entorno aislado.
Cómo comenzar
Para comenzar a usar Vertex AI en el dispositivo de GDC aislado, haz lo siguiente:
- Obtén información sobre los roles y permisos esenciales para los servicios disponibles.
- Configura un proyecto para tus cargas de trabajo de IA y aprendizaje automático.
- Aprovisiona GPUs y habilita los servicios de Vertex AI.
- Instala las bibliotecas cliente de Vertex AI.