El dispositivo aislado de Vertex AI en Google Distributed Cloud (GDC) ofrece la potencia de una plataforma de aprendizaje automático (ML) e inteligencia artificial (IA) en tu dispositivo portátil seguro. El dispositivo aislado de GDC proporciona acceso a un conjunto seleccionado de APIs preentrenadas de Vertex AI, lo que permite usar funciones de IA en tu solución de nube privada.
Características principales
Vertex AI en el dispositivo con air gap de GDC te ofrece las siguientes funciones:
- Despliegue aislado: ejecuta los servicios de Vertex AI por completo en tu dispositivo portátil para garantizar la soberanía y el cumplimiento de los datos.
- Experiencia familiar de Vertex AI: aprovecha las mismas herramientas y APIs de Google Cloudpara simplificar el desarrollo y la gestión.
- Modelos y algoritmos predefinidos: accede a una serie de modelos preentrenados para tareas de aprendizaje automático habituales, lo que te permitirá obtener valor más rápido.
Servicios disponibles
Vertex AI en el dispositivo con air gap de GDC ofrece los siguientes servicios preentrenados:
- Reconocimiento óptico de caracteres (OCR): extrae texto de imágenes y archivos.
- Speech-to-Text: Convierte el idioma hablado en texto escrito.
- Vertex AI Translation: traduce texto entre varios idiomas.
Planificación de la capacidad y requisitos de computación
Cada servicio de Vertex AI requiere recursos de computación diferentes. En la siguiente tabla se indican los requisitos de cada modelo preentrenado:
| API preentrenada | Recursos de computación | Requisitos de número de GPUs | Requisitos de memoria de la GPU |
|---|---|---|---|
| Reconocimiento óptico de caracteres (OCR) | GPU | Una sola GPU A100 de 80 GB | 40 GB |
| Speech‑to‑Text | CPU | No aplicable (solo CPU) | No aplicable (solo CPU) |
| Vertex AI Translation | GPU | Una sola GPU A100 de 80 GB | 50 GB |
El dispositivo aislado de GDC incluye una sola GPU NVIDIA A100 de 80 GB. De esta forma, el dispositivo solo puede ejecutar una API preentrenada de Vertex AI que dependa de la GPU a la vez. Si intentas habilitar tanto Vertex AI Translation como OCR, la segunda API no se habilitará y se mostrará un mensaje de error que indica que no hay suficientes recursos de GPU. Sin embargo, puedes ejecutar Speech-to-Text junto con Vertex AI Translation u OCR, ya que Speech-to-Text solo requiere recursos de CPU.
Para ayudarte a determinar el número de unidades de dispositivo que necesitas para tus cargas de trabajo de IA/ML, consulta los siguientes límites de capacidad de cada API preentrenada de Vertex AI:
| API preentrenada | Capacidad por unidad de dispositivo |
|---|---|
| Reconocimiento óptico de caracteres (OCR) | Hasta 30 imágenes por minuto (una imagen cada dos segundos). |
| Speech‑to‑Text | Se pueden transcribir hasta siete minutos de audio por minuto (siete segundos de audio por segundo). |
| Vertex AI Translation | Hasta 61.000 caracteres por minuto (1024 caracteres por segundo). |
Cuando planifiques tu implementación, ten en cuenta las siguientes directrices:
Los límites de capacidad son aproximados y no están garantizados. La capacidad real puede variar en función de factores como los siguientes:
- La complejidad de los datos de entrada (por ejemplo, el idioma de la traducción, la calidad de la imagen para el OCR y la claridad del audio para la transcripción de voz).
- Configuración específica del dispositivo.
- Uso simultáneo de otros servicios en el dispositivo.
Solo se puede activar una API que requiera un uso intensivo de la GPU (Vertex AI Translation u OCR) a la vez, ya que el dispositivo aislado de GDC está limitado a una sola GPU A100 de 80 GB.
Estima tu uso máximo y el crecimiento potencial futuro.
Para cargas de trabajo exigentes que requieran un mayor rendimiento, considera la posibilidad de implementar varias unidades de dispositivo.
En la siguiente tabla se indican los requisitos de almacenamiento de cada servicio de Vertex AI en el dispositivo aislado de GDC:
| Componente | Requisitos de almacenamiento |
|---|---|
| Frontend de OCR | 0,1 GB |
| Backend de OCR | 5 GB |
| Extractor de OCR | 0,1 GB |
| Frontend de Speech-to-Text | 0,1 GB |
| Backend de Speech-to-Text | 1,5 GB |
| Frontend de Vertex AI Translation | 0,7 GB |
| Backend de Vertex AI Translation | 61,4 GB |
Asegúrate de que tu dispositivo tenga suficiente capacidad de almacenamiento para los servicios de Vertex AI que quieras usar.
Ventajas
Vertex AI en el dispositivo con espacio de aire de GDC ofrece las siguientes ventajas:
- Experiencia de desarrollo fluida: usa las mismas herramientas, APIs y flujos de trabajo de Vertex AI en Google Cloud, lo que hace que el desarrollo y la gestión sean intuitivos y eficientes.
- Seguridad y privacidad mejoradas: mantén el control total sobre tus datos y cumple los requisitos normativos.
- Tiempo de obtención de valor más rápido: usa modelos preentrenados para tareas habituales de aprendizaje automático.
- MLOps optimizado: disfruta de sólidas funciones de operaciones de aprendizaje automático para integrar la IA sin problemas en tu entorno aislado.
Primeros pasos
Para empezar a usar Vertex AI en el dispositivo aislado de GDC, haz lo siguiente:
- Consulta información sobre los roles y permisos esenciales de los servicios disponibles.
- Configura un proyecto para tus cargas de trabajo de IA y aprendizaje automático.
- Proporciona GPUs y habilita los servicios de Vertex AI.
- Instala las bibliotecas de cliente de Vertex AI.