Vertex AI sur l'appareil avec isolation physique Google Distributed Cloud (GDC) vous permet d'exécuter des charges de travail de machine learning (ML) et d'intelligence artificielle (IA) sur un appareil portable sécurisé. L'appareil permet d'accéder à un ensemble d'API pré-entraînées, ce qui vous permet d'intégrer la reconnaissance vocale, la traduction et la reconnaissance de texte à votre solution de cloud privé.
Principales fonctionnalités
Vertex AI sur l'appareil GDC sous air gap offre les fonctionnalités suivantes :
- Déploiement sous air gap : exécutez les services Vertex AI entièrement sur votre appareil portable, ce qui garantit la souveraineté et la conformité des données.
- Expérience Vertex AI familière : profitez des mêmes outils et API que Google Cloud, ce qui simplifie le développement et la gestion.
- Modèles et algorithmes prédéfinis : accédez à une gamme de modèles pré-entraînés pour les tâches de machine learning courantes, ce qui vous permet d'accélérer la rentabilisation.
Services disponibles
Vertex AI sur l'appareil GDC sous air gap propose les services pré-entraînés suivants :
- Reconnaissance optique des caractères (OCR) : extrayez du texte à partir d'images et de fichiers.
- Speech-to-Text : convertit la parole en texte écrit.
- Vertex AI Translation : traduisez du texte dans plusieurs langues.
Planification de la capacité et exigences de calcul
Chaque service Vertex AI nécessite des ressources de calcul différentes. Le tableau suivant indique les exigences pour chaque modèle pré-entraîné :
| API pré-entraînée | Ressources informatiques | Exigences concernant le nombre de GPU | Exigences de mémoire GPU |
|---|---|---|---|
| Reconnaissance optique des caractères (OCR) | GPU | Un seul GPU A100 80 Go | 40 Go |
| Speech-to-Text | Processeur | Non applicable (CPU uniquement) | Non applicable (CPU uniquement) |
| Vertex AI Translation | GPU | Un seul GPU A100 80 Go | 50 Go |
L'appareil GDC sous air gap inclut un seul GPU NVIDIA A100 80 Go. Cela limite l'appareil à l'exécution d'une seule API pré-entraînée Vertex AI dépendante du GPU à la fois. Si vous tentez d'activer à la fois Vertex AI Translation et l'OCR, l'activation de la deuxième API échouera et un message d'erreur s'affichera, indiquant que les ressources GPU sont insuffisantes. Toutefois, vous pouvez exécuter Speech-to-Text en même temps que Vertex AI Translation ou OCR, car Speech-to-Text ne nécessite que des ressources de processeur.
Pour vous aider à déterminer le nombre d'unités d'appareil nécessaires pour vos charges de travail d'IA/de ML, consultez les limites de capacité suivantes pour chaque API pré-entraînée Vertex AI :
| API pré-entraînée | Capacité par unité d'appareil |
|---|---|
| Reconnaissance optique des caractères (OCR) | Jusqu'à 30 images par minute (une image toutes les deux secondes). |
| Speech-to-Text | Jusqu'à sept minutes de contenu audio transcrites par minute (sept secondes de contenu audio transcrites par seconde). |
| Vertex AI Translation | Jusqu'à 61 000 caractères par minute (1 024 caractères par seconde). |
Lorsque vous planifiez votre déploiement, tenez compte des conseils suivants :
Les limites de capacité sont approximatives et ne sont pas garanties. La capacité réelle peut varier en fonction de facteurs tels que :
- Complexité des données d'entrée (par exemple, langue pour la traduction, qualité de l'image pour l'OCR et clarté audio pour Speech-to-Text).
- Configuration spécifique de l'appareil.
- Utilisation simultanée d'autres services sur l'appareil.
Une seule API utilisant intensivement le GPU (Vertex AI Translation ou OCR) peut être active à la fois, car l'appareil GDC sous air gap est limité à un seul GPU A100 de 80 Go.
Estimez votre utilisation maximale et votre croissance future potentielle.
Pour les charges de travail exigeantes nécessitant un débit plus élevé, envisagez de déployer plusieurs unités d'appliance.
Le tableau suivant présente les exigences de stockage pour chaque service Vertex AI sur l'appareil GDC sous air gap :
| Composant | Exigences de stockage |
|---|---|
| Interface OCR | 0,1 Go |
| Backend OCR | 5 Go |
| Extracteur OCR | 0,1 Go |
| Interface Speech-to-Text | 0,1 Go |
| Backend Speech-to-Text | 1,5 Go |
| Interface Vertex AI Translation | 0,7 Go |
| Backend Vertex AI Translation | 61,4 Go |
Assurez-vous que votre appareil dispose d'une capacité de stockage suffisante pour accueillir les services Vertex AI que vous prévoyez d'utiliser.
Avantages
Vertex AI sur l'appareil GDC sous air gap offre les avantages suivants :
- Expérience de développement fluide : utilisez les mêmes outils, API et workflows de Vertex AI sur Google Cloud, ce qui rend le développement et la gestion intuitifs et efficaces.
- Sécurité et confidentialité renforcées : gardez le contrôle total de vos données et respectez les exigences réglementaires.
- Rentabilisation accélérée : utilisez des modèles pré-entraînés pour les tâches de machine learning courantes.
- MLOps simplifiés : profitez de fonctionnalités de machine learning robustes pour intégrer l'IA de manière fluide dans votre environnement sous air gap.
Premiers pas
Pour commencer à utiliser Vertex AI sur l'appareil GDC sous air gap, procédez comme suit :
- En savoir plus sur les rôles et autorisations essentiels pour les services disponibles
- Configurez un projet pour vos charges de travail d'IA et de machine learning.
- Provisionnez des GPU et activez les services Vertex AI.
- Installez les bibliothèques clientes Vertex AI.