L'appliance isolée Vertex AI sur Google Distributed Cloud (GDC) apporte la puissance d'une plate-forme de machine learning (ML) et d'intelligence artificielle (IA) à votre appareil portable sécurisé. L'appliance GDC isolée physiquement fournit un accès à un ensemble sélectionné d'API Vertex AI pré-entraînées, ce qui permet d'intégrer des fonctionnalités d'IA à votre solution de cloud privé.
Principales fonctionnalités
Vertex AI sur l'appliance GDC isolée vous offre les fonctionnalités suivantes :
- Déploiement en réseau isolé : exécutez les services Vertex AI entièrement sur votre appareil portable, ce qui garantit la souveraineté et la conformité des données.
- Expérience Vertex AI familière : profitez des mêmes outils et API que Google Cloud, ce qui simplifie le développement et la gestion.
- Modèles et algorithmes prédéfinis : accédez à un large éventail de modèles pré-entraînés pour les tâches de machine learning courantes, ce qui vous permet d'accélérer votre délai de rentabilité.
Services disponibles
Vertex AI sur l'appliance GDC isolée propose les services préentraînés suivants :
- Reconnaissance optique des caractères (OCR) : extrayez du texte à partir d'images et de fichiers.
- Reconnaissance vocale : convertissez la langue parlée en texte écrit.
- Vertex AI Translation : permet de traduire du texte dans plusieurs langues.
Planification des capacités et exigences de calcul
Chaque service Vertex AI nécessite des ressources de calcul différentes. Le tableau suivant présente les exigences pour chaque modèle pré-entraîné :
| API pré-entraînée | Ressources de calcul | Exigences concernant le nombre de GPU | Exigences de mémoire du GPU |
|---|---|---|---|
| Reconnaissance optique des caractères (OCR) | GPU | Un seul GPU A100 80 Go | 40 Go |
| Speech-to-Text | Processeur | Non applicable (CPU uniquement) | Non applicable (CPU uniquement) |
| Vertex AI Translation | GPU | Un seul GPU A100 80 Go | 50 Go |
L'appliance GDC isolée inclut un seul GPU NVIDIA A100 80 Go. Cela limite l'appareil à l'exécution d'une seule API Vertex AI pré-entraînée dépendant du GPU à la fois. Si vous essayez d'activer à la fois Vertex AI Translation et l'OCR, la deuxième API ne pourra pas être activée et un message d'erreur indiquant des ressources GPU insuffisantes s'affichera. Toutefois, vous pouvez exécuter Speech-to-Text en parallèle avec Vertex AI Translation ou OCR, car Speech-to-Text ne nécessite que des ressources de processeur.
Pour vous aider à déterminer le nombre d'unités d'appliance nécessaires pour vos charges de travail d'IA/ML, consultez les limites de capacité suivantes pour chaque API pré-entraînée Vertex AI :
| API pré-entraînée | Capacité par appliance |
|---|---|
| Reconnaissance optique des caractères (OCR) | Jusqu'à 30 images par minute (une image toutes les deux secondes). |
| Speech-to-Text | Jusqu'à sept minutes de contenu audio transcrit par minute (sept secondes de contenu audio transcrit par seconde). |
| Vertex AI Translation | Jusqu'à 61 000 caractères par minute (1 024 caractères par seconde). |
Lorsque vous planifiez votre déploiement, tenez compte des conseils suivants :
Les limites de capacité sont approximatives et ne sont pas garanties. La capacité réelle peut varier en fonction de facteurs tels que les suivants :
- Complexité des données d'entrée (par exemple, langue pour la traduction, qualité de l'image pour l'OCR et clarté de l'audio pour Speech-to-Text).
- Configuration spécifique de l'appliance.
- Utilisation simultanée d'autres services sur l'appliance.
Une seule API gourmande en GPU (Vertex AI Translation ou OCR) peut être active à la fois, car l'appliance GDC air-gapped est limitée à un seul GPU A100 de 80 Go.
Estimez votre utilisation maximale et votre potentiel de croissance future.
Pour les charges de travail exigeantes nécessitant un débit plus élevé, envisagez de déployer plusieurs unités Appliance.
Le tableau suivant décrit les exigences de stockage pour chaque service Vertex AI sur l'appliance GDC isolée :
| Composant | Exigences de stockage |
|---|---|
| Interface OCR | 0,1 Go |
| Backend OCR | 5 GB |
| Extracteur OCR | 0,1 Go |
| Interface utilisateur Speech-to-Text | 0,1 Go |
| Backend Speech-to-Text | 1,5 Go |
| Interface utilisateur Vertex AI Translation | 0,7 Go |
| Backend Vertex AI Translation | 61,4 Go |
Assurez-vous que votre appliance dispose d'une capacité de stockage suffisante pour les services Vertex AI que vous prévoyez d'utiliser.
Avantages
Vertex AI sur l'appliance GDC isolée offre les avantages suivants :
- Expérience de développement fluide : utilisez les mêmes outils, API et workflows que Vertex AI sur Google Cloud, ce qui rend le développement et la gestion intuitifs et efficaces.
- Sécurité et confidentialité renforcées : gardez le contrôle total de vos données et respectez les exigences réglementaires.
- Délai de rentabilité accéléré : utilisez des modèles pré-entraînés pour les tâches de machine learning courantes.
- MLOps simplifié : profitez de fonctionnalités robustes d'opérations de machine learning pour une intégration fluide de l'IA dans votre environnement isolé.
Premiers pas
Pour commencer à utiliser Vertex AI sur l'appliance GDC air-gapped, procédez comme suit :
- En savoir plus sur les rôles et autorisations essentiels pour les services disponibles
- Configurez un projet pour vos charges de travail d'IA et de machine learning.
- Provisionnez des GPU et activez les services Vertex AI.
- Installez les bibliothèques clientes Vertex AI.