Vous devez déployer vos ressources personnalisées de prédiction dans le cluster de prédiction créé par l'opérateur d'infrastructure (IO). L'opérateur crée des charges de travail de prédiction dans ce même cluster.
Pour créer le cluster de prédiction, collaborez avec l'IO pour associer votre projet de prédiction et allouer les pools de nœuds nécessaires aux prédictions en ligne dans Google Distributed Cloud (GDC) avec air gap.
Avant de commencer
Pour configurer un projet et déployer des ressources de prédiction dans le cluster de prédiction, vous devez disposer des autorisations nécessaires.
Demander des rôles IAM au niveau de l'organisation
Contactez l'administrateur IAM de votre organisation pour demander le rôle suivant :
- Créateur de projet (
project-creator) : permet de créer un projet dans votre organisation.
Demander des rôles IAM au niveau du projet
Contactez l'administrateur de projet IAM pour demander le rôle suivant dans l'espace de noms de votre projet :
- Administrateur Vertex AI Prediction (
vertex-ai-prediction-admin) : gère les ressources utilisées pour déployer des modèles avec la prédiction en ligne.
Pour en savoir plus sur ces rôles, consultez Préparer les autorisations IAM.
Demander un cluster de prédiction
Pour créer un cluster de prédiction, procédez comme suit :
Identifiez le projet de votre organisation que vous souhaitez associer au nouveau cluster pour les prédictions en ligne.
Pour créer un projet, consultez Configurer un projet pour Vertex AI. Vous aurez besoin de l'ID de votre projet pour effectuer des appels d'API.
Dans la liste des types de machines disponibles dans Distributed Cloud, choisissez le type de machine pour les nœuds dont vos charges de travail ont besoin dans le cluster.
Le type de machine que vous choisissez dépend de la taille et de la complexité de votre modèle prédictif. Il détermine les ressources de puissance de calcul et de processeur graphique (GPU) que votre IO fournit au cluster. Suivez les recommandations de sélection de nœuds lorsque vous sélectionnez le type de machine pour vos nœuds.
Envoyez un e-mail à l'IO à l'aide du modèle de demande de cluster de prédiction pour ouvrir une demande et lui demander de créer le cluster.
Si nécessaire, communiquez avec l'IO jusqu'à ce qu'il ait terminé de créer le cluster de prédiction associé à votre projet et d'attribuer les pools de nœuds appropriés dans le cluster.
Une fois le provisionnement du cluster terminé, le cluster de prédiction est prêt pour les prédictions en ligne.
Recommandations pour la sélection des nœuds
Lorsque l'opérateur d'infrastructure crée des pools de nœuds dans un cluster, il attribue l'un des types de machines disponibles dans Distributed Cloud pour fournir un ensemble prédéfini de ressources pour les nœuds de calcul. En fonction de la taille et de la complexité du modèle, vous avez besoin de performances de calcul différentes et, par conséquent, d'une quantité spécifique de processeur, de mémoire et de GPU. Vous devez fournir ces informations dans votre communication avec l'IO lorsque vous souhaitez créer un cluster de prédiction.
Lorsque vous déterminez avec l'IO le type de machine pour les pools de nœuds dont vous avez besoin dans le cluster de prédiction, vous devez respecter les pratiques suivantes :
- Distributed Cloud ajoute une surcharge de calcul aux nœuds pour les composants système obligatoires. Par conséquent, vous devez choisir un type de machine de plus grande capacité pour vos pools de nœuds que celui que vous prévoyez d'utiliser dans le pool de ressources pour vos modèles.
- Choisissez la solution qui fournit les ressources de mémoire et de calcul minimales nécessaires à vos besoins. Par exemple, si votre modèle nécessite huit vCPU, choisissez le type de machine
n2-highcpu-8-gdc, la plus petite solution avec huit vCPU et 8 Go de mémoire dans Distributed Cloud. - Au fur et à mesure de votre progression, n'envisagez des solutions plus performantes que si les solutions plus petites ne sont pas adaptées à vos besoins, ainsi qu'à la taille et à la complexité du modèle. Il est essentiel de respecter le principe du moindre privilège, en n'utilisant que les ressources dont vous avez besoin pour exécuter votre workflow spécifique. Cette approche responsable garantit une utilisation réfléchie des ressources dans l'environnement Distributed Cloud.
- Ne choisissez des solutions avec des GPU que si votre modèle en a besoin.
- Si votre modèle nécessite des GPU, envisagez le type de machine
a2-highgpu-1g-gdc, la plus petite solution fournissant des GPU.
Modèle de cas de cluster de prédiction
Utilisez le modèle suivant pour envoyer un e-mail à votre IO. L'e-mail ouvre une demande de création du cluster de prédiction dont vous avez besoin pour les prédictions en ligne.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]