Puoi fornire previsioni online in Google Distributed Cloud (GDC) con air gap collaborando con un operatore di infrastruttura (IO) per creare un cluster di previsione. L'IO associa il progetto di previsione e alloca i pool di nodi richiesti. Quindi, esegui il deployment delle risorse personalizzate di previsione in questo cluster, dove l'IO crea i workload di previsione.
In ogni organizzazione può esistere un solo cluster di previsione. Tuttavia, l'IO può collegare e associare più progetti al cluster per separare e organizzare gli endpoint.
Prima di iniziare
Per configurare un progetto ed eseguire il deployment delle risorse di previsione nel cluster di previsione, devi disporre delle autorizzazioni necessarie.
Richiedi ruoli IAM dell'organizzazione
Contatta l'amministratore dell'organizzazione IAM per richiedere il seguente ruolo:
- Project Creator (
project-creator): crea un nuovo progetto nella tua organizzazione.
Richiedi i ruoli IAM del progetto
Contatta l'amministratore del progetto IAM per richiedere il seguente ruolo nello spazio dei nomi del progetto:
- Vertex AI Prediction Admin (
vertex-ai-prediction-admin): gestisce le risorse utilizzate per eseguire il deployment dei modelli con Online Prediction.
Per saperne di più su questi ruoli, consulta Prepara le autorizzazioni IAM.
Richiedi un cluster di previsione
Per creare un cluster di previsione, segui questi passaggi:
Identifica il progetto della tua organizzazione che vuoi associare al nuovo cluster per le previsioni online.
Per creare un progetto, consulta Configura un progetto per Vertex AI. L'ID progetto è necessario per effettuare chiamate API.
Dall'elenco dei tipi di macchine disponibili in Distributed Cloud, scegli il tipo di macchina per i nodi di cui i tuoi workload hanno bisogno nel cluster.
Il tipo di macchina che scegli dipende dalle dimensioni e dalla complessità del modello predittivo e determina le risorse di computing e di unità di elaborazione grafica (GPU) che l'IO fornisce al cluster. Segui i suggerimenti per la selezione dei nodi quando selezioni il tipo di macchina per i nodi.
Invia un'email all'IO utilizzando il modello di richiesta per il cluster di previsione per aprire una richiesta e indirizzarla alla creazione del cluster.
Se necessario, comunica con l'IO finché non avrà completato la creazione del cluster di previsione associato al tuo progetto e l'assegnazione dei node pool appropriati all'interno del cluster.
Al termine del provisioning del cluster, il cluster di previsione è pronto per le previsioni online.
Suggerimenti per la selezione dei nodi
Quando l'IO crea pool di nodi in un cluster, assegna uno dei tipi di macchine disponibili in Distributed Cloud per fornire un insieme predefinito di risorse per i nodi worker. A seconda delle dimensioni e della complessità del modello, sono necessarie prestazioni di computing diverse e, di conseguenza, una quantità specifica di CPU, memoria e GPU. Devi fornire questi dettagli nella comunicazione con l'IO quando vuoi creare un cluster di previsione.
Quando determini con l'I/O il tipo di macchina per i pool di nodi necessari nel cluster di previsione, devi rispettare le seguenti pratiche:
- Distributed Cloud aggiunge overhead di computing ai nodi per i componenti di sistema obbligatori. Pertanto, devi scegliere un tipo di macchina più grande per i tuoi node pool rispetto a quello che intendi utilizzare nel pool di risorse per i tuoi modelli.
- Scegli la soluzione che fornisce la memoria e le risorse di computing minime necessarie per le tue esigenze. Ad esempio, se il tuo modello richiede otto vCPU, scegli il tipo di macchina
n2-highcpu-8-gdc, la soluzione più piccola con otto vCPU e 8 GB di memoria in Distributed Cloud. - Man mano che avanzi, prendi in considerazione soluzioni con prestazioni più elevate solo se quelle più piccole non sono adeguate alle tue esigenze e alle dimensioni e alla complessità del modello. È fondamentale rispettare il principio del privilegio minimo, utilizzando solo le risorse necessarie per eseguire il tuo workflow specifico. Questo approccio responsabile garantisce un utilizzo ponderato delle risorse nell'ambiente Distributed Cloud.
- Scegli soluzioni con GPU solo se sono necessarie per il tuo modello.
- Se il tuo modello richiede GPU, prendi in considerazione il tipo di macchina
a2-highgpu-1g-gdc, la soluzione più piccola che fornisce GPU.
Modello di richiesta per cluster di previsione
Utilizza il seguente modello per inviare un'email al tuo IO. L'email apre una richiesta per creare il cluster di previsione necessario per le previsioni online.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]