Esportazione degli artefatti del modello per la previsione

Anteprima: Online Prediction è una funzionalità in anteprima disponibile così com'è e non è consigliata per gli ambienti di produzione. Google non fornisce accordi sul livello del servizio (SLA) o impegni di assistenza tecnica per le funzionalità in anteprima. Per saperne di più, consulta le fasi delle funzionalità di GDC.

Google Distributed Cloud (GDC) con air gap offre container predefiniti per fornire previsioni online da modelli addestrati utilizzando i seguenti framework di machine learning (ML):

• TensorFlow
• PyTorch

Per utilizzare uno di questi container predefiniti, devi salvare il modello come uno o più artefatti del modello conformi ai requisiti del container predefinito. Questi requisiti si applicano indipendentemente dal fatto che gli artefatti del modello siano creati o meno su Distributed Cloud.

Prima di iniziare

Prima di esportare gli artefatti del modello, segui questi passaggi:

1. Crea e addestra un modello predittivo che ha come target uno dei container supportati.
2. Se non hai un progetto, configurane uno per Vertex AI.

3. Collabora con l'operatore dell'infrastruttura (IO) per creare il cluster di previsione.

   L'IO crea il cluster per te, lo associa al tuo progetto e assegna i node pool appropriati all'interno del cluster, tenendo conto delle risorse necessarie per le previsioni online.

4. Crea un bucket di archiviazione per il tuo progetto.

5. Crea il account di servizio Vertex AI Default Serving (vai-default-serving-sa) all'interno del tuo progetto. Per informazioni sui service account, consulta Configura i service account.

6. Concedi il ruolo Project Bucket Object Viewer (project-bucket-object-viewer) al account di servizio Vertex AI Default Serving (vai-default-serving-sa) per il bucket di archiviazione che hai creato. Per informazioni sulla concessione dell'accesso ai bucket ai service account, consulta Concedi l'accesso ai bucket.

7. Per ottenere le autorizzazioni necessarie per accedere a Online Prediction, chiedi all'amministratore del progetto IAM di concederti il ruolo Vertex AI Prediction User (vertex-ai-prediction-user). Per informazioni su questo ruolo, consulta Prepara le autorizzazioni IAM.

8. Per ottenere le autorizzazioni necessarie per eseguire il deployment dei modelli di previsione online, chiedi all'amministratore del progetto IAM di concederti il ruolo Vertex AI Prediction Admin (vertex-ai-prediction-Admin). Per informazioni su questo ruolo, consulta Prepara le autorizzazioni IAM.

Requisiti specifici del framework per l'esportazione in container predefiniti

A seconda del framework ML che prevedi di utilizzare per la previsione, devi esportare gli artefatti del modello in formati diversi. Le sezioni seguenti descrivono i formati dei modelli accettabili per ogni framework di ML.

Importante: per accedere agli URL elencati in questa pagina, devi connetterti a internet. Gli URL vengono forniti per l'accesso all'esterno dell'ambiente con air gap.

TensorFlow

Se utilizzi TensorFlow per addestrare un modello, esporta il modello come directory SavedModel di TensorFlow.

Esistono diversi modi per esportare SavedModels dal codice di addestramento di TensorFlow. Il seguente elenco descrive alcuni modi che funzionano per varie API TensorFlow:

• Se utilizzi Keras per l'addestramento, utilizza tf.keras.Model.save per esportare un SavedModel.

• Se utilizzi uno strumento di stima per l'addestramento, utilizza tf.estimator.Estimator.export_saved_model per esportare un SavedModel.

• In caso contrario, utilizza tf.saved_model.save o utilizza tf.compat.v1.saved_model.SavedModelBuilder.

Se non utilizzi Keras o un Estimator, assicurati di utilizzare il tag serve e la firma serving_default quando esporti il tuo SavedModel per assicurarti che Vertex AI possa utilizzare gli artefatti del tuo modello per pubblicare previsioni. Keras ed Estimator gestiscono questa attività automaticamente. Scopri di più su come specificare le firme durante l'esportazione.

Per generare previsioni utilizzando questi artefatti, crea un Model con il container predefinito per la previsione corrispondente alla versione di TensorFlow che hai utilizzato per l'addestramento.

PyTorch

Se utilizzi PyTorch per addestrare un modello, devi pacchettizzare gli artefatti del modello, incluso un gestore predefinito o personalizzato, creando un file di archivio con Torch Model Archiver. Le immagini PyTorch predefinite prevedono che l'archivio sia denominato model.mar, quindi assicurati di impostare il nome del modello su model.

Per informazioni sull'ottimizzazione della memoria utilizzata, della latenza o del throughput di un modello PyTorch fornito con TorchServe, consulta la guida alle prestazioni di PyTorch.

Carica il tuo modello

Devi caricare il modello nel bucket di archiviazione che hai creato. Per saperne di più sul caricamento di oggetti nei bucket di archiviazione, consulta Carica e scarica oggetti di archiviazione nei progetti.

Il percorso del bucket di archiviazione del modello deve avere la seguente struttura:

s3://BUCKET_NAME/MODEL_ID/MODEL_VERSION_ID

Per i dettagli sull'esportazione, consulta i requisiti specifici del framework per l'esportazione in container predefiniti.