Esegui una pipeline

Vertex AI Pipelines ti consente di eseguire pipeline di machine learning (ML) create utilizzando l'SDK Kubeflow Pipelines o TensorFlow Extended in modo serverless. Questo documento descrive come eseguire una pipeline di ML.

Puoi anche creare esecuzioni di pipeline utilizzando i modelli predefiniti nella Galleria modelli. Per ulteriori informazioni sulla Galleria modelli, consulta Utilizzare un modello predefinito della Galleria modelli.

Puoi utilizzare Vertex AI Experiments per monitorare, analizzare e confrontare le esecuzioni delle pipeline associandole a un esperimento o a un'esecuzione di esperimento. Confrontando i parametri, gli output e le metriche di rendimento delle esecuzioni delle pipeline, puoi identificare la configurazione della pipeline più adatta al tuo caso d'uso. Per ulteriori informazioni, consulta Introduzione a Vertex AI Experiments.

Prima di iniziare

Prima di eseguire una pipeline con Vertex AI Pipelines, segui queste istruzioni per configurare il Google Cloud progetto e l'ambiente di sviluppo:

  1. Crea una pipeline.

  2. Per eseguire una pipeline utilizzando l'SDK Vertex AI Python, installa l'SDK Vertex.

Crea esecuzione pipeline

Segui queste istruzioni per eseguire una pipeline di ML utilizzando la Google Cloud console o Python.

Console

Segui queste istruzioni per eseguire una pipeline di ML utilizzando la Google Cloud console.

  1. Nella Google Cloud console, nella sezione Vertex AI, vai alla pagina Pipeline.

    Vai alle pipeline

  2. Nell'elenco a discesa Regione, seleziona la regione in cui creare l'esecuzione della pipeline.

  3. Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.

  4. Nella sezione Dettagli esecuzione:

    1. Fai clic su un'origine di esecuzione. Sono disponibili le seguenti opzioni:

      • Seleziona dalle pipeline esistenti: per creare un'esecuzione della pipeline basata su un modello di pipeline esistente, fai clic su Seleziona dalle pipeline esistenti e inserisci i seguenti dettagli:

        1. Seleziona il repository contenente il file di definizione della pipeline o del componente.

        2. Seleziona la pipeline o il componente e la versione.

        3. Specifica un nome di esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Seleziona una pipeline Galleria di modelli: per creare un'esecuzione della pipeline basata su un modello di pipeline creato da Google dalla Galleria modelli, fai clic su Seleziona una pipeline Galleria di modelli e inserisci i seguenti dettagli:

        1. Nell'elenco Pipeline Galleria di modelli, seleziona il modello di pipeline.

        2. (Facoltativo) Modifica il nome di esecuzione predefinito che identifica in modo univoco l'esecuzione della pipeline.

      • Carica file: per caricare una definizione di pipeline compilata, fai clic su Carica file e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per aprire il selettore di file. Vai al file YAML della pipeline compilata che vuoi eseguire, seleziona la pipeline e fai clic su Apri.

        2. Per impostazione predefinita, il nome della pipeline o del componente mostra il nome specificato nella definizione della pipeline. (Facoltativo) Specifica un nome di pipeline diverso.

        3. Specifica un nome di esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Importa da Cloud Storage: per importare un file di definizione della pipeline da Cloud Storage, fai clic su Importa da Cloud Storage e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per andare al bucket Cloud Storage contenente l'oggetto di definizione della pipeline, seleziona il file e fai clic su Seleziona.

          In alternativa, inserisci l'URI Cloud Storage o l'URL HTTP/HTTPS del file di definizione della pipeline.

        2. Specifica il nome della pipeline o del componente.

        3. Specifica un nome di esecuzione per identificare in modo univoco l'esecuzione della pipeline.

    2. (Facoltativo) Per pianificare esecuzioni di pipeline ricorrenti, specifica la pianificazione di esecuzione come segue:

      1. Seleziona Ricorrente.

      2. In Ora di inizio, specifica quando la pianificazione diventa attiva.

        • Per pianificare la prima esecuzione immediatamente dopo la creazione della pianificazione, seleziona Immediatamente.

        • Per pianificare la prima esecuzione in un'ora e una data specifiche, seleziona Attiva.

      3. Nel campo Frequenza , specifica la frequenza con cui pianificare ed eseguire le esecuzioni della pipeline utilizzando un'espressione di pianificazione cron basata su unix-cron.

      4. In Termina, specifica quando termina la pianificazione.

        • Per indicare che la pianificazione crea esecuzioni di pipeline a tempo indeterminato, seleziona Mai.

        • Per indicare che la pianificazione termina in una data e un'ora specifiche, seleziona Attiva e specifica la data e l'ora di fine della pianificazione.

      5. (Facoltativo) Per specificare che l'esecuzione della pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente (CMEK) o una rete VPC con peering, fai clic Opzioni avanzate e segui queste istruzioni:

        • Per specificare un account di servizio, seleziona un account di servizio dall'elenco a discesa Account di servizio.

          Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il service account Compute Engine predefinito.

          Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.

        • Per utilizzare una CMEK, seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave che vuoi utilizzare.

        • Per utilizzare una rete VPC con peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC con peering.

    3. Fai clic su Continua.

  5. Nella sezione Configurazione di runtime , configura l'esecuzione della pipeline come segue:

    1. In Località Cloud Storage, fai clic su Sfoglia per selezionare il bucket Cloud Storage in cui archiviare gli artefatti di output della pipeline, quindi fai clic su Seleziona.

    2. (Facoltativo) Per configurare la policy di errore e la cache per l'esecuzione della pipeline , fai clic su Opzioni avanzate e segui queste istruzioni:

      • In Policy di errore, specifica la policy di errore per l'intera pipeline. Scopri di più sulle policy di errore della pipeline.

        • Per configurare la pipeline in modo che continui a pianificare le attività dopo che un'attività non è riuscita, seleziona Esegui tutti i passaggi fino al completamento. Questa opzione è selezionata per impostazione predefinita.

        • Per configurare la pipeline in modo che non vada a buon fine dopo che un'attività non è riuscita, seleziona Interrompi questa esecuzione non appena un passaggio non va a buon fine.

      • In Configurazione della memorizzazione nella cache, specifica la configurazione della cache per l' intera pipeline.

        • Per utilizzare la configurazione della cache a livello di attività per l'attività nella pipeline, seleziona Non eseguire l'override della configurazione della cache a livello di attività.

        • Per attivare la memorizzazione nella cache per tutte le attività nella pipeline ed eseguire l'override di qualsiasi configurazione della cache a livello di attività, seleziona Attiva la lettura dalla cache per tutti i passaggi (più veloce).

        • Per disattivare la memorizzazione nella cache per tutte le attività nella pipeline ed eseguire l'override di qualsiasi configurazione della cache a livello di attività, seleziona Disattiva la lettura dalla cache per tutti i passaggi (più veloce).

    3. (Facoltativo) Se la pipeline ha parametri, in Parametri pipeline, specifica i parametri di esecuzione della pipeline.

  6. Per creare l'esecuzione della pipeline, fai clic su Invia.

Python

Segui queste istruzioni per eseguire una pipeline di ML utilizzando l'SDK Vertex AI Python. Prima di eseguire l'esempio di codice seguente, devi configurare l'autenticazione.

Configura l'autenticazione

Per configurare l'autenticazione, devi creare una chiave dell'account di servizio e impostare una variabile di ambiente per il percorso della chiave dell'account di servizio.

  1. Crea un account di servizio:

    1. Nella Google Cloud console vai a Crea service account.

      Vai a Crea account di servizio

    2. Nel campo Nome service account, inserisci un nome.
    3. (Facoltativo) Nel campo Descrizione service account, inserisci una descrizione.
    4. Fai clic su Crea.
    5. Fai clic sul campo Seleziona un ruolo. In Tutti i ruoli, seleziona Vertex AI > Utente Vertex AI.

    6. Fai clic su Fine per creare il account di servizio.

      Non chiudere la finestra del browser. Lo utilizzerai nel prossimo passaggio.

  2. Crea una chiave dell'account di servizio per l'autenticazione:

    1. Nella Google Cloud console, fai clic sull'indirizzo email del account di servizio che hai creato.
    2. Fai clic su Chiavi.
    3. Fai clic su Aggiungi chiave, poi su Crea nuova chiave.
    4. Fai clic su Crea. Un file della chiave JSON viene scaricato sul computer.
    5. Fai clic su Chiudi.
  3. Concedi al nuovo account di servizio l'accesso al account di servizio che utilizzi per eseguire le pipeline.
    1. Fai clic su per tornare all' elenco dei service account.

    2. Fai clic sul nome del account di servizio che utilizzi per eseguire le pipeline. Viene visualizzata la pagina Dettagli service account.

      Se hai seguito le istruzioni nella guida alla configurazione del progetto per Vertex AI Pipelines, questo è lo stesso account di servizio che hai creato nella sezione Configurare un account di servizio con autorizzazioni granulari. In caso contrario, Vertex AI utilizza il account di servizio Compute Engine predefinito per eseguire le pipeline. Il account di servizio Compute Engine predefinito ha un nome simile al seguente: PROJECT_NUMBER-compute@developer.gserviceaccount.com

    3. Fai clic sulla scheda Autorizzazioni.
    4. Fai clic su Concedi l'accesso. Viene visualizzato il riquadro Aggiungi entità.
    5. Nella casella Nuove entità, inserisci l'indirizzo email del service account che hai creato in un passaggio precedente.
    6. Nell'elenco a discesa Ruolo, seleziona Service accounts > Utente service account.
    7. Fai clic su Salva.

  4. Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON contenente la chiave del account di servizio. Questa variabile si applica solo alla sessione di shell corrente, quindi se apri una nuova sessione, imposta di nuovo la variabile.

    Esempio: Linux o macOS

    Sostituisci [PATH] con il percorso del file JSON contenente la chiave del account di servizio. 

    export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    Ad esempio:

    export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

    Esempio: Windows

    Sostituisci [PATH] con il percorso del file JSON contenente la chiave del account di servizio e [FILE_NAME] con il nome del file.

    Con PowerShell:

    $env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    Ad esempio:

    $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

    Con il prompt dei comandi:

    set GOOGLE_APPLICATION_CREDENTIALS=[PATH]

Esegui una pipeline

Per eseguire un PipelineJob di Vertex AI, devi creare una PipelineJob risorsa e poi richiamare il submit metodo.

Tipi di input speciali supportati da KFP

Durante la creazione di un'esecuzione della pipeline, puoi anche passare i seguenti segnaposto supportati dall'SDK KFP come input:

  • {{$.pipeline_job_name_placeholder}}

  • {{$.pipeline_job_resource_name_placeholder}}

  • {{$.pipeline_job_id_placeholder}}

  • {{$.pipeline_task_name_placeholder}}

  • {{$.pipeline_task_id_placeholder}}

  • {{$.pipeline_job_create_time_utc_placeholder}}

  • {{$.pipeline_root_placeholder}}

Per ulteriori informazioni, consulta Tipi di input speciali nella documentazione di Kubeflow Pipelines v2.

from google.cloud import aiplatform
job = aiplatform.PipelineJob(display_name = DISPLAY_NAME,
                             template_path = COMPILED_PIPELINE_PATH,
                             job_id = JOB_ID,
                             pipeline_root = PIPELINE_ROOT_PATH,
                             parameter_values = PIPELINE_PARAMETERS,
                             enable_caching = ENABLE_CACHING,
                             encryption_spec_key_name = CMEK,
                             labels = LABELS,
                             credentials = CREDENTIALS,
                             project = PROJECT_ID,
                             location = LOCATION,
                             failure_policy = FAILURE_POLICY)
job.submit(service_account=SERVICE_ACCOUNT,
           network=NETWORK,
           reserved_ip_ranges=RESERVED_IP_RANGES)

Sostituisci quanto segue:

  • DISPLAY_NAME: il nome della pipeline, che verrà visualizzato nella Google Cloud console.

  • COMPILED_PIPELINE_PATH: il percorso del file YAML della pipeline compilata. Può essere un URI Cloud Storage, un URL HTTP/HTTPS o un percorso locale.

    (Facoltativo) Per specificare una versione particolare di una pipeline compilata, includi il tag della versione in uno dei seguenti formati:

    • COMPILED_PIPELINE_PATH:TAG, dove TAG è il tag della versione.

    • COMPILED_PIPELINE_PATH@SHA256_TAG, dove SHA256_TAG è il valore hash sha256 della versione della pipeline.

  • JOB_ID: (facoltativo) un identificatore univoco per questa esecuzione della pipeline. Se l'ID job non viene specificato, Vertex AI Pipelines crea un ID job utilizzando il nome della pipeline e il timestamp di quando è stata avviata l'esecuzione della pipeline.

  • PIPELINE_ROOT_PATH: (facoltativo) per eseguire l'override del percorso della radice della pipeline specificato nella definizione della pipeline, specifica un percorso a cui il job della pipeline può accedere, ad esempio un URI del bucket Cloud Storage.

  • PIPELINE_PARAMETERS: (facoltativo) i parametri della pipeline da passare a questa esecuzione. Ad esempio, crea un dict() con i nomi dei parametri come chiavi del dizionario e i valori dei parametri come valori del dizionario.

  • ENABLE_CACHING: (facoltativo) specifica se questa esecuzione della pipeline utilizza la memorizzazione nella cache dell'esecuzione. La memorizzazione nella cache dell'esecuzione riduce i costi ignorando le attività della pipeline in cui l'output è noto per l'insieme corrente di input. Se l'argomento di attivazione della memorizzazione nella cache non viene specificato, in questa esecuzione della pipeline viene utilizzata la memorizzazione nella cache dell'esecuzione. Scopri di più sulla memorizzazione nella cache dell'esecuzione.

  • CMEK: (facoltativo) il nome della chiave di crittografia gestita dal cliente che vuoi utilizzare per questa esecuzione della pipeline.

  • LABELS: (facoltativo) le etichette definite dall'utente per organizzare questo PipelineJob. Per ulteriori informazioni sulle etichette delle risorse, consulta Creare e gestire le etichette nella documentazione di Resource Manager.

    Vertex AI Pipelines collega automaticamente la seguente etichetta all'esecuzione della pipeline:

    vertex-ai-pipelines-run-billing-id: pipeline_run_id

    dove pipeline_run_id è l'ID univoco dell'esecuzione della pipeline.

    Questa etichetta collega l'utilizzo delle Google Cloud risorse generate dall' esecuzione della pipeline nei report di fatturazione.

  • CREDENTIALS: (facoltativo) credenziali personalizzate da utilizzare per creare questo PipelineJob. Esegue l'override delle credenziali impostate in aiplatform.init.

  • PROJECT_ID: (facoltativo) il Google Cloud progetto in cui vuoi eseguire la pipeline. Se non imposti questo parametro, viene utilizzato il progetto impostato in aiplatform.init.

  • LOCATION: (facoltativo) la regione in cui vuoi eseguire la pipeline. Per ulteriori informazioni sulle regioni in cui è disponibile Vertex AI Pipelines, consulta la guida Località di Vertex AI. Se non imposti questo parametro, viene utilizzata la località predefinita impostata in aiplatform.init.

  • FAILURE_POLICY: (facoltativo) specifica la policy di errore per l'intera pipeline. Sono disponibili le seguenti configurazioni:

    • Per configurare la pipeline in modo che non vada a buon fine dopo che un'attività non è riuscita, inserisci fast.

    • Per configurare la pipeline in modo che continui a pianificare le attività dopo che un'attività non è riuscita, inserisci slow.

    Se non imposti questo parametro, la configurazione della policy di errore viene impostata su slow per impostazione predefinita. Scopri di più sulle policy di errore della pipeline.

  • SERVICE_ACCOUNT: (facoltativo) il nome del service account da utilizzare per questa esecuzione della pipeline. Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il service account Compute Engine predefinito.

  • NETWORK: (facoltativo) :il nome della rete VPC con peering da utilizzare per questa esecuzione della pipeline.

  • RESERVED_IP_RANGES: (facoltativo) Un elenco di nomi per gli intervalli IP riservati nella rete VPC utilizzata per il carico di lavoro dell' esecuzione della pipeline, ad esempio: ['vertex-ai-ip-range'].

Passaggi successivi