Aggiungere l'esecuzione della pipeline all'esperimento

Puoi utilizzare la Google Cloud console o l'SDK Agent Platform per Python per aggiungere un'esecuzione della pipeline a un esperimento o a un' esecuzione dell'esperimento.

Google Cloud Console

Segui queste istruzioni per eseguire una pipeline di ML e associarla a un esperimento e, facoltativamente, a un'esecuzione dell'esperimento utilizzando la Google Cloud console. Le esecuzioni dell'esperimento possono essere create solo tramite l'SDK Agent Platform per Python (vedi Creare e gestire le esecuzioni dell'esperimento).

1. Nella Google Cloud console, nella sezione Vertex AI, vai alla pagina Pipeline.
   Vai alle pipeline
2. Nell'elenco a discesa Regione, seleziona la regione in cui vuoi creare un'esecuzione della pipeline.
3. Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione della pipeline.
4. Specifica i seguenti dettagli di esecuzione.
   • Nel campo File, fai clic su Scegli per aprire il selettore di file. Vai al file JSON della pipeline compilata che vuoi eseguire, seleziona la pipeline e fai clic su Apri.
   • Il nome della pipeline è impostato per impostazione predefinita sul nome specificato nella definizione della pipeline. (Facoltativo) Specifica un nome della pipeline diverso.
   • Specifica un nome di esecuzione per identificare in modo univoco questa esecuzione della pipeline.
5. (Facoltativo) Per specificare che questa esecuzione della pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente o una rete VPC in peering, fai clic su Opzioni avanzate.
   Segui queste istruzioni per configurare le opzioni avanzate, ad esempio un account di servizio personalizzato.
   • Per specificare un service account, seleziona un account di servizio dall'elenco a discesa Service account.
     Se non specifichi un account di servizio, Agent Platform Pipelines esegue la pipeline utilizzando il account di servizio Compute Engine predefinito.
     Scopri di più sulla configurazione di un account di servizio da utilizzare con Agent Platform Pipelines.
   • Per utilizzare una chiave di crittografia gestita dal cliente (CMEK), seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente chiave. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave che vuoi utilizzare.
   • Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.
6. Fai clic su Continua.
   Viene visualizzato il riquadro Cloud Storage e Parametri della pipeline.
• (Obbligatorio) Inserisci la directory di output di Cloud Storage, ad esempio: gs://location_of_directory.
• (Facoltativo) Specifica i parametri da utilizzare per questa esecuzione della pipeline.
7. Fai clic su Invia per creare l'esecuzione della pipeline.
8. Una volta inviata, la pipeline viene visualizzata nella tabella della console della pipeline. Google Cloud
9. Nella riga associata alla pipeline, fai clic su  Visualizza altro > Aggiungi a esperimento
• Seleziona un esperimento esistente o creane uno nuovo.
• (Facoltativo) Se le esecuzioni dell'esperimento sono associate all'esperimento, vengono visualizzate nel menu a discesa. Seleziona un'esecuzione dell'esperimento esistente.
10. Fai clic su Salva.

Confrontare un'esecuzione della pipeline con le esecuzioni dell'esperimento utilizzando la Google Cloud console

1. Nella Google Cloud console, vai alla pagina Esperimenti.
   Vai agli esperimenti.
   Nella pagina Esperimenti viene visualizzato un elenco di esperimenti.
2. Seleziona l'esperimento a cui vuoi aggiungere l'esecuzione della pipeline.
   Viene visualizzato un elenco di esecuzioni.
3. Seleziona le esecuzioni che vuoi confrontare, poi fai clic su Confronta
   
4. Fai clic sul pulsante Aggiungi esecuzione. Viene visualizzato un elenco di esecuzioni
5. Seleziona l'esecuzione della pipeline che vuoi aggiungere. L'esecuzione viene aggiunta.

SDK Agent Platform per Python {:#sdk-add-pipeline-run}

I seguenti esempi utilizzano l'API PipelineJob.

Associare l'esecuzione della pipeline a un esperimento

Questo esempio mostra come associare un'esecuzione della pipeline a un esperimento. Quando vuoi confrontare le esecuzioni della pipeline, devi associare le esecuzioni della pipeline a un esperimento. Consulta init nella documentazione di riferimento dell'SDK Agent Platform per Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)

• experiment_name: fornisci un nome per l'esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• pipeline_job_display_name: il nome definito dall'utente di questa pipeline.
• template_path: il percorso del file JSON o YAML PipelineJob o PipelineSpec. Può essere un percorso locale o un URI Cloud Storage. Esempio: "gs://project.name"
• pipeline_root: la radice degli output della pipeline. Per impostazione predefinita, è il bucket di gestione temporanea.
• parameter_values: il mapping dai nomi dei parametri di runtime ai relativi valori che controllano l'esecuzione della pipeline.
• project: . Puoi trovare questi ID nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Associare l'esecuzione della pipeline all'esecuzione dell'esperimento

L'esempio fornito include l'associazione di un'esecuzione della pipeline a un esecuzione dell'esperimento.

Casi d'uso:

• Quando esegui l'addestramento del modello locale e poi esegui la valutazione del modello (la valutazione viene eseguita utilizzando una pipeline). In questo caso, ti consigliamo di scrivere le metriche di valutazione dall'esecuzione della pipeline a un'esecuzione dell'esperimento.
• Quando esegui di nuovo la stessa pipeline più volte. Ad esempio, se modifichi i parametri di input o se un componente non riesce e devi eseguirlo di nuovo.

Quando associ un'esecuzione della pipeline a un'esecuzione dell'esperimento, i parametri e le metriche non sono visualizzati automaticamente e devono essere registrati manualmente utilizzando le API di logging.

Nota: quando il parametro facoltativo resume è specificato come TRUE, l'esecuzione avviata in precedenza riprende. Se non viene specificato, resume è impostato per impostazione predefinita su FALSE e viene creata una nuova esecuzione.

Consulta init, start_run e log nella documentazione di riferimento dell'SDK Agent Platform per Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)

• experiment_name: fornisci un nome per l'esperimento. Puoi trovare l'elenco degli esperimenti nella Google Cloud console selezionando Esperimenti nella navigazione della sezione.
• run_name: specifica un nome di esecuzione.
• pipeline_job: un Vertex AI PipelineJob
• project: . Puoi trovarli nella Google Cloud console pagina di benvenuto.
• location: consulta l'elenco delle località disponibili.

Visualizzare l'elenco delle esecuzioni della pipeline nella Google Cloud console

1. Nella Google Cloud console, nella sezione Vertex AI, vai alla pagina Pipeline.

   Vai alla pagina Pipeline

2. Verifica di essere nel progetto corretto.

3. Un elenco di esperimenti ed esecuzioni associati alle esecuzioni della pipeline del progetto viene visualizzato rispettivamente nelle colonne Esperimento ed Esecuzione dell'esperimento.
   

Codelab

• Ottimizza la sperimentazione: gestisci gli esperimenti di machine learning con Vertex AI

  Questo codelab prevede l'utilizzo di Vertex AI per creare una pipeline che addestra un modello Keras personalizzato in TensorFlow. Vertex AI Experiments viene utilizzato per monitorare e confrontare le esecuzioni degli esperimenti al fine di identificare la combinazione di iperparametri che offre le prestazioni migliori.

Passaggi successivi

• Registrare i dati in un'esecuzione dell'esperimento

Esempio di notebook pertinente

• Confrontare le esecuzioni della pipeline