Monitoraggio della derivazione degli artefatti della pipeline

Ogni esecuzione della pipeline creata utilizzando le pipeline di Agent Platform ha diversi artefatti e parametri associati, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di un artefatto della pipeline include i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati derivati dall'artefatto. Ad esempio, la derivazione di un modello può includere i seguenti elementi:

  • I dati di addestramento, test e valutazione utilizzati per creare il modello.

  • Gli iperparametri utilizzati durante l'addestramento del modello.

  • I metadati registrati dal processo di addestramento e valutazione, come l'accuratezza del modello.

  • Gli artefatti che discendono da questo modello, come i risultati delle previsioni batch.

Puoi utilizzare questi metadati per rispondere a domande come:

  • Perché una determinata esecuzione della pipeline ha prodotto un modello particolarmente accurato?

  • Quale esecuzione della pipeline ha prodotto il modello più accurato e quali iperparametri sono stati utilizzati per addestrare il modello?

  • A seconda dei passaggi della pipeline, potresti essere in grado di rispondere alle domande sulla governance di sistema. Ad esempio, potresti utilizzare i metadati per determinare quale versione del tuo modello era in produzione in un determinato momento.

Per visualizzare e analizzare la derivazione degli artefatti della pipeline, puoi utilizzare Vertex ML Metadata o Knowledge Catalog.

La seguente tabella illustra le differenze tra Vertex ML Metadata e Knowledge Catalog:

Funzionalità Vertex ML Metadata Knowledge Catalog
Tipi di metadati della pipeline acquisiti Tutti gli artefatti di input e output prodotti da un'esecuzione della pipeline. Artefatti di input e output che possono essere mappati a nomi completi (FQN) supportati da Knowledge Catalog, in genere utilizzando Google Cloud componenti della pipeline.
Area geografica Letture di una singola regione. Letture globali, ovvero in più regioni.
Progetti Letture di un singolo progetto. Letture a livello di organizzazione in più progetti.
Servizi integrati Integrato con le pipeline di Agent Platform, gli Esperimenti di Gemini Enterprise Agent Platform, il Model Registry di Gemini Enterprise Agent Platform e i set di dati. Integrato con più Google Cloud prodotti, come Gemini Enterprise Agent Platform, BigQuery, Managed Service for Apache Airflow e Managed Service for Apache Spark.
Attivare? No, sempre attivo. Attivazione per progetto abilitando l'API Data Lineage.

Mappare gli artefatti di Vertex ML Metadata a Knowledge Catalog

Per mappare gli artefatti di Vertex ML Metadata ai nomi di dominio completi in Knowledge Catalog, devi:

  • Utilizza i Google Cloud componenti della pipeline durante la creazione di modelli di Agent Platform e set di dati gestiti.

  • Utilizza i titoli degli schemi personalizzati (google.VertexDataset o google.VertexModel) quando specifichi il nome della risorsa del modello o del set di dati gestito nel campo metadata, come illustrato nel seguente esempio:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analizzare la derivazione degli artefatti della pipeline utilizzando Vertex ML Metadata

Quando esegui una pipeline utilizzando Agent Platform Pipelines, gli artefatti e i parametri di esecuzione vengono memorizzati tramite Vertex ML Metadata. Vertex ML Metadata semplifica l'analisi della derivazione degli artefatti della pipeline, evitando la difficoltà di tenere traccia dei metadati della pipeline.

Se non hai mai utilizzato Vertex ML Metadata, leggi l'introduzione a Vertex ML Metadata.

Segui queste istruzioni per visualizzare il grafico della derivazione di un artefatto della pipeline utilizzando Vertex ML Metadata:

  1. Nella console Google Cloud , nella sezione Gemini Enterprise Agent Platform, vai alla pagina Metadati.

    Vai a Metadati

    La pagina Metadati elenca gli artefatti creati nell'archivio dei metadati predefinito.

  2. Nell'elenco a discesa Regione, seleziona la regione in cui è stata creata la corsa.

  3. Fai clic sul nome visualizzato di un artefatto per visualizzarne il grafico della derivazione.

    Viene visualizzato un grafico statico che mostra gli artefatti e le esecuzioni che fanno parte di questo grafico di derivazione.

  4. Fai clic su un artefatto o un'esecuzione per saperne di più.

Analizza la derivazione degli artefatti della pipeline utilizzando Knowledge Catalog

Knowledge Catalog rileva i metadati dalle risorseGoogle Cloud , che includono artefatti di Agent Platform Pipelines come modelli Vertex AI, set di dati gestiti e altre risorseGoogle Cloud rilevabili in Knowledge Catalog. Puoi scoprire questi artefatti utilizzando la funzionalità di ricerca dei metadati di Knowledge Catalog e visualizzare i relativi grafici di derivazione.

Per saperne di più sulla funzionalità di ricerca dei metadati di Knowledge Catalog, vedi Cercare risorse in Knowledge Catalog.

Tieni presente che Knowledge Catalog potrebbe non essere disponibile in tutte le regioni in cui è supportato Agent Platform Pipelines. Se Knowledge Catalog non è supportato nella tua regione, utilizza Vertex ML Metadata. Visualizza l'elenco delle regioni supportate per Knowledge Catalog.

Segui queste istruzioni per visualizzare il grafico della derivazione di un artefatto della pipeline in Knowledge Catalog:

  1. Per avviare una query di ricerca di Knowledge Catalog nella console Google Cloud , vai alla pagina Cerca di Knowledge Catalog.

    Vai a Cerca

  2. Se la piattaforma di ricerca è impostata su Data Catalog, nel menu Scegli la piattaforma di ricerca, seleziona Knowledge Catalog.

  3. Utilizza i filtri per cercare gli artefatti. Ad esempio, puoi utilizzare il filtro Tipi di dati per specificare il tipo di artefatto, ad esempio modello, set di dati o tabella BigQuery. Per saperne di più, consulta Cercare risorse in Knowledge Catalog.

    Puoi anche definire la query nel campo di ricerca.

  4. Per visualizzare la derivazione di un artefatto, fai clic sul nome dell'artefatto, quindi sulla scheda Derivazione.

    Nel grafico della derivazione, i processi di Agent Platform sono preceduti da Icona della derivazione di Agent Platform. Questi includono artefatti della pipeline, componenti della pipeline e modelli di pipeline.

    • Per visualizzare i dettagli di un processo, fai clic sul processo nel grafico delle relazioni.

    • Per i processi basati sulle attività della pipeline dalle esecuzioni della pipeline, puoi eseguire le seguenti operazioni:

      • Visualizza l'esecuzione della pipeline in Agent Platform facendo clic su Apri in Agent Platform nella scheda Dettagli. Per visualizzare i dettagli di runtime di un'esecuzione della pipeline, come stati, timestamp e attributi, fai clic su Altro. Per visualizzare l'esecuzione della pipeline in Agent Platform, fai clic su Apri in Agent Platform.

    • Per i processi basati su un modello di pipeline, puoi:

      • Visualizza i dettagli del modello in Agent Platform facendo clic su Apri in Agent Platform nella scheda Dettagli.

      • Visualizza l'elenco delle attività della pipeline create nelle esecuzioni della pipeline nella scheda Esecuzioni. Per visualizzare i dettagli del modello di pipeline in Agent Platform, fai clic su Altro e poi su Apri in Agent Platform.

Passaggi successivi