Herkunft von Pipeline-Artefakten verfolgen

Jede mit Agent Platform Pipelines erstellte Pipeline-Ausführung umfasst mehrere zugehörige Artefakte und Parameter, z. B. Modelle, Datasets, Pipeline-Vorlagen und Komponenten. Die Herkunft eines Pipeline-Artefakts umfasst die Faktoren, die zu seiner Erstellung beigetragen haben, sowie Artefakte und Metadaten, die vom Artefakt abgeleitet wurden. Die Abstammung eines Modells kann zum Beispiel Folgendes enthalten:

  • Die Trainings-, Test- und Evaluationsdaten, die zum Erstellen des Modells verwendet wurden.

  • Die Hyperparameter, die während des Modelltrainings verwendet werden.

  • Metadaten, die aus dem Trainings- und Bewertungsprozess aufgezeichnet wurden, z. B. die Genauigkeit des Modells.

  • Artefakte, die von diesem Modell abstammen, z. B. die Ergebnisse von Batchvorhersagen.

Sie können mit diesen Metadaten die folgenden Fragen beantworten:

  • Warum hat ein bestimmter Pipeline-Ausführung ein besonders genaues Modell erzeugt?

  • Welche Pipelineausführung hat das genaueste Modell generiert und welche Hyperparameter wurden zum Trainieren des Modells verwendet?

  • Abhängig von den Schritten in Ihrer Pipeline können Sie möglicherweise System-Governance-Fragen beantworten. Mit Metadaten können Sie beispielsweise feststellen, welche Version Ihres Modells zu einem bestimmten Zeitpunkt in der Produktion war.

Zum Aufrufen und Analysieren der Herkunft des Pipeline-Artefakts können Sie entweder Vertex ML Metadata oder Knowledge Catalog verwenden.

In der folgenden Tabelle werden die Unterschiede zwischen Vertex ML Metadata und Knowledge Catalog beschrieben:

Funktion Vertex ML Metadata Knowledge Catalog
Arten von erfassten Pipeline-Metadaten Alle Eingabe- und Ausgabeartefakte, die von einer Pipelineausführung erzeugt werden. Eingabe- und Ausgabeartefakte, die vollständig qualifizierten Namen (FQNs) zugeordnet werden können, die von Knowledge Catalog unterstützt werden, in der Regel mithilfe von Google Cloud Pipeline-Komponenten.
Geografie Lesevorgänge für einzelne Regionen. Globale Lesevorgänge, also über mehrere Regionen hinweg.
Projekte Lesevorgänge für einzelne Projekte Organisationsweite Lesevorgänge in mehreren Projekten.
Integrierte Dienste Eingebunden in Agent Platform Pipelines, Gemini Enterprise Agent Platform Experiments, Gemini Enterprise Agent Platform Model Registry und Datasets. Integrierte Unterstützung für mehrere Google Cloud Produkte wie die Gemini Enterprise Agent Platform, BigQuery, Managed Service for Apache Airflow und Managed Service for Apache Spark.
Aktivieren? Nein, immer an. Führen Sie ein Opt-in pro Projekt aus, indem Sie die Data Lineage API aktivieren.

Vertex ML Metadata-Artefakte Knowledge Catalog zuordnen

So ordnen Sie Vertex ML Metadata-Artefakte den FQNs in Knowledge Catalog zu:

  • Verwenden Sie Google Cloud Pipeline-Komponenten beim Erstellen von Agent Platform-Modellen und verwalteten Datasets.

  • Verwenden Sie benutzerdefinierte Schematitel (google.VertexDataset oder google.VertexModel), wenn Sie den Ressourcennamen des Modells oder des verwalteten Datasets im Feld metadata angeben, wie im folgenden Beispiel dargestellt:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Herkunft von Pipeline-Artefakten mit Vertex ML Metadata analysieren

Wenn Sie eine Pipeline mit Agent Platform Pipelines ausführen, werden die Artefakte und Parameter der Pipeline-Ausführung mithilfe von Vertex ML Metadata gespeichert. Vertex ML Metadata erleichtern die Analyse der Herkunft der Artefakte Ihrer Pipeline, da Sie auf diese Weise die Metadaten Ihrer Pipeline nicht verfolgen müssen.

Wenn Sie mit Vertex ML Metadata noch nicht vertraut sind, lesen Sie die Einführung in Vertex ML Metadata.

Folgen Sie dieser Anleitung, um das Herkunftsdiagramm für ein Pipeline-Artefakt mithilfe von Vertex ML Metadata aufzurufen:

  1. Rufen Sie in der Google Cloud Console im Abschnitt „Gemini Enterprise Agent Platform“ die Seite Metadaten auf.

    Zur Seite "Metadaten"

    Auf der Seite „Metadaten“ werden die Artefakte aufgeführt, die im Standard-Metadatenspeicher erstellt wurden.

  2. Wählen Sie in der Drop-down-Liste Region die Region aus, in der Ihre Ausführung erstellt wurde.

  3. Klicken Sie auf den Anzeigenamen eines Artefakts, um dessen Herkunftsdiagramm zu sehen.

    Es wird eine statische Grafik mit den Artefakten und Ausführungen angezeigt, die Teil dieses Herkunftsdiagramms sind.

  4. Klicken Sie auf ein Artefakt oder auf eine Ausführung, um mehr darüber zu erfahren.

Herkunft von Pipeline-Artefakten mit Knowledge Catalog analysieren

Knowledge Catalog erkennt Metadaten ausGoogle Cloud -Ressourcen, darunter Agent Platform Pipelines-Artefakte wie Vertex AI-Modelle, verwaltete Datasets und andereGoogle Cloud -Ressourcen, die in Knowledge Catalog gefunden werden können. Sie können diese Artefakte mit der Metadatensuchfunktion von Knowledge Catalog ermitteln und die zugehörigen Herkunftsdiagramme aufrufen.

Weitere Informationen zur Suchfunktion von Knowledge Catalog für Metadaten finden Sie unter Nach Ressourcen in Knowledge Catalog suchen.

Beachten Sie, dass Knowledge Catalog möglicherweise nicht in allen Regionen verfügbar ist, in denen Agent Platform Pipelines unterstützt wird. Wenn Knowledge Catalog in Ihrer Region nicht unterstützt wird, verwenden Sie Vertex ML Metadata. Liste der unterstützten Regionen für Knowledge Catalog ansehen

So rufen Sie das Herkunftsdiagramm für ein Pipeline-Artefakt in Knowledge Catalog auf:

  1. Rufen Sie zum Starten einer Knowledge Catalog-Suchanfrage in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

    Zur Suche

  2. Wenn Ihre Suchplattform auf Data Catalog festgelegt ist, wählen Sie im Menü Suchplattform auswählen die Option Knowledge Catalog aus.

  3. Verwenden Sie die Filter, um nach den Artefakten zu suchen. Mit dem Filter Datentypen können Sie beispielsweise den Artefakttyp angeben, z. B. Modell, Dataset oder BigQuery-Tabelle. Weitere Informationen finden Sie unter Nach Ressourcen in Knowledge Catalog suchen.

    Sie können Ihre Abfrage auch im Suchfeld definieren.

  4. Klicken Sie auf den Namen eines Artefakts und dann auf den Tab Herkunft, um die Herkunft eines Artefakts anzusehen.

    Im Herkunftsdiagramm ist den Agent Platform-Prozessen Symbol für die Herkunft der Agent Platform vorangestellt. Dazu gehören Pipeline-Artefakte, Pipeline-Komponenten und Pipelinevorlagen.

    • Klicken Sie auf den Prozess im Herkunftsdiagramm, um die Details zu einem Prozess aufzurufen.

    • Für Prozesse, die auf Pipelineaufgaben aus Pipelineausführungen basieren, können Sie so vorgehen:

      • Rufen Sie die Pipeline-Ausführung in der Agent-Plattform auf. Klicken Sie dazu auf dem Tab Details auf In Agent-Plattform öffnen. Klicken Sie auf Mehr, um die Laufzeitdetails einer Pipelineausführung wie Status, Zeitstempel und Attribute aufzurufen. Klicken Sie zum Aufrufen der Pipelineausführung in der Agent Platform auf In Agent Platform öffnen.

    • Für Prozesse, die auf einer Pipelinevorlage basieren, können Sie Folgendes tun:

      • Rufen Sie die Vorlagendetails in der Agent Platform auf. Klicken Sie dazu auf dem Tab Details auf In Agent Platform öffnen.

      • Rufen Sie die Liste der Pipelineaufgaben, die in Pipelineausführungen erstellt wurden, auf dem Tab Ausführungen auf. Um die Details der Pipelinevorlage in der Agent Platform aufzurufen, klicken Sie auf Mehr und dann auf In Agent Platform öffnen.

Nächste Schritte