Einführung in die Pipeline-Komponenten von Google Cloud

Das Google Cloud Pipeline Components (GCPC) SDK bietet eine Reihe vordefinierter Kubeflow Pipelines-Komponenten, die produktionsbereit, leistungsfähig und einfach zu verwenden sind. Mit Google Cloud Pipeline Components können Sie ML Pipelines in Gemini Enterprise Agent Platform Pipelines und anderen mit Kubeflow Pipelines konformen Backends zur ML-Pipeline-Ausführung definieren und ausführen.

Sie können diese Komponenten beispielsweise für Folgendes verwenden:

  • Neues Dataset erstellen und verschiedene Datentypen in das Dataset laden (Bild, Tabelle, Text oder Video)
  • Daten aus einem Dataset in Cloud Storage exportieren
  • AutoML zum Trainieren eines Modells mit Bild-, Tabellen- oder Videodaten verwenden
  • Einen benutzerdefinierten Trainingsjob mit einem benutzerdefinierten Container oder einem Python-Paket ausführen
  • Vorhandenes Modell zur Batch-Vorhersage in Gemini Enterprise Agent Platform hochladen
  • Neuen Endpunkt erstellen und darin ein Modell für Onlinevorhersagen bereitstellen

Darüber hinaus unterstützt Google Cloud Pipeline Components diese vordefinierten Komponenten in Gemini Enterprise Agent Platform Pipelines und bietet folgende Vorteile:

  • Einfachere Fehlerbehebung: Zeigt die zugrunde liegenden Ressourcen an, die von der Komponente gestartet wurden, um das Debugging zu vereinfachen.
  • Standardisierte Artefakttypen: Stellen Sie Es werden konsistente Schnittstellen zur Verwendung von Standardartefakttypen für die Eingabe und Ausgabe bereitgestellt. Vertex ML Metadata erfasst diese Standardartefakte, was die Analyse der Herkunft der Artefakte Ihrer Pipeline erleichtert. Weitere Informationen zur Herkunft von Artefakten finden Sie unter Herkunft von Pipeline Artefakten verfolgen.
  • Pipelinekosten mit Abrechnungslabels verstehen: Ressourcenlabels werden automatisch an Google Cloud Dienste weitergegeben, die von den Google Cloud Pipeline Components in der Pipelineausführung generiert werden. Mit Abrechnungslabels und dem Cloud Billing-Export nach BigQuery können Sie die Kosten Ihrer Pipelineausführung prüfen. Weitere Informationen dazu, wie Sie mithilfe von Labels die Kosten einer Pipelineausführung ermitteln, finden Sie unter Kosten für Pipelineausführungen nachvollziehen. Weitere Informationen dazu, wie Labels von einer Pipelineausführung auf Ressourcen übertragen werden, die von den Google Cloud Pipeline Components generiert werden, finden Sie unter Ressourcen-Labeling von Vertex AI Pipelines.
  • Kosteneinsparungen*: Gemini Enterprise Agent Platform Pipelines optimiert die Ausführung dieser Komponenten, indem die Google Cloud Ressourcen gestartet werden, ohne den Container starten zu müssen. Dadurch werden die Startlatenz und die Kosten für den Busy-Waiting-Container verringert.
* Dieses Feature gilt nur für die folgenden Komponenten:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (für Dataflow)
  • DataflowPythonJobOp

Nächste Schritte