Von Kubeflow Pipelines zu Gemini Enterprise Agent Platform Pipelines migrieren

Für Entwickler, die Erfahrung mit dem Erstellen von Kubeflow-Pipelines haben, ist es wichtig zu wissen, dass sich Agent Platform Pipelines von Kubeflow Pipelines unterscheiden.

Datenübergabe (Ein-/Ausgaben)

• Daten, die über Ein- und Ausgaben übergeben werden, unterscheiden sich vom Kubeflow Pipelines SDK v1 zum Kubeflow Pipelines SDK v2. Das Kubeflow Pipelines SDK v2 hat die Trennung von Parametern und Artefakten und können nicht aneinander übergeben werden. Ausführliche Informationen finden Sie unter Kubeflow Pipelines – Grundlagen und Kubeflow Pipelines – Datentypen.

Verwendung der domänenspezifischen Sprachversion (DSL)

• Agent Platform Pipelines kann Pipelines ausführen, die mit TFX v0.30.0 oder höher oder der domainspezifischen Sprache (domain-specific language, DSL) von Kubeflow Pipelines SDK v2 erstellt wurden.

  Kubeflow Pipelines SDK v2 DSL ist im Kubeflow Pipelines SDK 1.6 oder höher verfügbar.

  Kubeflow Pipelines kann Pipelines ausführen, die mit dem Kubeflow Pipelines SDK erstellt wurden. Kubeflow Pipelines v1.6 oder höher kann auch Pipelines ausführen, die mit dem Kubeflow Pipelines SDK v2 DSL erstellt wurden.

Speicher

• Kubeflow Pipelines und Agent Platform Pipelines verarbeiten Speicher unterschiedlich. In Kubeflow Pipelines können Sie Kubernetes-Ressourcen wie Anforderungen an nichtflüchtige Volumes verwenden. In Agent Platform Pipelines werden Ihre Daten in Cloud Storage gespeichert und mit Cloud Storage FUSE in Ihre Komponenten eingebunden.

  In Agent Platform Pipelines können Sie Google Cloud -Dienste verwenden, um Ressourcen verfügbar zu machen. So können Sie beispielsweise Cloud Storage FUSE nutzen, um auf einen Cloud Storage-Bucket als bereitgestelltes Volume in einem Pipelineschritt zuzugreifen. Wenn Ihr Cloud Storage-URI gs://example-bucket/example-pipeline ist, kann der Container Ihrer Pipelinekomponente Cloud Storage FUSE verwenden, um auf den URI als folgenden Pfad zuzugreifen: /gcs/example-bucket/example-pipeline.

  Wichtig :Es empfiehlt sich, die Pfade zu externen Ressourcen nicht in der Pipeline zu hartcodieren. Übergeben Sie die Pfade zu externen Ressourcen stattdessen als Parameter an Ihre Pipeline. Dies erleichtert die Ausführung der Pipeline in verschiedenen Umgebungen und das Ändern des Speicherorts der in einer Pipeline ausgeführten Ressourcen.

• Wenn Sie eine Pipeline mit Agent Platform Pipelines ausführen, muss der Stammpfad der Pipeline in der Annotation @pipeline oder beim Erstellen der Pipelineausführung angegeben worden sein.

  In Kubeflow Pipelines ist die Angabe des Pipeline-Stammpfads optional. Die Artefakte einer Pipeline-Ausführung werden standardmäßig mit MinIO gespeichert.

In Agent Platform Pipelines nicht unterstützte Funktionen

• Die folgenden Kubeflow Pipelines-Features werden in Agent Platform Pipelines nicht unterstützt.

  • Cache-Ablauf: In Kubeflow Pipelines können Sie mit Kubeflow Pipelines SDK v1 DSL festlegen, dass die Ausführung der im Cache gespeicherten Komponenten nach einer bestimmten Zeit abläuft.

    Sie können nicht festlegen, dass Komponentenausführungen nach einer bestimmten Zeit ablaufen, wenn Sie die Kubeflow Pipelines SDK v2 DSL verwenden.

    Wenn Sie in Agent Platform Pipelines eine Pipeline mit create_run_from_job_spec ausführen, können Sie mit dem Argument enable_caching angeben, dass diese Pipelineausführung kein Caching verwendet.

  • Recursion: In Kubeflow Pipelines können Sie Pipeline-Komponenten angeben, die rekursiv aufgerufen werden.

    Agent Platform Pipelines unterstützt keine Pipeline-Komponenten, die rekursiv aufgerufen werden.