Bagi developer yang berpengalaman membangun pipeline Kubeflow, penting halnya untuk memahami perbedaan antara Agent Platform Pipelines dengan Kubeflow Pipelines.
Penerusan data (input/output)
- Penerusan data menggunakan input dan output berbeda, mulai dari Kubeflow Pipelines SDK v1 hingga Kubeflow Pipelines SDK v2. Kubeflow Pipelines SDK v2 memiliki pemisahan parameter dan artefak, sehingga tidak dapat diteruskan ke satu sama lain. Untuk mengetahui informasi lebih mendetail, lihat Dasar-Dasar Pipeline Kubeflow Pipelines dan Jenis Data Kubeflow Pipelines.
Penggunaan versi bahasa khusus domain (DSL)
Agent Platform Pipelines dapat menjalankan pipeline yang dibangun menggunakan TFX v0.30.0 atau yang lebih baru, atau bahasa khusus domain (DSL) Kubeflow Pipelines SDK v2.
DSL Kubeflow Pipelines SDK v2 tersedia di Kubeflow Pipelines SDK v1.6 atau yang lebih baru.
Kubeflow Pipeline dapat menjalankan pipeline yang dibangun menggunakan Kubeflow Pipelines SDK. Kubeflow Pipelines v1.6 atau yang lebih baru juga dapat menjalankan pipeline yang dibangun menggunakan DSL Kubeflow Pipelines SDK v2.
Penyimpanan
Kubeflow Pipelines dan Agent Platform Pipelines menangani penyimpanan dengan cara berbeda. Di Kubeflow Pipeline, Anda dapat menggunakan resource Kubernetes seperti klaim volume persisten. Di Agent Platform Pipelines, data Anda disimpan di Cloud Storage dan dipasang ke dalam komponen menggunakan Cloud Storage FUSE.
Di Agent Platform Pipelines, Anda dapat menggunakan layanan Google Cloud untuk menyediakan resource. Misalnya, Anda dapat menggunakan Cloud Storage FUSE untuk mengakses bucket Cloud Storage sebagai volume yang terpasang pada langkah pipeline. Jika Cloud Storage URI Anda adalah
gs://example-bucket/example-pipeline, maka container komponen pipeline Anda dapat menggunakan Cloud Storage FUSE untuk mengakses URI tersebut dengan jalur berikut:/gcs/example-bucket/example-pipeline.Saat Anda menjalankan pipeline menggunakan Agent Platform Pipelines, root pipeline harus sudah ditentukan dalam anotasi
@pipelineatau saat Anda membuat operasi pipeline.Di Kubeflow Pipelines, cara menentukan root pipeline bersifat opsional. Artefak yang dijalankan oleh pipeline disimpan menggunakan MinIO secara default.
Fitur yang tidak didukung di Pipeline Platform Agen
Fitur Kubeflow Pipelines berikut tidak didukung di Agent Platform Pipelines.
Masa Berlaku Cache: Di Kubeflow Pipelines, Anda dapat menentukan bahwa eksekusi komponen yang di-cache akan berakhir setelah jangka waktu tertentu menggunakan DSL Kubeflow Pipelines SDK v1.
Anda tidak dapat menentukan bahwa eksekusi komponen akan berakhir setelah jangka waktu yang ditentukan menggunakan DSL Kubeflow Pipelines SDK v2.
Di Agent Platform Pipelines, saat menjalankan pipeline menggunakan
create_run_from_job_spec, Anda dapat menggunakan argumenenable_cachinguntuk menentukan bahwa operasi pipeline ini tidak menggunakan caching.Pengulangan: Di Kubeflow Pipelines, Anda dapat menentukan komponen pipeline yang dipanggil secara rekursif.
Agent Platform Pipelines tidak mendukung komponen pipeline yang dipanggil secara rekursif.