Agent Platform Pipelines memungkinkan Anda mengotomatiskan, memantau, dan mengatur sistem machine learning (ML) secara serverless menggunakan pipeline ML untuk mengorkestrasi alur kerja ML Anda. Anda dapat menjalankan pipeline ML secara batch yang ditentukan menggunakan framework Kubeflow Pipelines atau TensorFlow Extended (TFX). Untuk mempelajari cara memilih framework untuk menentukan pipeline ML, lihat Antarmuka untuk menentukan pipeline.
Halaman ini memberikan ringkasan tentang hal berikut:
Memilih orchestrator yang tepat untuk workload ML Anda
Pilih Agent Platform Pipelines jika Anda adalah engineer machine learning yang membangun alur kerja ML khusus berbasis container menggunakan Kubeflow Pipelines atau TFX, dan pipeline Anda dijalankan sepenuhnya dalam ekosistem Agent Platform dan Google Cloud.
Pilih Managed Service untuk Apache Airflow jika Anda membangun proses MLOps end-to-end yang memerlukan penyatuan rekayasa data dan machine learning. Managed Airflow memiliki fitur Orchestration Pipelines, sebuah framework YAML deklaratif yang memungkinkan data scientist mengorkestrasi rekayasa fitur (misalnya, pipeline Dataform atau dbt) dan pemrosesan ML terdistribusi (misalnya, PySpark di Managed Service untuk Apache Spark) tanpa menulis DAG Python yang kompleks.
Apa itu pipeline ML?
Pipeline ML adalah deskripsi portabel dan dapat diperluas dari alur kerja MLOps sebagai serangkaian langkah yang disebut tugas pipeline. Setiap tugas menjalankan langkah tertentu dalam alur kerja untuk melatih dan men-deploy model ML.
Dengan pipeline ML, Anda dapat menerapkan strategi MLOps untuk mengotomatiskan dan memantau proses yang dapat diulang dalam praktik ML Anda. Misalnya, Anda dapat menggunakan kembali definisi pipeline untuk terus melatih ulang model pada data produksi terbaru. Untuk mengetahui informasi selengkapnya tentang MLOps di Gemini Enterprise, lihat MLOps di Gemini Enterprise API.
Struktur pipeline ML
Pipeline ML adalah directed acyclic graph (DAG) dari tugas pipeline dalam container yang saling terhubung menggunakan dependensi input-output. Anda dapat membuat setiap tugas dalam Python atau sebagai image container bawaan.
Anda dapat menentukan pipeline sebagai DAG menggunakan Kubeflow Pipelines SDK atau TFX SDK, mengompilasinya ke YAML untuk representasi perantara, lalu menjalankan pipeline. Secara default, tugas pipeline berjalan secara paralel. Anda dapat menautkan tugas untuk menjalankannya secara berurutan. Untuk mengetahui informasi selengkapnya tentang tugas pipeline, lihat Tugas pipeline. Untuk mengetahui informasi selengkapnya tentang alur kerja untuk menentukan, mengompilasi, dan menjalankan pipeline, lihat Siklus proses pipeline ML.
Tugas dan komponen pipeline
Tugas pipeline adalah pembuatan instance komponen pipeline dengan input tertentu. Saat menentukan pipeline ML, Anda dapat menghubungkan beberapa tugas untuk membentuk DAG, dengan merutekan output dari satu tugas pipeline ke input untuk tugas pipeline berikutnya dalam alur kerja ML. Anda juga dapat menggunakan input untuk pipeline ML sebagai input untuk tugas pipeline.
Komponen pipeline
Komponen pipeline adalah kumpulan kode mandiri yang menjalankan langkah tertentu dari alur kerja ML, seperti prapemrosesan data, pelatihan model, atau deployment model. Komponen biasanya terdiri dari hal-hal berikut:
Input: Komponen mungkin memiliki satu atau beberapa parameter dan artefak input.
Output: Setiap komponen memiliki satu atau beberapa parameter atau artefak output.
Logika: Ini adalah kode yang dapat dieksekusi komponen. Untuk komponen dalam container, logika juga berisi definisi lingkungan, atau image container, tempat komponen berjalan.
Komponen adalah dasar untuk menentukan tugas dalam pipeline ML. Untuk menentukan tugas pipeline, Anda dapat menggunakan Google Cloud Pipeline Components yang telah ditetapkan atau membuat komponen kustom Anda sendiri.
Komponen standar
Gunakan Google Cloud Pipeline Components yang telah ditetapkan jika Anda ingin menggunakan fitur Gemini Enterprise API, seperti AutoML, di pipeline Anda. Untuk mempelajari cara menggunakan Komponen Pipeline Google Cloud untuk menentukan pipeline, lihat Membangun Pipeline.
Komponen kustom
Anda dapat membuat komponen kustom sendiri untuk digunakan dalam pipeline ML. Untuk mengetahui informasi selengkapnya tentang cara membuat komponen kustom, lihat Membangun komponen pipeline Anda sendiri.
Untuk mempelajari cara menulis komponen Kubeflow Pipelines kustom, lihat notebook tutorial "Pipeline dengan komponen ringan berdasarkan fungsi Python" di GitHub. Untuk mempelajari cara menulis komponen TFX kustom, lihat tutorial komponen fungsi Python TFX di tutorial TensorFlow Extended dalam Produksi.
Tugas pipeline
Tugas pipeline adalah pembuatan instance komponen pipeline dan melakukan langkah tertentu dalam alur kerja ML Anda. Anda dapat menulis tugas pipeline ML menggunakan Python atau sebagai image container bawaan.
Dalam tugas, Anda dapat memanfaatkan kemampuan komputasi on-demand Gemini Enterprise Agent Platform dengan Kubernetes untuk mengeksekusi kode secara skalabel, atau mendelegasikan workload ke mesin eksekusi lain, seperti BigQuery, Dataflow, atau Managed Service untuk Apache Spark.
Siklus proses pipeline ML
Dari definisi hingga eksekusi dan pemantauan, siklus proses pipeline ML terdiri dari tahap-tahap tingkat tinggi berikut:
Menentukan: Proses menentukan pipeline ML dan tugasnya juga disebut membangun pipeline. Pada tahap ini, Anda perlu melakukan langkah-langkah berikut:
Memilih framework ML: Agent Platform Pipelines mendukung pipeline ML yang ditentukan menggunakan framework TFX atau Kubeflow Pipelines. Untuk mempelajari cara memilih framework untuk membangun pipeline, lihat Antarmuka untuk menentukan pipeline.
Menentukan tugas pipeline dan mengonfigurasi pipeline: Untuk mengetahui informasi selengkapnya, lihat Membangun Pipeline.
Kompilasi: Pada tahap ini, Anda perlu melakukan langkah-langkah berikut:
Buat definisi pipeline ML Anda dalam file YAML yang dikompilasi untuk representasi perantara, yang dapat Anda gunakan untuk menjalankan pipeline ML.
Opsional: Anda dapat mengupload file YAML yang dikompilasi sebagai template pipeline ke repositori dan menggunakannya kembali untuk membuat operasi pipeline ML.
Run: Buat instance eksekusi pipeline ML Anda menggunakan file YAML yang telah dikompilasi atau template pipeline. Instance eksekusi definisi pipeline disebut operasi pipeline.
Anda dapat membuat kemunculan satu kali dari operasi pipeline atau menggunakan scheduler API untuk membuat operasi pipeline berulang dari definisi pipeline ML yang sama. Anda juga dapat meng-clone operasi pipeline yang ada. Untuk mempelajari cara memilih antarmuka untuk menjalankan pipeline ML, lihat Antarmuka untuk menjalankan pipeline. Untuk mengetahui informasi selengkapnya tentang cara membuat operasi pipeline, lihat Menjalankan pipeline.
Memantau, memvisualisasikan, dan menganalisis operasi: Setelah membuat operasi pipeline, Anda dapat melakukan hal berikut untuk memantau performa, status, dan biaya operasi pipeline:
Mengonfigurasi notifikasi email untuk kegagalan pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi notifikasi email.
Gunakan Cloud Logging untuk membuat entri log untuk peristiwa pemantauan. Untuk mengetahui informasi selengkapnya, lihat Melihat log tugas pipeline.
Memvisualisasikan, menganalisis, dan membandingkan operasi pipeline. Untuk mengetahui informasi selengkapnya, lihat Memvisualisasikan dan menganalisis hasil pipeline.
Gunakan ekspor Penagihan Cloud ke BigQuery untuk menganalisis biaya operasi pipeline. Untuk mengetahui informasi selengkapnya, lihat Memahami biaya operasi pipeline.
Opsional: menghentikan atau menghapus operasi pipeline: Tidak ada batasan berapa lama Anda dapat mempertahankan operasi pipeline tetap aktif. Anda dapat melakukan hal berikut:
Menghentikan operasi pipeline.
Menjeda atau melanjutkan jadwal proses pipeline.
Menghapus template pipeline, operasi pipeline, atau jadwal operasi pipeline yang ada.
Apa yang dimaksud dengan operasi pipeline?
Pipeline run adalah instance eksekusi dari definisi pipeline ML Anda. Setiap operasi pipeline diidentifikasi dengan nama operasi yang unik. Dengan menggunakan Agent Platform Pipelines, Anda dapat membuat operasi pipeline ML dengan cara berikut:
Menggunakan definisi YAML yang dikompilasi dari pipeline
Menggunakan template pipeline dari Galeri Template
Untuk mengetahui informasi selengkapnya tentang cara membuat operasi pipeline, lihat Menjalankan pipeline. Untuk mengetahui informasi selengkapnya tentang cara membuat operasi pipeline dari template pipeline, lihat Membuat, mengupload, dan menggunakan template pipeline.
Untuk mengetahui informasi tentang cara mengambil dan menyimpan metadata operasi pipeline menggunakan Agent Platform ML Metadata, lihat Menggunakan Agent Platform ML Metadata untuk melacak silsilah artefak ML.
Untuk mengetahui informasi tentang cara menggunakan operasi pipeline untuk bereksperimen pada alur kerja ML Anda menggunakan Gemini Enterprise Agent Platform Experiments, lihat Menambahkan operasi pipeline ke eksperimen.
Melacak silsilah artefak ML
Pipeline yang dijalankan berisi beberapa artefak dan parameter, termasuk metadata pipeline. Untuk memahami perubahan performa atau akurasi sistem ML, Anda perlu menganalisis metadata dan silsilah artefak ML dari operasi pipeline ML Anda. Silsilah artefak ML mencakup semua faktor yang berkontribusi pada pembuatannya, beserta metadata dan referensi ke artefak yang berasal darinya.
Grafik silsilah membantu Anda menganalisis akar masalah upstream dan dampak downstream. Setiap operasi pipeline menghasilkan grafik silsilah parameter dan artefak yang dimasukkan ke dalam operasi, diwujudkan dalam operasi, dan dihasilkan dari operasi. Metadata yang menyusun grafik silsilah ini disimpan di Agent Platform ML Metadata. Metadata ini juga dapat disinkronkan ke Knowledge Catalog.
Menggunakan Metadata ML Agent Platform untuk melacak silsilah artefak pipeline
Saat Anda menjalankan pipeline menggunakan Agent Platform Pipelines, semua parameter dan metadata artefak yang digunakan dan dihasilkan oleh pipeline akan disimpan di Agent Platform ML Metadata. ML Metadata Agent Platform adalah implementasi terkelola dari library ML Metadata di TensorFlow, serta mendukung pendaftaran dan penulisan skema metadata kustom. Saat Anda membuat operasi pipeline di Agent Platform Pipelines, metadata dari operasi pipeline disimpan di penyimpanan metadata default untuk project dan region tempat Anda menjalankan pipeline.
Menggunakan Knowledge Catalog untuk melacak silsilah artefak pipeline
Knowledge Catalog adalah data fabric global dan lintas project yang terintegrasi dengan beberapa sistem dalam Google Cloud, seperti Agent Platform, BigQuery, dan Managed Service untuk Apache Airflow. Dalam Knowledge Catalog, Anda dapat menelusuri artefak pipeline dan melihat grafik silsilahnya. Perhatikan bahwa untuk mencegah konflik artefak, setiap resource yang dikatalogkan di Knowledge Catalog diidentifikasi dengan nama yang sepenuhnya memenuhi syarat (FQN).
Untuk mengetahui informasi selengkapnya tentang cara melacak silsilah artefak ML menggunakan Agent Platform ML Metadata dan Knowledge Catalog, lihat Melacak silsilah artefak pipeline.
Untuk mengetahui informasi selengkapnya tentang cara memvisualisasikan, menganalisis, dan membandingkan operasi pipeline, lihat Memvisualisasikan dan menganalisis hasil pipeline. Untuk mengetahui daftar jenis artefak pihak pertama yang ditentukan di Komponen Pipeline Google Cloud , lihat Jenis artefak ML Metadata.
Menambahkan operasi pipeline ke eksperimen
Agent Platform Experiments memungkinkan Anda melacak dan menganalisis berbagai arsitektur model, hyperparameter, dan lingkungan pelatihan untuk menemukan model terbaik untuk kasus penggunaan ML Anda. Setelah membuat operasi pipeline ML, Anda dapat mengaitkannya dengan eksperimen atau operasi eksperimen. Dengan demikian, Anda dapat bereksperimen dengan berbagai kumpulan variabel, seperti hyperparameter, jumlah langkah pelatihan, atau iterasi.
Untuk mengetahui informasi selengkapnya tentang bereksperimen dengan alur kerja ML menggunakan Agent Platform Experiments, lihat Pengantar Agent Platform Experiments.
Langkah berikutnya
Mulailah dengan mempelajari cara menentukan pipeline menggunakan Kubeflow Pipelines SDK.
Pelajari praktik terbaik untuk menerapkan model ML yang dilatih khusus di Gemini Enterprise Agent Platform.