Melacak silsilah artefak pipeline

Setiap operasi pipeline yang dibuat menggunakan Agent Platform Pipelines memiliki beberapa artefak dan parameter terkait, seperti model, set data, template pipeline, dan komponen. Silsilah artefak pipeline mencakup faktor-faktor yang berkontribusi pada pembuatannya, serta artefak dan metadata yang berasal dari artefak tersebut. Misalnya, silsilah model dapat mencakup hal berikut:

  • Data pelatihan, pengujian, dan evaluasi yang digunakan untuk membuat model.

  • Hyperparameter yang digunakan selama pelatihan model.

  • Metadata yang dikumpulkan dari proses pelatihan dan evaluasi, seperti akurasi model.

  • Artefak yang berasal dari model ini, seperti hasil prediksi batch.

Anda dapat menggunakan metadata ini untuk membantu menjawab pertanyaan seperti berikut:

  • Mengapa operasi pipeline tertentu menghasilkan model yang sangat akurat?

  • Operasi pipeline mana yang menghasilkan model paling akurat, dan hyperparameter apa yang digunakan untuk melatih model tersebut?

  • Bergantung pada langkah-langkah dalam pipeline, Anda mungkin dapat menjawab pertanyaan tata kelola sistem. Misalnya, Anda dapat menggunakan metadata untuk menentukan versi model mana yang berada dalam produksi pada titik waktu tertentu.

Untuk melihat dan menganalisis silsilah artefak pipeline, Anda dapat menggunakan Vertex ML Metadata atau Knowledge Catalog.

Tabel berikut menguraikan perbedaan antara Vertex ML Metadata dan Knowledge Catalog:

Fitur Vertex ML Metadata Knowledge Catalog
Jenis metadata pipeline yang diambil Semua artefak input dan output yang dihasilkan oleh operasi pipeline. Artefak input dan output yang dapat dipetakan ke nama yang sepenuhnya memenuhi syarat (FQNs) yang didukung oleh Knowledge Catalog, umumnya menggunakan Google Cloud Komponen Pipeline.
Geografi Pembacaan satu region. Pembacaan global, yaitu di beberapa region.
Project Pembacaan satu project. Pembacaan di seluruh organisasi di beberapa project.
Layanan terintegrasi Terintegrasi dengan Agent Platform Pipelines, Gemini Enterprise Agent Platform Experiments, Gemini Enterprise Agent Platform Model Registry, dan Set Data. Terintegrasi dengan beberapa Google Cloud produk, seperti Gemini Enterprise Agent Platform, BigQuery, Managed Service untuk Apache Airflow, dan Managed Service untuk Apache Spark.
Ikut serta? Tidak, selalu aktif. Ikut serta per project dengan mengaktifkan Data Lineage API.

Memetakan artefak Vertex ML Metadata ke Knowledge Catalog

Untuk memetakan artefak Vertex ML Metadata ke FQNs di Knowledge Catalog, Anda harus melakukan hal berikut:

  • Gunakan Google Cloud Komponen Pipeline saat membuat model Agent Platform dan set data terkelola.

  • Gunakan judul skema kustom (google.VertexDataset atau google.VertexModel) saat menentukan nama resource model atau set data terkelola di kolom metadata, seperti yang diilustrasikan dalam contoh berikut:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Menganalisis silsilah artefak pipeline menggunakan Vertex ML Metadata

Saat Anda menjalankan pipeline menggunakan Agent Platform Pipelines, artefak dan parameter dari pipeline yang dijalankan akan disimpan menggunakan Vertex ML Metadata. Vertex ML Metadata memudahkan analisis silsilah artefak pipeline Anda, dengan memudahkan Anda melacak metadata pipeline Anda.

Jika Anda baru mengenal Vertex ML Metadata, baca pengantar Vertex ML Metadata.

Ikuti petunjuk berikut untuk melihat grafik silsilah untuk artefak pipeline menggunakan Vertex ML Metadata:

  1. Di Google Cloud konsol, di bagian Gemini Enterprise Agent Platform, buka halaman Metadata.

    Buka Metadata

    Halaman Metadata mencantumkan artefak yang telah dibuat di penyimpanan metadata default.

  2. Di menu drop-down Region, pilih region tempat proses Anda dibuat.

  3. Klik Display name artefak untuk melihat grafik silsilahnya.

    Grafik statis yang menunjukkan artefak dan eksekusi yang merupakan bagian dari grafik silsilah ini akan muncul.

  4. Klik artefak atau eksekusi untuk mempelajari lebih lanjut.

Menganalisis silsilah artefak pipeline menggunakan Knowledge Catalog

Knowledge Catalog menemukan metadata dari Google Cloud resource, yang mencakup artefak Agent Platform Pipelines seperti model Vertex AI, set data terkelola, dan Google Cloud resource lain yang dapat ditemukan di Knowledge Catalog. Anda dapat menemukan artefak ini menggunakan kemampuan penelusuran metadata Knowledge Catalog dan melihat grafik silsilahnya.

Untuk mengetahui informasi selengkapnya tentang kemampuan penelusuran metadata Knowledge Catalog, lihat Menelusuri resource di Knowledge Catalog.

Perhatikan bahwa Knowledge Catalog mungkin tidak tersedia di semua region tempat Agent Platform Pipelines didukung. Jika Knowledge Catalog tidak didukung di region Anda, gunakan Vertex ML Metadata. Lihat daftar region yang didukung untuk Knowledge Catalog.

Ikuti petunjuk berikut untuk melihat grafik silsilah untuk artefak pipeline di Knowledge Catalog:

  1. Untuk meluncurkan kueri penelusuran Knowledge Catalog di Google Cloud konsol, buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Jika platform penelusuran Anda ditetapkan ke Data Catalog, di menu Choose search platform, pilih Knowledge Catalog.

  3. Gunakan filter untuk menelusuri artefak. Misalnya, Anda dapat menggunakan filter Data types untuk menentukan jenis artefak, seperti model, set data, atau tabel BigQuery. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource di Knowledge Catalog.

    Anda juga dapat menentukan kueri di kolom penelusuran.

  4. Untuk melihat silsilah artefak, klik nama artefak, lalu klik tab Silsilah.

    Pada grafik silsilah, proses Agent Platform didahului oleh Ikon silsilah Agent Platform. Proses ini mencakup artefak pipeline, komponen pipeline, dan template pipeline.

    • Untuk melihat detail proses, klik proses di grafik silsilah.

    • Untuk proses berdasarkan tugas pipeline dari operasi pipeline, Anda dapat melakukan hal berikut:

      • Lihat operasi pipeline di Agent Platform dengan mengklik Open in Agent Platform di Details tab. Untuk melihat detail runtime operasi pipeline, seperti status, stempel waktu, dan atribut, klik More. Untuk melihat operasi pipeline di Agent Platform, klik Open in Agent Platform.

    • Untuk proses berdasarkan template pipeline, Anda dapat melakukan hal berikut:

      • Lihat detail template di Agent Platform dengan mengklik Open in Agent Platform di Details tab.

      • Lihat daftar tugas pipeline yang dibuat dalam operasi pipeline di tab Runs. Untuk melihat detail template pipeline di Agent Platform, klik More, lalu klik Open in Agent Platform.

Langkah berikutnya