Ringkasan pemantauan model

Dengan memantau model machine learning (ML) di BigQuery ML, Anda dapat mengevaluasi dan membandingkan data yang digunakan model untuk membuat prediksi. Hal ini mencakup membandingkan data inferensi model dengan data pelatihannya, dan membandingkan data inferensi baru dengan data inferensi yang digunakan sebelumnya.

Memahami data yang digunakan oleh model Anda adalah aspek penting dari ML, karena data ini memengaruhi performa model. Memahami setiap varians antara data pelatihan dan inferensi sangat penting untuk memastikan model Anda tetap akurat dari waktu ke waktu. Model berperforma terbaik pada data inferensi yang mirip dengan data pelatihan. Jika data inferensi menyimpang dari data yang digunakan untuk melatih model, performa model dapat menurun, meskipun model itu sendiri tidak berubah.

BigQuery ML menyediakan fungsi untuk membantu Anda menganalisis data pelatihan dan inferensi untuk kecondongan data dan pergeseran data:

  • Kecondongan data terjadi ketika distribusi nilai fitur untuk data pelatihan berbeda secara signifikan dengan data penayangan dalam produksi. Statistik pelatihan untuk model disimpan selama pelatihan model, sehingga data pelatihan asli tidak diperlukan agar Anda dapat menggunakan deteksi kecondongan.
  • Penyimpangan data terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Deteksi penyimpangan didukung untuk rentang data yang berurutan, misalnya, antara hari yang berbeda dari data inferensi. Dengan demikian, Anda akan mendapatkan notifikasi jika data inferensi berubah seiring waktu, sebelum set data terlalu berbeda untuk melatih ulang model.

Gunakan fungsi berikut untuk memantau model di BigQuery ML:

  • ML.DESCRIBE_DATA: menghitung statistik deskriptif untuk sekumpulan data pelatihan atau inferensi.
  • ML.VALIDATE_DATA_SKEW: menghitung statistik untuk sekumpulan data inferensi, lalu membandingkannya dengan statistik data pelatihan yang dihitung saat model BigQuery ML dilatih, untuk mengidentifikasi perbedaan anomali antara kedua set data tersebut. Statistik hanya dihitung untuk kolom fitur dalam data inferensi yang cocok dengan kolom fitur dalam data pelatihan, untuk mencapai performa yang lebih baik dan biaya yang lebih rendah.
  • ML.VALIDATE_DATA_DRIFT: menghitung dan membandingkan statistik untuk dua set data inferensi guna mengidentifikasi perbedaan anomali antara kedua set data tersebut.
  • ML.TFDV_DESCRIBE: menghitung statistik deskriptif yang mendetail untuk sekumpulan data pelatihan atau inferensi. Fungsi ini memberikan perilaku yang sama dengan TensorFlow tfdv.generate_statistics_from_csv API.
  • ML.TFDV_VALIDATE: membandingkan statistik untuk statistik data pelatihan dan inferensi, atau dua set statistik data inferensi, untuk mengidentifikasi perbedaan anomali antara kedua set data. Fungsi ini memberikan perilaku yang sama dengan TensorFlow validate_statistics API.

Kasus penggunaan pemantauan

Bagian ini menjelaskan cara menggunakan fungsi pemantauan model BigQuery ML dalam kasus penggunaan pemantauan umum.

Pemantauan kecondongan data dasar

Kasus penggunaan ini sesuai jika Anda ingin mengembangkan dan memantau model dengan cepat untuk kecondongan data dan tidak memerlukan statistik kecondongan yang mendetail untuk diintegrasikan dengan solusi pemantauan yang ada.

Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:

  1. Jalankan fungsi ML.DESCRIBE_DATA pada data pelatihan dan inferensi Anda, untuk memastikan kedua set data dibandingkan dengan tepat satu sama lain dan berada dalam parameter yang diharapkan.
  2. Buat model BigQuery ML dan latih model tersebut pada data pelatihan.
  3. Jalankan fungsi ML.VALIDATE_DATA_SKEW untuk membandingkan statistik data inferensi dengan statistik data pelatihan yang dihitung selama pembuatan model untuk melihat apakah ada kecondongan data.
  4. Jika ada kecondongan data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.

Pemantauan penyimpangan data dasar

Kasus penggunaan ini sesuai jika Anda ingin mengembangkan dan memantau model dengan cepat untuk pergeseran data dan tidak memerlukan statistik pergeseran yang terperinci untuk diintegrasikan dengan solusi pemantauan yang ada.

Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:

  1. Jalankan fungsi ML.DESCRIBE_DATA pada data pelatihan dan inferensi Anda untuk memastikan kedua set data dibandingkan dengan tepat satu sama lain dan berada dalam parameter yang diharapkan.
  2. Buat model BigQuery ML dan latih model tersebut pada data pelatihan.
  3. Jalankan fungsi ML.VALIDATE_DATA_DRIFT untuk membandingkan statistik dua set data inferensi yang berbeda untuk melihat apakah ada pergeseran data. Misalnya, Anda mungkin ingin membandingkan data penyajian saat ini dengan data penyajian historis dari snapshot tabel, atau dengan fitur yang disajikan pada waktu tertentu, yang bisa Anda dapatkan menggunakan fungsi ML.FEATURES_AT_TIME.
  4. Jika terjadi pergeseran data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.

Pemantauan kecondongan atau penyimpangan data lanjutan

Kasus penggunaan ini sesuai jika Anda menginginkan statistik penyimpangan atau pergeseran yang mendetail untuk diintegrasikan dengan solusi pemantauan yang ada atau untuk tujuan lain.

Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:

  1. Jalankan fungsi ML.TFDV_DESCRIBE pada data pelatihan dan inferensi Anda pada interval yang sesuai dengan solusi pemantauan Anda, dan simpan hasil kueri. Langkah ini memungkinkan Anda membandingkan data inferensi mendatang dengan data pelatihan dan inferensi dari waktu sebelumnya.
  2. Jalankan fungsi ML.TFDV_VALIDATE pada statistik data pelatihan dan penayangan, atau pada dua set statistik data penayangan, untuk mengevaluasi kecondongan data atau pergeseran fitur. Data pelatihan dan inferensi harus disediakan sebagai buffering protokol DatasetFeatureStatisticsList TensorFlow dalam format JSON. Anda dapat membuat buffering protokol dalam format yang benar dengan menjalankan fungsi ML.TFDV_DESCRIBE, atau Anda dapat memuatnya dari luar BigQuery. Contoh berikut menunjukkan cara mengevaluasi kecondongan fitur:

    DECLARE stats1 JSON;
    DECLARE stats2 JSON;
    
    SET stats1 = (
      SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.training`)
    );
    SET stats2 = (
      SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.serving`)
    );
    
    SELECT ML.TFDV_VALIDATE(stats1, stats2, 'SKEW');
    
    INSERT `myproject.mydataset.serve_stats`
      (t, dataset_feature_statistics_list)
    SELECT CURRENT_TIMESTAMP() AS t, stats1;
  3. Jika ada kecondongan data atau pergeseran data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.

Visualisasi pemantauan

Beberapa fungsi pemantauan menawarkan integrasi dengan pemantauan model Gemini Enterprise Agent Platform, sehingga Anda dapat menggunakan diagram dan grafik untuk menganalisis output fungsi pemantauan model.

Menggunakan visualisasi Agent Platform menawarkan manfaat berikut:

  • Visualisasi interaktif: jelajahi distribusi data, metrik kemiringan, dan metrik penyimpangan menggunakan diagram dan grafik di konsol Agent Platform.
  • Analisis historis: lacak hasil pemantauan model dari waktu ke waktu menggunakan visualisasi Agent Platform. Hal ini memungkinkan Anda mengidentifikasi tren dan pola dalam perubahan data sehingga Anda dapat memperbarui dan memelihara model secara proaktif.
  • Pengelolaan terpusat: mengelola pemantauan untuk semua model BigQuery ML dan Agent Platform di dasbor Agent Platform terpadu.

Anda dapat mengaktifkan visualisasi output fungsi ML.VALIDATE_DATA_DRIFT menggunakan argumen MODEL fungsi tersebut. Anda dapat mengaktifkan visualisasi output fungsi ML.VALIDATE_DATA_SKEW menggunakan argumen enable_visualization_link fungsi tersebut.

Anda hanya dapat menggunakan visualisasi pemantauan dengan model yang terdaftar di Agent Platform. Anda dapat mendaftarkan model yang ada menggunakan pernyataan ALTER MODEL.

Otomatisasi pemantauan

Anda dapat mengotomatiskan pemantauan menggunakan kueri terjadwal untuk menjalankan fungsi pemantauan, mengevaluasi output, dan melatih ulang model jika anomali terdeteksi. Anda harus mengaktifkan notifikasi email sebagai bagian dari penyiapan kueri terjadwal.

Untuk contoh yang menunjukkan cara mengotomatiskan fungsi ML.VALIDATE_DATA_SKEW, lihat Mengotomatiskan deteksi kecondongan.

Langkah berikutnya

Untuk mengetahui informasi selengkapnya tentang pernyataan dan fungsi SQL yang didukung untuk model ML, lihat Perjalanan pengguna menyeluruh untuk model ML.