Ringkasan pemantauan model
Dengan memantau model machine learning (ML) di BigQuery ML, Anda dapat mengevaluasi dan membandingkan data yang digunakan model untuk membuat prediksi. Hal ini mencakup membandingkan data inferensi model dengan data pelatihannya, dan membandingkan data inferensi baru dengan data inferensi yang digunakan sebelumnya.
Memahami data yang digunakan oleh model Anda adalah aspek penting dari ML, karena data ini memengaruhi performa model. Memahami setiap varians antara data pelatihan dan inferensi sangat penting untuk memastikan model Anda tetap akurat dari waktu ke waktu. Model berperforma terbaik pada data inferensi yang mirip dengan data pelatihan. Jika data inferensi menyimpang dari data yang digunakan untuk melatih model, performa model dapat menurun, meskipun model itu sendiri tidak berubah.
BigQuery ML menyediakan fungsi untuk membantu Anda menganalisis data pelatihan dan inferensi untuk kecondongan data dan pergeseran data:
- Kecondongan data terjadi ketika distribusi nilai fitur untuk data pelatihan berbeda secara signifikan dengan data penayangan dalam produksi. Statistik pelatihan untuk model disimpan selama pelatihan model, sehingga data pelatihan asli tidak diperlukan agar Anda dapat menggunakan deteksi kecondongan.
- Penyimpangan data terjadi ketika distribusi data fitur dalam produksi berubah secara signifikan dari waktu ke waktu. Deteksi penyimpangan didukung untuk rentang data yang berurutan, misalnya, antara hari yang berbeda dari data inferensi. Dengan demikian, Anda akan mendapatkan notifikasi jika data inferensi berubah seiring waktu, sebelum set data terlalu berbeda untuk melatih ulang model.
Gunakan fungsi berikut untuk memantau model di BigQuery ML:
ML.DESCRIBE_DATA: menghitung statistik deskriptif untuk sekumpulan data pelatihan atau inferensi.ML.VALIDATE_DATA_SKEW: menghitung statistik untuk sekumpulan data inferensi, lalu membandingkannya dengan statistik data pelatihan yang dihitung saat model BigQuery ML dilatih, untuk mengidentifikasi perbedaan anomali antara kedua set data tersebut. Statistik hanya dihitung untuk kolom fitur dalam data inferensi yang cocok dengan kolom fitur dalam data pelatihan, untuk mencapai performa yang lebih baik dan biaya yang lebih rendah.ML.VALIDATE_DATA_DRIFT: menghitung dan membandingkan statistik untuk dua set data inferensi guna mengidentifikasi perbedaan anomali antara kedua set data tersebut.ML.TFDV_DESCRIBE: menghitung statistik deskriptif yang mendetail untuk sekumpulan data pelatihan atau inferensi. Fungsi ini memberikan perilaku yang sama dengan TensorFlowtfdv.generate_statistics_from_csvAPI.ML.TFDV_VALIDATE: membandingkan statistik untuk statistik data pelatihan dan inferensi, atau dua set statistik data inferensi, untuk mengidentifikasi perbedaan anomali antara kedua set data. Fungsi ini memberikan perilaku yang sama dengan TensorFlowvalidate_statisticsAPI.
Kasus penggunaan pemantauan
Bagian ini menjelaskan cara menggunakan fungsi pemantauan model BigQuery ML dalam kasus penggunaan pemantauan umum.
Pemantauan kecondongan data dasar
Kasus penggunaan ini sesuai jika Anda ingin mengembangkan dan memantau model dengan cepat untuk kecondongan data dan tidak memerlukan statistik kecondongan yang mendetail untuk diintegrasikan dengan solusi pemantauan yang ada.
Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:
- Jalankan fungsi
ML.DESCRIBE_DATApada data pelatihan dan inferensi Anda, untuk memastikan kedua set data dibandingkan dengan tepat satu sama lain dan berada dalam parameter yang diharapkan. - Buat model BigQuery ML dan latih model tersebut pada data pelatihan.
- Jalankan fungsi
ML.VALIDATE_DATA_SKEWuntuk membandingkan statistik data inferensi dengan statistik data pelatihan yang dihitung selama pembuatan model untuk melihat apakah ada kecondongan data. - Jika ada kecondongan data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.
Pemantauan penyimpangan data dasar
Kasus penggunaan ini sesuai jika Anda ingin mengembangkan dan memantau model dengan cepat untuk pergeseran data dan tidak memerlukan statistik pergeseran yang terperinci untuk diintegrasikan dengan solusi pemantauan yang ada.
Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:
- Jalankan fungsi
ML.DESCRIBE_DATApada data pelatihan dan inferensi Anda untuk memastikan kedua set data dibandingkan dengan tepat satu sama lain dan berada dalam parameter yang diharapkan. - Buat model BigQuery ML dan latih model tersebut pada data pelatihan.
- Jalankan fungsi
ML.VALIDATE_DATA_DRIFTuntuk membandingkan statistik dua set data inferensi yang berbeda untuk melihat apakah ada pergeseran data. Misalnya, Anda mungkin ingin membandingkan data penyajian saat ini dengan data penyajian historis dari snapshot tabel, atau dengan fitur yang disajikan pada waktu tertentu, yang bisa Anda dapatkan menggunakan fungsiML.FEATURES_AT_TIME. - Jika terjadi pergeseran data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.
Pemantauan kecondongan atau penyimpangan data lanjutan
Kasus penggunaan ini sesuai jika Anda menginginkan statistik penyimpangan atau pergeseran yang mendetail untuk diintegrasikan dengan solusi pemantauan yang ada atau untuk tujuan lain.
Langkah-langkah umum untuk kasus penggunaan ini adalah sebagai berikut:
- Jalankan fungsi
ML.TFDV_DESCRIBEpada data pelatihan dan inferensi Anda pada interval yang sesuai dengan solusi pemantauan Anda, dan simpan hasil kueri. Langkah ini memungkinkan Anda membandingkan data inferensi mendatang dengan data pelatihan dan inferensi dari waktu sebelumnya. Jalankan fungsi
ML.TFDV_VALIDATEpada statistik data pelatihan dan penayangan, atau pada dua set statistik data penayangan, untuk mengevaluasi kecondongan data atau pergeseran fitur. Data pelatihan dan inferensi harus disediakan sebagai buffering protokolDatasetFeatureStatisticsListTensorFlow dalam format JSON. Anda dapat membuat buffering protokol dalam format yang benar dengan menjalankan fungsiML.TFDV_DESCRIBE, atau Anda dapat memuatnya dari luar BigQuery. Contoh berikut menunjukkan cara mengevaluasi kecondongan fitur:DECLARE stats1 JSON; DECLARE stats2 JSON; SET stats1 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.training`) ); SET stats2 = ( SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.serving`) ); SELECT ML.TFDV_VALIDATE(stats1, stats2, 'SKEW'); INSERT `myproject.mydataset.serve_stats` (t, dataset_feature_statistics_list) SELECT CURRENT_TIMESTAMP() AS t, stats1;
Jika ada kecondongan data atau pergeseran data, selidiki penyebab utamanya, sesuaikan data pelatihan dengan tepat, lalu latih ulang model.
Visualisasi pemantauan
Beberapa fungsi pemantauan menawarkan integrasi dengan pemantauan model Gemini Enterprise Agent Platform, sehingga Anda dapat menggunakan diagram dan grafik untuk menganalisis output fungsi pemantauan model.
Menggunakan visualisasi Agent Platform menawarkan manfaat berikut:
- Visualisasi interaktif: jelajahi distribusi data, metrik kemiringan, dan metrik penyimpangan menggunakan diagram dan grafik di konsol Agent Platform.
- Analisis historis: lacak hasil pemantauan model dari waktu ke waktu menggunakan visualisasi Agent Platform. Hal ini memungkinkan Anda mengidentifikasi tren dan pola dalam perubahan data sehingga Anda dapat memperbarui dan memelihara model secara proaktif.
- Pengelolaan terpusat: mengelola pemantauan untuk semua model BigQuery ML dan Agent Platform di dasbor Agent Platform terpadu.
Anda dapat mengaktifkan visualisasi output fungsi ML.VALIDATE_DATA_DRIFT
menggunakan argumen MODEL fungsi tersebut. Anda dapat mengaktifkan visualisasi output fungsi ML.VALIDATE_DATA_SKEW menggunakan argumen enable_visualization_link fungsi tersebut.
Anda hanya dapat menggunakan visualisasi pemantauan dengan model yang
terdaftar di
Agent Platform. Anda dapat mendaftarkan model yang ada menggunakan
pernyataan ALTER MODEL.
Otomatisasi pemantauan
Anda dapat mengotomatiskan pemantauan menggunakan kueri terjadwal untuk menjalankan fungsi pemantauan, mengevaluasi output, dan melatih ulang model jika anomali terdeteksi. Anda harus mengaktifkan notifikasi email sebagai bagian dari penyiapan kueri terjadwal.
Untuk contoh yang menunjukkan cara mengotomatiskan fungsi ML.VALIDATE_DATA_SKEW, lihat Mengotomatiskan deteksi kecondongan.
Langkah berikutnya
Untuk mengetahui informasi selengkapnya tentang pernyataan dan fungsi SQL yang didukung untuk model ML, lihat Perjalanan pengguna menyeluruh untuk model ML.