Memeriksa kualitas data untuk rekomendasi media

Halaman ini menjelaskan cara mengetahui apakah berbagai metrik untuk data media Anda memenuhi nilai minimum yang dipersyaratkan.

Tentang pemeriksaan kualitas data media

Karena peristiwa pengguna terbaru sangat penting untuk rekomendasi media, Anda harus memeriksa kualitas data dan peristiwa pengguna yang Anda serap secara rutin. Anda dapat melakukannya dengan meninjau tab Pengoptimalan untuk aplikasi rekomendasi media Anda guna menentukan peningkatan apa yang dapat Anda lakukan pada data Anda untuk mengoptimalkan rekomendasi yang lebih berkualitas.

Jika nilai minimum metrik tidak terpenuhi, metrik tersebut akan memiliki status peringatan. Kemudian, Anda perlu meninjau metrik dan deskripsinya untuk menentukan tindakan apa yang harus Anda lakukan untuk meningkatkan kualitas media Anda.

Semua model dan tujuan harus lulus nilai minimum metrik Kualitas umum. Beberapa model dan tujuan memiliki metrik dan nilai minimum Kualitas khusus aplikasi tambahan. Metrik kualitas umum sama untuk semua aplikasi yang menggunakan penyimpanan data yang sama, tetapi metrik kualitas khusus aplikasi bervariasi menurut model dan tujuan aplikasi.

Untuk mengetahui informasi tentang model dan tujuan rekomendasi, lihat Tentang jenis rekomendasi aplikasi media.

Memeriksa kualitas data

Konsol

Untuk memeriksa kualitas data rekomendasi media Anda, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman AI Applications.

   AI Applications

2. Klik nama aplikasi rekomendasi media yang ingin Anda periksa kualitas datanya.

3. Di menu navigasi, klik Kualitas data , lalu klik tab Pengoptimalan. Halaman ini menampilkan status berbagai metrik untuk data yang terkait dengan aplikasi Anda.

4. Tinjau status Kualitas umum dan Kualitas khusus aplikasi di bagian atas halaman. Status ringkasan di bagian atas halaman akan ditampilkan sebagai peringatan jika satu atau beberapa metrik telah melampaui nilai minimumnya.

   Dua tabel metrik (Kualitas umum dan Kualitas khusus aplikasi) mencantumkan metrik individual.

   

5. Di tabel metrik, klik Lihat detail untuk mengetahui informasi selengkapnya tentang metrik apa pun yang berstatus peringatan.

6. Opsional: Jika Anda ingin melihat nilai minimum untuk metrik yang sesuai, klik Lihat Detail. Nilai minimum untuk metrik yang sesuai tidak ditampilkan di tabel metrik.

REST

Catatan: Fitur ini adalah penawaran Pratinjau, yang tunduk pada "Persyaratan Penawaran Pra-GA" dari Persyaratan Khusus Layanan GCP. Produk dan fitur pra-GA mungkin memiliki dukungan terbatas, dan perubahan pada produk serta fitur pra-GA mungkin tidak kompatibel dengan versi pra-GA lainnya. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran. Selanjutnya, dengan menggunakan fitur ini, Anda menyetujui persyaratan dan ketentuan Pratinjau AI Generatif ("Persyaratan Pratinjau"). Untuk fitur ini, Anda dapat memproses data pribadi sebagaimana diuraikan dalam Adendum Pemrosesan Data Cloud, yang tunduk pada batasan dan kewajiban yang berlaku dalam Perjanjian (sebagaimana diuraikan dalam Persyaratan Pratinjau).

Gunakan metode requirements:checkRequirement untuk memeriksa kualitas data rekomendasi media Anda, seperti yang ditunjukkan.

Untuk memeriksa kualitas dari command line, ikuti langkah-langkah berikut:

1. Temukan ID penyimpanan data Anda. Jika Anda sudah memiliki ID penyimpanan data, lanjutkan ke langkah berikutnya.

   1. Di Google Cloud konsol, buka halaman AI Applications , lalu di menu navigasi, klik Data Stores.

      Buka halaman Data Stores

   2. Klik nama penyimpanan data Anda.

   3. Di halaman Data untuk penyimpanan data Anda, dapatkan ID penyimpanan data.

2. Jalankan perintah curl berikut untuk mempelajari apakah rekomendasi media Anda memenuhi nilai minimum untuk metrik umum:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Ganti kode berikut:

   • PROJECT_ID: ID proyek Anda Google Cloud .
   • DATA_STORE_ID: ID penyimpanan data Agent Search.

   Contoh perintah dan hasil

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Tinjau output:

   1. Cari nilai result:

      • Jika nilainya adalah SUCCESS, data Anda lulus persyaratan umum; lanjutkan ke langkah 4.

      • Jika nilainya adalah WARNING, lanjutkan ke langkah b.

      • Jika Anda tidak melihat result di output, ada beberapa kemungkinan alasan:

        • PROJECT_ID atau DATA_STORE_ID dalam permintaan salah.

        • Beberapa nilai metrik tidak tersedia. Coba lagi dalam 6 jam atau hubungi teknisi pelanggan untuk mendapatkan bantuan.

   2. Cari ekspresi (requirement.Condition.Expression): Jika ekspresi ini bernilai salah (false), berarti ada masalah dengan data Anda.

      Catatan: Tanda kurang dari dalam ekspresi muncul dalam unicode, \u003c, bukan sebagai "<".

      Nilai metrik berada di kolom requirementCondition.metricResults.value. Nilai minimum peringatan berada di kolom thresholdBindings.thresholdValues. Kolom description dapat membantu Anda memahami tujuan metrik.

      Misalnya, nilai doc_with_same_title_percentage adalah 30.47 dan nilai minimum peringatan untuk doc_with_same_title_percentage_threshold adalah 1. Ada masalah data karena begitu banyak judul di penyimpanan data yang sama, dan hal ini perlu diselidiki.

4. Jika kombinasi model dan tujuan yang digunakan untuk aplikasi rekomendasi Anda muncul dalam tabel ini, Anda juga perlu memanggil metode persyaratan pemeriksaan, yang diperbarui dengan nilai untuk model dan tujuan Anda:

   Model	Tujuan	MODEL_OBJ
   Produk Lain yang Mungkin Anda Sukai	Rasio konversi	oyml/cvr
   Direkomendasikan untuk Anda	Rasio konversi	rfy/cvr
   Lainnya Seperti Ini	Rasio konversi	mlt/cvr
   Terpopuler	Rasio konversi	mp/cvr
   Produk Lain yang Mungkin Anda Sukai	Durasi tonton per sesi	oyml/wdps
   Direkomendasikan untuk Anda	Durasi tonton per sesi	rfy/wdps
   Lainnya Seperti Ini	Durasi tonton per sesi	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Ganti kode berikut:

   • PROJECT_ID: ID proyek Anda Google Cloud .
   • DATA_STORE_ID: ID penyimpanan data Agent Search.
   • MODEL_OBJ: lihat tabel sebelumnya untuk memilih nilai yang benar untuk aplikasi rekomendasi Anda.

   Contoh perintah dan hasil

   Contoh ini adalah untuk model Lainnya Seperti Ini dan tujuan durasi tonton objektif:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Tinjau output:

   1. Cari nilai result:

      • Jika nilainya adalah SUCCESS, data Anda sudah cukup baik.

      • Jika nilainya adalah WARNING, lanjutkan ke langkah b.

      • Jika Anda tidak melihat result di output, ada beberapa kemungkinan alasan:

        • PROJECT_ID atau DATA_STORE_ID dalam permintaan salah.

        • Beberapa nilai metrik tidak tersedia. Coba lagi dalam 6 jam atau hubungi teknisi pelanggan untuk mendapatkan bantuan.

   2. Cari ekspresi (requirement.Condition.Expression). Jika ekspresi ini bernilai salah (false), berarti ada masalah dengan data Anda.

      Catatan: Tanda kurang dari dalam ekspresi muncul dalam unicode, \u003c, bukan sebagai <.

      Nilai metrik dapat ditemukan di kolom requirementCondition.metricResults.value, dan nilai minimum peringatan, di kolom thresholdBindings.thresholdValues. Kolom description dapat membantu Anda memahami tujuan metrik.