Controllare la qualità dei dati per i consigli sui contenuti multimediali

Questa pagina descrive come scoprire se varie metriche per i dati multimediali soddisfano le soglie dei requisiti.

Informazioni sul controllo della qualità dei dati multimediali

Poiché gli eventi utente recenti sono molto importanti per i consigli sui contenuti multimediali, devi controllare regolarmente la qualità dei dati e degli eventi utente importati. Puoi farlo esaminando la scheda Ottimizzazione dell'app di consigli sui contenuti multimediali per determinare quali miglioramenti puoi apportare ai dati al fine di ottimizzare i consigli per una qualità migliore.

Se la soglia di una metrica non viene soddisfatta, la metrica ha uno stato di avviso. A questo punto, devi esaminare la metrica e la relativa descrizione per determinare l'azione da intraprendere per migliorare la qualità dei contenuti multimediali.

Tutti i modelli e gli obiettivi devono superare le soglie delle metriche di qualità generale. Alcuni modelli e obiettivi hanno metriche e soglie di qualità specifiche dell'app aggiuntive. Le metriche di qualità generale sono uguali per tutte le app che utilizzano lo stesso datastore, ma le metriche di qualità specifiche dell'app variano in base al modello e agli obiettivi dell'app.

Per informazioni sui modelli e sugli obiettivi dei consigli, consulta Informazioni sui tipi di consigli per le app multimediali.

Controlla la qualità dei dati

Console

Per controllare la qualità dei dati dei consigli sui contenuti multimediali:

1. Nella Google Cloud console, vai alla pagina AI Applications.

   AI Applications

2. Fai clic sul nome dell'app di consigli sui contenuti multimediali di cui vuoi controllare la qualità dei dati.

3. Nel menu di navigazione, fai clic su Qualità dei dati e poi sulla scheda Ottimizzazione. Questa pagina mostra lo stato di varie metriche per i dati associati alla tua app.

4. Esamina gli stati Qualità generale e Qualità specifica dell'app nella parte superiore della pagina. Lo stato di riepilogo nella parte superiore della pagina viene visualizzato come avviso se una o più metriche hanno superato la soglia.

   Le due tabelle delle metriche (Qualità generale e Qualità specifica dell'app) elencano le singole metriche.

   

5. Nelle tabelle delle metriche, fai clic su Visualizza dettagli per ulteriori informazioni su eventuali metriche in stato di avviso.

6. (Facoltativo) Se vuoi visualizzare la soglia per una metrica conforme, fai clic su Visualizza dettagli. Le soglie per le metriche conformi non vengono mostrate nella tabella delle metriche.

REST

Nota: Questa funzionalità è un'offerta in anteprima, soggetta ai "Termini dell'offerta pre-GA" dei Termini di servizio specifici per Google Cloud. I prodotti e le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche ai prodotti e alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio. Inoltre, utilizzando questa funzionalità, accetti i Termini e condizioni di Anteprima dell'IA generativa ("Termini di anteprima"). Per questa funzionalità, puoi trattare i dati personali come descritto nell' Addendum per il trattamento dei dati Cloud, in conformità alle limitazioni e alle obbligazioni applicabili del Contratto (come definite nei Termini di anteprima).

Utilizza il metodo requirements:checkRequirement per controllare la qualità dei dati dei consigli sui contenuti multimediali, come mostrato di seguito.

Per controllare la qualità dalla riga di comando:

1. Trova l'ID del datastore. Se hai già l'ID del datastore, vai al passaggio successivo.

   1. Nella Google Cloud console, vai alla pagina AI Applications e nel menu di navigazione, fai clic su Datastore.

      Vai alla pagina Datastore

   2. Fai clic sul nome del tuo datastore.

   3. Nella pagina Dati del datastore, recupera l'ID del datastore.

2. Esegui il seguente comando curl per scoprire se i consigli sui contenuti multimediali soddisfano le soglie per le metriche generali:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo Google Cloud progetto.
   • DATA_STORE_ID: l'ID del datastore di Ricerca agente.

   Esempio di comando e risultato

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Esamina l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, i dati soddisfano i requisiti generali; continua al passaggio 4.

      • Se il valore è WARNING, continua al passaggio b.

      • Se non vedi result nell'output, potrebbero esserci alcuni motivi:

        • PROJECT_ID o DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o contatta un ingegnere clienti per ricevere assistenza.

   2. Cerca l'espressione (requirement.Condition.Expression): se questa espressione restituisce il valore false, significa che si è verificato un problema con i dati.

      Nota: il simbolo di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come "<".

      Il valore delle metriche si trova nel campo requirementCondition.metricResults.value. I valori delle soglie di avviso si trovano nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.

      Ad esempio, il valore di doc_with_same_title_percentage è 30.47 e la soglia di avviso per doc_with_same_title_percentage_threshold è 1. Si è verificato un problema con i dati perché molti titoli nel datastore sono uguali e questo deve essere esaminato.

4. Se la combinazione di modello e obiettivo utilizzata per l'app di consigli è presente in questa tabella, devi anche chiamare il metodo di controllo dei requisiti, aggiornato con i valori del modello e dell'obiettivo:

   Modello	Obiettivo	MODEL_OBJ
   Altri che ti potrebbero piacere	Tasso di conversione	oyml/cvr
   Consigliate per te	Tasso di conversione	rfy/cvr
   Altre simili	Tasso di conversione	mlt/cvr
   I più popolari	Tasso di conversione	mp/cvr
   Altri che ti potrebbero piacere	Durata riproduzione per sessione	oyml/wdps
   Consigliate per te	Durata riproduzione per sessione	rfy/wdps
   Altre simili	Durata riproduzione per sessione	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo Google Cloud progetto.
   • DATA_STORE_ID: l'ID del datastore di Ricerca agente.
   • MODEL_OBJ: consulta la tabella precedente per scegliere il valore corretto per l'app di consigli.

   Esempio di comando e risultato

   Questo esempio riguarda il modello Altre simili e l'obiettivo della durata di visualizzazione obiettivo:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Esamina l'output:

   1. Cerca il valore di result:

      • Se il valore è SUCCESS, i dati sono sufficienti.

      • Se il valore è WARNING, continua al passaggio b.

      • Se non vedi result nell'output, potrebbero esserci alcuni motivi:

        • PROJECT_ID o DATA_STORE_ID nella richiesta non è corretto.

        • Alcuni valori delle metriche non sono disponibili. Riprova tra 6 ore o contatta un ingegnere clienti per ricevere assistenza.

   2. Cerca l'espressione (requirement.Condition.Expression). Se questa espressione restituisce il valore false, significa che si è verificato un problema con i dati.

      Nota: il simbolo di minore nell'espressione viene visualizzato in Unicode, \u003c, anziché come <.

      Il valore delle metriche si trova nel campo requirementCondition.metricResults.value e i valori delle soglie di avviso nei campi thresholdBindings.thresholdValues. I campi description possono aiutarti a comprendere lo scopo della metrica.