Verifica la calidad de los datos para las recomendaciones de medios

En esta página, se describe cómo averiguar si varias métricas de tus datos de contenido multimedia cumplen con sus umbrales de requisitos.

Acerca de la verificación de la calidad de los datos de contenido multimedia

Debido a que los eventos de usuarios recientes son muy importantes para las recomendaciones de contenido multimedia, debes verificar periódicamente la calidad de los datos y los eventos de usuarios transferidos. Para ello, revisa la pestaña Optimización de tu app de recomendaciones de contenido multimedia para determinar qué mejoras puedes realizar en tus datos para optimizar las recomendaciones de mejor calidad.

Si no se cumple el umbral de una métrica, esta tendrá un estado de advertencia. Luego, debes revisar la métrica y su descripción para determinar qué acción debes realizar para mejorar la calidad de tu contenido multimedia.

Todos los modelos y objetivos deben superar los umbrales de la métrica Calidad general. Algunos modelos y objetivos tienen métricas y umbrales adicionales de Calidad específica de la app. Las métricas de calidad general son las mismas para todas las apps que usan el mismo almacén de datos, pero las métricas de calidad específicas de la app varían según el modelo y los objetivos de la app.

Para obtener información sobre los modelos y objetivos de recomendaciones, consulta Acerca de los tipos de recomendaciones de apps de contenido multimedia.

Verifica la calidad de los datos

Console

Para verificar la calidad de los datos de tus recomendaciones de contenido multimedia, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página AI Applications.

   AI Applications

2. Haz clic en el nombre de la app de recomendaciones de contenido multimedia para la que deseas verificar la calidad de los datos.

3. En el menú de navegación, haz clic en Calidad de los datos y, luego, en la pestaña Optimización. En esta página, se muestra el estado de varias métricas de los datos asociados con tu app.

4. Revisa los estados de Calidad general y Calidad específica de la app en la parte superior de la página. El estado del resumen en la parte superior de la página se muestra como una advertencia si una o más métricas superaron su umbral.

   En las dos tablas de métricas (Calidad general y Calidad específica de la app), se enumeran las métricas individuales.

   

5. En las tablas de métricas, haz clic en Ver detalles para obtener más información sobre las métricas en estado de advertencia.

6. Opcional: Si deseas ver el umbral de una métrica compatible, haz clic en Ver detalles. Los umbrales de las métricas compatibles no se muestran en la tabla de métricas.

REST

Nota: Esta función es una Versión preliminar que está sujeta a las "Condiciones de la oferta de la fase previa a la DG" de las Condiciones específicas del servicio de GCP. La asistencia de los productos y las características de la fase previa a la DG puede ser limitada, y es posible que los cambios en estos productos y características no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta las descripciones de la etapa de lanzamiento. Además, al usar esta función aceptas los Términos y Condiciones de la versión preliminar de IA generativa ("Términos de la versión preliminar"). Para usar esta función, puedes procesar datos personales según está descrito en el Anexo de Tratamiento de Datos de Cloud, sujeto a las restricciones y obligaciones aplicables en el Acuerdo (como se define en los Términos de la versión preliminar).

Usa el método requirements:checkRequirement para verificar la calidad de los datos de tus recomendaciones de contenido multimedia, como se muestra a continuación.

Para verificar la calidad desde la línea de comandos, sigue estos pasos:

1. Busca el ID de tu almacén de datos. Si ya tienes el ID de tu almacén de datos, avanza al próximo paso.

   1. En la consola de Google Cloud , ve a la página Aplicaciones basadas en IA y, en el menú de navegación, haz clic en Almacenes de datos.

      Ir a la página Almacenes de datos.

   2. Haz clic en el nombre de tu almacén de datos.

   3. En la página Datos de tu almacén de datos, obtén el ID del almacén de datos.

2. Ejecuta el siguiente comando curl para saber si tus recomendaciones de contenido multimedia cumplen con los umbrales de las métricas generales:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el ID de tu Google Cloud proyecto.
   • DATA_STORE_ID: Es el ID del almacén de datos de Agent Search.

   Ejemplo de comando y resultado

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. Revisa el resultado:

   1. Busca el valor de result:

      • Si el valor es SUCCESS, tus datos cumplen con los requisitos generales. Continúa con el paso 4.

      • Si el valor es WARNING, continúa con el paso b.

      • Si no ves result en el resultado, puede deberse a varios motivos:

        • El PROJECT_ID o DATA_STORE_ID de la solicitud son incorrectos.

        • Algunos valores de métricas no están disponibles. Vuelve a intentarlo en 6 horas o comunícate con un ingeniero de atención al cliente para obtener ayuda.

   2. Busca la expresión (requirement.Condition.Expression): Si esta expresión se evalúa como falsa, significa que hay un problema con tus datos.

      Nota: El signo menor que de la expresión aparece en Unicode, \u003c, en lugar de como "<".

      El valor de las métricas se encuentra en el campo requirementCondition.metricResults.value. Los valores de umbral de advertencia se encuentran en los campos thresholdBindings.thresholdValues. Los campos description pueden ayudarte a comprender el propósito de la métrica.

      Por ejemplo, el valor de doc_with_same_title_percentage es 30.47 y el umbral de advertencia para doc_with_same_title_percentage_threshold es 1. Hay un problema con los datos, ya que muchos de los títulos del almacén de datos son iguales, y esto debe investigarse.

4. Si la combinación de modelo y objetivo que se usa para tu app de recomendaciones aparece en esta tabla, también debes llamar al método de verificación de requisitos, actualizado con los valores de tu modelo y objetivo:

   Modelo	Objetivo	MODEL_OBJ
   Otros elementos que podrían gustarte	Porcentaje de conversiones	oyml/cvr
   Recomendado para ti	Porcentaje de conversiones	rfy/cvr
   Más contenido relacionado	Porcentaje de conversiones	mlt/cvr
   Más populares	Porcentaje de conversiones	mp/cvr
   Otros elementos que podrían gustarte	Duración de la visualización por sesión	oyml/wdps
   Recomendado para ti	Duración de la visualización por sesión	rfy/wdps
   Más contenido relacionado	Duración de la visualización por sesión	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el ID de tu Google Cloud proyecto.
   • DATA_STORE_ID: Es el ID del almacén de datos de Agent Search.
   • MODEL_OBJ: Consulta la tabla anterior para elegir el valor correcto para tu app de recomendaciones.

   Ejemplo de comando y resultado

   Este ejemplo es para el modelo Más contenido relacionado y el objetivo de duración de la visualización:

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. Revisa el resultado:

   1. Busca el valor de result:

      • Si el valor es SUCCESS, tus datos son lo suficientemente buenos.

      • Si el valor es WARNING, continúa con el paso b.

      • Si no ves result en el resultado, puede deberse a varios motivos:

        • El PROJECT_ID o DATA_STORE_ID de la solicitud son incorrectos.

        • Algunos valores de métricas no están disponibles. Vuelve a intentarlo en 6 horas o comunícate con un ingeniero de atención al cliente para obtener ayuda.

   2. Busca la expresión (requirement.Condition.Expression). Si esta expresión se evalúa como falsa, significa que hay un problema con tus datos.

      Nota: El signo menor que de la expresión aparece en Unicode, \u003c, en lugar de como “<”.

      El valor de las métricas se encuentra en el campo requirementCondition.metricResults.value, y los valores de umbral de advertencia, en los campos thresholdBindings.thresholdValues. Los campos description pueden ayudarte a comprender el propósito de la métrica.