בדיקת איכות הנתונים של המלצות למדיה

בדף הזה מוסבר איך בודקים אם מדדים שונים של נתוני המדיה עומדים בספי דרישות.

מידע על בדיקת האיכות של נתוני המדיה

אירועים עדכניים של משתמשים חשובים מאוד להמלצות על מדיה, ולכן חשוב לבדוק באופן קבוע את האיכות של הנתונים והאירועים של המשתמשים שמועברים למערכת. כדי לעשות את זה, אפשר לעיין בכרטיסייה אופטימיזציה באפליקציית ההמלצות למדיה כדי לראות אילו שיפורים אפשר לבצע בנתונים כדי לשפר את איכות ההמלצות.

אם הנתונים של מדד מסוים לא מגיעים לסף, הסטטוס של המדד יהיה'אזהרה'. לאחר מכן, צריך לבדוק את המדד ואת התיאור שלו כדי להבין איזו פעולה צריך לבצע כדי לשפר את איכות המדיה.

כל המודלים והיעדים צריכים לעמוד בסף של מדד האיכות הכללית. לחלק מהמודלים והיעדים יש מדדים וערכי סף נוספים של איכות ספציפית לאפליקציה. מדדי האיכות הכלליים זהים לכל האפליקציות שמשתמשות באותו מאגר נתונים, אבל מדדי האיכות הספציפיים לאפליקציה משתנים בהתאם למודל ולמטרות של האפליקציה.

מידע על המודלים והיעדים של ההמלצות זמין במאמר מידע על סוגי ההמלצות באפליקציות מדיה.

בדיקת איכות הנתונים

המסוף

כדי לבדוק את האיכות של נתוני ההמלצות למדיה:

1. נכנסים לדף AI Applications במסוף Google Cloud .

   אפליקציות AI

2. לוחצים על השם של האפליקציה להמלצות על מדיה שרוצים לבדוק את איכות הנתונים שלה.

3. בתפריט הניווט, לוחצים על איכות הנתונים ואז על הכרטיסייה אופטימיזציה. בדף הזה מוצג הסטטוס של מדדים שונים לגבי הנתונים שמשויכים לאפליקציה שלכם.

4. בחלק העליון של הדף, בודקים את הסטטוסים איכות כללית ואיכות ספציפית לאפליקציה. אם אחד או יותר מהמדדים חרגו מהערך הסף שלהם, סטטוס הסיכום בחלק העליון של הדף מוצג כאזהרה.

   בטבלאות של שני המדדים (איכות כללית ואיכות ספציפית לאפליקציה) מפורטים המדדים השונים.

   

5. בטבלאות המדדים, לוחצים על הצגת פרטים כדי לקבל מידע נוסף על מדדים במצב אזהרה.

6. אופציונלי: כדי לראות את ערך הסף של מדד שעומד בדרישות, לוחצים על הצגת פרטים. סף הערכים למדדים שעומדים בדרישות לא מוצג בטבלת המדדים.

REST

הערה: התכונה הזו היא מוצר בגרסת טרום-GA, והשימוש בה כפוף ל "תנאי השימוש במוצרים בגרסת טרום-GA" בתנאים הספציפיים לשירותי GCP. יכול להיות שהתמיכה במוצרים ובתכונות בגרסת טרום-GA תהיה מוגבלת, ושינויים במוצרים ובתכונות בגרסת טרום-GA לא יהיו תואמים לגרסאות אחרות של טרום-GA. מידע נוסף זמין בקטע תיאורים של שלבי ההשקה. בנוסף, השימוש בתכונה הזו מבטא את הסכמתכם לתנאים ולהגבלות של גרסת הטרום-השקה של AI גנרטיבי ('תנאי השימוש בגרסת הטרום-השקה'). אתם יכולים להשתמש בתכונה הזו כדי לעבד מידע אישי כמו שמפורט בנספח לעיבוד נתונים ב-Cloud, בכפוף להגבלות ולמחויבויות הרלוונטיות בהסכם (כפי שמוגדר בתנאי התוכנה בגרסת טרום-השקה).

כדי לבדוק את איכות הנתונים של ההמלצות למדיה, אפשר להשתמש בשיטה requirements:checkRequirement, כמו שמוצג.

כדי לבדוק את האיכות משורת הפקודה, פועלים לפי השלבים הבאים:

1. איך מוצאים את המזהה של מאגר הנתונים אם כבר יש לכם מזהה של מאגר נתונים, אפשר לדלג לשלב הבא.

   1. במסוף Google Cloud , עוברים לדף AI Applications ובתפריט הניווט לוחצים על Data Stores.

      מעבר לדף Data Stores

   2. לוחצים על השם של מאגר הנתונים.

   3. בדף Data של מאגר הנתונים, מעתיקים את המזהה של מאגר הנתונים.

2. מריצים את פקודת ה-Curl הבאה כדי לדעת אם ההמלצות למדיה עומדות בספי המדדים הכלליים:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫DATA_STORE_ID: המזהה של מאגר הנתונים של חיפוש מבוסס סוכנים.

   דוגמה לפקודה ולתוצאה

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/requirements:checkRequirement"
   -d '{
     "location": "projects/123456/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "123456"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/general/all/warning",
   "displayName": "Warning level requirements for all models and all business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for all media recommendations models and all business objectives.",
   "condition": {
     "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "doc_with_same_title_percentage",
       "resourceType": "discoveryengine.googleapis.com/Branch",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/documents/items_with_same_title' AND metric.labels.is_percentage = 'True' AND resource.labels.project_number = '123456' AND resource.labels.branch_id = '0' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the documents with the same title in a branch.",
       "category": "Document"
     },
     {
       "variableId": "most_common_visitor_id_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/branch/datastore/user_events/most_used_visitor_id_events' AND metric.labels.is_percentage = 'True' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of the events with the same visitor id.",
       "category": "DataStore"
     },
     {
       "variableId": "short_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'WEEK' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 7 days.",
       "category": "DataStore"
     },
     {
       "variableId": "long_term_unjoined_events_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids' AND metric.labels.is_percentage = 'True' AND metric.conditions.time_range = 'NINETY_DAYS' AND resource.labels.datastore_id = 'my-data-store' AND resource.labels.project_number = '123456' AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection'",
       "description": "The percentage of events refers to a document id that is not in the catalog in the last 90 days.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "doc_with_same_title_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 1.0
       }
       "description": "The threshold for the percentage of the documents with the same title in a branch."
     },
     {
       "variableId": "most_common_visitor_id_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events with the same visitor id."
     },
     {
       "variableId": "short_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 5.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 7 days."
     },
     {
       "variableId": "long_term_unjoined_events_percentage_threshold",
       "threshold_values": {
         "severity": "WARNING",
         "value": 2.0
       }
       "description": "The threshold for the percentage of the events refers to a document id that is not in the catalog in the last 90 days"
     }
   ]
   },
   "result": "WARNING",
   "requirementCondition": {
   "expression": "doc_with_same_title_percentage \u003c doc_with_same_title_percentage_threshold && most_common_visitor_id_percentage \u003c most_common_visitor_id_percentage_threshold && short_term_unjoined_events_percentage \u003c short_term_unjoined_events_percentage_threshold && long_term_unjoined_events_percentage \u003c long_term_unjoined_events_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "short_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.416900898Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "long_term_unjoined_events_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T03:03:13.417962744Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/unjoined_events_for_document_ids"
   },
   {
     "name": "most_common_visitor_id_percentage",
     "value": {
       "doubleValue": 0.8
     },
     "timestamp": "2024-06-06T03:03:16.090037135Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/most_used_visitor_id_events"
   },
   {
     "name": "doc_with_same_title_percentage",
     "value": {
       "doubleValue": 30.47
     },
     "timestamp": "2024-06-06T03:03:17.599458357Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/documents/items_with_same_title"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T03:03:13.416900898Z"
   }
   

3. בודקים את הפלט:

   1. מחפשים את הערך של result:

      • אם הערך הוא SUCCESS, הנתונים עומדים בדרישות הכלליות. ממשיכים לשלב 4.

      • אם הערך הוא WARNING, ממשיכים לשלב ב'.

      • אם לא מופיע result בפלט, יכולות להיות לכך כמה סיבות:

        • הקוד PROJECT_ID או DATA_STORE_ID בבקשה שגוי.

        • חלק מערכי המדדים לא זמינים. אפשר לנסות שוב בעוד 6 שעות או לפנות למהנדס לקוחות לקבלת עזרה.

   2. מחפשים את הביטוי (requirement.Condition.Expression): אם הביטוי הזה מחזיר ערך false, יש בעיה בנתונים.

      הערה: סימן הקטן מ-(<) בביטוי מופיע ב-Unicode, ‏ \u003c, במקום כ-"<".

      הערך של המדדים נמצא בשדה requirementCondition.metricResults.value. ערכי סף האזהרה מופיעים בשדות thresholdBindings.thresholdValues. השדות description יכולים לעזור לכם להבין את המטרה של המדד.

      לדוגמה, הערך של doc_with_same_title_percentage הוא 30.47 וסף האזהרה של doc_with_same_title_percentage_threshold הוא 1. יש בעיה בנתונים, כי הרבה מהשמות במאגר הנתונים זהים, וצריך לבדוק את זה.

4. אם השילוב של המודל והיעד שמשמשים את אפליקציית ההמלצות שלכם מופיע בטבלה הזו, אתם צריכים גם להפעיל את השיטה check requirement, שמעודכנת עם הערכים של המודל והיעד שלכם:

   דגם	מטרה	MODEL_OBJ
   עוד אפליקציות שאולי יעניינו אותך	שיעור המרה	oyml/cvr
   מומלץ בשבילך	שיעור המרה	rfy/cvr
   עוד תוכן דומה	שיעור המרה	mlt/cvr
   הפופולרי ביותר	שיעור המרה	mp/cvr
   עוד אפליקציות שאולי יעניינו אותך	משך הצפייה בכל סשן	oyml/wdps
   מומלץ בשבילך	משך הצפייה בכל סשן	rfy/wdps
   עוד תוכן דומה	משך הצפייה בכל סשן	mlt/wdps

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-GFE-SSL: yes" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
   -d '{
         "location": "projects/PROJECT_ID/locations/global",
         "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
         "resources": [
           {
             "labels": {
               "branch_id": "0",
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/Branch"
           },
           {
             "labels": {
               "collection_id": "default_collection",
               "datastore_id": "DATA_STORE_ID",
               "location_id": "global",
               "project_number": "PROJECT_ID"
             },
             "type": "discoveryengine.googleapis.com/DataStore"
           }
         ]
       }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫DATA_STORE_ID: המזהה של מאגר הנתונים של חיפוש מבוסס סוכנים.
   • ‫MODEL_OBJ: אפשר לעיין בטבלה הקודמת כדי לבחור את הערך הנכון לאפליקציית ההמלצות.

   דוגמה לפקודה ולתוצאה

   הדוגמה הזו היא למודל 'עוד תוצאות דומות' ולמטרה 'משך הצפייה':

   curl -X POST
   -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json"
   -H "X-GFE-SSL: yes"
   -H "X-Goog-User-Project: my-project-123"
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/requirements:checkRequirement"
   -d '{
     "location": "projects/my-project-123/locations/global",
     "requirementType": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
     "resources": [
       {
         "labels": {
           "branch_id": "0",
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/Branch"
       },
       {
         "labels": {
           "collection_id": "default_collection",
           "datastore_id": "my-data-store",
           "location_id": "global",
           "project_number": "my-project-123"
         },
         "type": "discoveryengine.googleapis.com/DataStore"
       }
     ]
   }'
       
   
   {
   "requirement": {
   "type": "discoveryengine.googleapis.com/media_recs/mlt/wdps/warning",
   "displayName": "Warning level requirements for 'More Like This' models and 'Watch duration per session' business objectives.",
   "description": "Requirements for the media recommendations model that will result in performance issue if not met for the 'More Like This' model and the 'Watch duration per session' business objective.",
   "condition": {
     "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricBindings": [
     {
       "variableId": "invalid_sequence_percentage",
       "resourceType": "discoveryengine.googleapis.com/DataStore",
       "metricFilter": "metric.type = 'discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete' AND metric.labels.is_percentage = 'True'  AND resource.labels.location_id = 'global' AND resource.labels.collection_id = 'default_collection' AND resource.labels.project_number = '123456' AND resource.labels.datastore_id = 'my-data-store'",
       "description": "The percentage of invalid sequences for media play and media complete events sampled by randomly selected visitor ids.",
       "category": "DataStore"
     }
   ],
   "thresholdBindings": [
     {
       "variableId": "invalid_sequence_percentage_threshold",
       "thresholdValues": [
         {
           "severity": "WARNING",
           "value": 50
         }
       ],
       "description": "The threshold for the percentage of invalid sequences sampled among all media play and media complete events."
     }
   ]
   },
   "result": "SUCCESS",
   "requirementCondition": {
   "expression": "invalid_sequence_percentage \u003c= invalid_sequence_percentage_threshold"
   },
   "metricResults": [
   {
     "name": "invalid_sequence_percentage",
     "value": {
       "doubleValue": 0
     },
     "timestamp": "2024-06-06T02:32:00.460056386Z",
     "unit": "%",
     "metricType": "discoveryengine.googleapis.com/datastore/user_events/invalid_sequences_media_play_media_complete"
   }
   ],
   "oldestMetricTimestamp": "2024-06-06T02:32:00.460056386Z"
   }
   

5. בודקים את הפלט:

   1. מחפשים את הערך של result:

      • אם הערך הוא SUCCESS, הנתונים שלכם טובים מספיק.

      • אם הערך הוא WARNING, ממשיכים לשלב ב'.

      • אם לא מופיע result בפלט, יכולות להיות לכך כמה סיבות:

        • הקוד PROJECT_ID או DATA_STORE_ID בבקשה שגוי.

        • חלק מערכי המדדים לא זמינים. אפשר לנסות שוב בעוד 6 שעות או לפנות למהנדס לקוחות לקבלת עזרה.

   2. בודקים את הביטוי (requirement.Condition.Expression). אם הערך של הביטוי הזה הוא false, יש בעיה בנתונים.

      הערה: סימן "קטן מ-" בביטוי מופיע ביוניקוד, \u003c, במקום כ-<.

      הערך של המדדים מופיע בשדה requirementCondition.metricResults.value, וערכי הסף של האזהרה מופיעים בשדות thresholdBindings.thresholdValues. description השדות יכולים לעזור לכם להבין את המטרה של המדד.