הערכת איכות החיפוש

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

כחלק מחוויית החיפוש ב-Gemini Enterprise, אתם יכולים להעריך את איכות תוצאות החיפוש באפליקציות חיפוש בהתאמה אישית באמצעות קבוצות של שאילתות לדוגמה.

אתם יכולים להעריך את הביצועים של אפליקציות חיפוש מותאמות אישית שמכילות נתונים מובנים ולא מובנים.

אי אפשר להעריך את הביצועים של אפליקציות עם כמה מאגרי נתונים.

בדף הזה מוסבר למה, מתי ואיך להעריך את איכות החיפוש באמצעות שיטת ההערכה.

סקירה כללית

בקטע הזה מוסבר למה ומתי כדאי לבצע הערכה של איכות החיפוש. במאמר תהליך הערכת האיכות של החיפוש מוסבר איך לבצע הערכת איכות של החיפוש.

סיבות לביצוע הערכה

הערכת איכות החיפוש מספקת מדדים שעוזרים לבצע משימות כמו:

• ברמה המצטברת, אתם יכולים לבדוק את הביצועים של מנוע החיפוש שלכם
• ברמת השאילתה, מאתרים דפוסים כדי להבין הטיות או חסרונות פוטנציאליים באלגוריתמים של הדירוג.
• השוואה בין תוצאות הערכה היסטוריות כדי להבין את ההשפעה של שינויים בהגדרות החיפוש

רשימה של מדדים מופיעה בקטע הסבר על התוצאות.

מתי לבצע הערכה

‫Gemini Enterprise מרחיב כמה הגדרות חיפוש כדי לשפר את חוויית החיפוש. אפשר לבצע הערכה של איכות החיפוש אחרי שמבצעים את השינויים הבאים:

• הגדרת אמצעי בקרה להצגת מודעות בחיפוש
• סינון תוצאות החיפוש
• שיפור תוצאות החיפוש

אפשר גם להריץ את בדיקות ההערכה באופן קבוע, כי התנהגות החיפוש מתעדכנת מדי פעם.

מידע על קבוצות של שאילתות לדוגמה

קבוצות של שאילתות לדוגמה משמשות להערכת איכות. קבוצת השאילתות לדוגמה צריכה להיות בפורמט שנקבע, והיא צריכה להכיל רשומות של שאילתות עם השדות המקוננים הבאים:

• שאילתות: השאילתה שתוצאות החיפוש שלה משמשות ליצירת מדדי ההערכה ולקביעת איכות החיפוש. ‫Google ממליצה להשתמש במגוון שאילתות שמשקפות את דפוסי החיפוש וההתנהגות של המשתמשים.

• יעדים: ה-URI של המסמך שצפוי להופיע כתוצאת חיפוש של שאילתת הדוגמה. כדי להבין את ההגדרה של מסמך לנתונים מובְנים ולא מובְנים, קראו את המאמר מושגים שקשורים למחברים ולמאגרי נתונים.

  כשמשווים בין מסמכי היעד למסמכים שאוחזרו בתגובה לחיפוש, נוצרים מדדי ביצועים. המדדים נוצרים באמצעות שתי השיטות הבאות:

  • התאמה למסמכים: מתבצעת השוואה בין כתובות ה-URI של מסמכי היעד לבין כתובות ה-URI של המסמכים שאוחזרו. כך קובעים אם המסמכים הצפויים מופיעים בתוצאות החיפוש. במהלך ההשוואה, ה-API להערכה מנסה לחלץ את השדות הבאים בסדר הבא, ולהשתמש בערך הזמין הראשון כדי להתאים בין היעד למסמך שאוחזר:
    • ‫cdoc_url בשדה structData בהגדרת המסמך
    • ‫uri בשדה structData של הגדרת המסמך
    • ‫link בשדה derivedStructData של הגדרת המסמך
    • ‫url בשדה derivedStructData של הגדרת המסמך
  • התאמת דפים: כשכוללים מספרי דפים ביעדים לדוגמה, ה-API להערכה משווה את התוצאות ברמת הדף. ההגדרה הזו קובעת אם הדפים שמוזכרים ביעדים מצוטטים גם בתגובה לחיפוש. כדי להפעיל התאמה ברמת הדף, צריך להפעיל תשובות חילוץ. ה-API להערכה מתאים את הדף מהתשובה הראשונה שחולצה בתוצאת החיפוש.

המטרה של קבוצות שאילתות לדוגמה

כדי למדוד את תוצאות איכות החיפוש בצורה עקבית ומהימנה, כדאי להשתמש באותה קבוצת שאילתות לדוגמה בכל הערכות איכות החיפוש במאגר נתונים מסוים. כך גם נוצרת מערכת הוגנת שניתן לחזור עליה.

התוצאות מכל הערכה מושוות לתוצאות היעד של כל שאילתה לדוגמה כדי לחשב מדדים שונים, כמו זיכרון, דיוק ורווח מצטבר מנוכה מנורמל (NDCG). המדדים הכמותיים האלה משמשים לדירוג התוצאות מהגדרות חיפוש שונות.

מכסות ומגבלות

המגבלה הבאה חלה על קבוצות השאילתות לדוגמה:

• כל קבוצת שאילתות לדוגמה יכולה להכיל עד 20,000 שאילתות.

המכסה הבאה חלה על קבוצות השאילתות לדוגמה:

• אפשר ליצור עד 100 קבוצות של שאילתות לדוגמה בכל פרויקט, ועד 500 קבוצות של שאילתות לדוגמה בכל ארגון. מידע נוסף זמין במאמר מכסות ומגבלות.

פורמט של קבוצת שאילתות לדוגמה

כשיוצרים את קבוצת השאילתות בפורמט JSON, היא צריכה להתאים לסכימה הבאה. קבוצת השאילתות יכולה להכיל כמה רשומות של שאילתות, כשכל רשומה מכילה שאילתה אחת. כשמציגים את השאילתות בפורמט JSON שמופרד בשורות חדשות (NDJSON), כל רשומת שאילתה צריכה להיות בשורה חדשה.

ייבוא מ-BigQuery ומ-Cloud Storage

בקטע הבא מופיעות תבניות של קבוצות שאילתות לדוגמה לייבוא מ-BigQuery ומ-Cloud Storage.

נתונים לא מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים לא מובְנים עם מטא-נתונים.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקה ולהערכה של איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצאת התוצאה הצפויה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי לציון מספרי הדפים בקובץ ה-PDF שבהם נמצאת התשובה הצפויה לשאילתה. האפשרות הזו שימושית כשיש בקובץ כמה דפים.
• ‫CDOC_URL: שדה אופציונלי לציון השדה cdoc_url של מזהה המסמך המותאם אישית במטא-נתונים של המסמך בסכימה של מאגר הנתונים של Gemini Enterprise.

נתונים מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים מובְנים מ-BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה שמשמשת לבדיקת איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את שדה cdoc_url המותאם אישית בשביל שדה הנתונים המובְנים בסכימה של מאגר הנתונים של Gemini Enterprise.

דוגמה לקבוצת שאילתות בפורמטים JSON ו-NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

ייבוא ממערכת קבצים מקומית

בקטע הבא מופיעות תבניות לדוגמה של קבוצות שאילתות לייבוא ממערכת הקבצים המקומית.

נתונים לא מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים לא מובְנים עם מטא-נתונים.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה שמשמשת לבדיקת איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצא קובץ הנתונים הלא מובנים שרוצים לשלוח אליו שאילתה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי שמציין את מספרי הדפים שבהם נמצאת התשובה הנדרשת לשאילתה בקובץ ה-PDF. האפשרות הזו שימושית אם בקובץ יש כמה דפים.
• ‫CDOC_URL: שדה אופציונלי שמציין את השדה של מזהה המסמך בהתאמה אישית cdoc_url במטא-נתונים של המסמך בסכימה של מאגר הנתונים ב-Gemini Enterprise.

נתונים מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים מובְנים מ-BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה שמשמשת לבדיקת איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את השדה המותאם אישית cdoc_url של שדה הנתונים המובְנים בסכימה של מאגר הנתונים ב-Gemini Enterprise.

דוגמה לקבוצת שאילתות לדוגמה:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

תהליך הערכת האיכות של החיפוש

תהליך הערכת איכות החיפוש הוא כזה:

1. יצירת קבוצת שאילתות לדוגמה
2. לייבא שאילתה לדוגמה שתואמת לפורמט ה-JSON שנקבע.
3. הרצת הערכה של איכות החיפוש.
4. איך לפרש את התוצאות

בקטעים הבאים מוסבר איך לבצע את השלבים האלה באמצעות שיטות של API בארכיטקטורת REST.

לפני שמתחילים

• המגבלה הבאה חלה:
  • בכל פעם, אפשר להפעיל רק הערכה אחת לכל פרויקט.
• המכסה הבאה חלה:
  • אפשר לשלוח עד חמש בקשות להערכה ביום לכל פרויקט. מידע נוסף זמין במאמר מכסות ומגבלות.
• כדי לקבל מדדים ברמת הדף, צריך להפעיל תשובות חילוץ.

יצירת קבוצת שאילתות לדוגמה

אתם יכולים ליצור קבוצת שאילתות לדוגמה ולהשתמש בה כדי להעריך את איכות התשובות לחיפוש במאגר נתונים מסוים. כדי ליצור קבוצת שאילתות לדוגמה:

REST

בדוגמה הבאה מוסבר איך ליצור את קבוצת השאילתות לדוגמה באמצעות השיטה sampleQuerySets.create.

1. יוצרים את קבוצת השאילתות לדוגמה.

   curl -X POST \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json" \
       -H "X-Goog-User-Project: PROJECT_ID" \
       "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
       -d '{
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: מזהה מותאם אישית לקבוצת השאילתות לדוגמה.
   • ‫SAMPLE_QUERY_SET_DISPLAY_NAME: שם מותאם אישית לקבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו:

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
     "createTime": "CREATION_DATETIME"
   }
   

ייבוא נתונים של שאילתות לדוגמה

אחרי שיוצרים את קבוצת השאילתות לדוגמה, מייבאים את נתוני השאילתות לדוגמה. כדי לייבא את נתוני השאילתה לדוגמה, אתם יכולים לבצע אחת מהפעולות הבאות:

• ייבוא מ-Cloud Storage: ייבוא של קובץ NDJSON ממיקום ב-Cloud Storage.
• ייבוא מ-BigQuery: ייבוא נתונים מטבלה ב-BigQuery. כדי ליצור את הטבלה ב-BigQuery מקובץ ה-NDJSON, אפשר לעיין במאמר בנושא טעינת נתוני JSON מ-Cloud Storage.
• ייבוא ממערכת הקבצים המקומית: יוצרים את קבוצת השאילתות לדוגמה במערכת הקבצים המקומית ומייבאים אותה.

Cloud Storage

1. יוצרים את קבוצות השאילתות לדוגמה שתואמות לפורמט של קבוצת השאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-Cloud Storage באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "gcsSource": {
       "inputUris": ["INPUT_FILE_PATH"],
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫INPUT_FILE_PATH: הנתיב למיקום ב-Cloud Storage של קבוצת שאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו נרשמים קובצי השגיאות כשמתרחשות שגיאות בייבוא. ‫Google ממליצה להשאיר את השדה הזה ריק או להסיר את השדה errorConfig כדי ש-Gemini Enterprise יוכל ליצור מיקום זמני באופן אוטומטי.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, בתגובה מופיע השדה failureCount שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

BigQuery

1. יוצרים את קבוצות השאילתות לדוגמה בהתאם לפורמט של קבוצת שאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-BigQuery באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "bigquerySource": {
       "projectId": "PROJECT_ID",
       "datasetId":"DATASET_ID",
       "tableId": "TABLE_ID"
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫DATASET_ID: המזהה של קבוצת הנתונים ב-BigQuery שמכילה את קבוצת השאילתות לדוגמה.
   • ‫TABLE_ID: המזהה של הטבלה ב-BigQuery שמכילה את קבוצת השאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו נרשמים קובצי השגיאות כשמתרחשות שגיאות בייבוא. ‫Google ממליצה להשאיר את השדה הזה ריק או להסיר את השדה `errorConfig` כדי ש-Gemini Enterprise יוכל ליצור מיקום זמני באופן אוטומטי.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, התגובה תכלול את השדה failureCount, שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

מערכת הקבצים המקומית

1. יוצרים את קבוצות השאילתות לדוגמה שתואמות לפורמט של קבוצת השאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום במערכת קבצים מקומית באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   --data @PATH/TO/LOCAL/FILE.json
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫PATH/TO/LOCAL/FILE.json: הנתיב לקובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, התגובה תכלול את השדה failureCount, שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

הרצת הערכה של איכות החיפוש

אחרי שמייבאים את נתוני השאילתות לדוגמה למערכי השאילתות לדוגמה, מבצעים את השלבים הבאים כדי להריץ את הבדיקה של איכות החיפוש.

REST

1. להתחיל הערכה של איכות החיפוש.

   הערה: אתם יכולים להעריך את הביצועים של אפליקציה בחיפוש, וגם את הביצועים של מאגר נתונים בחיפוש. במקרה של הפעולה הבאה, Google ממליצה להעריך את ביצועי החיפוש של האפליקציה.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
   -d '{
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫APP_ID: המזהה של אפליקציית Gemini Enterprise שאת איכות החיפוש שלה רוצים להעריך.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של EVALUATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לבדוק את הסטטוס של הבדיקה, שהיא פעולה ממושכת (LRO).

   {
    "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
      "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
      "evaluationSpec": {
        "querySetSpec": {
          "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
        },
        "searchRequest": {
          "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
        }
      },
      "state": "PENDING"
    }
   }
   

2. עוקבים אחרי ההתקדמות של ההערכה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: הסטטוס של ההערכה יהיה PENDING עד שההערכה תסתיים.

   {
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
   "createTime": "CREATION_DATETIME"
   }
   

3. אחזור התוצאות המצטברות.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: סטטוס ההערכה מוצג בתור PENDING עד שההערכה מסתיימת.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    },
    "qualityMetrics": {
      "docRecall": {
        "top1": DOC_RECALL_TOP_1,
        "top3": DOC_RECALL_TOP_3,
        "top5": DOC_RECALL_TOP_5,
        "top10": DOC_RECALL_TOP_10
      },
      "docPrecision": {
        "top1": DOC_PRECISION_TOP_1,
        "top3": DOC_PRECISION_TOP_3,
        "top5": DOC_PRECISION_TOP_5,
        "top10": DOC_PRECISION_TOP_10
      },
      "docNdcg": {
        "top1": DOC_NDCG_TOP_1,
        "top3": DOC_NDCG_TOP_3,
        "top5": DOC_NDCG_TOP_5,
        "top10": DOC_NDCG_TOP_10
      },
      "pageRecall": {
        "top1": PAGE_RECALL_TOP_1,
        "top3": PAGE_RECALL_TOP_3,
        "top5": PAGE_RECALL_TOP_5,
        "top10": PAGE_RECALL_TOP_10
      },
      "pageNdcg": {
        "top1": PAGE_NDCG_TOP_1,
        "top3": PAGE_NDCG_TOP_3,
        "top5": PAGE_NDCG_TOP_5,
        "top10": PAGE_NDCG_TOP_10
       }
     },
    "state": "SUCCEEDED",
    "error": {},
    "createTime": "CREATION_DATETIME",
    "endTime": "END_DATETIME"
   }
   

4. אחזור תוצאות ברמת השאילתה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: הסטטוס של ההערכה יהיה PENDING עד שההערכה תסתיים.

   {
    "evaluationResults": [
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
          "queryEntry": {
            "query": "SAMPLE_QUERY_1",
            "targets": [
              {
                "uri": "URI_1"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      },
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
          "queryEntry": {
            "query": "SAMPLE_QUERY_2",
            "targets": [
              {
                "uri": "URI_2"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      }
    ]
   }
   

הסבר על התוצאות

בטבלה הבאה מתוארים המדדים שמוחזרים בתוצאות ההערכה.

שם	תיאור	דרישות
docRecall	היזכרות לכל מסמך, ברמות שונות של סף top-k. ההחזרה היא השבר של המסמכים הרלוונטיים שאוחזרו מתוך כל המסמכים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: לשאילתה אחת, אם 3 מתוך 5 מסמכים רלוונטיים מאוחזרים ב-5 התוצאות הראשונות, אפשר לחשב את docRecall כ-3/5 או 0.6.	השאילתה לדוגמה חייבת להכיל את השדה URI.
pageRecall	החזרת נתונים לכל דף, ברמות שונות של סף עליון k. ההחזרה היא החלק היחסי של הדפים הרלוונטיים שאוחזרו מתוך כל הדפים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: בשביל שאילתה אחת, אם 3 מתוך 5 דפים רלוונטיים מאוחזרים ב-5 התוצאות הראשונות, אפשר לחשב את pageRecall כך: 3/5 = 0.6	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התשובות המבוססות על חילוץ מידע.
docNdcg	רווח מצטבר מנוכה מנורמל (NDCG) לכל מסמך, ברמות שונות של ערכי סף של Top-K. ‫NDCG מודד את איכות הדירוג, ונותן רלוונטיות גבוהה יותר לתוצאות המובילות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG.	השאילתה לדוגמה חייבת להכיל את השדה URI.
pageNdcg	רווח מצטבר מנורמל (NDCG) לכל דף, ברמות שונות של ערכי סף של Top-K. ‫NDCG מודד את איכות הדירוג, ונותן רלוונטיות גבוהה יותר לתוצאות המובילות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG.	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התכונה 'תשובות חילוץ'.
docPrecision	רמת הדיוק לכל מסמך, ברמות שונות של סף עליון k. דיוק הוא החלק של המסמכים שאוחזרו שהם רלוונטיים. לדוגמה, הערך top3 מציין את הדברים הבאים: בשביל שאילתה אחת, אם 4 מתוך 5 המסמכים שאוחזרו ב-5 המובילים רלוונטיים, אפשר לחשב את הערך של docPrecision כ-4/5 או 0.8.	השאילתה לדוגמה חייבת להכיל את השדה URI.

על סמך הערכים של המדדים הנתמכים האלה, אפשר לבצע את המשימות הבאות:

• ניתוח מדדים נצברים:
  • בודקים מדדים כלליים כמו שליפה ממוצעת, דיוק ורווח מצטבר מנוכה מנורמל (NDCG).
  • המדדים האלה מספקים תמונה כללית של ביצועי מנוע החיפוש.
• בודקים את התוצאות ברמת השאילתה:
  • כדאי להתעמק בשאילתות ספציפיות כדי לזהות תחומים ספציפיים שבהם מנוע החיפוש פועל היטב או לא פועל היטב.
  • חפשו דפוסים בתוצאות כדי להבין הטיות או חסרונות אפשריים באלגוריתמים של הדירוג.
• השוואת תוצאות לאורך זמן:
  • כדאי להריץ הערכות באופן קבוע כדי לעקוב אחרי שינויים באיכות החיפוש לאורך זמן.
  • אתם יכולים להשתמש בנתונים היסטוריים כדי לזהות מגמות ולהעריך את ההשפעה של שינויים שאתם מבצעים במנוע החיפוש.

המאמרים הבאים

• אפשר להשתמש ב-Cloud Scheduler כדי להגדיר הערכת איכות מתוזמנת. למידע נוסף, ראו שימוש באימות עם יעדי HTTP.