הערכת איכות החיפוש

גרסת טרום-השקה

השימוש במוצר הזה או בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

כחלק מחוויית החיפוש שלכם ב-Gemini Enterprise, אתם יכולים להעריך את איכות תוצאות החיפוש באפליקציות חיפוש בהתאמה אישית באמצעות קבוצות של שאילתות לדוגמה.

אתם יכולים להעריך את הביצועים של אפליקציות חיפוש בהתאמה אישית שמכילות נתונים מובנים ולא מובנים.

אי אפשר להעריך את הביצועים של אפליקציות עם כמה מאגרי נתונים.

בדף הזה מוסבר למה, מתי ואיך להעריך את איכות החיפוש באמצעות שיטת ההערכה.

סקירה כללית

בקטע הזה מוסבר למה ומתי כדאי לבצע הערכה של איכות החיפוש. מידע על אופן ביצוע הערכת איכות החיפוש זמין במאמר בנושא תהליך הערכת איכות החיפוש.

סיבות לביצוע הערכה

הערכה של איכות החיפוש מספקת לכם מדדים שיעזרו לכם לבצע משימות כמו:

• ברמת הצבירה, הערכת הביצועים של מנוע החיפוש
• ברמת השאילתה, מאתרים דפוסים כדי להבין הטיות או חסרונות פוטנציאליים באלגוריתמים של דירוג
• השוואה בין תוצאות היסטוריות של הערכות כדי להבין את ההשפעה של שינויים בהגדרות החיפוש

רשימת המדדים מופיעה במאמר הסבר על התוצאות.

מתי לבצע הערכה

‫Gemini Enterprise מרחיב כמה הגדרות חיפוש כדי לשפר את חוויית החיפוש שלכם. אפשר לבצע הערכה של איכות החיפוש אחרי שמבצעים את השינויים הבאים:

• הגדרת אמצעי בקרה להצגת מודעות בחיפוש
• סינון תוצאות החיפוש
• שיפור תוצאות החיפוש

אפשר גם להריץ את בדיקות ההערכה באופן קבוע, כי התנהגות החיפוש מתעדכנת מדי פעם.

מידע על קבוצות של שאילתות לדוגמה

אנחנו משתמשים במערכות של שאילתות לדוגמה כדי להעריך את האיכות. קבוצת השאילתות לדוגמה צריכה להיות בפורמט שנקבע, והיא צריכה להכיל רשומות של שאילתות עם השדות המקוננים הבאים:

• שאילתות: השאילתה שתוצאות החיפוש שלה משמשות ליצירת מדדי ההערכה ולקביעת איכות החיפוש. ‫Google ממליצה להשתמש במגוון רחב של שאילתות שמשקפות את דפוסי החיפוש וההתנהגות של המשתמשים.

• יעדים: ה-URI של המסמך שצפוי להופיע כתוצאת חיפוש של שאילתת הדוגמה. כדי להבין את ההגדרה של מסמך לנתונים מובנים ולא מובנים, אפשר לעיין במושגים בנושא מחברים ומאגרי נתונים.

  כשמשווים בין מסמכי היעד לבין המסמכים שאוחזרו בתשובת החיפוש, נוצרים מדדי ביצועים. המדדים נוצרים באמצעות שתי הטכניקות האלה:

  • התאמת מסמכים: כתובות ה-URI של מסמכי היעד מושוות לכתובות ה-URI של המסמכים שאוחזרו. כך קובעים אם המסמכים הצפויים מופיעים בתוצאות החיפוש. במהלך ההשוואה, ה-API של ההערכה מנסה לחלץ את השדות הבאים בסדר הבא, ומשתמש בערך הראשון שזמין כדי להתאים את היעד למסמך שאוחזר:
    • ‫cdoc_url בשדה structData של הגדרת המסמך
    • ‫uri בשדה structData של הגדרת המסמך
    • ‫link בשדה derivedStructData של הגדרת המסמך
    • ‫url בשדה derivedStructData של הגדרת המסמך
  • התאמה לדף: כשכוללים מספרי דפים בדוגמה של יעדי הטירגוט, ה-API של ההערכה משווה את התוצאות ברמת הדף. ההגדרה הזו קובעת אם הדפים שמוזכרים ביעדים מצוטטים גם בתשובה לחיפוש. כדי להפעיל התאמה ברמת הדף, צריך להפעיל תשובות חילוץ. ה-API של ההערכה מתאים לדף מתוך התשובה הראשונה שחולצה בתוצאת החיפוש.

המטרה של קבוצות שאילתות לדוגמה

שימוש באותה קבוצת שאילתות לדוגמה לכל ההערכות של איכות החיפוש במאגר נתונים מסוים מבטיח דרך עקבית ומהימנה למדידת התוצאות של איכות החיפוש. בנוסף, כך נוצרת מערכת הוגנת שניתן לחזור עליה.

התוצאות של כל הערכה מושוות לתוצאות היעד של כל שאילתת מדגם, כדי לחשב מדדים שונים כמו היזכרות, דיוק ורווח מצטבר מוזל מנורמל (NDCG). המדדים הכמותיים האלה משמשים לדירוג התוצאות מתצורות חיפוש שונות.

מכסות ומגבלות

המגבלה הבאה חלה על קבוצות השאילתות לדוגמה:

• כל קבוצת שאילתות לדוגמה יכולה להכיל עד 20,000 שאילתות.

המכסה הבאה חלה על קבוצות השאילתות לדוגמה:

• אפשר ליצור עד 100 קבוצות של שאילתות לדוגמה לכל פרויקט ועד 500 קבוצות של שאילתות לדוגמה לכל ארגון. מידע נוסף זמין במאמר מכסות ומגבלות.

דוגמה לפורמט של קבוצת שאילתות

כשמגדירים את קבוצת השאילתות בפורמט JSON, היא צריכה להיות בהתאם לסכימה הבאה. קבוצת השאילתות יכולה להכיל כמה רשומות של שאילתות, כשכל רשומה מכילה שאילתה אחת. כשמציגים את הנתונים בפורמט JSON שמופרד בתו שורה חדשה (NDJSON), כל רשומה של שאילתה צריכה להיות בשורה חדשה.

ייבוא מ-BigQuery ומ-Cloud Storage

בקטע הבא מפורטות תבניות של קבוצות שאילתות לדוגמה לייבוא מ-BigQuery ומ-Cloud Storage.

נתונים לא מובנים

אפשר להשתמש בתבנית הבאה כדי לנסח קובץ שאילתה לדוגמה בפורמט JSON להערכת נתונים לא מובנים עם מטא-נתונים.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקה ולהערכה של איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצאת התוצאה הצפויה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי לציון מספרי הדפים בקובץ ה-PDF שבהם נמצאת התשובה הצפויה לשאילתה. האפשרות הזו שימושית אם הקובץ כולל כמה דפים.
• ‫CDOC_URL: שדה אופציונלי לציון שדה מזהה המסמך המותאם אישית cdoc_url במטא-נתונים של המסמך בסכימה של מאגר הנתונים של Gemini Enterprise.

נתונים מובְנים

אפשר להשתמש בתבנית הבאה כדי לנסח קובץ שאילתה לדוגמה בפורמט JSON כדי להעריך נתונים מובנים מ-BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקה ולהערכה של איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את שדה cdoc_url המותאם אישית עבור שדה הנתונים המובְנים בסכימת מאגר הנתונים של Gemini Enterprise.

דוגמה לקבוצת שאילתות לדוגמה בפורמטים JSON ו-NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

ייבוא ממערכת קבצים מקומית

בקטע הבא מופיעות תבניות של קבוצות שאילתות לדוגמה לייבוא ממערכת הקבצים המקומית.

נתונים לא מובנים

אפשר להשתמש בתבנית הבאה כדי לנסח קובץ שאילתה לדוגמה בפורמט JSON להערכת נתונים לא מובנים עם מטא-נתונים.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקה ולהערכה של איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצא קובץ הנתונים הלא מובנים שרוצים לשלוח לגביו שאילתה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי לציון מספרי הדפים שבהם אפשר למצוא את התשובה הנדרשת לשאילתה בקובץ ה-PDF. האפשרות הזו שימושית אם הקובץ כולל כמה דפים.
• ‫CDOC_URL: שדה אופציונלי לציון שדה מזהה המסמך המותאם אישית cdoc_url במטא-נתונים של המסמך בסכימה של מאגר הנתונים של Gemini Enterprise.

נתונים מובְנים

אפשר להשתמש בתבנית הבאה כדי לנסח קובץ שאילתה לדוגמה בפורמט JSON כדי להעריך נתונים מובנים מ-BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקה ולהערכה של איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את שדה cdoc_url המותאם אישית עבור שדה הנתונים המובְנים בסכימת מאגר הנתונים של Gemini Enterprise.

דוגמה לקבוצת שאילתות לדוגמה:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

תהליך הערכת האיכות של החיפוש

תהליך הערכת איכות החיפוש מתבצע באופן הבא:

1. יצירת קבוצת שאילתות לדוגמה
2. ייבוא שאילתה לדוגמה שתואמת לפורמט JSON שנקבע.
3. הרצת הערכה של איכות החיפוש.
4. הסבר על התוצאות

בקטעים הבאים מפורטות ההוראות לביצוע השלבים האלה באמצעות שיטות של REST API.

לפני שמתחילים

• המגבלה הבאה חלה:
  • בכל שלב יכולה להיות רק הערכה פעילה אחת לכל פרויקט.
• המכסה הבאה חלה:
  • אפשר לשלוח עד חמש בקשות להערכה לכל פרויקט ביום. מידע נוסף זמין במאמר מכסות ומגבלות.
• כדי לקבל מדדים ברמת הדף, צריך להפעיל את התכונה תשובות חילוץ.

יצירת קבוצת שאילתות לדוגמה

אתם יכולים ליצור קבוצה של שאילתות לדוגמה ולהשתמש בה כדי להעריך את איכות התשובות לחיפושים במאגר נתונים מסוים. כדי ליצור קבוצה של שאילתות לדוגמה:

REST

בדוגמה הבאה מוצג אופן היצירה של קבוצת השאילתות לדוגמה באמצעות השיטה sampleQuerySets.create.

1. יוצרים את קבוצת השאילתות לדוגמה.

   curl -X POST \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json" \
       -H "X-Goog-User-Project: PROJECT_ID" \
       "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
       -d '{
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: מזהה מותאם אישית של קבוצת השאילתות לדוגמה.
   • ‫SAMPLE_QUERY_SET_DISPLAY_NAME: שם מותאם אישית לקבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו:

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
     "createTime": "CREATION_DATETIME"
   }
   

ייבוא נתונים לדוגמה של שאילתות

אחרי שיוצרים את קבוצת השאילתות לדוגמה, מייבאים את נתוני השאילתות לדוגמה. כדי לייבא את נתוני השאילתה לדוגמה, אפשר לבצע אחת מהפעולות הבאות:

• ייבוא מ-Cloud Storage: ייבוא של קובץ NDJSON ממיקום ב-Cloud Storage.
• ייבוא מ-BigQuery: ייבוא נתוני BigQuery מטבלה ב-BigQuery. כדי ליצור את הטבלה ב-BigQuery מקובץ ה-NDJSON, אפשר לעיין במאמר בנושא טעינת נתוני JSON מ-Cloud Storage.
• ייבוא ממערכת הקבצים המקומית: יוצרים את קבוצת השאילתות לדוגמה במערכת הקבצים המקומית ומייבאים אותה.

Cloud Storage

1. יוצרים את קבוצות השאילתות לדוגמה בהתאם לפורמט של קבוצת שאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-Cloud Storage באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "gcsSource": {
       "inputUris": ["INPUT_FILE_PATH"],
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך יצירת קבוצת השאילתות לדוגמה.
   • ‫INPUT_FILE_PATH: הנתיב למיקום ב-Cloud Storage של קבוצת שאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו מתבצעת רישום של קובצי שגיאות כשמתרחשות שגיאות ייבוא. מומלץ להשאיר את השדה הזה ריק או להסיר את השדה errorConfig כדי ש-Gemini Enterprise יוכל ליצור באופן אוטומטי מיקום זמני.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לבדוק את הסטטוס של הפעולה הממושכת הזו (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. אפשר לקבל את הסטטוס של פעולה ממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, בתשובה מוצג שדה failureCount שמציין את מספר שאילתות הדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

BigQuery

1. יוצרים את קבוצות השאילתות לדוגמה בהתאם לפורמט של קבוצת שאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-BigQuery באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "bigquerySource": {
       "projectId": "PROJECT_ID",
       "datasetId":"DATASET_ID",
       "tableId": "TABLE_ID"
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך יצירת קבוצת השאילתות לדוגמה.
   • ‫DATASET_ID: המזהה של מערך הנתונים ב-BigQuery שמכיל את קבוצת השאילתות לדוגמה.
   • ‫TABLE_ID: המזהה של הטבלה ב-BigQuery שמכילה את קבוצת השאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו מתבצעת רישום של קובצי שגיאות כשמתרחשות שגיאות ייבוא. ‫Google ממליצה להשאיר את השדה הזה ריק או להסיר את השדה `errorConfig` כדי ש-Gemini Enterprise יוכל ליצור באופן אוטומטי מיקום זמני.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לבדוק את הסטטוס של הפעולה הממושכת הזו (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. אפשר לקבל את הסטטוס של פעולה ממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, בתגובה מוצג שדה failureCount שמציין את מספר שאילתות הדוגמה שלא הצליחו להתייבא.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

מערכת הקבצים המקומית

1. יוצרים את קבוצות השאילתות לדוגמה בהתאם לפורמט של קבוצת שאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום במערכת הקבצים המקומית באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   --data @PATH/TO/LOCAL/FILE.json
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך יצירת קבוצת השאילתות לדוגמה.
   • ‫PATH/TO/LOCAL/FILE.json: הנתיב לקובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לבדוק את הסטטוס של הפעולה הממושכת הזו (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. אפשר לקבל את הסטטוס של פעולה ממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, בתגובה מוצג שדה failureCount שמציין את מספר שאילתות הדוגמה שלא הצליחו להתייבא.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

הרצת הערכה של איכות החיפוש

אחרי שמייבאים את נתוני השאילתות לדוגמה למערכי השאילתות לדוגמה, פועלים לפי השלבים הבאים כדי להריץ את ההערכה של איכות החיפוש.

REST

1. התחלת הערכה של איכות החיפוש.

   הערה: אפשר להעריך את ביצועי החיפוש של אפליקציה ואת ביצועי החיפוש של מאגר נתונים. במקרה של הפעולה הבאה, Google ממליצה להעריך את ביצועי החיפוש של האפליקציה.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
   -d '{
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך יצירת קבוצת השאילתות לדוגמה.
   • ‫APP_ID: המזהה של אפליקציית Gemini Enterprise שרוצים להעריך את איכות החיפוש שלה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של EVALUATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לבדוק את הסטטוס של הבדיקה, שהיא פעולה ממושכת (LRO).

   {
    "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
      "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
      "evaluationSpec": {
        "querySetSpec": {
          "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
        },
        "searchRequest": {
          "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
        }
      },
      "state": "PENDING"
    }
   }
   

2. מעקב אחר התקדמות ההערכה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: הסטטוס של ההערכה יהיה PENDING עד שההערכה תסתיים.

   {
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
   "createTime": "CREATION_DATETIME"
   }
   

3. מאחזרים את התוצאות המצטברות.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: הסטטוס של ההערכה יהיה PENDING עד שההערכה תסתיים.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    },
    "qualityMetrics": {
      "docRecall": {
        "top1": DOC_RECALL_TOP_1,
        "top3": DOC_RECALL_TOP_3,
        "top5": DOC_RECALL_TOP_5,
        "top10": DOC_RECALL_TOP_10
      },
      "docPrecision": {
        "top1": DOC_PRECISION_TOP_1,
        "top3": DOC_PRECISION_TOP_3,
        "top5": DOC_PRECISION_TOP_5,
        "top10": DOC_PRECISION_TOP_10
      },
      "docNdcg": {
        "top1": DOC_NDCG_TOP_1,
        "top3": DOC_NDCG_TOP_3,
        "top5": DOC_NDCG_TOP_5,
        "top10": DOC_NDCG_TOP_10
      },
      "pageRecall": {
        "top1": PAGE_RECALL_TOP_1,
        "top3": PAGE_RECALL_TOP_3,
        "top5": PAGE_RECALL_TOP_5,
        "top10": PAGE_RECALL_TOP_10
      },
      "pageNdcg": {
        "top1": PAGE_NDCG_TOP_1,
        "top3": PAGE_NDCG_TOP_3,
        "top5": PAGE_NDCG_TOP_5,
        "top10": PAGE_NDCG_TOP_10
       }
     },
    "state": "SUCCEEDED",
    "error": {},
    "createTime": "CREATION_DATETIME",
    "endTime": "END_DATETIME"
   }
   

4. אחזור תוצאות ברמת השאילתה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כששלחתם את בקשת ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: הסטטוס של ההערכה יהיה PENDING עד שההערכה תסתיים.

   {
    "evaluationResults": [
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
          "queryEntry": {
            "query": "SAMPLE_QUERY_1",
            "targets": [
              {
                "uri": "URI_1"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      },
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
          "queryEntry": {
            "query": "SAMPLE_QUERY_2",
            "targets": [
              {
                "uri": "URI_2"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      }
    ]
   }
   

הסבר על התוצאות

בטבלה הבאה מפורטים המדדים שמוחזרים בתוצאות ההערכה.

שם	תיאור	דרישות
docRecall	החזרת תוצאות לכל מסמך, ברמות שונות של סף עליון k. ההחזרה היא השבר של המסמכים הרלוונטיים שאוחזרו מתוך כל המסמכים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: אם שאילתה אחת מחזירה 3 מתוך 5 מסמכים רלוונטיים ב-5 התוצאות הראשונות, אפשר לחשב את docRecall כ-3/5 או 0.6.	השאילתה לדוגמה חייבת להכיל את שדה ה-URI.
pageRecall	החזרת תוצאות לכל דף, ברמות שונות של סף חיתוך top-k. המדד Recall הוא השבר של הדפים הרלוונטיים שאוחזרו מתוך כל הדפים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: אם שאילתה אחת מחזירה 3 מתוך 5 דפים רלוונטיים ב-5 התוצאות הראשונות, אפשר לחשב את pageRecall כך: 3/5 = 0.6	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התכונה 'תשובות חילוץ'.
docNdcg	הרווח המצטבר המנורמל והמוזל (NDCG) לכל מסמך, ברמות שונות של סף עליון k. המדד NDCG מודד את איכות הדירוג, ונותן משקל גבוה יותר לרלוונטיות של התוצאות העליונות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG.	השאילתה לדוגמה חייבת להכיל את שדה ה-URI.
pageNdcg	רווח מצטבר מוזל מנורמל (NDCG) לכל דף, ברמות שונות של סף עליון k. המדד NDCG מודד את איכות הדירוג, ונותן משקל גבוה יותר לרלוונטיות של התוצאות העליונות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG.	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התכונה 'תשובות חילוץ'.
docPrecision	רמת הדיוק לכל מסמך, ברמות שונות של סף עליון k. הדיוק הוא החלק של המסמכים שאוחזרו שרלוונטיים. לדוגמה, הערך top3 מציין את הדברים הבאים: בשביל שאילתה אחת, אם 4 מתוך 5 המסמכים שאוחזרו ב-5 המובילים רלוונטיים, אפשר לחשב את הערך של docPrecision כ-4/5 או 0.8.	השאילתה לדוגמה חייבת להכיל את שדה ה-URI.

על סמך הערכים של המדדים הנתמכים האלה, אפשר לבצע את המשימות הבאות:

• ניתוח מדדים מצטברים:
  • בודקים מדדים כלליים כמו ממוצע ההיזכרות, הדיוק והרווח המצטבר המנורמל עם הנחה (NDCG).
  • המדדים האלה מספקים תמונה כללית של הביצועים של מנוע החיפוש.
• בדיקת התוצאות ברמת השאילתה:
  • אפשר להתעמק בשאילתות ספציפיות כדי לזהות אזורים ספציפיים שבהם מנוע החיפוש מתפקד טוב או לא טוב.
  • חפשו דפוסים בתוצאות כדי להבין הטיות או חסרונות אפשריים באלגוריתמים של הדירוג.
• השוואה בין תוצאות לאורך זמן:
  • כדאי להריץ הערכות באופן קבוע כדי לעקוב אחרי שינויים באיכות החיפוש לאורך זמן.
  • אפשר להשתמש בנתונים היסטוריים כדי לזהות מגמות ולהעריך את ההשפעה של שינויים שאתם מבצעים במנוע החיפוש.

המאמרים הבאים

• אפשר להשתמש ב-Cloud Scheduler כדי להגדיר הערכת איכות מתוזמנת. למידע נוסף, ראו שימוש באימות עם HTTP Target.