אימות הנציג

כמו שמוסבר בדף עיצוב הסוכן, העיצוב של הסוכן יכול להשפיע מאוד על האיכות שלו. כדי לעזור למעצבי סוכנים ליצור סוכנים באיכות גבוהה, Dialogflow מספק תכונת אימות. תוצאות האימות של הסוכן זמינות באופן אוטומטי בכל פעם שמתבצע אימון של הסוכן. אפשר לגשת לתוצאות האימות דרך Dialogflow Console או דרך ה-API.

תוצאות האימות הן לידיעה בלבד. הם מספקים רשימה של שגיאות שצריך לתקן כדי לשפר את האיכות והביצועים של הסוכן. אם יש שגיאות בסוכן, אפשר להתעלם מהן ולהפעיל את הסוכן. האימות על ידי סוכן לא משפיע בשום צורה על ההתנהגות של הסוכן.

הנה כמה דוגמאות לתוצאות שאתם יכולים לקבל:

• לכוונה יש ביטויי אימון דומים מדי.
• ה-Intent מכיל פרמטר שלא נעשה בו שימוש מספיק בביטויי האימון.
• אין דוגמאות שליליות לכוונת ברירת המחדל.
• הטקסט הזה מסומן בהערות בחלק מצירופי המילים לאימון, אבל לא בכולם.

הפעלה והשבתה של אימות אוטומטי

כברירת מחדל, אימות הסוכן מתבצע באופן אוטומטי בכל פעם שמבצעים אימון לסוכן. אפשר להפעיל ולהשבית את ההגדרה הזו:

1. עוברים אל מסוף Dialogflow ES.
2. בוחרים את הסוכן.
3. לוחצים על סמל ההגדרות לצד שם הסוכן.
4. בוחרים בכרטיסייה הגדרות ML.
5. מעבירים את ההגדרה Agent Validation למצב מופעל (ברירת מחדל) או למצב מושבת.

דף אימות הנציג

כדי לגשת לנתוני האימות של הסוכן:

1. עוברים אל מסוף Dialogflow ES.
2. בוחרים את הסוכן.
3. לוחצים על אימות בתפריט סרגל הצד.

תוצאות האימות של כוונות וישויות

כשנכנסים לדף של רשימת הכוונות או רשימת הישויות, אם יש כוונות או ישויות עם שגיאות אימות, ליד השם שלהן מופיע סימן שגיאה .

כשנכנסים לדף של כוונה או ישות ספציפית שיש בה שגיאות אימות, מוצג סימן שגיאה ליד הלחצן שמירה.

לחיצה על הלחצן הזה תציג רשימה של שגיאות לגבי הכוונה או הישות. כברירת מחדל, מוצגות רק שגיאות ברמת חומרה CRITICAL או ERROR. אפשר להחליף בין סוגי החומרה כדי להציג גם את WARNING ואת INFO.

יכול להיות שיוצגו גם אינדיקטורים של שגיאות לפרמטרים ולניסוחים ספציפיים לאימון. אפשר להעביר את העכבר מעל האינדיקטורים האלה כדי לראות את הפרטים.

תוצאות האימות של גרסאות וסביבות

כשצופים בגרסאות ובסביבות, יכול להיות שלכל גרסה של הסוכן יהיו שגיאות אימות ייחודיות. אם יש שגיאות, סמל האימות מופיע לצד הגרסה.

לחיצה על הסמל תציג את הפרטים.

תוצאות האימות באמצעות ה-API

ברוב המקרים, תוצאות האימות מוצגות במסוף של Dialogflow. אבל אפשר לגשת לנתונים האלה גם דרך ה-API.

REST

מבצעים קריאה ל-getValidationResult ב-Agents.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב-Google Cloud

ה-method של ה-HTTP וכתובת ה-URL:

GET https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

מצבי חומרה

באימות יכולים להופיע מצבי החומרה הבאים:

חוּמרה	תיאור
INFO	הנציג לא פועל בהתאם לשיטה המומלצת.
אזהרה	יכול להיות שהסוכן לא יתנהג כצפוי.
ERROR	יכול להיות שיהיו כשלים חלקיים בסוכן.
CRITICAL	יכול להיות שהסוכן ייכשל לחלוטין.
SEVERITY_UNSPECIFIED	לא צוין. אסור להשתמש בערך הזה. (אפשר להגדיר את רמת החומרה הזו באמצעות ה-API)

אילוץ אימות

תוצאות האימות של הסוכן זמינות באופן אוטומטי בכל פעם שמתבצע אימון של הסוכן. כדי לכפות תוצאות אימות חדשות, אפשר להשבית את האימות האוטומטי ולהפעיל אותו באופן ידני. אפשר לעיין בדף Agent ML settings במסוף.

טיפול בהרבה בעיות

אם נמצא מספר גדול של בעיות, כדאי לשקול את האפשרויות הבאות:

• תיקון בעיות בקבוצות קטנות. אם יש הרבה בעיות דומות, תיקון של בעיה אחת עשוי לפתור בעיות דומות אחרי שתאמנו מחדש את הסוכן.
• מוצגות עד 5,000 בעיות בכל פעם. אם יש לכם יותר מ-5,000 בעיות, יכול להיות שלא תראו ירידה במספר הבעיות עד שיישארו פחות מ-5,000 בעיות.