הגדרת התאמה של מודל המרת דיבור לטקסט

‫Agent Assist משתמש בהתאמה של מודל זיהוי הדיבור כדי לשפר את איכות התמלול על ידי זיהוי של ביטויים מסוימים בתדירות גבוהה יותר מאחרים. בדף הזה מוסבר איך להגדיר התאמה של מודל לתמלול Speech-to-Text.

שימוש במסוף Speech-to-Text

אפשר ליצור רק קבוצות גלובליות של ביטויים באמצעות מסוף Speech-to-Text. צריך ליצור קבוצות אזוריות של ביטויים באמצעות Speech-to-Text API.

  1. נכנסים לדף Speech-to-Text במסוף Google Cloud . מעבר אל Speech-to-Text
  2. לוחצים על התאמות של המודל.
  3. לוחצים על add_boxמשאב חדש.
  4. בוחרים במשאב Phrase set ובגרסת ה-API‏ V1, ממלאים את הביטויים ואת ערכי ההגברה ומעתיקים את השם של phrase set.
  5. לוחצים על Save.
  6. עוברים אל מסוף Agent Assist.
  7. לוחצים על פרופילים של שיחות ובוחרים את הפרופיל של השיחה שרוצים לערוך.
  8. עוברים לקטע Phrase sets (קבוצות של ביטויים) ומדביקים את השם של קבוצת הביטויים.

שימוש ב-Speech-to-Text API

  1. יוצרים סקריפט של קבוצת ביטויים לפי ההוראות לזיהוי דיבור.

  2. מריצים את סקריפט Python הבא כדי לעדכן את פרופיל השיחה: 

    # Conversation Profile to update
PROJECT_ID = "sample-project"
LOCATION = "global"
CONVERSATION_PROFILE_ID = "sample-conversation-profile"
# Speech model adaptation resource names
SPEECH_ADAPTATION_PHRASES = ["projects/sample-project/locations/global/phraseSets/sample-phrase-sets"]
    


    import google.auth
from google.auth.transport.requests import AuthorizedSession
    


    scopes=['https://www.googleapis.com/auth/cloud-platform']
credentials, project = google.auth.default(
  scopes=scopes,
  quota_project_id=PROJECT_ID,
)
session = AuthorizedSession(credentials)
    


    profile_url = f"https://dialogflow.googleapis.com/v2beta1/projects/{PROJECT_ID}/locations/{LOCATION}/conversationProfiles/{CONVERSATION_PROFILE_ID}"
get_response = session.get(profile_url)
print("Checking for existing ConversationProfile...")
print(get_response.status_code)
print(get_response.json())
if get_response.status_code == 200:
  patch_response = session.patch(
     profile_url,
     params={
        "updateMask": "sttConfig.phraseSets"
     },
     json={
        "sttConfig": {
           "phraseSets": SPEECH_ADAPTATION_PHRASES
        }
     }
  )
  print("Updating ConversationProfile...")
  print(patch_response.status_code)
  print(patch_response.json())

קבוצות של ביטויים אזוריים

התאמת מודל של המרת דיבור לטקסט תומכת רק באנגלית (en-US), אבל אפשר להגדיר קבוצות של ביטויים לאזורים עם שפות אחרות באמצעות Speech-to-Text API. האפשרות הזו שימושית במיוחד כשמתמללים שיחות באנגלית שמתקיימות באזורים האלה.

כדי ליצור קבוצות אזוריות של ביטויים באמצעות Speech-to-Text API, משתמשים בפקודה לדוגמה הבאה.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -H "X-Goog-User-Project: sample_project" \
    -d @sample_phrase_sets.json \
"https://us-speech.googleapis.com/v1/projects/sample-project/locations/us/phraseSets"

קובץ ה-JSON‏ @sample_phrase_sets.json מכיל את התוכן הבא של קבוצות הביטויים: 

{
  "parent": "projects/sample-project/locations/us",
  "phraseSetId": "sample-phrase-sets",
  "phraseSet": {
    "name": "sample-phrase-sets",
    "phrases": [
      {
        "value": "Some phrase",
        "boost": 20
      }
    ]
  }
}
בטבלה הבאה מוצג האזור התואם של Speech-to-Text שבו צריך ליצור את קבוצת הביטויים עבור פרופיל שיחה באזור יחיד של Dialogflow.

אזור Dialogflow אזור המרת דיבור לטקסט
‫us
us-central1
us-east1
us-east7
us-west1
northamerica-northeast1
northamerica-northeast2		 us
eu
europe-west1
europe-west2
europe-west3
europe-west4
eu
‫australia-southeast1
asia-northeast1
asia-south1
asia-southeast1
me-west1
global		 גלובלי