זיהוי דיבור באמצעות מודלים רפואיים

ב-Cloud Speech-to-Text יש שני מודלים רפואיים בנוסף למודלים רגילים ומשופרים של זיהוי דיבור. המודלים הרפואיים מותאמים במיוחד לזיהוי מילים שכיחות בהקשרים רפואיים, כמו אבחונים, תרופות, תסמינים, טיפולים ומצבים. אם רוצים לזהות את סוג נתוני האודיו הזה, אפשר לשפר את תוצאות התמלול באמצעות המודלים האלה.

יש שני מודלים רפואיים, שכל אחד מהם מותאם לתרחישים ספציפיים לדוגמה:

• ‫medical_conversation: לשיחות בין ספק רפואי – למשל, רופא או אחות – לבין מטופל. השתמש במודל הזה כשגם ספק וגם מטופל מדברים. המילים שנאמרות על ידי כל דובר מזוהות באופן אוטומטי ומתויגות בתמליל שמוחזר.
• ‫medical_dictation: להערות שהוכתבו על ידי ספק רפואי יחיד – לדוגמה, רופא שמכתיב הערות על תוצאות בדיקת דם של מטופל.

אפשר להשתמש במודלים רפואיים רק עם התכונות הבאות של Cloud Speech-to-Text. אי אפשר להשתמש בתכונות שלא מופיעות ברשימה הזו עם אף אחד מהמודלים הרפואיים. תכונת הפיסוק האוטומטי מופעלת כברירת מחדל.

• פיסוק אוטומטי
• תמלילים חלופיים
• חותמות זמן של מילים
• רמת הסמך ברמת המילה

מודל השיחה הרפואית תומך בתכונות הבאות:

• חלוקת קובץ האודיו לפי דוברים

מודל ההכתבה הרפואית תומך בתכונות הבאות:

• הקראת פיסוק
• פקודות עיצוב
• כותרות מדוברות

שליחת בקשת תמלול

REST

בדוגמת הקוד הבאה נעשה שימוש במודל medical_conversation כדי לתמלל קובץ אודיו בקטגוריה ציבורית של Cloud Storage.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LANGUAGE_CODE: קוד BCP-47 של השפה שמדוברת בקטע האודיו. מודלים רפואיים זמינים רק ב-en-US.
• ‫ENCODING: הקידוד של האודיו שרוצים לתמלל. אם אתם משתמשים בדגימת האודיו הציבורית, הקידוד הוא LINEAR16.
• ‫PROJECT_ID: המזהה האלפאנומרי של הפרויקט ב- Google Cloud .

ה-method של ה-HTTP וכתובת ה-URL:

POST https://speech.googleapis.com/v1/speech:recognize

תוכן בקשת JSON:

{
  "config": {
    "languageCode": "LANGUAGE_CODE",
    "encoding": "ENCODING",
    "model": "medical_conversation"
  },
  "audio": {
    "uri": "gs://cloud-samples-data/speech/medical_conversation_2.wav"
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://speech.googleapis.com/v1/speech:recognize"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://speech.googleapis.com/v1/speech:recognize" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

  "results": [
    {
      "alternatives": [
        {
          "transcript": "Um-hum . Yeah. Hello , good morning . Good
          morning . So , tell me what's going on . Uh , sure , so , um , I
          woke up probably three or four days ago , which , uh , wheezing and short of breath .
          Okay , any cough or chest pain ? I cough infrequently , but no ,
          uh , chest pain . Have you been exposed to anyone with covid ?
          Uh , no , and I also took a test , which was negative . Uh , is it getting
          worse , or better ? Uh , it has been getting a lot worse"
        }
      ]
    },
    {
      "alternatives": [
        {
          "transcript": "Okay . Was there something that triggered this exposure to cold , for
          example ? Um , I had a gone hiking , and I got caught in the rain the day
          before this all started ."
        }
      ]
    }
  ]
}

הקראה של סימני פיסוק

מודל ההכתבה הרפואית תומך בסימני פיסוק מדוברים להערות רפואיות. התכונה הזו מופעלת כברירת מחדל ואי אפשר להשבית אותה. סימני הפיסוק בדיבור מופיעים בסוגריים בתמליל הדיבור. לדוגמה, התמליל שמוחזר יכול להיראות כך:

Patient could be showing signs of trauma [question mark] They said they were [quote] having elevated heart rate [unquote].

‫Cloud Speech-to-Text תומך בסימני הפיסוק המדוברים הבאים:

• נקודה
• פסיק
• נקודתיים
• כובעים
• לוכסן
• קו מפריד
• מקף
• סימן שאלה
• נקודה ופסיק
• ציטוט
• unquote
• סוף ציטוט
• פותח סוגריים
• סוגר סוגריים
• סוגר ימני

פקודות עיצוב

מודל ההכתבה הרפואית תומך בפקודות קוליות לעיצוב הערות. התכונה הזו מופעלת כברירת מחדל ואי אפשר להשבית אותה. הפקודות הקוליות יתומללו ויסומנו בסוגריים. לדוגמה, התמליל שמוחזר יכול להיראות כך:

[next line] Patient says they are experiencing fever [next point].

‫Cloud Speech-to-Text תומך בפקודות הקוליות הבאות:

• הנקודה הבאה
• המספר הבא
• הפסקה הבאה
• כובעים
• שימוש באותיות רישיות
• שורה חדשה
• הפריט הבא
• הבעיה הבאה
• מספר הבעיה הבאה
• השורה הבאה
• הקטע הבא
• number next
• שריטה
• תשכח מזה
• סיום ההכתבה

כותרות מוקראות

מודל ההכתבה הרפואית תומך בכותרות מדוברות להערות שמוכתבות. התכונה הזו מופעלת כברירת מחדל ואי אפשר להשבית אותה. הכותרות יתומחרו בסוגריים בתמליל ויופיעו באותיות רישיות. לדוגמה, התמליל שמוחזר יכול להיראות כך:

[CURRENT MEDICATIONS] Patient is currently taking no medications.

שירות Cloud Speech-to-Text תומך בכותרות המדוברות הבאות:

• CHIEF COMPLAINT
• תרופות נוכחיות
• תרופות שניתנות בשחרור
• תוכנית השחרור
• היסטוריה משפחתית
• ממצאים
• בדיקת מערכות
• היסטוריה של המחלה הנוכחית
• התוויות
• LABS
• היסטוריה רפואית של ניתוחים
• בדיקה גופנית
• בדיקת מערכות
• RADIOLOGY