אופטימיזציה של קובצי אודיו ל-Cloud Speech-to-Text

במדריך הזה נסביר איך לבצע בדיקה מקדימה של קובצי אודיו שאתם מכינים לשימוש עם Cloud Speech-to-Text. הוא מספק רקע על פורמטים של קובצי אודיו, מתאר איך לבצע אופטימיזציה של קובצי אודיו לשימוש עם Cloud STT ואיך לאבחן שגיאות. המדריך מיועד לאנשי מקצוע בתחום המדיה והבידור ולאנשי מקצוע בתחום הפוסט-פרודקשן, שאין להם רקע טכני. לא נדרש ידע מעמיק ב-Google Cloud, אלא רק ידע בסיסי בשימוש בכלי שורת הפקודה של gcloud עם קבצים שמאוחסנים באופן מקומי ובקטגוריה של Cloud Storage.

מטרות

  • מתקינים את הכלי FFMPEG.
  • מורידים את קובצי המדיה לדוגמה.
  • הפעלת קובצי אודיו ווידאו באמצעות FFMPEG.
  • מחלצים, ממירים ומקודדים מחדש את המאפיינים של קובץ האודיו באמצעות FFMPEG.
  • מריצים את Cloud STT על מגוון קובצי דוגמה שמכילים דיאלוג.

עלויות

המדריך הזה משתמש ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

אפשר להשתמש במחשבון העלויות כדי ליצור הערכת עלות על סמך השימוש החזוי.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command:

    gcloud init

במדריך הזה תשתמשו ב-Cloud Shell כדי לבצע את התהליכים, כמו העתקת נתונים מקטגוריה של Cloud Storage לסשן של Cloud Shell. ‫Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud כבר מותקן. במדריך הזה משתמשים ב-CLI של gcloud בהרבה שלבים. אתם גם מתקינים תוכנה וקבצי אודיו לדוגמה במחשב המקומי, ומריצים את אותם תרגילים מהטרמינל, כמו שמתואר בהמשך בקטע הרצת דוגמאות מהמדריך בטרמינל מקומי.

סקירה כללית

במדריך הזה תשתמשו ב-FFMPEG, כלי בקוד פתוח להקלטה, להמרה ולסטרימינג של אודיו ווידאו. בהמשך המדריך נספק מידע נוסף על הכלי הזה.

הסבר על מאפייני קובץ האודיו

בקטע הזה מתוארים סוגי קובצי אודיו אופייניים, תדירויות דגימה, עומקי ביטים ומדיה להקלטה שנמצאים בתהליכי עבודה של הפקת מדיה ופוסט-פרודקשן.

כדי לקבל את התוצאות הכי טובות מ-Cloud STT, חשוב לוודא שהקבצים שמשמשים לתמלול הם קובצי מונו שעומדים במפרט מינימלי מסוים, כמו שמתואר בהמשך. אם הקבצים לא עומדים במפרט, יכול להיות שתצטרכו ליצור קבצים שונים. לדוגמה, יכול להיות שתצטרכו לבצע את הפעולות הבאות:

  • לחלץ את נתוני האודיו מקובץ וידאו.
  • לחלץ טראק מונופוני יחיד מקובץ אודיו עם כמה טראקים.
  • להמיר את הקידוד מקודק אודיו אחד לקודק אחר שמתאים יותר ל-Cloud STT.

תדירות הדגימה (טווח תדרים)

תדירות הדגימה קובעת את טווח התדרים של קובץ האודיו. הוא מבוסס על מספר הדגימות לשנייה שמרכיבות את קובץ האודיו. בדרך כלל, התדירות הגבוהה ביותר שניתן לשחזר בקובץ אודיו דיגיטלי שווה למחצית מתדירות הדגימה. לדוגמה, התדר הגבוה ביותר שאפשר לשחזר מקובץ אודיו של 44.1kHz הוא בערך 22kHz, שנמצא בקצה העליון של טווח תגובת התדרים של השמיעה של מאזין טיפוסי, או מעבר לו.

תדירויות הדגימה בטלפוניה ובטלקומוניקציה הן בדרך כלל בטווח של 8kHz עד 16kHz. המדריך הזה מתמקד בפורמטים שספציפיים לתעשיית המדיה והבידור, שהם בדרך כלל גבוהים מ-16kHz. למידע נוסף על טלפוניה ואפליקציות סאונד אחרות, קראו את המאמר תמלול אודיו של טלפון באמצעות מודלים משופרים.

מומלץ להשתמש בתדירות דגימה של לפחות 16kHz בקובצי האודיו שאתם מתמללים באמצעות Cloud STT. תדירויות הדגימה בקובצי אודיו הן בדרך כלל ‎16 kHz,‏ ‎32 kHz,‏ ‎44.1 kHz ו-‎48 kHz. מכיוון שטווח התדרים משפיע מאוד על המובנות, במיוחד בתדרים הגבוהים, תדירות דגימה של פחות מ-16kHz תגרום לכך שקובץ האודיו יכיל מעט מאוד מידע מעל 8kHz, או לא יכיל מידע כזה בכלל. זה יכול למנוע מ-Cloud STT לתמלל בצורה נכונה את האודיו של הדיבור. כדי להבין דיבור, צריך מידע בטווח שבין 2kHz ל-4kHz, אבל גם ההרמוניות (כפולות) של התדרים האלה בטווח הגבוה יותר חשובות כדי לשמור על מובנות הדיבור. לכן, מומלץ להגדיר את תדירות הדגימה ל-16kHz לפחות.

אפשר להמיר מתדירות דגימה אחת לאחרת. עם זאת, אין יתרון בהגדלת קצב הדגימה של האודיו, כי המידע על טווח התדרים מוגבל על ידי קצב הדגימה הנמוך יותר, ואי אפשר לשחזר אותו על ידי המרה לקצב דגימה גבוה יותר. כלומר, אם תגדילו את תדירות הדגימה מ-‎8 kHz ל-‎44.1 kHz, טווח התדרים שניתן לשחזר יוגבל לחצי מתדירות הדגימה הנמוכה יותר, או בערך ‎4 kHz. במדריך הזה, אתם מאזינים לקובצי אודיו שהוקלטו בתדירויות דגימה ובעומקי סיביות שונים, כדי שתוכלו לשמוע את ההבדל בעצמכם.

עומק סיביות (טווח דינמי)

עומק הסיביות של קובץ האודיו קובע את הטווח בין הצלילים השקטים ביותר לצלילים הרועשים ביותר, וגם את יחס האות לרעש של הקובץ. הטווח הדינמי משפיע פחות על איכות התמלול מאשר תגובת התדר, אבל עומק סיביות של 8 סיביות או פחות יכול לגרום לרעש קוונטיזציה מוגזם בטראק האודיו, מה שמקשה על תמלול מדויק. (שגיאות קוונטיזציה הן שגיאות עיגול בין אות הקלט האנלוגי לבין המיפוי של ערך הפלט הדיגיטלי של האות הזה. השגיאות גורמות לעיוותים שניתן לשמוע, שמשפיעים ישירות על נאמנות הצליל למקור). עומק הסיביות המומלץ של הקבצים לניתוח באמצעות Cloud STT הוא 16 ביטים או יותר. כמו בתדר הדגימה, אין יתרון בהמרה של עומק הסיביות מ-8 ל-16 סיביות, כי המידע על הטווח הדינמי מוגבל לפורמט המקורי של 8 סיביות.

אמצעי הקלטה

גם אמצעי ההקלטה המקורי יכול להשפיע על איכות קובץ האודיו. לדוגמה, תוכן אודיו שהוקלט במקור על סרט מגנטי עשוי לכלול רעש רקע שמוטמע בקובץ. במקרים מסוימים, יכול להיות שתצטרכו לעבד מראש אודיו רועש כדי לקבל תוצאות טובות יותר בתהליך התמלול כשאתם משתמשים ב-Cloud STT. הטיפול בהקלטות רועשות ובהפרעות של רעשי רקע לא נכלל במדריך הזה. מידע נוסף זמין בקטע שיטות מומלצות במאמרי העזרה של Cloud STT.

מבוא ל-FFMPEG

במדריך הזה תשתמשו ב-FFMPEG כדי לעבוד עם קובצי אודיו. ערכת הכלים של FFMPEG מציעה מגוון רחב של פונקציות, כולל:

  • הפעלת קובץ אודיו או וידאו.
  • המרת קובצי אודיו לאחד מקובצי ה-codec ש-Cloud STT מזהה.
  • המרת תדירויות הדגימה וקצבי העברת הנתונים של קובצי האודיו להגדרות אופטימליות לניתוח על ידי Cloud STT.
  • חילוץ טראקים או שידורים של אודיו מקובץ של שידור או מקובץ וידאו.
  • פיצול קובצי סטריאו לשני קובצי מונו.
  • פיצול קובצי אודיו 5.1 לשישה קבצים מונופוניים.
  • החלת אקולייזר וסינון כדי לשפר את בהירות האודיו.

אתם יכולים גם להשתמש בפונקציה ffprobe של FFMPEG כדי לחשוף מטא-נתונים שמשויכים לקובץ מדיה. המידע הזה חשוב כשרוצים לאבחן בעיות שקשורות לסוגי קבצים ולפורמטים של ניתוח למידת מכונה.

קודקים ש-Cloud STT מזהה

למרות ש-Cloud STT מזהה מספר פורמטים של קובצי אודיו, יכול להיות שהוא לא יקרא או ינתח קודקים מסוימים בצורה נכונה. במדריך מוסבר איך לוודא שהתוכן שלכם הוא באחד מפורמטי הקובץ הנתמכים.

במדריך תקראו את המטא-נתונים כדי לחשוף ולתקן בעיות פוטנציאליות לפני השימוש ב-Cloud STT. אם אתם מגלים חוסר תאימות, אתם יכולים להשתמש באותם כלים כדי להמיר את הקובץ לפורמט נתמך.

‫Cloud STT מזהה את רכיבי ה-codec הבאים:

  • ‫FLAC: ‏Free Lossless Audio Codec
  • ‫LINEAR16: פורמט PCM לא דחוס שמשמש במאגרי WAV,‏ AIFF,‏ AU ו-RAW
  • ‫MULAW: קודק PCM שמיועד לתקשורת בארה"ב וביפן
  • ‫AMR: קודק עם קצב העברת נתונים מותאם שמיועד לדיבור
  • ‫AMR_WB: וריאציה של AMR עם רוחב פס כפול מזה של AMR
  • ‫OGG_OPUS: קודק דחיסת נתונים (lossy) שמיועד לאפליקציות עם זמן אחזור קצר
  • ‫SPEEX_WITH_HEADER_BYTE: קודק שמיועד לאפליקציות Voice over IP (VOIP)

חשוב להבין שקודקים ופורמטים של קבצים הם לא אותו דבר. סיומת שם הקובץ לא בהכרח מציינת ש-Cloud STT יכול לקרוא את ה-codec ששימש ליצירת הקובץ.

המדריך הזה מתמקד בקודקים FLAC ו-LINEAR16, כי הם נפוצים בסביבות של תהליכי עבודה במדיה. שני הפורמטים הם ללא אובדן מידע.

אם אתם משתמשים בקובצי WAV (בפורמט PCM לינארי לא דחוס) עם Cloud STT, הקבצים צריכים להיות בעומק של עד 16 ביט ומקודדים בפורמט שאינו נקודה צפה (floating-point). סיומת שם הקובץ .wav לא מבטיחה ש-Cloud STT יוכל לקרוא את הקובץ. בקטע אופטימיזציה של קובצי אודיו לניתוח במדריך הזה מוסבר איך להמיר את הקובץ מנקודה צפה (floating point) לעומק סיביות של מספר שלם (עם סימן) כדי לתמלל את הקובץ ב-Cloud STT.

הפעלת הסביבה

לפני שמבצעים את המשימות במדריך הזה, צריך להפעיל את הסביבה על ידי התקנת FFMPEG, הגדרת כמה משתני סביבה והורדת קובצי אודיו. אתם משתמשים בקובצי מדיה שמאוחסנים גם במכונה של Cloud Shell וגם בקטגוריה של Cloud Storage. שימוש במקורות שונים מאפשר לכם לעבוד עם יכולות שונות של Cloud STT.

בקטע הזה תתקינו את FFMPEG ותגדירו משתני סביבה שמפנים למיקומי האחסון של הנתונים לדוגמה, במכונה של Cloud Shell ובקטגוריה של Cloud Storage. קובצי המדיה זהים בשני המיקומים, ובחלק מהדוגמאות במדריך הזה הגישה לקבצים היא גם מ-Cloud Shell וגם מהקטגוריה של Cloud Storage. אתם יכולים להתקין את FFMPEG במחשב המקומי ולהריץ את אותם תרגילים, כמו שמתואר בהמשך בקטע הרצת דוגמאות מהמדריך בטרמינל מקומי.

  1. מפעילים את Cloud Shell במסוף Google Cloud .

    הפעלת Cloud Shell

  2. ב-Cloud Shell, מתקינים את הגרסה הנוכחית של FFMPEG:

    sudo apt update
    sudo apt install ffmpeg
    
  3. מוודאים ש-FFMPEG מותקן:

    ffmpeg -version
    

    אם מוצג מספר גרסה, סימן שההתקנה הצליחה.

  4. יוצרים ספרייה לקובצי הפרויקט:

    mkdir project_files
    
  5. יוצרים ספרייה לקובצי הפלט שתיצרו בשלב מאוחר יותר:

    mkdir output
    
  6. מורידים את קובצי האודיו לדוגמה:

    gcloud storage cp gs://cloud-samples-data/speech/project_files/*.* ~/project_files/
    
  7. יוצרים משתנה סביבה לשם הקטגוריה של Cloud Storage:

    export GCS_BUCKET_PATH=gs://cloud-samples-data/speech/project_files
    
  8. יוצרים משתנה סביבה לנתיב הספרייה של מכונת Cloud Shell, שמפנה לקובצי האודיו לדוגמה שהורדתם:

    export PROJECT_FILES=~/project_files
    

בדיקת המטא-נתונים בקובצי מדיה

כשמנתחים קובצי אודיו או וידאו באמצעות Cloud STT, צריך לדעת את פרטי המטא-נתונים של הקובץ. כך אפשר לזהות חוסר עקביות או פרמטרים לא תואמים שעלולים לגרום לבעיות.

בקטע הזה תשתמשו בפקודה ffprobe ב-FFMPEG כדי לבדוק את המטא-נתונים של כמה קובצי מדיה ולהבין את המפרט של הקובץ.

  1. ב-Cloud Shell, מציגים את המטא-נתונים של הקובץ HumptyDumptySample4416.flac:

    ffprobe $PROJECT_FILES/HumptyDumptySample4416.flac
    

    הפלט שיתקבל:

    Input #0, flac, from 'project_files/HumptyDumptySample4416.flac':
      Duration: 00:00:26.28, start: 0.000000, bitrate: 283 kb/s
        Stream #0:0: Audio: flac, 44100 Hz, mono, s16
    

    הפלט הזה מציין את המטא-נתונים הבאים לגבי הקובץ:

    • משך הזמן של קובץ האודיו הוא 26.28 שניות.
    • קצב העברת הנתונים הוא 283KB לשנייה.
    • פורמט הקודק הוא FLAC.
    • תדירות הדגימה היא 44.1kHz.
    • הקובץ הוא קובץ מונו בערוץ יחיד.
    • עומק הביט הוא 16 ביטים (מספר שלם עם סימן).
  2. הצגת המטא-נתונים של הקובץ HumptyDumptySampleStereo.flac:

    ffprobe $PROJECT_FILES/HumptyDumptySampleStereo.flac
    

    הפלט שיתקבל:

    Input #0, flac, from 'project_files/HumptyDumptySampleStereo.flac':
      Duration: 00:00:26.28, start: 0.000000, bitrate: 378 kb/s
        Stream #0:0: Audio: flac, 44100 Hz, stereo, s16
    

    ההבדלים בין הקובץ הזה לקובץ הקודם הם שהקובץ הזה הוא קובץ סטריאו עם קצב העברת נתונים גבוה יותר (378KB לשנייה במקום 283KB לשנייה), כי הוא מכיל הפעלה של שני ערוצים במקום טראק מונו אחד. כל שאר הערכים זהים.

    כדאי לבדוק את מספר הערוצים בקובץ האודיו שרוצים לעבד באמצעות Cloud STT. קובצי האודיו צריכים לכלול רק ערוץ אודיו אחד. כדי לתמלל כמה ערוצי אודיו באותו קובץ, מומלץ להגדיר את הפקודות בסקריפט כמו שמוסבר בהמשך בקטע אופטימיזציה של קובצי אודיו לניתוח.

  3. הצגת המטא-נתונים של קובץ מיקס אודיו 5.1:

    ffprobe $PROJECT_FILES/Alice_51_sample_mix.aif
    

    הפלט שיתקבל:

    Duration: 00:00:58.27, bitrate: 4610 kb/s
        Stream #0:0: Audio: pcm_s16be, 48000 Hz, 5.1, s16, 4608 kb/s
    

    הקובץ הזה הוא בפורמט שונה מהקובץ המונופוני או הסטריאופוני, ולכן מוצג מידע נוסף. במקרה הזה, האודיו הוא בפורמט PCM ליניארי, שהוקלט בתדירות דגימה של 44.1kHz ובקצב העברת נתונים של 16 ביט (מספר שלם עם סימן, Little-endian).

    שימו לב לסיווג 5.1. קצב הנתונים של 4,608 קילו-ביט לשנייה בקובץ הזה גבוה משמעותית מהקצב בשתי הדוגמאות הקודמות, כי קובץ האודיו מכיל 6 טראקים של אודיו.

    בהמשך המדריך נראה איך הקובץ הזה גורם לשגיאות כשמנסים לתמלל אותו באמצעות Cloud STT. והכי חשוב, תלמדו איך לבצע אופטימיזציה של הקובץ כדי להשתמש בו ב-Cloud STT בלי שגיאות.

אופטימיזציה של קובצי אודיו לניתוח

כמו שצוין קודם, כשמשתמשים ב-Cloud STT, קובצי האודיו צריכים להיות קובצי מונו בערוץ יחיד כדי למנוע שגיאות בתהליך התמלול. בטבלה הבאה מוצגים פורמטים נפוצים של אודיו ותהליך ההמרה של קובצי מונו לצורך עיבוד.

פורמט האודיו הנוכחי תהליך ההמרה פורמט פלט האודיו
מונו לא צריך לחלץ את הקובץ FLAC או LINEAR16
סטריאו פיצול ל-2 קובצי מונו או מיקס דאון לקובץ מונו אחד ‫FLAC או LINEAR16
ערוצים מרובים (5.1) פיצול ל-6 קובצי מונו ‫FLAC או LINEAR16
אודיו/וידאו בכמה שידורים פיצול לקובצי מונו נפרדים ‫FLAC או LINEAR16

כדי לעבד קבצים עם כמה טראקים של אודיו, צריך לחלץ טראקים במונו מקובץ הסטריאו באמצעות FFMPEG או כלים אחרים לעריכת אודיו. לחלופין, אתם יכולים להפוך את התהליך לאוטומטי, כמו שמתואר בקטע תמלול אודיו עם כמה ערוצים במסמכי התיעוד של Cloud STT. במדריך הזה נבדוק את האפשרות להשתמש ב-FFMPEG כדי לחלץ טראקים נפרדים של מונו מקובץ הסטריאו.

כפי שמוצג בקטע הקודם, אתם יכולים להשתמש בפקודה ffprobe כדי לקבוע כמה ערוצי אודיו יש בקובץ, ואז להשתמש בפקודה ffmpeg כדי לחלץ או להמיר את הקובץ לפורמט מונו, אם צריך.

תצוגה מקדימה של שגיאה שנובעת מפורמט לא תקין

כדי לראות איך פורמט שגוי משפיע על התמלול, אתם יכולים לנסות להפעיל את Cloud STT על קובץ שאינו בפורמט מונו.

  1. ב-Cloud Shell, מריצים את Cloud STT על הקובץ HumptyDumptySampleStereo.flac:

    gcloud ml speech recognize $PROJECT_FILES/HumptyDumptySampleStereo.flac \
        --language-code='en-US'
    

    הפלט שיתקבל:

    ERROR: (gcloud.ml.speech.recognize) INVALID_ARGUMENT: Invalid audio channel count
    

    למרות שפורמט הקודק, תדירות הדגימה ועומק הסיביות של הקובץ נכונים, התיאור של הסטריאו מציין שיש שני טראקים בקובץ האודיו. לכן, הפעלת Cloud STT גורמת לשגיאה Invalid audio channel count.

  2. מריצים את הפקודה ffprobe בקובץ:

    ffprobe $PROJECT_FILES/HumptyDumptySampleStereo.flac
    

    הפלט שיתקבל:

    Stream #0:0: Audio: flac, 44100 Hz, stereo, s16
    

    זה מראה שהשגיאה ב-Cloud STT נגרמת בגלל ניסיון לעבד קובץ סטריאו.

במאמר תמלול אודיו עם כמה ערוצים שבמסמכי התיעוד של Cloud STT מוסבר איך לנהל קובצי סטריאו באמצעות סקריפטים.

פיצול קובץ סטריאו לכמה קובצי מונו בפורמט FLAC

דוגמה אחת לאופן שבו אפשר להימנע מהשגיאה של מספר טראקים היא לחלץ שני טראקים במונו מקובץ אודיו בסטריאו. הטראקים שנוצרים הם בפורמט FLAC ונכתבים בספריית הפלט. כשמחלצים שני קובצי מונו מקובץ סטריאו, מומלץ לתת לקבצים שחולצו שמות שמציינים את מיקום הערוץ בקובץ המקורי. לדוגמה, בתהליך הבא, אתם מגדירים את הערוץ השמאלי באמצעות הסיומת FL ואת הערוץ הימני באמצעות הסיומת FR.

אם דגימת האודיו לתמלול נמצאת בשני הערוצים, רק ערוץ אחד משמש לתמלול. עם זאת, אם דוברים שונים מוקלטים בערוצים שונים, מומלץ לתמלל את הערוצים בנפרד. ‫Cloud STT יכול לזהות כמה קולות בהקלטה אחת. עם זאת, הפרדה של כל קול לערוץ נפרד מובילה לרמות דיוק גבוהות יותר בתמלול. (ערך המהימנות נקרא גם שיעור שגיאות במילים, או WER, בזיהוי דיבור). למידע נוסף על עבודה עם כמה קולות באותה הקלטה, קראו את המאמר הפרדה בין דוברים שונים בהקלטת אודיו במסמכי התיעוד של Cloud STT.

  • ב-Cloud Shell, מפצלים את קובץ הסטריאו HumptyDumptySampleStereo.flac לשני קובצי מונו:

    ffmpeg -i $PROJECT_FILES/HumptyDumptySampleStereo.flac -filter_complex "[0:a]channelsplit=channel_layout=stereo[left][right]" -map "[left]" output/HumptyDumptySample_FL.flac -map "[right]" output/HumptyDumptySample_FR.flac
    

    הפלט הוא קובצי המונו הבאים, שמציגים את HumptyDumptySample_FL.flac (הערוץ הקדמי השמאלי) ואת HumptyDumptySample_FR.flac (הערוץ הקדמי הימני).

    Output #0, flac, to 'HumptyDumptySample_FL.flac':
      Input #0, flac, from 'project_files/HumptyDumptySampleStereo.flac':
      Duration: 00:00:26.28, start: 0.000000, bitrate: 378 kb/s
        Stream #0:0: Audio: flac, 44100 Hz, stereo, s16
    Stream mapping:
      Stream #0:0 (flac) -> channelsplit
      channelsplit:FL -> Stream #0:0 (flac)
      channelsplit:FR -> Stream #1:0 (flac)
    (...)
    Output #0, flac, to 'HumptyDumptySample_FL.flac':
    (...)
    Stream #0:0: Audio: flac, 44100 Hz, 1 channels (FL), s16, 128 kb/s
    (...)
    Output #1, flac, to 'HumptyDumptySample_FR.flac':
    (...)
    Stream #1:0: Audio: flac, 44100 Hz, 1 channels (FR), s16, 128 kb/s
    (...)
    size=918kB time=00:00:26.27 bitrate= 286.2kbits/s speed= 357x
    video:0kB audio:1820kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown
    

    עכשיו הקובץ מותאם ל-Cloud STT.

פיצול קובץ אודיו 5.1 לכמה קובצי מונו

דוגמה נוספת לאופטימיזציה של קובצי אודיו היא פיצול של קובצי אודיו בפורמט 5.1 לקובצי מונו נפרדים בפורמט FLAC. כשמתייחסים לערוצים במיקס מרובה ערוצים, כמו מיקס 5.1, שמות הקבצים בדרך כלל שונים מאלה של קובצי סטריאו או מונו. הקובץ של הערוץ השמאלי מסומן בדרך כלל כ-FL (שמאל קדמי), והקובץ של הערוץ הימני מסומן כ-FR (ימין קדמי). שאר הערוצים של מיקס 5.1 נקראים כאן FC לערוץ קדמי מרכזי, LFE לאפקטים בתדר נמוך, BL לערוץ אחורי שמאלי (נקרא גם סראונד שמאלי) ו-BR לערוץ אחורי ימני (נקרא גם סראונד ימני). אלה לא כינויים סטנדרטיים, אבל הם מקובלים לזיהוי המקור של קובץ אודיו.

בדרך כלל, בקובצי אודיו מרובי ערוצים לסרטים ולטלוויזיה, הדיאלוג הראשי מועבר בערוץ המרכזי הקדמי. בדרך כלל זה הקובץ שצריך לבחור כשמשתמשים ב-Cloud STT, כי הוא מכיל את רוב הדיאלוג במיקס.

בסביבת פוסט-פרודקשן, הרכיבים העיקריים של הדיאלוג, המוזיקה והאפקטים מפוצלים לקבוצות שנקראות ערוצים, כך שכל הדיאלוגים במיקס נשמרים בנפרד מהמוזיקה ומהאפקטים עד להשלמת המיקס הסופי. מכיוון שקובץ ה-stem של הדיאלוג מכיל רק דיאלוג, Cloud STT נותן תוצאות טובות יותר כשמתמללים את קובצי ה-stem במקום לנסות לשלוף את הערוץ המרכזי ממיקס סופי. הסיבה לכך היא שערוץ מרכזי שחולץ עלול להיות מעורבב עם צלילים שאינם דיאלוג, מה שעלול לפגוע באיכות השמע.

  1. ב-Cloud Shell, מפצלים את הקובץ Alice_51_sample_mix.aif לקובצי FLAC ומציינים את שמות קובצי הפלט לכל ערוץ:

    ffmpeg -i $PROJECT_FILES/Alice_51_sample_mix.aif -filter_complex "channelsplit=channel_layout=5.1[FL][FR][FC][LFE][BL][BR]" -map "[FL]" output/Alice_FL.flac -map "[FR]" output/Alice_FR.flac -map "[FC]" output/Alice_FC.flac -map "[LFE]" output/Alice_LFE.flac -map "[BL]" output/Alice_BL.flac -map "[BR]" output/Alice_BR.flac
    

    הפלט שיתקבל:

    Duration: 00:00:55.00, bitrate: 4235 kb/s
      Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 44100 Hz, 5.1, s16, 4233 kb/s
    Stream mapping:
      Stream #0:0 (pcm_s16le) -> channelsplit
      channelsplit:FL -> Stream #0:0 (flac)
      channelsplit:FR -> Stream #1:0 (flac)
      channelsplit:FC -> Stream #2:0 (flac)
      channelsplit:LFE -> Stream #3:0 (flac)
      channelsplit:BL -> Stream #4:0 (flac)
      channelsplit:BR -> Stream #5:0 (flac)
    Press [q] to stop, [?] for help
    Output #0, flac, to 'Alice_FL.flac':
    (...)
        Stream #0:0: Audio: flac, 44100 Hz, 1 channels (FL), s16, 128 kb/s
    (...)
    Output #1, flac, to 'output/Alice_FR.flac':
    (...)
        Stream #1:0: Audio: flac, 44100 Hz, 1 channels (FR), s16, 128 kb/s
    (...)
    Output #2, flac, to 'output/Alice_FC.flac':
    (...)
        Stream #2:0: Audio: flac, 44100 Hz, mono, s16, 128 kb/s
    (...)
    Output #3, flac, to 'output/Alice_LFE.flac':
    (...)
        Stream #3:0: Audio: flac, 44100 Hz, 1 channels (LFE), s16, 128 kb/s
    (...)
    Output #4, flac, to 'output/Alice_BL.flac':
    (...)
        Stream #4:0: Audio: flac, 44100 Hz, 1 channels (BL), s16, 128 kb/s
    (...)
    Output #5, flac, to 'output/Alice_BR.flac':
    (...)
        Stream #5:0: Audio: flac, 44100 Hz, 1 channels (BR), s16, 128 kb/s
    (...)
    
  2. כדי להאזין לקובץ הבא, לוחצים עליו. הקובץ הזה נמצא בקטגוריה של Cloud Storage, וכשלוחצים על השם שלו, הקובץ מופעל בכרטיסייה חדשה בדפדפן.

    Alice_mono_downmix.flac
    
  3. מאזינים לקובץ ה-FC (קובץ הערוץ המרכזי בלבד) שיצרתם. (תיבת הדו-שיח נפתחת אחרי כמה שניות של שקט).

    Alice_FC.flac
    

    שימו לב להבדל בבהירות בהשוואה לקובץ הקודם. הטראק הזה מבוסס רק על החלק של הדיאלוג במיקס.

בדיקת האיכות של קובץ האודיו

לפני שממירים את קובצי המדיה באמצעות Cloud STT, כדאי להאזין לקבצים כדי לבדוק אם יש בהם חריגות באיכות הצליל שעלולות למנוע מכלי ה-ML לספק תוצאות מדויקות. בקטע הזה, אתם יכולים להפעיל את הקבצים בדפדפן בלחיצה על שמות הקבצים. (מומלץ להשתמש באוזניות או ברמקולים עם טווח דינמי רחב).

האזנה לאודיו מקובץ וידאו

  1. לוחצים על הקובץ הבא כדי להפעיל אותו:

    HumptyDumptySample4416.flac
    

    לקובץ הזה יש תדירות של 44.1kHz ועומק סיביות של 16 ביט. שימו לב לאיכות הברורה והלא מעוותת של הקובץ הזה, ועד כמה קל להבין אותו. זהו מועמד טוב לתמלול באמצעות Cloud STT.

  2. כדי לשמוע מיקס סראונד עם תוכן שאינו דיאלוג בכל הערוצים מלבד הערוץ המרכזי, אתם יכולים להפעיל את קובץ הווידאו הבא לדוגמה בפורמט 5.1:

    sample_51_mix_movie.mp4
    

    הקובץ מיועד להפעלה במערכת אודיו 5.1. אם אתם משתמשים רק באוזניות או במערכת עם שני ערוצים, יכול להיות שלא תשמעו את כל הערוצים במהלך ההפעלה. (כדי לשמוע את כל ששת הערוצים, צריך לפענח את ההפעלה במערכת 5.1 או ליצור מיקס סטריאו של שני ערוצים).

    באופן אידיאלי, משתמשים בערוץ הדיאלוג בלבד ל-Cloud STT. בקובץ לדוגמה יש אודיו בלי דיאלוג בחמישה ערוצים ודיאלוג בערוץ אחד. בקטע אופטימיזציה של קובצי אודיו לניתוח בהמשך, נסביר איך לחלץ את ששת ערוצי האודיו המונופוניים הנפרדים שמקודדים בקובץ 5.1 כדי להאזין לכל טראק. כך אפשר לבודד את הערוץ שכולל רק דיאלוג (בדרך כלל הערוץ המרכזי או המרכזי-קדמי) מהערוצים שלא כוללים דיאלוג, כדי לשפר את היכולת של Cloud STT לתמלל את הקובץ.

בודקים את אותו קובץ בתדירויות דגימה שונות

בטבלה הבאה מפורטות כמה גרסאות של אותו קובץ אודיו, כל אחת עם עומק סיביות ותדירות דגימה שונים.

קובץ אודיו תדירות הדגימה/עומק הסיביות
HumptyDumptySample4416.flac ‫44.1kHz‏/16 ביט PCM לינארי
HumptyDumptySample2216.flac ‫PCM לינארי של 22kHz/16-bit
HumptyDumptySample1616.flac ‫16kHz/16-bit Linear PCM
HumptyDumptySample1116.flac ‫11kHz/‏16-bit Linear PCM
HumptyDumptySample0808.flac ‫8kHz/8-bit Linear PCM
HumptyDumptyUpSample4416.flac ‫44.1kHz (דגימת יתר)/PCM לינארי של 16 ביט
HumptyDumptySample4408.flac ‫PCM לינארי של 44.1kHz/8-bit
HumptyDumptySample4408to16.flac ‫44.1kHz/16-bit Linear PCM (עם המרה כלפי מעלה)
  1. כדי להאזין לכל אחד מהקבצים בטבלה שלמעלה, לוחצים על שם הקובץ. (נגן האודיו נפתח בכרטיסייה חדשה בדפדפן). שימו לב להבדל באיכות כשמפחיתים את תדירות הדגימה.

    הנאמנות למקור של קובצי 16 ביט פוחתת בתדירויות הדגימה הנמוכות יותר, ויחס האות לרעש פוחת באופן דרסטי בגרסאות של קובצי 8 ביט בגלל שגיאות קוונטיזציה. הקובץ האחרון בטבלה הוא קובץ מקורי של 8kHz 8-bit שנדגם מחדש ל-44.1kHz/16-bit. שימו לב שאיכות האודיו זהה לזו של הקובץ ב-8kHz/8-bit.

  2. ב-Cloud Shell, בודקים את המטא-נתונים של הקובץ HumptyDumptySampleStereo.flac:

    ffprobe $PROJECT_FILES/HumptyDumptySampleStereo.flac
    

    הפלט שיתקבל:

    Input #0, flac, from 'project_files/HumptyDumptySampleStereo.flac':
        Duration: 00:00:26.28, start: 0.000000, bitrate: 378 kb/s
        Stream #0:0: Audio: flac, 44100 Hz, stereo, s16
    

    הפלט שמוצג:

    • משך הקובץ הוא 26 שניות ו-28 פריימים. המידע הזה שימושי לתרחישים מתקדמים, למשל אם רוצים לעבד קבצים שאורכם יותר מדקה באמצעות הפקודה gcloud speech recognize-long-running.
    • קצב העברת הנתונים של הקובץ הוא 378Kbps.
    • מספר הטראקים בקובץ הוא 1. (המספר הזה שונה ממספר הערוצים).
    • תדירות הדגימה של הקובץ היא 44.1kHz.
    • מספר ערוצי האודיו הוא 2 (סטריאו).
    • עומק הסיביות של הקובץ הוא 16 סיביות.

    זרם תעבורה יכול להכיל מספר זרמים, כולל אודיו, וידאו ומטא-נתונים. לכל אחד מהם יש מאפיינים שונים, כמו מספר ערוצי האודיו בכל שידור, הקודק של שידורי הווידאו ומספר הפריימים לשנייה בשידורי הווידאו.

    שימו לב שהמטא-נתונים חושפים שמדובר בקובץ סטריאו. זה חשוב כי מספר ברירת המחדל של ערוצי האודיו שמומלץ לניתוח באמצעות Cloud STT הוא ערוץ מונו אחד.

תמלול קבצים באמצעות Cloud STT

אחרי שחילצתם קובצי מונו, אתם יכולים להשתמש ב-Cloud STT כדי לתמלל את טראקי האודיו. משתמשים בפקודה gcloud ml speech, שמפעילה את Cloud STT API.

  • מתמללים את קובץ הדיאלוג הנקי של Alice_FC.flac:

    gcloud ml speech recognize ~/output/Alice_FC.flac \
        --language-code='en-US' --format=text
    

    התמלול יושלם תוך כמה שניות. הפלט שיתקבל:

    results[0].alternatives[0].confidence: 0.952115
    results[0].alternatives[0].transcript: the walrus and the carpenter were walking close at hand they whip like anything to see such quantities of sand if this were only cleared away they said it would be grand
    results[1].alternatives[0].confidence: 0.968585
    results[1].alternatives[0].transcript: " if 7 Maids with seven mops swept it for half a year do you suppose the walrus said that they could get it clear I doubt it said the Carpenter and shed a bitter tear"
    results[2].alternatives[0].confidence: 0.960146
    results[2].alternatives[0].transcript: " oysters come and walk with us the walrus did beseech a pleasant walk a pleasant talk along the Briny Beach we cannot do with more than four to give a hand to each the eldest oyster look at him but never a word he said the eldest oyster winked his eye and shook his heavy head"
    

תמלול של טראק "מלוכלך"

יכול להיות שיש לכם קובצי אודיו של אנשים שמדברים, שכוללים גם אלמנטים אחרים של סאונד שמעורבבים בדיאלוג. הערוצים האלה נקראים לעיתים קרובות ערוצים "מלוכלכים", בניגוד לערוץ "נקי" של דיאלוג בלבד, שלא מעורבבים בו אלמנטים אחרים. למרות ש-Cloud STT יכול לזהות דיבור בסביבות רועשות, התוצאות עשויות להיות פחות מדויקות מאשר בטראקים נקיים. יכול להיות שתצטרכו לבצע סינון ועיבוד נוספים של האודיו כדי לשפר את הבהירות של הדיאלוג לפני שתנתחו את הקובץ באמצעות Cloud STT.

בקטע הזה תתמללו מיקס מונו של קובץ האודיו 5.1 שניתחתם בדוגמה הקודמת.

  1. ב-Cloud Shell, מתמללים את הקובץ Alice_mono_downmix.flac:

    gcloud ml speech recognize $PROJECT_FILES/Alice_mono_downmix.flac \
        --language-code='en-US' --format=text
    

    הפלט שיתקבל:

    results[0].alternatives[0].confidence: 0.891331
    results[0].alternatives[0].transcript: the walrus and the carpenter Milwaukee Corsicana they reflect anything to see such quantity if this were only
    results[1].alternatives[0].confidence: 0.846227
    results[1].alternatives[0].transcript: " it's Sunday 7th March 23rd happy few supposed former said that they could get it clear I doubt it to the doctor and she said it did it to just come and walk with us"
    results[2].alternatives[0].confidence: 0.917319
    results[2].alternatives[0].transcript: " along the Briny Beach it cannot do with more than four to give a hand to each the eldest oyster look at him but he said it was poised to Rich's eye and shook his head"
    

    התוצאות של הניתוח הזה לא מדויקות בגלל הצלילים הנוספים שממסכים את הדיאלוג. רמת הסמך של התמליל נמוכה מ-85%. כמו שאפשר לראות בפלט, הטקסט לא תואם לדיאלוג בהקלטה כמו שצריך.

תמלול קובצי אודיו עם תדירויות דגימה ועומקי ביטים שונים

כדי להבין טוב יותר איך תדירות הדגימה ועומק הביטים משפיעים על התמלול, בקטע הזה תתמללו את אותו קובץ אודיו שהוקלט בתדירויות דגימה ובעומקי ביטים שונים. כך אפשר לראות את רמת הסמך של Cloud STT ואת הקשר שלה לאיכות האודיו הכוללת.

  1. כדי לשמוע את הדוגמה, לחצו על שמות הקבצים בטבלה הבאה ושימו לב להבדל באיכות. בכל פעם שתלחצו על שם של קובץ, קובץ האודיו יופעל בכרטיסייה חדשה בדפדפן.

    שם קובץ האודיו מפרט הקבצים
    Speech_11k8b.flac תדירות דגימה של 11,025Hz, עומק של 8 ביט
    Speech_16k8b.flac תדירות דגימה של 16kHz, עומק של 8 ביט
    Speech_16k16b.flac תדירות דגימה של 16kHz, עומק של 16 סיביות
    Speech_441k8b.flac תדירות דגימה של 44,100Hz, עומק של 8 ביט
    Speech_441k16b.flac תדירות דגימה של 44,100Hz, עומק של 16 סיביות
  2. ב-Cloud Shell, מתמללים את הקובץ Speech_11k8b.flac, שמייצג את איכות האודיו הנמוכה ביותר בדוגמה הזו:

    gcloud ml speech recognize $PROJECT_FILES/Speech_11k8b.flac \
        --language-code='en-US' --format=text
    

    הפלט שיתקבל:

    results[0].alternatives[0].confidence: 0.77032
    results[0].alternatives[0].transcript: number of Pentacle represent
    results[1].alternatives[0].confidence: 0.819939
    results[1].alternatives[0].transcript: " what people can get in trouble if we take a look at the X again"
    
  3. תמלול הקובץ Speech_441k16b.flac, שהוקלט באיכות גבוהה בהרבה:

    gcloud ml speech recognize $PROJECT_FILES/Speech_441k16b.flac \
        --language-code='en-US' --format=text
    

    הפלט שיתקבל:

    results[0].alternatives[0].confidence: 0.934018
    results[0].alternatives[0].transcript: that gives us the number of pixels per inch when magnified to a 40-foot screen size now we take that number and multiply it by the distance between our eyes the interocular distance of 2 and 1/2 inch number of 10 pixels in other words on a 40-foot screen 10 pixels of information represents 2 and 1/2 in anything farther apart than that and positive Parallax is going to start to force the eyes to rotate that word in order to use the image
    results[1].alternatives[0].confidence: 0.956892
    results[1].alternatives[0].transcript: " where people tend to get in trouble is by looking at these images on a small monitor now if we take a look at the same math using a smaller monitor in this case 60 in the screen size in the resolution to multiply It Again by the distance between our eyes we end up with eighty pixels of Divergence on a monitor which equals two and a half inches so on the monitor things might look fine but when magnified up to the larger screen in this case for defeat we've created a situation that's eight times what we can stand to look at its very painful and should be avoided"
    

    שימו לב להבדל ברמת הביטחון בפלט של שתי הדוגמאות. הקובץ הראשון (Speech_11k8b.flac), שהוקלט ב-11kHz עם עומק של 8 ביט, קיבל רמת סמך נמוכה מ-78%. בקובץ השני, רמת הסמך היא בערך 94%.

  4. אם רוצים, אפשר לתמלל את הקבצים האחרים שמופיעים בטבלה בשלב 1 כדי להשוות בין תדירות הדגימה של קובץ האודיו לבין הדיוק של עומק הביטים.

בטבלה הבאה מוצג סיכום של הפלט של Cloud STT לכל אחד מהקבצים שמופיעים בטבלה בשלב 1 של התהליך הקודם. שימו לב להבדל בתוצאות של ערך המהימנות בכל סוג קובץ. (התוצאות שלכם עשויות להיות שונות מעט). התמלילים של קובצי אודיו עם קצב דגימה וקצב העברת נתונים נמוכים יותר נוטים להניב תוצאות עם רמת סמך נמוכה יותר, בגלל איכות הסאונד הנמוכה יותר.

שם קובץ האודיו ביטחון עצמי (חלק ראשון) ביטחון עצמי (חלק שני)
Speech_11k8b.flac 0.770318 0.81994
Speech_16k8b.flac 0.935356 0.959684
Speech_16k16b.flac 0.945423 0.964689
Speech_44.1k8b.flac 0.934017 0.956892
Speech_44.1k16b.flac 0.949069 0.961777

אופטימיזציה של קובצי וידאו לניתוח

בקטע הזה של המדריך מוסבר איך לחלץ אודיו 5.1 מקובץ של סרט.

  1. ב-Cloud Shell, מחלצים 6 ערוצי מונו מקובץ סרט 5.1 וממירים את הקבצים הנפרדים לפורמט FLAC:

    ffmpeg -i $PROJECT_FILES/sample_51_mix_movie.mp4 -filter_complex "channelsplit=channel_layout=5.1[FL][FR][FC][LFE][BL][BR]" -map "[FL]" output/sample_FL.flac -map "[FR]" output/sample_FR.flac -map "[FC]" output/sample_FC.flac -map "[LFE]" output/sample_LFE.flac -map "[BL]" output/sample_BL.flac -map "[BR]" output/sample_BR.flac
    

    הפקודה הזו מחלצת את הקבצים הבאים לספריית הפלט:

    sample_BL.flac
    sample_BR.flac
    sample_FC.flac
    sample_FL.flac
    sample_FR.flac
    sample_LFE.flac
    
  2. בודקים את המטא-נתונים של הקובץ לדוגמה:

    ffprobe $PROJECT_FILES/Speech_48kFloat.wav
    

    הפלט שיתקבל:

    Duration: 00:00:05.12, bitrate: 1536 kb/s
    Stream #0:0: Audio: pcm_f32le ([3][0][0][0] / 0x0003), 48000 Hz, mono, flt, 1536 kb/s
    

    ערכי המטא-נתונים pcm_f32le ו-flt מציינים שלקובץ הזה יש קצב העברת נתונים בנקודה צפה. צריך להמיר קובץ WAV עם קצב העברת נתונים בנקודה צפה (floating-point) לפורמט של מספר שלם עם סימן (signed-integer).

  3. ממירים את קצב העברת הנתונים של הקובץ לפורמט של מספר שלם עם סימן:

    ffmpeg -i $PROJECT_FILES/Speech_48kFloat.wav -c:a pcm_s16le output/Speech_48k16bNonFloatingPoint.wav
    

    הפקודה הזו יוצרת קובץ WAV חדש שקצב העברת הנתונים שלו הוא בפורמט של מספר שלם עם סימן.

  4. בודקים את המטא-נתונים של הקובץ החדש שנוצר:

    ffprobe ~/output/Speech_48k16bNonFloatingPoint.wav
    

    הפלט שיתקבל:

    Duration: 00:00:05.12, bitrate: 768 kb/s
    Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 48000 Hz, 1 channels, s16, 768 kb/s
    

    עכשיו המטא-נתונים מראים שקצב העברת הנתונים בקובץ שהומר הוא בפורמט של מספר שלם עם סימן (little-endian), כפי שמוצג בסימונים pcm_s16le ו-s16.

הרצת דוגמאות מהמדריך בטרמינל מקומי

אתם יכולים להריץ את כל הדוגמאות שבמדריך הזה מהטרמינל במחשב המקומי. הפעלת הדוגמאות באופן מקומי מספקת יכולת חשובה להפעיל קובצי אודיו ווידאו ישירות באמצעות הפקודה ffplay (במקום להאזין להם בדפדפן).

  1. בטרמינל במחשב המקומי, מתקינים את הכלי FFMPEG:

    sudo apt update
    sudo apt install ffmpeg
    
  2. מורידים את הקבצים לדוגמה למחשב המקומי:

    gcloud storage cp gs://cloud-samples-data/speech/project_files/*.* local_destination_path
    

    מחליפים את local_destination_path במיקום שבו רוצים לשמור את הקבצים לדוגמה.

  3. מגדירים את משתנה הסביבה LOCAL_PATH למיקום במחשב שבו הורדתם את הקבצים לדוגמה:

    export LOCAL_PATH=local_destination_path
    

    מחליפים את local_destination_path בנתיב מהשלב הקודם.

  4. בטרמינל, משתמשים בפקודה ffplay כדי להאזין לקובץ אודיו לדוגמה:

    • קובץ אודיו: ffplay $LOCAL_PATH/HumptyDumpty4416.flac
    • קובץ וידאו: ffplay $LOCAL_PATH/sample_51_mix_movie.mp4
    • הפעלה של קטגוריה של Cloud Storage: ‏ffplay $GCS_BUCKET_PATH/HumptyDumpty4416.flac

    נסו להריץ בטרמינל המקומי את הדוגמאות שהשתמשתם בהן קודם במדריך הזה. כך תוכלו להבין טוב יותר איך להשתמש ב-Cloud STT בצורה הכי יעילה.

פתרון בעיות

שגיאות יכולות להיגרם מכמה סיבות, לכן כדאי לבדוק כמה שגיאות נפוצות וללמוד איך לתקן אותן. יכול להיות שיהיו כמה שגיאות בקובץ אודיו מסוים שימנעו את השלמת תהליך התמלול.

האודיו ארוך מדי

הפקודה gcloud speech recognize יכולה לעבד קבצים באורך של עד דקה. לדוגמה, נסו את השאילתה הבאה:

gcloud ml speech recognize $PROJECT_FILES/HumptyDumpty4416.flac \
    --language-code='en-US' --format=text

הפלט שיתקבל:

ERROR: (gcloud.ml.speech.recognize) INVALID_ARGUMENT: Request payload size exceeds the limit: 10485760 bytes.

השגיאה נגרמת כשמנסים להשתמש בפקודה speech recognize כדי לעבד קובץ שאורכו יותר מדקה.

לקבצים באורך של יותר מדקה ופחות מ-80 דקות, אפשר להשתמש בפקודה speech recognize-long-running. כדי לבדוק את אורך הקובץ, אפשר להשתמש בפקודה ffprobe, כמו בדוגמה הבאה:

ffprobe $PROJECT_FILES/HumptyDumpty4416.flac

הפלט אמור להיראות כך:

Duration: 00:04:07.91, start: 0.000000, bitrate: 280 kb/s
Stream #0:0: Audio: flac, 44100 Hz, mono, s16

שימו לב שמשך הזמן של קובץ האודיו הוא בערך 4 דקות ו-8 שניות.

לקרוא קבצים גדולים מהמחשב המקומי

הפקודה speech recognize-long-running יכולה לעבד קבצים באורך של עד דקה אחת מהמחשב המקומי. כדי לראות איפה עלולה להתרחש שגיאה, נסו להשתמש בפקודה speech recognize-long-running ב-Cloud Shell לקובץ ארוך יותר:

gcloud ml speech recognize-long-running $PROJECT_FILES/HumptyDumpty4416.flac \
    --language-code='en-US' --format=text

הפלט שיתקבל:

ERROR: (gcloud.ml.speech.recognize-long-running) INVALID_ARGUMENT: Request payload size exceeds the limit: 10485760 bytes.

השגיאה הזו לא נגרמת בגלל אורך האודיו, אלא בגלל גודל הקובץ במחשב המקומי. כשמשתמשים בפקודה recognize-long-running, הקובץ צריך להיות בקטגוריה של Cloud Storage.

כדי לקרוא קבצים שאורכם יותר מדקה, משתמשים ב-recognize-long-running כדי לקרוא קובץ מקטגוריה של Cloud Storage, כמו בפקודה הבאה:

gcloud ml speech recognize-long-running $GCS_BUCKET_PATH/HumptyDumpty4416.flac \
    --language-code='en-US' --format=text

התהליך הזה נמשך כמה דקות.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.

מחיקת הפרויקט

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים