שיפור תוצאות התמלול באמצעות התאמת המודל

סקירה כללית

אתם יכולים להשתמש בתכונה התאמת המודל כדי לעזור לטכנולוגיית הדיבור לטקסט לזהות מילים או ביטויים ספציפיים בתדירות גבוהה יותר מאשר אפשרויות אחרות שאולי יוצעו. לדוגמה, נניח שנתוני האודיו שלכם כוללים לעיתים קרובות את המילה "מזג אוויר". כשמערכת הדיבור לטקסט מזהה את המילה "weather", אתם רוצים שהיא תתמלל את המילה כ-"weather" בתדירות גבוהה יותר מאשר כ-"whether". במקרה כזה, אפשר להשתמש בהתאמת מודל כדי להטות את התוצאות של המרת הדיבור לטקסט לטובת זיהוי המילה 'weather'.

התאמת המודל שימושית במיוחד בתרחישי השימוש הבאים:

• שיפור הדיוק של מילים וביטויים שמופיעים לעיתים קרובות בנתוני האודיו. לדוגמה, אתם יכולים להגדיר התראות במודל הזיהוי לגבי פקודות קוליות שבדרך כלל נאמרות על ידי המשתמשים שלכם.

  • הרחבת אוצר המילים שמזוהה על ידי המרת דיבור לטקסט. המרת דיבור לטקסט כוללת אוצר מילים גדול מאוד. עם זאת, אם נתוני האודיו שלכם מכילים לעיתים קרובות מילים נדירות בשימוש השפה הכללי (כמו שמות פרטיים או מילים ספציפיות לתחום), אתם יכולים להוסיף אותן באמצעות התאמת המודל.

  • שיפור הדיוק של תמלול הדיבור כשהאודיו שסופק מכיל רעשים או לא ברור במיוחד.

אופציונלי: אפשר לבצע כוונון עדין של הטיית מודל הזיהוי באמצעות התכונה לשיפור התאמת המודל.

שיפור הזיהוי של מילים וביטויים

כדי להגדיל את הסבירות שהמילה weather תזוהה על ידי התכונה 'דיבור לטקסט' כשהיא מתמללת את נתוני האודיו, אפשר להעביר את המילה weather באובייקט PhraseSet במשאב SpeechAdaptation.

כשמספקים ביטוי שמורכב מכמה מילים, סביר יותר שהטכנולוגיה להמרת דיבור לטקסט תזהה את המילים האלה ברצף. אם מספקים ביטוי, גדל הסיכוי לזיהוי חלקים מהביטוי, כולל מילים בודדות. בדף המגבלות על תוכן מפורטות המגבלות על מספר הביטויים וגודלם.

שיפור הזיהוי באמצעות מחלקות

מחלקות מייצגות מושגים נפוצים שמופיעים בשפה טבעית, כמו יחידות כספיות ותאריכים ביומן. מחלקות עוזרות לשפר את הדיוק של התמלול לקבוצות גדולות של מילים שמתייחסות למושג משותף, אבל לא תמיד כוללות מילים או ביטויים זהים.

לדוגמה, נניח שנתוני האודיו כוללים הקלטות של אנשים שאומרים את כתובת הרחוב שלהם. יכול להיות שיש לכם הקלטת אודיו של מישהו שאומר "הבית שלי נמצא ברחוב הראשי 123, הבית הרביעי משמאל". במקרה הזה, רוצים שה-API של Speech-to-Text יזהה את רצף הספרות הראשון (123) ככתובת ולא כמספר סודר (one-hundred twenty-third). אבל לא כל האנשים גרים ברחוב הראשי מספר 123. אי אפשר לפרט כל כתובת רחוב אפשרית במשאב PhraseSet. במקום זאת, אפשר להשתמש במחלקה כדי לציין שמערכת Speech-to-Text צריכה לזהות מספר בית בלי קשר לערך המספרי שלו. בדוגמה הזו, מערכת Speech-to-Text תוכל לתמלל בצורה מדויקת יותר ביטויים כמו "123 Main Street" ו-"987 Grand Boulevard" כי שניהם מזוהים כמספרי כתובות.

טוקנים של כיתות

כדי להשתמש בכיתה בהתאמת מודל, צריך לכלול אסימון כיתה בשדה phrases של משאב PhraseSet. כדי לראות אילו טוקנים זמינים בשפה שלכם, אפשר לעיין ברשימת הטוקנים הנתמכים של הכיתות. לדוגמה, כדי לשפר את התמלול של מספרי כתובות מאודיו המקור, צריך לציין את הערך $ADDRESSNUM בתוך ביטוי ב-PhraseSet.

אפשר להשתמש במחלקות כפריטים עצמאיים במערך phrases או להטמיע טוקן אחד או יותר של מחלקה בביטויים ארוכים יותר של כמה מילים. לדוגמה, אפשר לציין מספר כתובת בתוך ביטוי ארוך יותר על ידי הכללת טוקן הסיווג במחרוזת: ["my address is $ADDRESSNUM"]. עם זאת, הביטוי הזה לא יעזור במקרים שבהם האודיו מכיל ביטוי דומה אבל לא זהה, כמו "I am at 123 Main Street". כדי לעזור למערכת לזהות ביטויים דומים, חשוב להוסיף גם את טוקן הסיווג לבד: ["my address is $ADDRESSNUM", "$ADDRESSNUM"]. אם משתמשים בטוקן מחלקה לא תקין או מעוצב בצורה שגויה, Speech-to-Text מתעלם מהטוקן בלי להפעיל שגיאה, אבל עדיין משתמש בשאר הביטוי להקשר.

הערה: הזמינות של הכיתוב משתנה בהתאם למודל התמלול ולשפה.

שיעורים בהתאמה אישית

אפשר גם ליצור CustomClass, מחלקה שמורכבת מרשימה מותאמת אישית של פריטים או ערכים קשורים. לדוגמה, אתם רוצים לתמלל נתוני אודיו שסביר להניח שיכללו את השם של אחת מכמה מאות מסעדות אזוריות. שמות של מסעדות הם יחסית נדירים בדיבור באופן כללי, ולכן יש סיכוי נמוך יותר שהמודל לזיהוי דיבור יבחר בהם כתשובה 'הנכונה'. אתם יכולים להטות את מודל הזיהוי כך שיזהה נכון את השמות האלה כשהם מופיעים באודיו, באמצעות מחלקה מותאמת אישית.

כדי להשתמש בכיתה בהתאמה אישית, יוצרים משאב CustomClass שכולל את שם כל מסעדה כ-ClassItem. אסימונים מותאמים אישית של כיתות פועלים באותו אופן כמו אסימונים מוכנים מראש של כיתות. phrase יכול לכלול גם טוקנים של סיווגים מובנים וגם סיווגים בהתאמה אישית.

שיפור התוצאות של התמלול באמצעות משבצות לייצור מזון

כברירת מחדל, ההשפעה של התאמת המודל קטנה יחסית, במיוחד כשמדובר בביטויים של מילה אחת. התכונה 'הגברת התאמת המודל' מאפשרת להגדיל את הטיית מודל הזיהוי על ידי הקצאת משקל גבוה יותר לביטויים מסוימים מאשר לאחרים. מומלץ להשתמש בהגברת הביצועים אם כל התנאים הבאים מתקיימים:

1. כבר הטמעתם התאמה של מודל.
2. אתם רוצים לשנות את עוצמת ההשפעה של התאמת המודל על תוצאות התמלול. כדי לראות אם התכונה 'הגברת המהירות' זמינה בשפה שלכם, אפשר לעיין בדף השפות הנתמכות.

לדוגמה, יש לכם הרבה הקלטות של אנשים ששואלים על "מחיר הכרטיס ליריד המחוזי", והמילה "יריד" מופיעה בתדירות גבוהה יותר מהמילה "מחיר הכרטיס". במקרה כזה, אפשר להשתמש בהתאמת המודל כדי להגדיל את ההסתברות שהמודל יזהה גם את המילה "fair" וגם את המילה "fare", על ידי הוספתן כ-phrases במשאב PhraseSet. כך המערכת תזהה את המילים fair ו-fare בתדירות גבוהה יותר מאשר את המילים hare או lair, למשל.

עם זאת, המילה 'fair' צריכה להיות מזוהה בתדירות גבוהה יותר מהמילה 'fare', כי היא מופיעה בתדירות גבוהה יותר באודיו. יכול להיות שכבר תמללתם את האודיו באמצעות Speech-to-Text API וגיליתם מספר גבוה של שגיאות בזיהוי המילה הנכונה (fair). במקרה כזה, כדאי להשתמש בתכונה הגברת התנועה כדי להקצות ערך גבוה יותר של הגברת התנועה למונח fair מאשר למונח fare. הערך המשוקלל הגבוה יותר שמוקצה ל-fair גורם להטיה ב-Speech-to-Text API לבחירה של fair בתדירות גבוהה יותר מאשר fare. בלי ערכי הגברה, מודל הזיהוי יזהה את המילים fair ו-fare בהסתברות שווה.

הגברה – מידע בסיסי

כשמשתמשים בהגברה, מקצים ערך משוקלל ל-phrase פריטים במשאב PhraseSet. כשמערכת Speech-to-Text בוחרת תמליל אפשרי למילים בנתוני האודיו, היא מתייחסת לערך המשוקלל הזה. ככל שהערך גבוה יותר, כך גדל הסיכוי שהמילה או הביטוי ייבחרו מתוך האפשרויות החלופיות.

אם מקצים ערך של הגברה לביטוי שמורכב מכמה מילים, ההגברה חלה על הביטוי כולו ורק על הביטוי כולו. לדוגמה, רוצים להקצות ערך של הגדלת החשיפה לביטוי "המוצג האהוב עליי במוזיאון האמריקאי להיסטוריה של הטבע הוא הלווייתן הכחול". אם מוסיפים את הביטוי הזה לאובייקט phrase ומקצים לו ערך של הגברה, סביר יותר שמודל הזיהוי יזהה את הביטוי הזה במלואו, מילה במילה.

אם לא קיבלתם את התוצאות שחיפשתם על ידי הגברת הביצועים של ביטוי שמורכב מכמה מילים, מומלץ להוסיף את כל הביגרמות (2 מילים, לפי הסדר) שמרכיבות את הביטוי כפריטים נוספים של phrase ולהקצות לכל אחת מהן ערכי הגברת ביצועים. בהמשך לדוגמה הקודמת, אפשר לבדוק אם כדאי להוסיף ביגרמות ואנדגרמות נוספות (יותר משתי מילים), כמו my favorite,‏ my favorite exhibit,‏ favorite exhibit,‏ my favorite exhibit at the American Museum of Natural History,‏ American Museum of Natural History ו-blue whale. לאחר מכן, סביר יותר שמודל זיהוי הדיבור (STT) יזהה ביטויים קשורים באודיו שלכם שמכילים חלקים מהביטוי המקורי שהודגש, אבל לא זהים לו מילה במילה.

הגדרת ערכי הבוסט

ערכי ההגברה חייבים להיות מספרים ממשיים גדולים מ-0. המגבלה המעשית המקסימלית של ערכי ההגברה היא 20. כדי לקבל את התוצאות הטובות ביותר, כדאי לערוך ניסוי עם תוצאות התמלול. לשם כך, משנים את ערכי ההגברה כלפי מעלה או מטה עד שמקבלים תוצאות תמלול מדויקות.

ערכים גבוהים יותר של הגברה יכולים להוביל לפחות תוצאות שליליות שגויות, כלומר מקרים שבהם המילה או הביטוי הופיעו באודיו אבל לא זוהו בצורה נכונה על ידי Speech-to-Text. עם זאת, ההגברה יכולה גם להגדיל את הסיכוי לתוצאות חיוביות שגויות, כלומר מקרים שבהם המילה או הביטוי מופיעים בתמליל למרות שהם לא נאמרו באודיו.

תרחיש שימוש לדוגמה באמצעות התאמת מודל

בדוגמה הבאה מוסבר איך להשתמש בהתאמת מודל כדי לתמלל הקלטת אודיו של מישהו שאומר "The word is fare". במקרה הזה, בלי התאמה לדיבור, התכונה 'המרת דיבור לטקסט' מזהה את המילה fair. באמצעות התאמת דיבור, המרת הדיבור לטקסט יכולה לזהות את המילה fare במקום.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Speech-to-Text APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Cloud Speech Administrator

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

התקינו את ה-CLI של Google Cloud.

הערה: אם התקנתם את ה-CLI של gcloud, השתמשו בפקודה gcloud components update כדי לבדוק אם הגרסה העדכנית מותקנת.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Speech-to-Text APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Cloud Speech Administrator

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

התקינו את ה-CLI של Google Cloud.

הערה: אם התקנתם את ה-CLI של gcloud, השתמשו בפקודה gcloud components update כדי לבדוק אם הגרסה העדכנית מותקנת.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

בספריות הלקוח אפשר להשתמש ב-Application Default Credentials כדי לעבור בקלות אימות מול Google APIs ולשלוח בקשות לאותם ממשקי API. באמצעות Application Default Credentials, אתם יכולים לבדוק את האפליקציה ברמה המקומית ולפרוס אותה בלי לשנות את הקוד שלה. מידע נוסף זמין במאמר אימות לצורך שימוש בספריות לקוח.

1. אם אתם משתמשים במעטפת מקומית, אתם צריכים ליצור פרטי כניסה לאימות מקומי עבור חשבון המשתמש:

   gcloud auth application-default login

   אם אתם משתמשים ב-Cloud Shell, אין צורך לבצע את הפעולה הזו.

   אם מוחזרת שגיאת אימות ואתם משתמשים בספק זהויות חיצוני (IdP), ודאו ש נכנסתם ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

בנוסף, חשוב לוודא שהתקנתם את ספריית הלקוח.

שיפור התמלול באמצעות PhraseSet

1. בדוגמה הבאה נוצר PhraseSet עם הביטוי fare והוא מתווסף כ-inline_phrase_set לבקשת זיהוי:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_inline_phrase_set(audio_file: str) -> cloud_speech.RecognizeResponse:
    """Enhances speech recognition accuracy using an inline phrase set.
    The inline custom phrase set helps the recognizer produce more accurate transcriptions for specific terms.
    Phrases are given a boost to increase their chances of being recognized correctly.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """

    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Build inline phrase set to produce a more accurate transcript
    phrase_set = cloud_speech.PhraseSet(
        phrases=[{"value": "fare", "boost": 10}, {"value": "word", "boost": 20}]
    )
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                inline_phrase_set=phrase_set
            )
        ]
    )
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

1. בדוגמה הזו נוצר משאב PhraseSet עם אותו ביטוי, ואז נעשה בו שימוש בבקשת זיהוי:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_phrase_set_reference(
    audio_file: str,
    phrase_set_id: str,
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio files using a PhraseSet.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
        phrase_set_id (str): The unique ID of the PhraseSet to use.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """

    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Creating operation of creating the PhraseSet on the cloud.
    operation = client.create_phrase_set(
        parent=f"projects/{PROJECT_ID}/locations/global",
        phrase_set_id=phrase_set_id,
        phrase_set=cloud_speech.PhraseSet(phrases=[{"value": "fare", "boost": 10}]),
    )
    phrase_set = operation.result()

    # Add a reference of the PhraseSet into the recognition request
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                phrase_set=phrase_set.name
            )
        ]
    )

    # Automatically detect audio encoding. Use "short" model for short utterances.
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )
    #  Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )
    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

שיפור תוצאות התמלול באמצעות CustomClass

1. בדוגמה הבאה נוצר CustomClass עם הפריט fare והשם fare. לאחר מכן הוא מפנה אל CustomClass בתוך inline_phrase_set בבקשת זיהוי:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_inline_custom_class(
    audio_file: str,
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio file using inline custom class.
    The inline custom class helps the recognizer produce more accurate transcriptions for specific terms.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
    Returns:
        cloud_speech.RecognizeResponse: The response object which includes the transcription results.
    """
    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Define an inline custom class to enhance recognition accuracy with specific items like "fare" etc.
    custom_class_name = "your-class-name"
    custom_class = cloud_speech.CustomClass(
        name=custom_class_name,
        items=[{"value": "fare"}],
    )

    # Build inline phrase set to produce a more accurate transcript
    phrase_set = cloud_speech.PhraseSet(
        phrases=[{"value": custom_class_name, "boost": 20}]
    )
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                inline_phrase_set=phrase_set
            )
        ],
        custom_classes=[custom_class],
    )
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

1. בדוגמה הזו נוצר משאב CustomClass עם אותו פריט. לאחר מכן, המערכת יוצרת משאב PhraseSet עם ביטוי שמפנה לשם המשאב CustomClass. לאחר מכן הוא מפנה למשאב PhraseSet בבקשת זיהוי:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_custom_class_reference(
    audio_file: str, phrase_set_id: str, custom_class_id: str
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio file using a custom class.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
        phrase_set_id (str): The unique ID of the phrase set to use.
        custom_class_id (str): The unique ID of the custom class to use.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """
    # Instantiates a speech client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Create a custom class to improve recognition accuracy for specific terms
    custom_class = cloud_speech.CustomClass(items=[{"value": "fare"}])
    operation = client.create_custom_class(
        parent=f"projects/{PROJECT_ID}/locations/global",
        custom_class_id=custom_class_id,
        custom_class=custom_class,
    )
    custom_class = operation.result()

    # Create a persistent PhraseSet to reference in a recognition request
    created_phrase_set = cloud_speech.PhraseSet(
        phrases=[
            {
                "value": f"${{{custom_class.name}}}",
                "boost": 20,
            },  # Using custom class reference
        ]
    )
    operation = client.create_phrase_set(
        parent=f"projects/{PROJECT_ID}/locations/global",
        phrase_set_id=phrase_set_id,
        phrase_set=created_phrase_set,
    )
    phrase_set = operation.result()

    # Add a reference of the PhraseSet into the recognition request
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                phrase_set=phrase_set.name
            )
        ]
    )
    # Automatically detect the audio's encoding with short audio model
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Create a custom class to reference in a PhraseSet
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים.

1. אם תרצו, תוכלו לבטל את פרטי הכניסה שיצרתם ולמחוק את הקובץ המקומי של פרטי הכניסה.

   gcloud auth application-default revoke

2. אם רוצים, מבטלים את פרטי הכניסה של ה-CLI של gcloud.

   gcloud auth revoke

המסוף

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

במסוף Google Cloud , נכנסים לדף Manage resources.

כניסה לדף Manage resources

ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.

כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

gcloud

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

כדי למחוק Google Cloud פרויקט:

gcloud projects delete PROJECT_ID

המאמרים הבאים

• רשימת האסימונים הנתמכים של כרטיסי מועדון
• איך מתמללים קובצי אודיו קצרים
• איך מתמללים אודיו בסטרימינג
• איך מתמללים קובצי אודיו ארוכים