Miglioramento dei risultati della trascrizione con l'adattamento del modello

Panoramica

Puoi utilizzare la funzionalità di adattamento del modello per aiutare Speech-to-Text a riconoscere parole o frasi specifiche più spesso rispetto ad altre opzioni che altrimenti potrebbero essere suggerite. Ad esempio, supponiamo che i tuoi dati audio includano spesso la parola "meteo". Quando Speech-to-Text rileva la parola "tempo", vuoi che la trascriva come "tempo" più spesso di "tempi". In questo caso, puoi utilizzare l'adattamento del modello per indirizzare Speech-to-Text verso il riconoscimento di "meteo".

L'adattamento del modello è particolarmente utile nei seguenti casi d'uso:

  • Migliorare l'accuratezza di parole e frasi che si verificano frequentemente nei tuoi dati audio. Ad esempio, puoi avvisare il modello di riconoscimento dei comandi vocali che vengono in genere pronunciati dai tuoi utenti.

    • Ampliamento del vocabolario di parole riconosciute da Speech-to-Text. Speech-to-Text include un vocabolario molto ampio. Tuttavia, se i tuoi dati audio contengono spesso parole rare nell'uso generale della lingua (come nomi propri o parole specifiche del dominio), puoi aggiungerle utilizzando l'adattamento del modello.

    • Migliorare l'accuratezza della trascrizione della voce quando l'audio fornito contiene rumore o non è molto chiaro.

Facoltativamente, puoi perfezionare la ponderazione del modello di riconoscimento utilizzando la funzionalità di boost dell'adattamento del modello.

Migliorare il riconoscimento di parole e frasi

Per aumentare la probabilità che Speech-to-Text riconosca la parola "meteo" quando trascrive i dati audio, puoi passare la singola parola "meteo" nell'oggetto PhraseSet in una risorsa SpeechAdaptation.

Quando fornisci una frase composta da più parole, Speech-to-Text ha più probabilità di riconoscere le parole in sequenza. Fornire una frase aumenta anche la probabilità di riconoscere parti della frase, incluse singole parole. Consulta la pagina Limiti dei contenuti per i limiti relativi al numero e alle dimensioni di queste frasi.

Migliora il riconoscimento utilizzando le classi

Le classi rappresentano concetti comuni che si verificano nel linguaggio naturale, come unità monetarie e date del calendario. Una classe ti aiuta a migliorare l'accuratezza della trascrizione per grandi gruppi di parole che corrispondono a un concetto comune, ma che non includono sempre parole o frasi identiche.

Ad esempio, supponiamo che i tuoi dati audio includano registrazioni di persone che dicono il loro indirizzo. Potresti avere una registrazione audio di qualcuno che dice: "La mia casa è al civico 123 di Main Street, la quarta casa a sinistra". In questo caso, vuoi che Speech-to-Text riconosca la prima sequenza di numeri ("123") come indirizzo anziché come numero ordinale ("centoventitreesimo"). Tuttavia, non tutte le persone vivono in "Via Roma 123". È poco pratico elencare ogni possibile indirizzo stradale in una risorsa PhraseSet. Puoi invece utilizzare una classe per indicare che un numero civico deve essere riconosciuto indipendentemente dal numero effettivo. In questo esempio, Speech-to-Text potrebbe trascrivere con maggiore precisione frasi come "123 Main Street" e "987 Grand Boulevard" perché entrambi vengono riconosciuti come numeri di indirizzo.

Token di classe

Per utilizzare una classe nell'adattamento del modello, includi un token di classe nel campo phrases di una risorsa PhraseSet. Consulta l'elenco dei token di classe supportati per vedere quali sono disponibili per la tua lingua. Ad esempio, per migliorare la trascrizione dei numeri civici dall'audio di origine, fornisci il valore $ADDRESSNUM all'interno di una frase in un PhraseSet.

Puoi utilizzare le classi come elementi autonomi nell'array phrases o incorporare uno o più token di classe in frasi più lunghe di più parole. Ad esempio, puoi indicare un numero di indirizzo in una frase più lunga includendo il token di classe in una stringa: ["my address is $ADDRESSNUM"]. Tuttavia, questa frase non sarà utile nei casi in cui l'audio contiene una frase simile ma non identica, ad esempio "Mi trovo in 123 Main Street". Per facilitare il riconoscimento di frasi simili, è importante includere anche il token di classe da solo: ["my address is $ADDRESSNUM", "$ADDRESSNUM"]. Se utilizzi un token di classe non valido o con un formato non corretto, Speech-to-Text ignora il token senza attivare un errore, ma utilizza comunque il resto della frase per il contesto.

Classi personalizzate

Puoi anche creare una CustomClass, una classe composta dal tuo elenco personalizzato di elementi o valori correlati. Ad esempio, vuoi trascrivere dati audio che probabilmente includono il nome di uno dei centinaia di ristoranti regionali. I nomi dei ristoranti sono relativamente rari nel linguaggio comune e quindi è meno probabile che vengano scelti come risposta "corretta" dal modello di riconoscimento. Puoi influenzare il modello di riconoscimento in modo da identificare correttamente questi nomi quando compaiono nell'audio utilizzando una classe personalizzata.

Per utilizzare una classe personalizzata, crea una risorsa CustomClass che includa il nome di ogni ristorante come ClassItem. Le classi personalizzate funzionano allo stesso modo dei token di classe predefiniti. Un phrase può includere sia token di classe predefiniti sia classi personalizzate.

Perfeziona i risultati della trascrizione utilizzando il boost

Per impostazione predefinita, l'adattamento del modello produce un effetto relativamente limitato, soprattutto per le frasi composte da una sola parola. La funzionalità potenziamento dell'adattamento del modello consente di aumentare la distorsione del modello di riconoscimento assegnando un peso maggiore ad alcune frasi rispetto ad altre. Ti consigliamo di implementare l'ottimizzazione se si verificano tutte le seguenti condizioni:

  1. Hai già implementato l'adattamento del modello.
  2. Vuoi regolare ulteriormente l'intensità degli effetti dell'adattamento del modello sui risultati della trascrizione. Per verificare se la funzionalità di boost è disponibile per la tua lingua, consulta la pagina delle lingue supportate.

Ad esempio, hai molte registrazioni di persone che chiedono informazioni sul "prezzo del biglietto per la fiera della contea", con la parola "fiera" che ricorre più spesso di "prezzo". In questo caso, puoi utilizzare l'adattamento del modello per aumentare la probabilità che il modello riconosca sia "fair" che "fare" aggiungendoli come phrases in una risorsa PhraseSet. In questo modo, Speech-to-Text riconoscerà "fair" e "fare" più spesso di, ad esempio, "hare" o "lair".

Tuttavia, "fair" dovrebbe essere riconosciuto più spesso di "fare" perché compare più frequentemente nell'audio. Potresti aver già trascritto l'audio utilizzando l'API Speech-to-Text e aver riscontrato un numero elevato di errori nel riconoscimento della parola corretta ("fiera"). In questo caso, potresti utilizzare la funzionalità di boost per assegnare un valore di boost più elevato a "fiera" rispetto a "fiera". Il valore ponderato più alto assegnato a "fair" influenza l'API Speech-to-Text verso la scelta di "fair" più frequentemente di "fare". Senza valori di boost, il modello di riconoscimento riconoscerà "fair" e "fare" con uguale probabilità.

Nozioni di base sul boost

Quando utilizzi il boost, assegni un valore ponderato a phrase elementi in una risorsa PhraseSet. Speech-to-Text fa riferimento a questo valore ponderato quando seleziona una possibile trascrizione per le parole nei dati audio. Maggiore è il valore, maggiore è anche la probabilità che Speech-to-Text scelga quella parola o frase tra le alternative disponibili.

Se assegni un valore boost a una frase composta da più parole, il boost viene applicato all'intera frase e solo all'intera frase. Ad esempio, vuoi assegnare un valore di boost alla frase "La mia mostra preferita all'American Museum of Natural History è la balenottera azzurra". Se aggiungi questa frase a un oggetto phrase e assegni un valore boost, il modello di riconoscimento avrà maggiori probabilità di riconoscere la frase nella sua interezza, parola per parola.

Se non ottieni i risultati che cerchi aumentando il boost di una frase composta da più parole, ti suggeriamo di aggiungere tutti i bigrammi (due parole, in ordine) che compongono la frase come elementi phrase aggiuntivi e di assegnare valori di boost a ciascuno. Continuando con l'esempio precedente, potresti valutare l'aggiunta di bigrammi ed endgrammi aggiuntivi (più di due parole), come "il mio preferito", "la mia mostra preferita", "mostra preferita", "la mia mostra preferita all'American Museum of Natural History", "American Museum of Natural History" e "balenottera azzurra". Il modello di riconoscimento STT ha quindi maggiori probabilità di riconoscere frasi correlate nell'audio che contengono parti della frase originale con boost, ma non corrispondono parola per parola.

Impostare i valori di boost

I valori di boost devono essere un valore float maggiore di 0. Il limite massimo pratico per i valori di aggiustamento è 20. Per ottenere risultati ottimali, prova a modificare i risultati della trascrizione regolando i valori di boost verso l'alto o verso il basso finché non ottieni risultati di trascrizione accurati.

Valori di boost più elevati possono comportare un minor numero di falsi negativi, ovvero casi in cui la parola o la frase è presente nell'audio, ma non è stata riconosciuta correttamente da Speech-to-Text. Tuttavia, l'incremento può anche aumentare la probabilità di falsi positivi, ovvero casi in cui la parola o la frase appare nella trascrizione anche se non è presente nell'audio.

Esempio di caso d'uso che utilizza l'adattamento del modello

L'esempio seguente illustra la procedura per utilizzare l'adattamento del modello per trascrivere una registrazione audio di una persona che dice "The word is fare". In questo caso, senza l'adattamento vocale, Speech-to-Text identifica la parola "fiera". Utilizzando l'adattamento vocale, Speech-to-Text può identificare la parola "tariffa" invece.

Prima di iniziare

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Speech-to-Text APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.

    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.

    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.

  6. Install the Google Cloud CLI.

  7. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  10. Verify that billing is enabled for your Google Cloud project.

  11. Enable the Speech-to-Text APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  12. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.

    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.

    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.

  13. Install the Google Cloud CLI.

  14. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  15. To initialize the gcloud CLI, run the following command: 

    gcloud init

    16. Le librerie client possono utilizzare Credenziali predefinite dell'applicazione per autenticarsi facilmente con le API di Google e inviare richieste a queste API. Con Credenziali predefinite dell'applicazione, puoi testare l'applicazione localmente ed eseguirne il deployment senza modificare il codice sottostante. Per saperne di più, vedi Autenticati per usare le librerie client.

  16. Se utilizzi una shell locale, crea le credenziali di autenticazione locale per il tuo account utente: 

    gcloud auth application-default login

    Non è necessario farlo se utilizzi Cloud Shell.

    Se viene restituito un errore di autenticazione e utilizzi un provider di identità (IdP) esterno, verifica di aver eseguito l'accesso a gcloud CLI con la tua identità federata.

Assicurati inoltre di aver installato la libreria client.

Migliorare la trascrizione utilizzando un PhraseSet

  1. Il seguente esempio crea un PhraseSet con la frase "tariffa" e lo aggiunge come inline_phrase_set in una richiesta di riconoscimento:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_inline_phrase_set(audio_file: str) -> cloud_speech.RecognizeResponse:
    """Enhances speech recognition accuracy using an inline phrase set.
    The inline custom phrase set helps the recognizer produce more accurate transcriptions for specific terms.
    Phrases are given a boost to increase their chances of being recognized correctly.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """

    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Build inline phrase set to produce a more accurate transcript
    phrase_set = cloud_speech.PhraseSet(
        phrases=[{"value": "fare", "boost": 10}, {"value": "word", "boost": 20}]
    )
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                inline_phrase_set=phrase_set
            )
        ]
    )
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response
  1. Questo esempio crea una risorsa PhraseSet con la stessa frase e poi la fa riferimento in una richiesta di riconoscimento:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_phrase_set_reference(
    audio_file: str,
    phrase_set_id: str,
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio files using a PhraseSet.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
        phrase_set_id (str): The unique ID of the PhraseSet to use.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """

    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Creating operation of creating the PhraseSet on the cloud.
    operation = client.create_phrase_set(
        parent=f"projects/{PROJECT_ID}/locations/global",
        phrase_set_id=phrase_set_id,
        phrase_set=cloud_speech.PhraseSet(phrases=[{"value": "fare", "boost": 10}]),
    )
    phrase_set = operation.result()

    # Add a reference of the PhraseSet into the recognition request
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                phrase_set=phrase_set.name
            )
        ]
    )

    # Automatically detect audio encoding. Use "short" model for short utterances.
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )
    #  Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )
    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

Migliorare i risultati della trascrizione utilizzando un CustomClass

  1. L'esempio seguente crea un CustomClass con un elemento "tariffa" e il nome "tariffa". Quindi, fa riferimento a CustomClass all'interno di un inline_phrase_set in una richiesta di riconoscimento:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_inline_custom_class(
    audio_file: str,
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio file using inline custom class.
    The inline custom class helps the recognizer produce more accurate transcriptions for specific terms.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
    Returns:
        cloud_speech.RecognizeResponse: The response object which includes the transcription results.
    """
    # Instantiates a client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Define an inline custom class to enhance recognition accuracy with specific items like "fare" etc.
    custom_class_name = "your-class-name"
    custom_class = cloud_speech.CustomClass(
        name=custom_class_name,
        items=[{"value": "fare"}],
    )

    # Build inline phrase set to produce a more accurate transcript
    phrase_set = cloud_speech.PhraseSet(
        phrases=[{"value": custom_class_name, "boost": 20}]
    )
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                inline_phrase_set=phrase_set
            )
        ],
        custom_classes=[custom_class],
    )
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Prepare the request which includes specifying the recognizer, configuration, and the audio content
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response
  1. Questo esempio crea una risorsa CustomClass con lo stesso elemento. Poi crea una risorsa PhraseSet con una frase che fa riferimento al nome della risorsa CustomClass. Poi fa riferimento alla risorsa PhraseSet in una richiesta di riconoscimento:

Python

import os

from google.cloud.speech_v2 import SpeechClient
from google.cloud.speech_v2.types import cloud_speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def adaptation_v2_custom_class_reference(
    audio_file: str, phrase_set_id: str, custom_class_id: str
) -> cloud_speech.RecognizeResponse:
    """Transcribe audio file using a custom class.
    Args:
        audio_file (str): Path to the local audio file to be transcribed.
        phrase_set_id (str): The unique ID of the phrase set to use.
        custom_class_id (str): The unique ID of the custom class to use.
    Returns:
        cloud_speech.RecognizeResponse: The full response object which includes the transcription results.
    """
    # Instantiates a speech client
    client = SpeechClient()

    # Reads a file as bytes
    with open(audio_file, "rb") as f:
        audio_content = f.read()

    # Create a custom class to improve recognition accuracy for specific terms
    custom_class = cloud_speech.CustomClass(items=[{"value": "fare"}])
    operation = client.create_custom_class(
        parent=f"projects/{PROJECT_ID}/locations/global",
        custom_class_id=custom_class_id,
        custom_class=custom_class,
    )
    custom_class = operation.result()

    # Create a persistent PhraseSet to reference in a recognition request
    created_phrase_set = cloud_speech.PhraseSet(
        phrases=[
            {
                "value": f"${{{custom_class.name}}}",
                "boost": 20,
            },  # Using custom class reference
        ]
    )
    operation = client.create_phrase_set(
        parent=f"projects/{PROJECT_ID}/locations/global",
        phrase_set_id=phrase_set_id,
        phrase_set=created_phrase_set,
    )
    phrase_set = operation.result()

    # Add a reference of the PhraseSet into the recognition request
    adaptation = cloud_speech.SpeechAdaptation(
        phrase_sets=[
            cloud_speech.SpeechAdaptation.AdaptationPhraseSet(
                phrase_set=phrase_set.name
            )
        ]
    )
    # Automatically detect the audio's encoding with short audio model
    config = cloud_speech.RecognitionConfig(
        auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
        adaptation=adaptation,
        language_codes=["en-US"],
        model="short",
    )

    # Create a custom class to reference in a PhraseSet
    request = cloud_speech.RecognizeRequest(
        recognizer=f"projects/{PROJECT_ID}/locations/global/recognizers/_",
        config=config,
        content=audio_content,
    )

    # Transcribes the audio into text
    response = client.recognize(request=request)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")

    return response

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. (Facoltativo) Revoca le credenziali di autenticazione che hai creato ed elimina il file delle credenziali locali. 

    gcloud auth application-default revoke

  2. (Facoltativo) Revoca le credenziali da gcloud CLI. 

    gcloud auth revoke

Console

  • Nella console Google Cloud , vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  • Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  • Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

    • gcloud

    Elimina un progetto Google Cloud :

    gcloud projects delete PROJECT_ID

    Passaggi successivi