Melhorar os resultados da transcrição com a adaptação de modelo

Melhore a acurácia dos resultados de transcrição que você recebe do Cloud Speech-to-Text usando a adaptação de modelo. Com ela, é possível especificar palavras e frases que a Cloud STT vai reconhecer com mais frequência nos dados de áudio do que outras opções que podem ser sugeridas. A adaptação de modelo é especialmente útil para melhorar a acurácia da transcrição nos seguintes casos de uso:

  • Seu áudio contém palavras ou frases que provavelmente ocorrerão com frequência.
  • É provável que seu áudio contenha palavras raras (como nomes próprios) ou palavras que não existem no uso geral.
  • Seu áudio contém ruído ou não é muito claro.

Antes de ler este documento, confira a Introdução à adaptação de modelo para ter uma visão geral de como esse recurso funciona. Para informações sobre limites de frases e caracteres por solicitação de adaptação de modelo, consulte Cotas e limites.

Exemplo de código

A adaptação de modelo é uma configuração opcional da Cloud STT que pode ser usada para personalizar os resultados da transcrição de acordo com suas necessidades. Consulte a documentação RecognitionConfig para mais informações sobre como configurar o corpo da solicitação de reconhecimento.

O exemplo de código a seguir demonstra como melhorar a acurácia da transcrição usando um recurso SpeechAdaptation: PhraseSet, CustomClass e a otimização da adaptação de modelo. Para usar um PhraseSet ou um CustomClass em solicitações futuras, anote o recurso name, retornado na resposta ao criar o recurso.

Para uma lista das classes pré-criadas disponíveis para seu idioma, consulte Tokens de classe disponíveis.

Python

Para saber como instalar e usar a biblioteca de cliente da Cloud STT, consulte Bibliotecas de cliente da Cloud STT. Saiba mais na documentação de referência da API Cloud STT para Python.

Para se autenticar na Cloud STT, configure o Application Default Credentials. Se quiser mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

import os

from google.cloud import speech_v1p1beta1 as speech

PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")


def transcribe_with_model_adaptation(
    audio_uri: str,
    custom_class_id: str,
    phrase_set_id: str,
) -> str:
    """Create `PhraseSet` and `CustomClasses` for custom item lists in input data.
    Args:
        audio_uri (str): The Cloud Storage URI of the input audio. e.g. gs://[BUCKET]/[FILE]
        custom_class_id (str): The unique ID of the custom class to create
        phrase_set_id (str): The unique ID of the PhraseSet to create.
    Returns:
        The transcript of the input audio.
    """
    # Specifies the location where the Speech API will be accessed.
    location = "global"

    # Audio object
    audio = speech.RecognitionAudio(uri=audio_uri)

    # Create the adaptation client
    adaptation_client = speech.AdaptationClient()

    # The parent resource where the custom class and phrase set will be created.
    parent = f"projects/{PROJECT_ID}/locations/{location}"

    # Create the custom class resource
    adaptation_client.create_custom_class(
        {
            "parent": parent,
            "custom_class_id": custom_class_id,
            "custom_class": {
                "items": [
                    {"value": "sushido"},
                    {"value": "altura"},
                    {"value": "taneda"},
                ]
            },
        }
    )
    custom_class_name = (
        f"projects/{PROJECT_ID}/locations/{location}/customClasses/{custom_class_id}"
    )
    # Create the phrase set resource
    phrase_set_response = adaptation_client.create_phrase_set(
        {
            "parent": parent,
            "phrase_set_id": phrase_set_id,
            "phrase_set": {
                "boost": 10,
                "phrases": [
                    {"value": f"Visit restaurants like ${{{custom_class_name}}}"}
                ],
            },
        }
    )
    phrase_set_name = phrase_set_response.name
    # The next section shows how to use the newly created custom
    # class and phrase set to send a transcription request with speech adaptation

    # Speech adaptation configuration
    speech_adaptation = speech.SpeechAdaptation(phrase_set_references=[phrase_set_name])

    # speech configuration object
    config = speech.RecognitionConfig(
        encoding=speech.RecognitionConfig.AudioEncoding.LINEAR16,
        sample_rate_hertz=24000,
        language_code="en-US",
        adaptation=speech_adaptation,
    )

    # Create the speech client
    speech_client = speech.SpeechClient()

    response = speech_client.recognize(config=config, audio=audio)

    for result in response.results:
        print(f"Transcript: {result.alternatives[0].transcript}")