Speech-to-Text es una de las tres APIs preentrenadas de Vertex AI en Google Distributed Cloud (GDC) aislado. El servicio Speech-to-Text reconoce la voz en archivos de audio y transcribe el audio en texto. Speech-to-Text cumple los requisitos de residencia de datos y de cumplimiento.
En la siguiente tabla se describen las funciones clave de Speech-to-Text:
| Funciones clave | |
|---|---|
| Transcripción | Aplica algoritmos avanzados de redes neuronales de aprendizaje profundo para reconocer la voz automáticamente. |
| Modelos | Despliega modelos de reconocimiento que tengan un tamaño inferior a 1 GB y consuman un mínimo de recursos. |
| Compatible con APIs | Usa la API Speech-to-Text y sus bibliotecas de cliente para enviar audio y recibir una transcripción de texto del servicio Speech-to-Text. |
Codificaciones de audio admitidas en Speech-to-Text
La API Speech-to-Text admite varias codificaciones. En la siguiente tabla se indican los códecs de audio admitidos:
| Códec | Nombre | Sin pérdida | Notas de uso |
|---|---|---|---|
FLAC |
Códec de audio sin pérdida | Sí | Se requieren 16 bits o 24 bits para las transmisiones |
LINEAR16 |
PCM lineal | Sí | Codificación de modulación por impulsos codificados (PCM) lineal de 16 bits. El encabezado debe contener la frecuencia de muestreo. |
MULAW |
μ-ley | No | Codificación PCM de 8 bits |
OGG_OPUS |
Marcos de audio codificados Opus en un contenedor Ogg | No | La frecuencia de muestreo debe ser de 8000 Hz, 12000 Hz, 16000 Hz, 24000 Hz o 48000 Hz |
FLAC es tanto un códec de audio como un formato de archivo de audio. Para transcribir archivos de audio con la codificación FLAC, debes proporcionarlos en el formato de archivo .FLAC, que incluye un encabezado con metadatos.
Speech-to-Text admite archivos WAV con audio codificado en LINEAR16 o MULAW.
Para obtener más información sobre los códecs de audio de Speech-to-Text, consulta la AudioEncoding documentación de referencia.
Si tienes una opción al codificar el material de origen, usa una codificación sin pérdida como FLAC o LINEAR16 para obtener un mejor reconocimiento de voz.
Funciones de Speech-to-Text
Speech-to-Text en Distributed Cloud tiene los tres métodos siguientes para realizar el reconocimiento de voz:
Reconocimiento síncrono: envía datos de audio a la API Speech-to-Text, reconoce esos datos y devuelve los resultados después de procesar el audio. Las solicitudes de reconocimiento síncronas están limitadas a un minuto o menos de datos de audio.
Reconocimiento asíncrono: envía datos de audio a la API Speech-to-Text e inicia una operación de larga duración. Con esta operación, puedes sondear periódicamente los resultados de reconocimiento. Usa solicitudes asíncronas para datos de audio de cualquier duración de hasta 480 minutos.
Reconocimiento de streaming: reconoce los datos de audio proporcionados en un flujo bidireccional. Las solicitudes de streaming están diseñadas para el reconocimiento en tiempo real, como la captura de audio en directo de un micrófono. El reconocimiento de streaming proporciona resultados provisionales mientras se captura el audio, lo que permite que aparezcan resultados, por ejemplo, mientras un usuario sigue hablando.
Las solicitudes contienen parámetros de configuración y datos de audio. En las siguientes secciones se describen estas solicitudes de reconocimiento, las respuestas que generan y cómo gestionar esas respuestas con más detalle.
Solicitudes y respuestas síncronas
Una solicitud de reconocimiento síncrono de Speech-to-Text es el método más sencillo para reconocer datos de audio de voz. Speech-to-Text puede procesar hasta un minuto de datos de audio de voz enviados en una solicitud síncrona. Después de que Speech-to-Text procese y reconozca todo el audio, devuelve una respuesta.
Speech-to-Text debe devolver una respuesta antes de procesar la siguiente solicitud. Speech-to-Text suele procesar el audio más rápido que en tiempo real, con una media de 30 segundos de audio en 15 segundos. Si la calidad del audio es baja, la solicitud de reconocimiento puede tardar bastante más.
Solicitudes de reconocimiento de voz
Una solicitud síncrona de la API Speech-to-Text consta de una configuración de reconocimiento de voz y de datos de audio.
En los siguientes ejemplos se muestra cómo enviar una solicitud de reconocimiento de voz síncrona:
Python
import google.auth
from google.auth.transport import requests
from google.api_core.client_options import ClientOptions
from google.cloud import speech_v1p1beta1 as speech
audience = "https://ENDPOINT:443"
api_endpoint = "ENDPOINT:443"
try:
creds, _ = google.auth.default()
creds = creds.with_gdch_audience(audience)
def_req = requests.Request()
creds.refresh(def_req)
except Exception as e:
print("Caught exception", e)
raise e
client = speech.SpeechClient(
credentials=creds,
client_options=ClientOptions(api_endpoint=api_endpoint),
)
with open("SPEECH_FILE", "rb") as audio_file:
content = audio_file.read()
audio = speech.RecognitionAudio(content=content)
config = speech.RecognitionConfig(
encoding=speech.RecognitionConfig.AudioEncoding.LINEAR16,
sample_rate_hertz=16000,
audio_channel_count=1,
language_code="en-US",
)
response = client.recognize(
config=config,
audio=audio,
metadata=[("x-goog-user-project", "projects/PROJECT_ID")],
)
print(response)
Haz los cambios siguientes:
ENDPOINT: el endpoint de Speech-to-Text que usas en tu organización. Para obtener más información, consulta el estado del servicio y los puntos finales.SPEECH_FILE: la ruta del archivo de audio que quieres transcribir.PROJECT_ID: el ID de tu proyecto.
curl (JSON)
En Distributed Cloud, la API Gateway de Speech-to-Text sirve gRPC mediante speech_v1p1beta1 y no habilita la transcodificación HTTP/JSON REST de forma predeterminada. Usa el cliente gRPC de Python speech_v1p1beta1 anterior en Distributed Cloud.
Si la transcodificación HTTP/JSON está habilitada, formatea la solicitud de la siguiente manera:
curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json" \
-H "x-goog-user-project: projects/PROJECT_ID" \
--data '{
"config": {
"encoding": "FLAC",
"sampleRateHertz": 16000,
"languageCode": "en-US",
"audioChannelCount": 1
},
"audio": {
"content": "ZkxhQwAAACIQABAAAAUJABtAA+gA8AB+W8FZndQvQAyjv..."
}
}' \
"https://ENDPOINT:443/v1p1beta1/speech:recognize"
Haz los cambios siguientes:
TOKEN: el token de autenticación que has obtenido.PROJECT_ID: el ID de tu proyecto.ENDPOINT: el endpoint de Speech-to-Text que usas en tu organización. Para obtener más información, consulta el estado del servicio y los puntos finales.
Todas las solicitudes de reconocimiento síncrono de Speech-to-Text deben incluir un campo de reconocimiento de voz config de tipo RecognitionConfig. Un objeto RecognitionConfig contiene los siguientes subcampos obligatorios:
encoding: especifica el esquema de codificación del audio proporcionado. Este campo es de tipoAudioEncoding. Si puedes elegir un códec, te recomendamos que utilices una codificación sin pérdida, comoFLACoLINEAR16, para obtener el mejor rendimiento. Para ver una lista de los formatos de codificación de audio admitidos, consulta Codificaciones de audio admitidas para Speech-to-Text.sample_rate_hertz: especifica la frecuencia de muestreo del audio proporcionado en hercios (8000-48000). Para obtener más información sobre las frecuencias de muestreo, consulta Frecuencias de muestreo. El camposample_rate_hertzes obligatorio para las codificacionesLINEAR16,FLACyMULAW(incluidos los archivos WAV).audio_channel_count: especifica el número de canales de los datos de audio de entrada (1-8, como1para audio mono). El campoaudio_channel_countes obligatorio para el audioLINEAR16,FLACyMULAW.language_code: contiene el idioma y la región que se usarán para el reconocimiento de voz del audio proporcionado. El código de idioma debe ser un identificador BCP-47. Los códigos de idioma constan de etiquetas de idioma principal y subetiquetas de región secundaria para indicar los dialectos. En el ejemplo,enes para inglés yUSes para Estados Unidos. Para ver una lista de los idiomas disponibles, consulta el artículo Idiomas disponibles.
Para obtener más información y una descripción de los subcampos opcionales que puedes incluir en el campo config, consulta RecognitionConfig.
Proporciona audio a Speech-to-Text mediante el parámetro audio del tipo RecognitionAudio.
El campo audio contiene el siguiente subcampo:
content: contiene el audio que se va a evaluar, insertado en la solicitud. Los bytes de datos de audio se codifican mediante una representación binaria pura. Las representaciones JSON usan Base64. Consulta Contenido de audio insertado para obtener más información. El audio que se envía directamente en este campo está limitado a un minuto de duración.
Frecuencias de muestreo
Debes especificar la frecuencia de muestreo de tu audio en el campo sample_rate_hertz de la configuración de la solicitud, y debe coincidir con la frecuencia de muestreo del contenido de audio asociado. Speech-to-Text admite frecuencias de muestreo de entre 8000 y 48.000 Hz (8000-48000). El campo sample_rate_hertz es obligatorio para las codificaciones LINEAR16, FLAC y MULAW (incluidos los archivos WAV).
Si puedes elegir al codificar el material de origen, captura el audio con una frecuencia de muestreo de 16.000 Hz. Los valores más bajos pueden afectar a la precisión del reconocimiento de voz, y los niveles más altos no tienen un efecto apreciable en la calidad del reconocimiento de voz.
Sin embargo, si has grabado tus datos de audio con una frecuencia de muestreo distinta de 16.000 Hz, no vuelvas a muestrear el audio a 16.000 Hz. Por ejemplo, la mayoría de los audios de telefonía antiguos usan frecuencias de muestreo de 8000 Hz, lo que puede dar resultados menos precisos. Si tienes que usar este tipo de audio, proporciónaselo a la API Speech-to-Text con su frecuencia de muestreo original.
Idiomas
El motor de reconocimiento de Speech-to-Text admite una gran variedad de idiomas y dialectos. Especifica el idioma del audio (y el dialecto nacional o regional) en el campo language_code de la configuración de la solicitud mediante un identificador BCP-47.
En la página Idiomas disponibles, encontrarás una lista completa de los idiomas disponibles para cada función.
Selección de modelos
Cuando envías una solicitud de transcripción de audio a Speech-to-Text, puedes procesar tus archivos de audio con un modelo de aprendizaje automático entrenado para reconocer el audio de voz de ese tipo de fuente en particular.
Para usar el modelo de reconocimiento de voz predeterminado en Distributed Cloud, omite el campo model en el objeto RecognitionConfig o asigna el valor latest_long a model. No asignes el valor default a model.
Contenido de audio insertado
El audio insertado se incluye en la solicitud de reconocimiento de voz cuando se transfiere un parámetro content dentro del campo audio de la solicitud. El audio insertado que se proporcione como contenido en una solicitud REST debe ser compatible con la serialización JSON.
Puedes enviar datos directamente en el campo content para el reconocimiento síncrono solo si tus datos de audio tienen una duración máxima de 60 segundos y un tamaño máximo de 10 MB. Los datos de audio del campo content deben estar en formato Base64.
Al crear una solicitud con una biblioteca de cliente, escribes estos datos binarios o codificados en Base64 directamente en el campo content.
La mayoría de los entornos de desarrollo incluyen una utilidad base64 para codificar un binario en datos de texto ASCII, lo que te proporciona las herramientas y la asistencia necesarias.
Además, Python tiene mecanismos integrados para codificar contenido en Base64. En los siguientes ejemplos se muestra cómo codificar un archivo:
Linux
Codifica el archivo con la herramienta de línea de comandos base64. Evita el ajuste de línea con la marca -w 0:
base64 INPUT_FILE -w 0 > OUTPUT_FILE
Python
En Python, codifica los archivos de audio en Base64 de la siguiente manera:
# Import the base64 encoding library.
import base64
# Pass the audio data to an encoding function.
def encode_audio(audio):
audio_content = audio.read()
return base64.b64encode(audio_content)
Respuestas de reconocimiento de voz
Una respuesta síncrona de la API Speech-to-Text puede tardar un poco en devolver resultados. Una vez procesada, la API devuelve una respuesta como la del siguiente ejemplo:
{
"results": [
{
"alternatives": [
{
"transcript": "how old is the Brooklyn Bridge",
"words": [
{
"word": "how"
},
{
"word": "old"
},
{
"word": "is"
},
{
"word": "the"
},
{
"word": "Brooklyn"
},
{
"word": "Bridge"
}
]
}
]
}
]
}
Todas las respuestas de reconocimiento síncrono de la API Speech-to-Text incluyen resultados de reconocimiento de voz del tipo RecognizeResponse. Un objeto RecognizeResponse contiene los siguientes campos:
results: contiene la lista de resultados del tipoSpeechRecognitionResult, donde cada resultado corresponde a un segmento de audio. Cada resultado consta de uno o varios de los siguientes subcampos:alternatives: contiene una lista de posibles transcripciones del tipoSpeechRecognitionAlternative. La primera alternativa de la respuesta siempre es la más probable. Cada alternativa consta de los siguientes subcampos:transcript: contiene el texto transcrito. Si se proporcionan alternativas secuenciales, puedes concatenar estas transcripciones.words: contiene una lista de información específica de cada palabra reconocida.
Para obtener más información, consulta RecognizeResponse.
Solicitudes y respuestas asíncronas
Una solicitud asíncrona a la API Speech-to-Text tiene un formato idéntico al de una solicitud síncrona. Sin embargo, en lugar de devolver una respuesta, la solicitud asíncrona inicia una operación de larga duración y devuelve esta operación inmediatamente. Puedes usar el reconocimiento de voz asíncrono con audios de cualquier duración de hasta 480 minutos.
A continuación, se muestra un ejemplo de respuesta de operación:
{
"name": "OPERATION_NAME",
"metadata": {
"@type": "type.googleapis.com/google.cloud.speech.v1p1beta1.LongRunningRecognizeMetadata",
"progressPercent": 34,
"startTime": "2016-08-30T23:26:29.579144Z",
"lastUpdateTime": "2016-08-30T23:26:29.826903Z"
}
}
Ten en cuenta que los resultados aún no están disponibles. Speech-to-Text sigue procesando el audio y usa esta operación para almacenar los resultados. Los resultados aparecen en el campo response de la operación devuelta cuando se completa la solicitud LongRunningRecognize.
A continuación se muestra un ejemplo de respuesta completa después de completar la solicitud:
{
"name": "1268386125834704889",
"metadata": {
"lastUpdateTime": "2016-08-31T00:16:32.169Z",
"@type": "type.googleapis.com/google.cloud.speech_v1p1beta1.LongRunningRecognizeMetadata",
"startTime": "2016-08-31T00:16:29.539820Z",
"progressPercent": 100
},
"response": {
"@type": "type.googleapis.com/google.cloud.speech_v1p1beta1.LongRunningRecognizeResponse",
"results": [{
"alternatives": [{
"transcript": "how old is the Brooklyn Bridge",
"words": [
{
"word": "how"
},
{
"word": "old"
},
{
"word": "is"
},
{
"word": "the"
},
{
"word": "Brooklyn"
},
{
"word": "Bridge"
}
]
}]}]
},
"done": true
}
Ten en cuenta que done se define como true y que el elemento response de la operación contiene un conjunto de resultados del tipo SpeechRecognitionResult, el mismo tipo que devuelve una solicitud de reconocimiento síncrona.
Solicitudes y respuestas de streaming
La llamada de reconocimiento de la API de Speech-to-Text en streaming está diseñada para capturar y reconocer audio en tiempo real en un flujo bidireccional. Tu aplicación puede enviar audio en el flujo de solicitud y recibir resultados de reconocimiento provisionales y finales en tiempo real en el flujo de respuesta. Los resultados provisionales representan el resultado de reconocimiento actual de una sección de audio, mientras que el resultado de reconocimiento final representa la última y mejor estimación de esa sección de audio.
Solicitudes de reconocimiento de streaming
A diferencia de las llamadas síncronas y asíncronas, en las que se envían tanto la configuración como el audio en una sola solicitud, para llamar a la API Speech-to-Text de streaming es necesario enviar varias solicitudes. El primer elemento StreamingRecognizeRequest debe contener una configuración de tipo StreamingRecognitionConfig.
Un objeto StreamingRecognitionConfig consta del campo config, que contiene información de configuración del audio de tipo RecognitionConfig y es el mismo que se muestra en las solicitudes síncronas y asíncronas.
Respuestas de reconocimiento en streaming
Los resultados del reconocimiento de voz en streaming devuelven una serie de respuestas de tipo StreamingRecognizeResponse.
Esta respuesta consta de los campos siguientes:
speech_event_type: contiene eventos del tipoSpeechEventType. El valor de estos eventos indica cuándo se ha completado una sola expresión. Los eventos de voz sirven como marcadores en la respuesta de tu emisión.results: contiene la lista de resultados, que pueden ser provisionales o finales, del tipoStreamingRecognitionResult. La listaresultsincluye los siguientes subcampos:alternatives: contiene una lista de transcripciones alternativas.is_final: indica si los resultados obtenidos en esta entrada de la lista son provisionales o finales.result_end_time: indica la compensación horaria del final de este resultado en relación con el principio del audio.