Ottimizzazione dell'audio

Questa pagina fornisce i prerequisiti e le istruzioni dettagliate per l'ottimizzazione dei modelli Gemini sui dati audio utilizzando l'apprendimento supervisionato.

Casi d'uso

L'ottimizzazione dei modelli audio ne migliora le prestazioni adattandoli a esigenze specifiche. Ciò può comportare il miglioramento del riconoscimento vocale per diversi accenti, la messa a punto della classificazione dei generi musicali, l'ottimizzazione del rilevamento degli eventi sonori, la personalizzazione della generazione di audio, l'adattamento ad ambienti rumorosi, il miglioramento della qualità audio e la personalizzazione delle esperienze audio. Ecco alcuni casi d'uso comuni per l'ottimizzazione dell'audio:

  • Assistenti vocali avanzati:

    • Ordinazione di cibo tramite comandi vocali: sviluppa sistemi ad attivazione vocale per ordinare e consegnare cibo senza problemi.

  • Analisi dei contenuti audio:

    • Trascrizione automatica: genera trascrizioni estremamente accurate, anche in ambienti rumorosi.
    • Riassunto audio: riassumi i punti chiave di podcast o audiolibri.
    • Classificazione della musica: categorizza la musica in base al genere, allo stato d'animo o ad altre caratteristiche.

  • Accessibilità e tecnologie per la disabilità:

    • Sottotitoli in tempo reale: fornisci sottotitoli in tempo reale per eventi o videochiamate.
    • Applicazioni con controllo vocale: sviluppa applicazioni controllate interamente dalla voce.
    • Apprendimento delle lingue: crea strumenti che forniscono feedback personalizzati sulla pronuncia.

Limitazioni

Modelli Gemini 2.5

Specifica Valore
Durata massima dell'audio per esempio 60 minuti
Numero massimo di file audio per esempio 1
Dimensioni massime del file audio 100MB

Per scoprire di più sui requisiti dei sample audio, consulta la pagina Comprensione dell'audio (solo parlato).

Formato del set di dati

fileUri per il tuo set di dati può essere l'URI di un file in un bucket Cloud Storage o un URL HTTP o HTTPS disponibile pubblicamente.

Per un esempio di formato generico, consulta Esempio di set di dati per Gemini.

Di seguito è riportato un esempio di set di dati audio.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

Passaggi successivi