Audio-Optimierung

Auf dieser Seite finden Sie Voraussetzungen und eine detaillierte Anleitung zur Feinabstimmung von Gemini-Modellen mithilfe von Audiodaten und überwachtem Lernen.

Anwendungsfälle

Durch die Abstimmung von Audiomodellen wird ihre Leistung verbessert, da sie auf bestimmte Anforderungen zugeschnitten werden. Dazu gehören die Verbesserung der Spracherkennung für verschiedene Akzente, die Feinabstimmung der Klassifizierung von Musikgenres, die Optimierung der Erkennung von Geräuschereignissen, die Anpassung der Audiogenerierung, die Anpassung an laute Umgebungen, die Verbesserung der Audioqualität und die Personalisierung von Audioerlebnissen. Hier einige gängige Anwendungsfälle für die Audioabstimmung:

  • Verbesserte Sprachassistenten:

    • Sprachgesteuerte Essensbestellung: Entwickeln Sie sprachaktivierte Systeme für die nahtlose Bestellung und Lieferung von Essen.

  • Inhaltsanalyse von Audio:

    • Automatische Transkription: Erstellung äußerst präziser Transkripte, auch in lauten Umgebungen.
    • Audiozusammenfassung: Die wichtigsten Punkte aus Podcasts oder Hörbüchern zusammenfassen lassen.
    • Musikklassifizierung: Musik nach Genre, Stimmung oder anderen Merkmalen kategorisieren.

  • Bedienungshilfen und Hilfstechnologien:

    • Untertitel in Echtzeit: Live-Untertitel für Veranstaltungen oder Videoanrufe bereitstellen lassen.
    • Sprachgesteuerte Anwendungen: Anwendungen entwickeln, die vollständig per Sprachbefehl gesteuert werden.
    • Sprachlernen: Tools erstellen, die personalisiertes Feedback zur Aussprache geben.

Beschränkungen

Gemini 2.5-Modelle

Spezifikation Wert
Maximale Audiolänge pro Beispiel 60 Minuten
Maximale Anzahl von Audiodateien pro Beispiel 1
Maximale Größe der Audiodatei 100 MB

Weitere Informationen zu den Anforderungen an Audiobeispiele finden Sie auf der Seite Audioverständnis (nur Sprache).

Dataset-Format

Der fileUri für Ihr Dataset kann der URI für eine Datei in einem Cloud Storage-Bucket oder eine öffentlich verfügbare HTTP- oder HTTPS-URL sein.

Ein Beispiel für das generische Format finden Sie unter Dataset-Beispiel für Gemini.

Im Folgenden finden Sie ein Beispiel für ein Audio-Dataset.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "audio/mpeg",
            "fileUri": "gs://cloud-samples-data/generative-ai/audio/pixel.mp3"
            }
        },
        {
          "text": "Please summarize the conversation in one sentence."
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "The podcast episode features two product managers for Pixel devices discussing the new features coming to Pixel phones and watches."
        }
      ]
    }
  ]
}

Nächste Schritte