Dieses Dokument bietet eine allgemeine Architektur für eine Anwendung, die KI verwendet, um Podcasts basierend auf Audioeingaben zu generieren.
Die Zielgruppe für dieses Dokument umfasst Architekten, Entwickler und Administratoren, die generative KI-Anwendungen in der Cloud für die Medien- und Marketingbranche erstellen und verwalten. In diesem Dokument wird davon ausgegangen, dass Sie ein grundlegendes Verständnis von generativer KI haben.
Der Abschnitt Bereitstellung dieses Dokuments enthält Codebeispiele für generative KI-Arbeitslasten mit multimodalen Eingabe- und Ausgabeformaten.
Architektur
Das folgende Diagramm zeigt eine Architektur für eine Podcast-Produzentenanwendung in Google Cloud. Die Anwendung verwendet KI, um Podcasts aus Audiodateien zu generieren, z. B. Live-Kommentare für ein Sportereignis.
Die Architektur zeigt den folgenden Ablauf:
- Ein Nutzer lädt Audiodateien in einen Cloud Storage-Bucket hoch.
- Eventarc löst einen Cloud Run-Dienst aus.
- Der Cloud Run-Dienst sendet die Audiodateien an Speech-to-Text.
- Speech-to-Text erstellt Transkripte der Audiodateien mit Zeitstempeln.
Der Cloud Run-Dienst sendet die Transkripte an die Gemini API, zusammen mit einem Prompt, um ein Skript für einen Podcast zu generieren.
Der Prompt könnte beispielsweise lauten, ein Skript für einen 15-minütigen Podcast über die Highlights eines Sportereignisses basierend auf bestimmten Keywords im Kommentar zu erstellen.
Gemini erstellt einen Entwurf für ein Podcast-Skript.
Der Cloud Run-Dienst sendet den Skriptentwurf an den Nutzer.
Der Nutzer prüft und bearbeitet den Skriptentwurf und sendet das endgültige Skript dann an Text-to-Speech.
Text-to-Speech erstellt eine Podcast-Audiodatei.
Verwendete Produkte
In dieser Beispielarchitektur werden die folgenden Google Cloud Produkte verwendet:
- Speech-to-Text: Eine API, die die Spracherkennungstechnologien von Google verwendet, um Audioinhalte in Text umzuwandeln.
- Gemini Enterprise Agent Platform: Eine umfassende Plattform, mit der Sie KI-Agenten auf Unternehmensniveau erstellen, skalieren, verwalten und optimieren können.
- Text-to-Speech: Eine API zum Erstellen natürlich klingender, synthetischer menschlicher Sprache aus Text.
- Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
- Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
- Eventarc: Eine serverlose Lösung, um durch Ereignisse ausgelöste Nachrichten asynchron weiterzuleiten.
Bereitstellung
Wenn Sie mit der Verwendung von Google Cloud -Produkten für Arbeitslasten mit multimodalen Eingabe- und Ausgabeformaten wie Audio und Text experimentieren möchten, probieren Sie die folgenden Codebeispiele aus:
- Transkript eines Audiointerviews erstellen
- Podcast mit mehreren Sprechern mit der Gemini API und der Text-to-Speech API generieren
- Audio aufnehmen und eine Übersetzung generieren
Nächste Schritte
- Weitere Leitfäden zur Architektur generativer KI
- Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.
- Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor: Kumar Dhanagopal | Cross-product Solution Developer
Weitere Beitragende:
- Amina Mansour | Tech Lead, Global Developer Relations & Strategic Content
- Megan O'Keefe | Developer Advocate
- Samantha He | Technical Writer
- Shir Meir Lador | Developer Relations Engineering Manager