RAG-Infrastruktur für generative KI mit Gemini Enterprise und der Agent Platform

Last reviewed 2025-11-10 UTC

In diesem Dokument wird eine Referenzarchitektur vorgestellt, mit der Sie die Infrastruktur für eine Anwendung mit generativer KI mit Retrieval Augmented Generation (RAG) mithilfe von Gemini Enterprise und der Agent Platform entwerfen können. Diese Referenzarchitektur zeigt, wie Sie verwaltete Dienste verwenden und einen einzelnen KI-Agenten bereitstellen, um einen End-to-End-RAG-Datenfluss zu ermöglichen. Gemini Enterprise dient als einheitliche Plattform für die Orchestrierung von KI-Agenten im gesamten Unternehmen. Die Agent Platform beschleunigt die Entwicklung und Bereitstellung benutzerdefinierter Agents und bietet verwaltete Datenspeicher, um das effiziente Abrufen für RAG zu erleichtern.

Die Zielgruppe für dieses Dokument umfasst Architekten, Entwickler und Administratoren von generativen KI-Anwendungen. In diesem Dokument wird davon ausgegangen, dass Sie mit grundlegenden Konzepten von KI, maschinellem Lernen (ML) und Large Language Models (LLMs) vertraut sind. Dieses Dokument bietet keine Anleitung zum Entwerfen und Entwickeln einer generativen KI-Anwendung. Informationen zum Entwerfen einer Anwendung finden Sie unter Generative KI-Anwendung entwickeln.

Architektur

Das folgende Diagramm zeigt einen allgemeinen Überblick über die Architektur, die in diesem Dokument beschrieben wird:

Allgemeine Ansicht der Datenaufnahme- und Bereitstellungsabläufe in der Architektur.

Die Architektur im vorherigen Diagramm hat zwei Subsysteme: Datenaufnahme und Bereitstellung.

  • Das Subsystem für die Datenaufnahme nimmt Daten aus externen Quellen auf und bereitet sie für die Verwendung in RAG vor. Das Subsystem generiert Einbettungen für die aufgenommenen Daten und verwendet sie, um einen durchsuchbaren Vektorindex in einem verwalteten Datenspeicher zu erstellen und zu verwalten.
  • Das Subsystem für die Bereitstellung enthält die Frontend- und Backend-Dienste der generativen KI-Anwendung.
    • Der Frontend-Dienst verarbeitet den Anfrage-Antwort-Fluss mit Anwendungsnutzern und leitet Anfragen an den Backend-Dienst weiter.
    • Der Backend-Dienst verwendet Gemini Enterprise und die Agent Platform, um Ihren KI-Agenten zu erstellen und bereitzustellen, damit der RAG-Prozess orchestriert werden kann. Bei diesem Prozess werden die indexierten Vektordaten verwendet, um Antworten zu generieren, die kontextbezogen sind und den Sicherheitsfiltern für verantwortungsbewusste KI entsprechen.

Im folgenden Diagramm sehen Sie eine detaillierte Ansicht der Architektur:

Eine detaillierte Ansicht der Datenaufnahme- und Bereitstellungsabläufe in der Architektur.

In den folgenden Abschnitten wird der Datenfluss in jedem Subsystem des vorherigen Architekturdiagramms beschrieben.

Subsystem für die Datenaufnahme

Das Subsystem für die Datenaufnahme nimmt Daten aus externen Quellen auf und bereitet sie für RAG vor. Folgende Schritte sind im Ablauf der Datenaufnahme und -vorbereitung erforderlich:

  1. Data Engineers laden Daten aus externen Quellen in einen Cloud Storage-Bucket hoch. Die externen Quellen können Anwendungen, Datenbanken oder Streamingdienste sein.
  2. Nach Abschluss veröffentlicht Cloud Storage eine Nachricht in einem Pub/Sub-Thema.
  3. Das Pub/Sub-Thema löst einen Verarbeitungsjob aus, der in Cloud Run Functions ausgeführt wird.
  4. Cloud Run-Funktionen verarbeiten die Rohdaten, indem sie die Metadaten generieren und als JSON Lines-Dateien (JSONL) speichern. Die JSONL-Dateien werden in einem separaten Cloud Storage-Bucket gespeichert.
  5. Nach Abschluss veröffentlicht Cloud Run Functions eine Nachricht in einem Pub/Sub-Thema.
  6. Das Pub/Sub-Thema löst einen Verarbeitungsjob aus, der im verwalteten Datenspeicher in Gemini Enterprise ausgeführt wird. Der Verarbeitungsjob ruft die aufgenommenen Rohdaten und Metadaten aus den Cloud Storage-Buckets ab und parst und zerlegt die Daten dann, damit sie beim Bereitstellen effizient abgerufen werden können. Gemini Enterprise generiert automatisch Vektoreinbettungen, ohne dass eine Konfiguration erforderlich ist.

Subsystem für die Bereitstellung

Das Subsystem für die Bereitstellung verarbeitet den Anfrage-Antwort-Fluss zwischen der generativen KI-Anwendung und ihren Nutzern. Folgende Schritte sind im Bereitstellungsablauf erforderlich:

  1. Ein Anwendungsnutzer sendet eine Anfrage über einen der Cloud Run-Frontend-Dienste. Sie können diese Dienste für verschiedene Anwendungen anpassen, z. B. für eine Chatbot-Benutzeroberfläche, eine Suchseite oder eine mobile Anwendung.
  2. Der Frontend-Dienst empfängt die Anfrage und leitet sie dann an einen zentralen Cloud Run-Backend-Dienst weiter. Dieses Backend bietet einen einzelnen, einheitlichen Endpunkt zur Unterstützung aller verschiedenen Frontend-Clients. Der Backend-Dienst führt auch die erforderliche Vorverarbeitung durch, die das Erstellen von Filtern für die Suchanfrage umfassen kann. So bleibt die Logik für die Frontends transparent.
  3. Der Backend-Dienst sendet die vorbereitete Anfrage an Gemini Enterprise. Dazu wird der Gemini Enterprise API-Endpunkt verwendet, um den RAG-Workflow zu starten.
  4. Zur Verarbeitung der Anfrage verwendet Gemini Enterprise die Enterprise-Suche und den benutzerdefinierten Agenten, um die folgenden Aufgaben auszuführen:
    1. Erstellen Sie eine Einbettung der Nutzeranfrage.
    2. Führen Sie eine semantische Suche in den indexierten Daten im verwalteten Datastore durch, um die relevantesten Informationen zu finden.
    3. Die ursprüngliche Anfrage wird mit den abgerufenen Daten aus dem verwalteten Datenspeicher erweitert, um einen detaillierten, kontextbezogenen Prompt zu erstellen.
    4. Generieren Sie eine endgültige Antwort auf Grundlage des angereicherten Prompts.
  5. Gemini Enterprise sendet die generierte Antwort an den Cloud Run-Backend-Dienst.
  6. Der Backend-Dienst gibt die endgültige Antwort an den Frontend-Dienst zurück, der die ursprüngliche Anfrage gesendet hat. Der Frontend-Dienst präsentiert die Antwort dem Anwendungsnutzer.

Verwendete Produkte

In dieser Referenzarchitektur werden die folgenden Google Cloud Produkte verwendet:

  • Gemini Enterprise: Eine vollständig verwaltete, sichere Plattform zum Bereitstellen und Verwalten von KI-Agenten in einem Unternehmen.
  • Gemini Enterprise Agent Platform: Eine umfassende Plattform, mit der Sie KI‑Agenten auf Unternehmensniveau erstellen, skalieren, verwalten und optimieren können.
  • Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
  • Pub/Sub: Ein asynchroner, skalierbarer Messaging-Dienst, der Dienste entkoppelt, die Nachrichten von Diensten erzeugen, die diese Nachrichten verarbeiten.
  • Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.

Anwendungsfälle

Diese Architektur ist für Unternehmensszenarien konzipiert, in denen Ihre generative KI-Anwendung Zugriff auf die aktuellsten Informationen benötigt und ein tiefes, kontextbezogenes Verständnis erforderlich ist, um genaue Antworten zu liefern.

Die Architektur umfasst ein benutzerdefiniertes Subsystem für die Datenerfassung, um zwei wichtige Unternehmensanforderungen zu erfüllen:

  • Echtzeitverfügbarkeit von Daten:Die ereignisgesteuerte Pipeline verarbeitet neue Daten, sobald sie in Ihrer Organisation verfügbar sind, z. B. eine neue Produktanleitung oder einen aktualisierten Bericht. Die Pipeline stellt die Informationen auch in Ihrem verwalteten Datenspeicher zur Verfügung. Dieses Design trägt dazu bei, dass Informationen nicht veralten, da es für eine minimale Verzögerung zwischen Datenverfügbarkeit und ‑nutzung sorgt.
  • Kontextbezogene Suche mit zusätzlichen Informationen:Mit dem benutzerdefinierten Verarbeitungsjob kann Ihre Organisation ihre eigene Geschäftslogik anwenden, um Daten mit wertvollen Metadaten anzureichern. Die Cloud Run-Funktion kann jedes Dokument mit bestimmten Attributen wie Produktlinie, Autor, Standort oder Dokumenttyp taggen. Mithilfe dieser umfangreichen Metadaten kann der Agent seine Suche eingrenzen und präzisere, kontextbezogene Antworten liefern.

RAG ist eine effektive Technik, um die Qualität der von einem LLM generierten Ausgabe zu verbessern. In diesem Abschnitt finden Sie Beispiele für Anwendungsfälle, in denen Sie RAG-fähige generative KI-Anwendungen verwenden können.

Personalisierte Produktempfehlungen

Eine Online-Shopping-Website verwendet möglicherweise einen LLM-gestützten Chatbot, um Kunden bei der Suche nach Produkten oder bei der Hilfe beim Einkaufen zu unterstützen. Die Fragen eines Nutzers können mithilfe von Verlaufsdaten zum Kaufverhalten des Nutzers und zu Website-Interaktionsmustern erweitert werden. Die Daten können Nutzerrezensionen und -feedback enthalten, die in einem unstrukturierten Datenspeicher oder suchbezogenen Messwerten, die in einem Webanalyse-Data-Warehouse gespeichert werden. Die erweiterte Frage kann dann vom LLM verarbeitet werden, um personalisierte Antworten zu generieren, die für den Nutzer ansprechender und ansprechender sind.

Klinische Unterstützungssysteme

Ärzte in Krankenhäusern müssen den Gesundheitszustand eines Patienten schnell analysieren und diagnostizieren, um Entscheidungen über eine angemessene Versorgung und Medikamente treffen zu können. Eine generative KI-Anwendung, die ein medizinisches LLM wie Med-PaLM verwendet, kann verwendet werden, um Ärzte bei ihrem klinischen Diagnoseprozess zu unterstützen. Die von der Anwendung generierten Antworten können auf historischen Patientenakten basieren, indem die Aufforderungen der Ärzte mit Daten aus der EHR-Datenbank (Electronic Health Record) des Krankenhauses oder aus einer externen Wissensdatenbank wie PubMed in Beziehung gesetzt werden:

Mit der generativen KI-basierten Rechtsforschung können Anwälte große Mengen von Gesetzen und Fallgesetzen schnell abfragen, um relevante Prädikate zu ermitteln oder komplexe rechtliche Konzepte zusammenzufassen. Das Ergebnis einer solchen Forschungsarbeit kann durch die Erweiterung der Aufforderungen eines Anwalts mit Daten aus dem proprietären Korpus von Verträgen, früheren rechtlichen Mitteilungen und internen Fallaufzeichnungen der Anwaltskanzlei ergänzt werden. Durch diesen Designansatz wird sichergestellt, dass die generierten Antworten für das Fachgebiet relevant sind, auf das der Anwalt spezialisiert ist.

Designalternativen

In diesem Abschnitt werden alternative Designansätze vorgestellt, die Sie für Ihre RAG-fähige generative KI-Anwendung in Google Cloudin Betracht ziehen können.

Alternativen für die KI-Infrastruktur

Eine Liste mit Architekturleitfäden zum Entwerfen und Bereitstellen generativer KI-Anwendungen mit RAG in Google Cloudfinden Sie unter Generative KI mit RAG.

Optionen für das Anwendungshosting

In der in diesem Dokument dargestellten Architektur ist Cloud Run der Host für die GenAI-Anwendung und die Datenverarbeitung. Cloud Run ist eine auf Entwickler ausgerichtete, vollständig verwaltete Anwendung. Sie können Ihre Anwendung auch in Agent Runtime on Gemini Enterprise Agent Platform, GKE-Clustern oder auf Compute Engine-VMs bereitstellen.

Bei der Auswahl eines Anwendungshosts sollten Sie die folgenden Kompromisse zwischen Konfigurationsflexibilität und Verwaltungsaufwand berücksichtigen:

  • Mit der serverlosen Cloud Run-Option stellen Sie Ihre benutzerdefinierten Dienste in einer vorkonfigurierten, verwalteten Umgebung bereit. Für das Hosting der Frontend-Dienste und der benutzerdefinierten Backend-Logik für die Vorverarbeitung von Anfragen ist in dieser Architektur die Bereitstellung benutzerdefinierter Anwendungen erforderlich.
  • Mit der Option „Agent Runtime“ verwenden Sie eine vollständig verwaltete Plattform, die für die Bereitstellung von Agents entwickelt wurde. Die Laufzeit für KI-Agenten reduziert den Verwaltungsaufwand und sorgt für eine enge Integration mit Gemini Enterprise.
  • Bei Compute Engine-VMs und GKE-Containern sind Sie für die Verwaltung der zugrunde liegenden Rechenressourcen verantwortlich, haben aber mehr Konfigurationsflexibilität und ‑kontrolle.

Weitere Informationen zur Auswahl eines geeigneten Anwendungshostingdienstes finden Sie in den folgenden Dokumenten:

Weitere Infrastrukturoptionen

Informationen zu anderen Infrastrukturoptionen, unterstützten Modellen und Grounding-Techniken, die Sie für generative KI-Anwendungen inGoogle Cloudverwenden können, finden Sie unter Modelle und Infrastruktur für Ihre generative KI-Anwendung auswählen.

Designaspekte

Dieser Abschnitt enthält eine Anleitung zum Entwickeln einer RAG-fähigen generativen KI-Architektur in Google Cloud , die Ihre spezifischen Anforderungen an Sicherheit und Compliance, Zuverlässigkeit, Kosten und Leistung erfüllt. Die Anleitung in diesem Abschnitt ist nicht vollständig. Abhängig von den spezifischen Anforderungen Ihrer generativen KI-Anwendung und der von Ihnen verwendeten Google Cloud Produkte und ‑Funktionen müssen Sie möglicherweise zusätzliche Designfaktoren und Kompromisse berücksichtigen.

Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.

Sicherheit, Datenschutz und Compliance

In diesem Abschnitt werden Designüberlegungen und Empfehlungen beschrieben, mit denen Sie eine Topologie in Google Cloud entwerfen können, die die Sicherheits- und Compliance-Anforderungen Ihrer Arbeitslast erfüllt.

Sicherheitsgrundsätze und ‑empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Sicherheit.

Agent Platform

Die Agent Platform unterstützt Google Cloud Sicherheitskontrollen, mit denen Sie Ihre Anforderungen an Datenstandort, Datenverschlüsselung, Netzwerksicherheit und Access Transparency erfüllen können. Weitere Informationen finden Sie in der folgenden Dokumentation:

Von Nutzern angeforderte Daten werden in Gemini Enterprise innerhalb von 60 Tagen gelöscht. Weitere Informationen finden Sie unter Datenlöschung in Google Cloud.

Generative KI-Modelle können schädliche Antworten generieren, insbesondere wenn sie explizit dazu aufgefordert werden. Um die Sicherheit zu erhöhen und potenziellen Missbrauch zu verhindern, können Sie Inhaltsfilter konfigurieren, die als Barrieren für schädliche Antworten dienen. Weitere Informationen finden Sie unter Sicherheits- und Inhaltsfilter.

Cloud Run

Standardmäßig verschlüsselt Cloud Run Daten mitGoogle-owned and Google-managed encryption keys. Zum Schutz Ihrer Container mit von Ihnen kontrollierten Schlüsseln können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs) verwenden. Weitere Informationen finden Sie unter kundenverwaltete Verschlüsselungsschlüssel verwenden.

Damit nur autorisierte Container-Images in Cloud Run bereitgestellt werden, können Sie die Binärautorisierung verwenden.

Cloud Run unterstützt Sie dabei, die Anforderungen an den Datenstandort zu erfüllen. Ihre Cloud Run-Funktionen werden in der ausgewählten Region ausgeführt.

Cloud Storage

Standardmäßig verschlüsselt Cloud Storage die gespeicherten Daten mit Google-owned and Google-managed encryption keys. Bei Bedarf können Sie CMEKs oder Ihre eigenen Schlüssel verwenden, die Sie mithilfe einer externen Verwaltungsmethode wie vom Kunden bereitgestellte Verschlüsselungsschlüssel (Customer-Supplied Encryption Keys, CSEKs) verwalten. Weitere Informationen finden Sie unter Datenverschlüsselungsoptionen.

Cloud Storage bietet zwei Methoden, um Nutzern die Berechtigung zum Zugriff auf Ihre Buckets und Objekte zu erteilen: Identity and Access Management (IAM) und Access Control Lists (ACLs). In den meisten Fällen empfehlen wir die Verwendung von IAM, mit dem Sie Berechtigungen auf Bucket- und Projektebene erteilen können. Weitere Informationen finden Sie unter Zugriffssteuerung.

Die Daten, die Sie über Cloud Storage in das Datenaufnahmesubsystem laden, können sensible Daten enthalten. Mit Sensitive Data Protection können Sie sensible Daten ermitteln, klassifizieren und de-identifizieren. Weitere Informationen finden Sie unter Sensitive Data Protection mit Cloud Storage verwenden.

Cloud Storage unterstützt Sie dabei, die Anforderungen an den Datenstandort zu erfüllen. Cloud Storage speichert oder repliziert Daten in der von Ihnen angegebenen Region.

Pub/Sub

Standardmäßig verschlüsselt Pub/Sub alle Nachrichten, sowohl im Ruhezustand als auch bei der Übertragung, mitGoogle-owned and Google-managed encryption keys. Pub/Sub unterstützt die Verwendung von CMEKs für die Nachrichtenverschlüsselung auf Anwendungsebene. Weitere Informationen finden Sie unter Nachrichtenverschlüsselung konfigurieren.

Wenn Sie Anforderungen an den Datenstandort haben, können Sie Richtlinien für den Nachrichtenspeicher konfigurieren, um sicherzustellen, dass Nachrichtendaten an bestimmten Standorten gespeichert werden.

Zuverlässigkeit

In diesem Abschnitt werden Designüberlegungen und Empfehlungen zum Erstellen und Betreiben einer zuverlässigen Infrastruktur für Ihre Bereitstellung in Google Cloudbeschrieben.

Zuverlässigkeitsgrundsätze und ‑empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Zuverlässigkeit.

Agent Platform

Die Agent Platform gewährleistet den Datenstandort inaktiver Daten. Agent Platform speichert Ihre Quelldaten, einschließlich der Daten für RAG im verwalteten Datenspeicher, am ausgewähltenGoogle Cloud Standort. Diese Trennung von Verarbeitung und Speicherung ist ein grundlegender Aspekt der Plattform, der sowohl für hohe Zuverlässigkeit als auch für Compliance sorgt.

Cloud Run

Cloud Run ist ein regionaler Dienst, der Daten synchron in mehreren Zonen innerhalb einer Region speichert. Der Dienst verteilt den Traffic automatisch auf die Zonen. Wenn ein Zonenausfall auftritt, werden Cloud Run-Jobs weiterhin ausgeführt und es gehen keine Daten verloren. Wenn ein regionaler Ausfall auftritt, werden die Cloud Run-Jobs so lange ausgeführt, bis Google den Ausfall behoben hat.

Einzelne Cloud Run-Jobs oder -Aufgaben können fehlschlagen. Zur Behebung solcher Fehler können Sie Aufgabenwiederholungen und Prüfpunktausführung verwenden. Weitere Informationen finden Sie unter Best Practices für Wiederholungsversuche und Prüfpunkte.

Cloud Storage

Sie können Cloud Storage-Buckets an einem von drei Standorttypen erstellen: regional, biregional oder multiregional. Für Daten in regionalen Buckets repliziert Cloud Storage diese Daten synchron über mehrere Zonen innerhalb einer Region hinweg. Für eine höhere Verfügbarkeit können Sie Buckets mit zwei oder mehr Regionen verwenden, bei denen Cloud Storage Daten asynchron über Regionen hinweg repliziert. Achten Sie darauf, dass Ihre Auswahl Ihren Compliance-Anforderungen entspricht.

Kostenoptimierung

Dieser Abschnitt enthält Anleitungen zur Optimierung der Kosten für die Einrichtung und den Betrieb einer Google Cloud Topologie, die Sie mithilfe dieser Referenzarchitektur erstellen.

Kostenoptimierungsgrundsätze und ‑empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Kostenoptimierung.

Agent Platform

Das zugrunde liegende KI-Modell, das vom Agenten aufgerufen wird, kann sich direkt auf die Kosten für die Verwendung dieses Agenten auswirken. Die Preise werden anhand der Anzahl der Eingabe- und Ausgabetokens für jede Anfrage berechnet. Weitere Informationen finden Sie unter Kontingente und Systemlimits für generative KI auf der Agent Platform und im Google Cloud -Preisrechner.

Informationen dazu, wie Sie die Anzahl der Tokens minimieren können, um die Kosten zu senken, finden Sie unter Kontext-Caching – Übersicht.

Cloud Run-Funktionen

Beim Erstellen von Cloud Run-Jobs geben Sie die Größe des Arbeitsspeichers und die CPU an, die der Containerinstanz zugewiesen werden sollen. Zur Kostenkontrolle beginnen Sie mit den standardmäßigen CPU- und Arbeitsspeicherzuweisungen. Zur Verbesserung der Leistung können Sie die Zuweisung erhöhen, indem Sie das CPU-Limit und das Speicherlimit konfigurieren.

Wenn Sie die CPU- und Arbeitsspeicheranforderungen Ihrer Cloud Run-Jobs vorhersagen können, können Sie mit Rabatten für die zugesicherte Nutzung Geld sparen. Weitere Informationen finden Sie unter Rabatte für zugesicherte Nutzung von Cloud Run.

Cloud Storage

Wählen Sie für den Cloud Storage-Bucket, den Sie zum Laden von Daten in das Datenaufnahme-Subsystem verwenden, eine geeignete Speicherklasse basierend auf den Anforderungen an die Datenaufbewahrung und die Zugriffshäufigkeit Ihrer Arbeitslasten aus. Sie können beispielsweise die Speicherklasse „Standard Storage“ auswählen und die Verwaltung des Objektlebenszyklus verwenden, um die Speicherkosten zu steuern. Mit der Verwaltung des Objektlebenszyklus werden Objekte automatisch auf eine kostengünstigere Speicherklasse herabgestuft oder basierend auf den von Ihnen festgelegten Bedingungen gelöscht.

Leistungsoptimierung

In diesem Abschnitt werden Designüberlegungen und Empfehlungen zum Entwerfen einer Topologie in Google Cloud beschrieben, die die Leistungsanforderungen Ihrer Arbeitslasten erfüllt.

Grundsätze und Empfehlungen zur Leistungsoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Leistungsoptimierung.

Gemini Enterprise

Um die Latenz während der Bereitstellung zu verringern, können Sie Antworten streamen, indem Sie Modellantworten senden, bevor der Agent die vollständige Ausgabe generiert. Dadurch kann die Ausgabe in Echtzeit verarbeitet werden. Sie können Ihre Benutzeroberfläche sofort aktualisieren und andere gleichzeitige Aufgaben ausführen. Durch Streaming wird die wahrgenommene Reaktionsfähigkeit verbessert und eine interaktivere User Experience geschaffen. Weitere Informationen finden Sie unter Antworten streamen.

Cloud Run

Passen Sie die Arbeitsspeicher- und CPU-Zuweisung für die Cloud Run-Instanzen basierend auf den Leistungsanforderungen an. Weitere Informationen finden Sie unter CPU-Limits für Jobs konfigurieren und Arbeitsspeicherlimits für Dienste konfigurieren.

Cloud Storage

Zum Hochladen großer Dateien können Sie eine Methode namens parallele zusammengesetzte Uploads verwenden. Bei dieser Strategie wird die große Datei in Blöcke unterteilt. Sie laden die Blöcke parallel in Cloud Storage hoch und Cloud Storage setzt die Daten dann in Google Cloudwieder zusammen. Parallele zusammengesetzte Uploads können schneller sein als reguläre Uploadvorgänge, wenn Sie über ausreichend Netzwerkbandbreite und Laufwerksgeschwindigkeit verfügen. Diese Strategie hat jedoch einige Einschränkungen und Auswirkungen auf die Kosten. Weitere Informationen finden Sie unter Parallele zusammengesetzte Uploads.

Bereitstellung

Verwenden Sie das Terraform-Beispiel, das in GitHub verfügbar ist, um diese Referenzarchitektur bereitzustellen. Weitere Informationen finden Sie unter RAG Infrastructure for Generative AI Applications using Gemini Enterprise and Agent Platform.

Nächste Schritte

Beitragende

Autor: Samantha He | Technische Autorin

Weitere Beitragende: