Komponenten für Ihre agentische KI-Architektur auswählen

Last reviewed 2026-04-21 UTC

In diesem Dokument finden Sie Informationen zur Auswahl von Architekturkomponenten für Ihre agentischen KI-Anwendungen in Google Cloud. Es wird beschrieben, wie Sie die Merkmale Ihrer Anwendung und Arbeitslast bewerten, um ein geeignetes Produkt oder einen geeigneten Dienst auszuwählen, der Ihren Anforderungen am besten entspricht. Der Prozess zum Entwerfen einer agentischen KI-Architektur ist iterativ. Sie sollten Ihre Architektur regelmäßig neu bewerten, wenn sich die Merkmale Ihrer Arbeitslast ändern, sich Ihre Anforderungen weiterentwickeln oder neue Produkte und Funktionen von Google Cloud verfügbar werden.

KI-Agenten sind effektiv für Anwendungen, die offene Probleme lösen, die möglicherweise autonome Entscheidungsfindung und komplexes mehrstufiges Workflow-Management erfordern. KI-Agenten sind hervorragend darin, Probleme in Echtzeit mithilfe externer Daten zu lösen und wissensintensive Aufgaben zu automatisieren. Diese Funktionen ermöglichen es KI-Agenten, mehr geschäftlichen Mehrwert zu bieten als die unterstützenden und generativen Funktionen eines KI-Modells.

Sie können KI-Agenten für deterministische Probleme mit vordefinierten Schritten verwenden. Andere Ansätze können jedoch effizienter und kostengünstiger sein. Für Aufgaben wie das Zusammenfassen eines Dokuments, das Übersetzen von Text oder das Klassifizieren von Kundenfeedback benötigen Sie beispielsweise keinen Agentic Workflow.

Informationen zu alternativen nicht-agentischen KI-Lösungen finden Sie in den folgenden Ressourcen:

Übersicht über die Agentenarchitektur

Ein Agent ist eine Anwendung, die ein Ziel erreicht, indem sie Eingaben verarbeitet, mit verfügbaren Tools Schlussfolgerungen zieht und basierend auf ihren Entscheidungen Maßnahmen ergreift. Ein KI-Agent verwendet ein KI-Modell als zentrale Reasoning-Engine, um komplexe Aufgaben zu automatisieren. Der Agent verwendet eine Reihe von Tools, mit denen das KI-Modell mit externen Systemen und Datenquellen interagieren kann. Ein KI-Agent kann ein Memory-System verwenden, um den Kontext beizubehalten und aus Interaktionen zu lernen. Das Ziel einer agentischen Architektur ist es, ein autonomes System zu erstellen, das die Absicht eines Nutzers verstehen, einen mehrstufigen Plan erstellen und diesen Plan mit den verfügbaren Tools ausführen kann.

Das folgende Diagramm bietet eine allgemeine Übersicht über die Architekturkomponenten eines agentischen Systems:

Die Architekturkomponenten eines agentischen Systems.

Die agentische Systemarchitektur umfasst die folgenden Komponenten:

  • Frontend-Framework: Eine Sammlung vordefinierter Komponenten, Bibliotheken und Tools, mit denen Sie die Benutzeroberfläche für Ihre Anwendung erstellen.
  • Framework für die Agentenentwicklung: Die Frameworks und Bibliotheken, die Sie zum Erstellen und Strukturieren der Logik Ihres Agenten verwenden.
  • Agententools: Die Sammlung von Tools wie APIs, Diensten und Funktionen, die Daten abrufen und Aktionen oder Transaktionen ausführen.
  • Agent-Speicher: Das System, das Ihr Agent zum Speichern und Abrufen von Informationen verwendet.
  • Agenten-Designmuster: Gängige Architekturansätze zum Strukturieren Ihrer agentischen Anwendung.
  • Agent Runtime: Die Rechenumgebung, in der die Anwendungslogik Ihres KI-Agenten ausgeführt wird.
  • KI-Modelle: Die zentrale Reasoning Engine, die die Entscheidungsfindung Ihres KI-Agenten ermöglicht.
  • Modelllaufzeit: Die Infrastruktur, die Ihr KI-Modell hostet und bereitstellt.

In den folgenden Abschnitten finden Sie eine detaillierte Analyse der Komponenten, die Ihnen bei der Entscheidung helfen soll, wie Sie Ihre Architektur aufbauen. Die von Ihnen ausgewählten Komponenten beeinflussen die Leistung, Skalierbarkeit, Kosten und Sicherheit Ihres KI-Agenten. In diesem Dokument werden die wesentlichen Architekturkomponenten beschrieben, die Sie zum Erstellen und Bereitstellen der Kernlogik für die Argumentation und Ausführung eines KI-Agenten verwenden. Themen wie Sicherheits-Frameworks für verantwortungsbewusste KI und die Verwaltung von Agentenidentitäten werden in diesem Dokument nicht behandelt.

Frontend-Framework

Das Frontend-Framework ist eine Sammlung vordefinierter Komponenten, Bibliotheken und Tools, mit denen Sie die Benutzeroberfläche für Ihre agentische Anwendung erstellen. Das von Ihnen gewählte Frontend-Framework definiert die Anforderungen an Ihr Backend. Eine einfache Oberfläche für eine interne Demo erfordert möglicherweise nur eine synchrone HTTP API, während eine produktionsreife Anwendung ein Backend benötigt, das Streaming-Protokolle und ein robustes Statusmanagement unterstützt.

Berücksichtigen Sie die folgenden Kategorien von Frameworks:

  • Prototyping und interne Tool-Frameworks: Für eine schnelle Entwicklung, interne Demos und Proof-of-Concept-Anwendungen sollten Sie Frameworks wählen, die die Entwicklererfahrung und ‑geschwindigkeit priorisieren. Diese Frameworks bevorzugen in der Regel ein einfaches und synchrones Modell, das als Anfrage-Antwort-Modell bezeichnet wird. Mit einem Anfrage-Antwort-Modell können Sie eine funktionale Benutzeroberfläche mit minimalem Code und einem einfacheren Backend im Vergleich zu einem Produktions-Framework erstellen. Dieser Ansatz eignet sich ideal, um die Agentenlogik und Toolintegrationen schnell zu testen, ist aber möglicherweise nicht für hochskalierbare, öffentlich zugängliche Anwendungen geeignet, die Echtzeitinteraktionen erfordern. Zu den gängigen Frameworks in dieser Kategorie gehören Mesop und Gradio.
  • Produktions-Frameworks: Wählen Sie für skalierbare, responsive und funktionsreiche Anwendungen für externe Nutzer ein Framework aus, das benutzerdefinierte Komponenten ermöglicht. Diese Frameworks erfordern eine Backend-Architektur, die eine moderne Nutzererfahrung unterstützt. Ein Produktions-Framework sollte Unterstützung für Streamingprotokolle, ein zustandsloses API-Design und ein robustes, externalisiertes Speichersystem zur Verwaltung des Unterhaltungsstatus über mehrere Nutzersitzungen hinweg umfassen. Zu den gängigen Frameworks für Produktionsanwendungen gehören Streamlit, React und das Flutter AI Toolkit.

Wenn Sie die Kommunikation zwischen diesen Frameworks und Ihrem KI-Agenten verwalten möchten, können Sie das Agent–User Interaction (AG-UI) Protocol verwenden. AG-UI ist ein offenes Protokoll, mit dem Backend-KI-Agenten mit Ihrem Frontend-Framework interagieren können. AG-UI teilt dem Frontend-Framework mit, wann die Antwort des Agenten gerendert, der Anwendungsstatus aktualisiert oder eine clientseitige Aktion ausgelöst werden soll. Wenn Sie interaktive KI-Anwendungen erstellen möchten, kombinieren Sie die AG-UI mit dem Agent Development Kit (ADK). Informationen zum ADK finden Sie im nächsten Abschnitt „Frameworks für die Agent-Entwicklung“.

Frameworks für die Entwicklung von KI-Agenten

Frameworks für die Agentenentwicklung sind Bibliotheken, die das Erstellen, Testen und Bereitstellen von agentischen KI-Anwendungen vereinfachen. Diese Entwicklungstools bieten vordefinierte Komponenten und Abstraktionen für die agentischen Kernfunktionen, einschließlich Reasoning Loops, Memory und Tool-Integration.

Wenn Sie die Entwicklung von KI-Agenten in Google Cloudbeschleunigen möchten, empfehlen wir die Verwendung des ADK. Das ADK ist ein Open-Source-Framework, das auf einem bestimmten Ansatz basiert und modular aufgebaut ist. Es bietet eine hohe Abstraktionsebene für das Erstellen und Orchestrieren von Workflows – von einfachen Aufgaben bis hin zu komplexen Multi-Agenten-Systemen.

Das ADK ist für Gemini-Modelle undGoogle Cloudoptimiert, aber auch mit anderen Frameworks kompatibel. Das ADK unterstützt andere KI-Modelle und Laufzeiten, sodass Sie es mit jedem Modell oder jeder Bereitstellungsmethode verwenden können. Bei Multi-Agenten-Systemen unterstützt das ADK die Interaktion über gemeinsame Sitzungsstatus, die modellgesteuerte Delegation zur Weiterleitung von Aufgaben zwischen Agenten und den expliziten Aufruf, bei dem ein Agent einen anderen Agenten als Funktion oder Tool aufrufen kann.

Damit Sie schnell loslegen können, bietet das ADK Codebeispiele in Python, Java und Go, die eine Vielzahl von Anwendungsfällen in verschiedenen Branchen veranschaulichen. Viele dieser Beispiele konzentrieren sich auf Konversationsabläufe, aber das ADK eignet sich auch gut für die Erstellung autonomer Agenten, die Backend-Aufgaben ausführen. Wählen Sie für diese nicht interaktiven Anwendungsfälle ein Agenten-Designmuster, das sich für die Verarbeitung einer einzelnen, eigenständigen Anfrage eignet und eine robuste Fehlerbehandlung implementiert.

Wenn Sie eine benutzerdefinierte KI-Agentenarchitektur erstellen möchten, können Sie auch ein allgemeines KI-Framework wie Genkit verwenden. Genkit bietet Primitive, mit denen Sie die Agentenlogik detailliert steuern können, ohne die allgemeine Abstraktion, die das ADK bietet. Ein dediziertes Agenten-Framework wie das ADK bietet jedoch spezielle Tools für die Entwicklung agentischer Anwendungen.

Tools von KI-Agenten

Die Fähigkeit eines KI-Agenten, über Tools mit externen Systemen zu interagieren, bestimmt seine Effektivität. Agententools sind Funktionen oder APIs, die dem KI-Modell zur Verfügung stehen und die der Agent verwendet, um die Ausgabe zu verbessern und Aufgaben zu automatisieren. Wenn Sie einen KI-Agenten mit externen Systemen verbinden, wird er durch Tools von einem einfachen Textgenerator zu einem System, das komplexe, mehrstufige Aufgaben automatisieren kann.

Wählen Sie eines der folgenden Toolnutzungsmuster aus, um Toolinteraktionen zu aktivieren:

Anwendungsfall Toolnutzungsmuster
Sie müssen eine gängige Aufgabe ausführen, z. B. eine Suche im Internet, eine Berechnung oder die Ausführung von Code, und möchten die anfängliche Entwicklung beschleunigen. Integrierte Tools
Sie möchten ein modulares oder Multi-Agenten-System erstellen, das interoperable und wiederverwendbare Tools erfordert. Model Context Protocol (MCP)
Sie müssen eine große Anzahl von API-basierten Tools im Unternehmensmaßstab verwalten, schützen und überwachen. API-Verwaltungsplattform
Sie müssen eine bestimmte interne oder Drittanbieter-API einbinden, die keinen MCP-Server hat. Benutzerdefinierte Funktionstools

Wenn Sie Tools für Ihren KI-Agenten auswählen, sollten Sie sie im Hinblick auf ihre funktionalen Fähigkeiten und ihre Betriebszuverlässigkeit bewerten. Priorisieren Sie Tools, die beobachtbar und einfach zu debuggen sind und eine robuste Fehlerbehandlung bieten. Diese Funktionen helfen Ihnen, Aktionen nachzuverfolgen und Fehler schnell zu beheben. Bewerten Sie außerdem die Fähigkeit des KI-Agenten, das richtige Tool auszuwählen, um die zugewiesenen Aufgaben erfolgreich zu erledigen.

Integrierte Tools

Das ADK bietet mehrere integrierte Tools, die direkt in die Laufzeit des KI-Agenten eingebunden sind. Sie können diese Tools als Funktionen aufrufen, ohne externe Kommunikationsprotokolle konfigurieren zu müssen. Diese Tools bieten gängige Funktionen, darunter den Zugriff auf Echtzeitinformationen aus dem Web, die programmatische Ausführung von Code in einer sicheren Umgebung, das Abrufen von Informationen aus privaten Unternehmensdaten zur Implementierung von RAG und die Interaktion mit strukturierten Daten in Cloud-Datenbanken. Die integrierten Tools können zusammen mit allen von Ihnen erstellten benutzerdefinierten Tools verwendet werden.

MCP

Damit die Komponenten Ihres agentischen Systems interagieren können, müssen Sie klare Kommunikationsprotokolle einrichten. MCP ist ein offenes Protokoll, das eine standardisierte Schnittstelle für Agenten bietet, um auf die erforderlichen Tools, Daten und anderen Dienste zuzugreifen und diese zu verwenden.

MCP entkoppelt die zentrale Schlussfolgerungslogik des KI-Agenten von der spezifischen Implementierung seiner Tools, ähnlich wie ein Standard-Hardwareport es ermöglicht, verschiedene Peripheriegeräte mit einem Gerät zu verbinden.

MCP bietet folgende Vorteile:

  • Vereinfacht die Toolintegration durch vordefinierte Connectors. Wenn einem MCP-Server weitere Tools hinzugefügt werden, erkennt der Agent die Tools ohne zusätzliche Konfiguration.
  • Bietet eine einheitliche Möglichkeit, benutzerdefinierte Integrationen zu erstellen.
  • Bietet Flexibilität und fördert die Interoperabilität zwischen verschiedenen Modellen und Tools.

Sie können MCP-Server in Ihrem agentischen KI-System mit den folgenden Methoden implementieren:

  • Google Cloud MCP-Server: Wenn Sie eine Verbindung zu Google- und Google Cloud -Diensten herstellen möchten, stellen Sie eine Verbindung zu Remote-MCP-Servern her, die vollständig von Google verwaltet werden. Diese Server erweitern Ihre vorhandene Infrastruktur, indem sie eine einheitliche Ebene für alle von Ihnen verwendeten Google- und Google Cloud -Dienste bereitstellen. Diese Server bieten zustandslose Skalierung und Integration in Identity and Access Management (IAM) und Cloud-Audit-Logs. Eine Liste der Google Cloud-MCP-Server finden Sie unter Unterstützte Produkte.
  • Remote-MCP-Server: Wenn Sie eine Verbindung zu externen APIs herstellen möchten, verbinden Sie sich mit einem Remote-MCP-Server, der von einem Drittanbieter gehostet und verwaltet wird.
  • Selbst gehostete MCP-Server: Wenn Sie Ihre eigene Agentenlogik und benutzerdefinierte Tools implementieren möchten, hosten Sie Ihren eigenen MCP-Server. Sie haben die volle Kontrolle darüber, wie Sie Ihren Agenten proprietäre APIs oder APIs von Drittanbietern zur Verfügung stellen. Wenn Sie Ihren eigenen benutzerdefinierten MCP-Server hosten möchten, stellen Sie ihn als containerisierte Anwendung in Cloud Run oder der Google Kubernetes Engine (GKE) bereit.

API-Verwaltungsplattform

Eine API-Verwaltungsplattform ist ein zentrales System, mit dem Sie interne oder externe Dienste über APIs sichern, überwachen und steuern können. Eine API-Verwaltungsplattform bietet einen zentralen Ort, an dem alle APIs Ihrer Organisation katalogisiert werden können. Sie vereinfacht die Bereitstellung von Daten und bietet Beobachtbarkeit durch Nutzungsmonitoring.

Wenn Sie die API-basierten Tools Ihres KI-Agenten auf Unternehmensebene in Google Cloudverwalten möchten, empfehlen wir die Verwendung von Apigee API Hub. Mit dem API-Hub können Agenten sofort über direkte HTTP-Aufrufe, vordefinierte Connectors, im Hub registrierte benutzerdefinierte APIs oder direkten Zugriff auf Google Cloud -Datenquellen eine Verbindung zu Daten herstellen. Mit diesem Ansatz erhalten Ihre KI-Agenten sofortigen Zugriff auf die benötigten Informationen, ohne dass komplexe benutzerdefinierte Datenlade- und Integrationspipelines erstellt werden müssen.

Eine API-Verwaltungsplattform und ein Kommunikationsprotokoll wie MCP lösen unterschiedliche architektonische Probleme. Ein Kommunikationsprotokoll standardisiert das Interaktionsformat zwischen dem Agenten und dem Tool, sodass Komponenten wiederverwendbar und austauschbar sind. Im Gegensatz dazu steuert eine API-Verwaltungsplattform den Lebenszyklus und die Sicherheit des API-Endpunkt und übernimmt Aufgaben wie Authentifizierung, Ratenbegrenzung und Monitoring. Diese Muster ergänzen sich. Ein Agent kann beispielsweise über MCP mit einem Tool kommunizieren, das wiederum ein sicherer API-Endpunkt sein kann, der vom API-Hub verwaltet und geschützt wird.

Benutzerdefiniertes Funktionstool

Ein Funktionstool bietet einem Agenten neue Funktionen. Sie können ein benutzerdefiniertes Funktionstool schreiben, um Ihrem Agenten spezielle Funktionen zu geben, z. B. die Integration in eine externe API oder ein proprietäres Geschäftssystem. Das Schreiben eines benutzerdefinierten Funktionstools ist die gängigste Methode, um die Fähigkeiten eines KI-Agenten über die Möglichkeiten integrierter Tools hinaus zu erweitern.

Wenn Sie ein benutzerdefiniertes Funktionstool erstellen möchten, schreiben Sie eine Funktion in Ihrer bevorzugten Programmiersprache und geben dann eine klare, natürlichsprachliche Beschreibung des Zwecks, der Parameter und der Rückgabewerte an. Das Modell des KI-Agenten verwendet diese Beschreibung, um zu entscheiden, wann das Tool benötigt wird, welche Eingaben bereitgestellt werden müssen und wie die Ausgabe interpretiert werden soll, um die Anfrage eines Nutzers zu erfüllen.

Sie können auch ein benutzerdefiniertes Funktionstool erstellen, das eine Agent-as-a-Tool-Funktion implementiert. Eine Agent-as-a-Tool-Funktion stellt einen Agenten als aufrufbare Funktion bereit, die von einem anderen Agenten aufgerufen werden kann. Mit dieser Technik können Sie komplexe Multi-Agenten-Systeme erstellen, in denen ein Agent spezialisierte Aufgaben koordinieren und an andere spezialisierte Agenten delegieren kann. Weitere Informationen zu Agent-Designmustern und zur Koordination der Multi-Agenten-Orchestrierung finden Sie im Abschnitt Agent-Designmuster weiter unten in diesem Dokument.

Tool-Schwemme

Tool-Bloat tritt auf, wenn Sie im System-Prompt eines KI-Modells zu viele Tooldefinitionen angeben. Ein Modell kann durch eine übermäßige Anzahl von Tools, komplexe Parameter oder detaillierte Beschreibungen im Kontextfenster des Modells überfordert werden.

Wenn ein KI-Agent mit zu vielen Tools überlastet ist, können die folgenden Probleme auftreten:

  • Geringere Accuracy: Irrelevante Tokens verwässern die Aufmerksamkeit des Modells im Kontextfenster. Wenn die Aufmerksamkeit des Modells verwässert wird, ist es für das Modell schwierig, das richtige Tool von Rauschen zu unterscheiden.
  • Höhere Kosten und Latenz: Eine einzelne Nutzeranfrage kann mehrere versteckte Reasoning Loops und Toolausführungen auslösen. Eine Erhöhung der Anzahl der Schleifen und Ausführungen führt zu einem entsprechenden Anstieg der Kosten und der Antwortzeiten des Tools.

Mit den folgenden Strategien können Sie Tool-Bloat reduzieren:

  • Toolkomplexität begrenzen: Im Folgenden finden Sie Empfehlungen zum Schreiben prägnanter Tooldefinitionen:
    • Verwenden Sie primitive Datentypen anstelle komplexer verschachtelter Objekte.
    • Beschränken Sie Tools auf weniger als fünf Parameter.
    • Schränken Sie den Entscheidungspfad des Modells ein, indem Sie enums anstelle von Freitextstrings verwenden.
  • Detaillierte Toolsets bereitstellen: Zerlegen Sie monolithische Server in detaillierte, fokussierte Toolsets, die auf bestimmten User Journeys basieren. Ein großer Cloud SQL-Server kann beispielsweise in ein Administrator-Toolset für DevOps-Agenten und ein Daten-Toolset für Anwendungs-Agenten aufgeteilt werden.
  • Progressive Einblendung implementieren: Systeme so entwerfen, dass relevante Kontexte und Funktionen nur dann dynamisch freigeschaltet werden, wenn sie benötigt werden, anstatt alles im Voraus zu laden. Verwenden Sie die folgenden Strategien, um einen Ansatz der progressiven Offenlegung zu implementieren:
    • Suchtool-Muster: Um den Tokenverbrauch zu reduzieren, implementieren Sie einen Agenten, der ein einzelnes Suchtool verwendet, um nur das relevante Toolschema dynamisch zu laden.
    • Agenten-Skills: Agenten-Skills sind ein Standardformat, das die progressive Offenlegung von Anweisungen, Scripts und anderen Ressourcen ermöglicht. Um Kontext-Bloat zu minimieren, definieren Sie einen Agenten-Skill, der den Agenten anweist, zusätzlichen Kontext nur bei Bedarf abzurufen.
    • Multi-Agenten-Delegation: Um das Kontextfenster eines KI-Agenten zu verkleinern, können Sie ein Multi-Agenten-System implementieren, das einen Koordinator-Agenten verwendet, um eine bestimmte Aufgabe an einen spezialisierten Sub-Agenten zu delegieren. So werden nur relevante Tools geladen und das Kontextfenster des Koordinator-Agenten bleibt übersichtlich.

Diese Strategien schließen sich nicht gegenseitig aus und sollten je nach Architektur- und Arbeitslastanforderungen kombiniert werden.

Arbeitsspeicher des KI-Agenten

Die Fähigkeit eines KI-Agenten, sich an frühere Interaktionen zu erinnern, ist entscheidend für eine kohärente und nützliche Konversation. Wenn Sie zustandsorientierte, kontextsensitive Agents erstellen möchten, müssen Sie Mechanismen für das Kurzzeit- und Langzeitgedächtnis implementieren. In den folgenden Abschnitten werden die Designoptionen und Google Cloud-Dienste beschrieben, mit denen Sie sowohl das Kurzzeit- als auch das Langzeitgedächtnis für Ihren Agenten implementieren können.

Kurzzeitgedächtnis

Das Kurzzeitgedächtnis ermöglicht es einem KI-Agenten, den Kontext innerhalb einer einzelnen, laufenden Unterhaltung beizubehalten. Um ein Kurzzeitgedächtnis zu implementieren, müssen Sie sowohl die Sitzung als auch den zugehörigen Status verwalten.

  • Sitzung: Eine Sitzung ist der Unterhaltungsthread zwischen einem Nutzer und dem Agenten, von der ersten Interaktion bis zum Ende des Dialogs.
  • Zustand: Der Zustand sind die Daten, die der KI-Agent innerhalb einer bestimmten Sitzung verwendet und erfasst. Zu den erfassten Zustandsdaten gehören der Verlauf der Nachrichten, die der Nutzer und der Agent ausgetauscht haben, die Ergebnisse von Toolaufrufen und andere Variablen, die der Agent benötigt, um den Kontext der Unterhaltung zu verstehen.

Im Folgenden finden Sie Optionen zum Implementieren des Kurzzeitgedächtnisses mit dem ADK:

  • In-Memory-Speicher: Für die Entwicklung, Tests oder einfache Anwendungen, die auf einer einzelnen Instanz ausgeführt werden, können Sie den Sitzungsstatus direkt im Arbeitsspeicher Ihrer Anwendung speichern. Der Agent verwendet eine Datenstruktur, z. B. ein Wörterbuch oder ein Objekt, um eine Liste von Schlüssel/Wert-Paaren zu speichern, und aktualisiert diese Werte während der Sitzung. Wenn Sie jedoch einen In-Memory-Speicher verwenden, ist der Sitzungsstatus nicht persistent. Wenn die Anwendung neu gestartet wird, geht der gesamte Unterhaltungsverlauf verloren.

  • Externe Zustandsverwaltung: Für Produktionsanwendungen, die Skalierbarkeit und Zuverlässigkeit erfordern, empfehlen wir, eine zustandslose Agent-Anwendung zu erstellen und den Sitzungsstatus in einem externen Speicherdienst zu verwalten. In dieser Architektur ruft die Agentenanwendung jedes Mal, wenn sie eine Anfrage empfängt, den aktuellen Konversationsstatus aus dem externen Speicher ab, verarbeitet die neue Runde und speichert den aktualisierten Status dann wieder im Speicher. Mit diesem Design können Sie Ihre Anwendung horizontal skalieren, da jede Instanz die Anfrage eines beliebigen Nutzers verarbeiten kann. Gängige Optionen für die externe Statusverwaltung sind Memorystore for Redis, Firestore oder Gemini Enterprise Agent Platform-Sitzungen.

    Wenn Sie das ADK verwenden, benötigt die DatabaseSessionService eine relationale Datenbank wie Cloud SQL.

Langzeitgedächtnis

Das Langzeitgedächtnis bietet dem KI-Agenten eine persistente Wissensdatenbank, die für einzelne Nutzer über alle Unterhaltungen hinweg existiert. Mit dem Langzeitgedächtnis kann der Agent externe Informationen abrufen und verwenden, aus früheren Interaktionen lernen und genauere und relevantere Antworten geben.

Im Folgenden finden Sie Optionen zum Implementieren des Langzeitgedächtnisses mit dem ADK:

  • In-Memory-Speicher: Für die Entwicklung und das Testen können Sie den Sitzungsstatus direkt im Speicher Ihrer Anwendung speichern. Dieser Ansatz ist einfach zu implementieren, aber nicht persistent. Wenn die Anwendung neu gestartet wird, geht der Unterhaltungsverlauf verloren. Dieses Muster wird in der Regel mit einem In-Memory-Anbieter in einem Entwicklungs-Framework implementiert, z. B. dem InMemoryMemoryService, das im ADK für Tests enthalten ist.
  • Externer Speicher: Verwalten Sie die Wissensdatenbank Ihres Agenten für Produktionsanwendungen in einem externen, nichtflüchtigen Speicherdienst. Ein externer Speicherdienst sorgt dafür, dass das Wissen Ihres Agenten langlebig, skalierbar und über mehrere Anwendungsinstanzen hinweg zugänglich ist. Verwenden Sie Memory Bank für die langfristige Speicherung mit einer beliebigen Agent Runtime in Google Cloud.

Designmuster für KI-Agenten

Agenten-Designmuster sind gängige Architekturansätze zum Erstellen von agentischen Anwendungen. Diese Muster bieten ein klares Framework für die Organisation der Komponenten eines Systems, die Integration des KI-Modells und die Orchestrierung eines einzelnen Agenten oder mehrerer Agenten, um einen Workflow auszuführen. Um herauszufinden, welcher Ansatz für Ihren Workflow am besten geeignet ist, müssen Sie die Komplexität und den Workflow Ihrer Aufgaben sowie die Anforderungen an Latenz, Leistung und Kosten berücksichtigen.

Ein System mit einem einzelnen Agenten nutzt die Reasoning-Funktionen eines Modells, um die Anfrage eines Nutzers zu interpretieren, eine Abfolge von Schritten zu planen und zu entscheiden, welche Tools verwendet werden sollen. Dieser Ansatz ist ein effektiver Ausgangspunkt, mit dem Sie sich auf die Optimierung der Kernlogik, Prompts und Tooldefinitionen konzentrieren können, bevor Sie die Architektur komplexer gestalten. Die Leistung eines einzelnen Agenten kann sich jedoch verschlechtern, wenn die Aufgaben und die Anzahl der Tools komplexer werden.

Bei komplexen Problemen orchestriert ein Multi-Agenten-System mehrere spezialisierte Agenten, um ein Ziel zu erreichen, das ein einzelner Agent nicht so einfach bewältigen kann. Dieses modulare Design kann die Skalierbarkeit, Zuverlässigkeit und Wartbarkeit des Systems verbessern. Im Vergleich zu einem System mit nur einem Agenten sind jedoch zusätzliche Überlegungen zu Bewertung, Sicherheit und Kosten erforderlich.

Wenn Sie ein Multi-Agenten-System entwickeln, müssen Sie für jeden spezialisierten Agenten präzise Zugriffssteuerungen implementieren, ein robustes Orchestrierungssystem für eine zuverlässige Kommunikation zwischen den Agenten entwerfen und die erhöhten Betriebskosten verwalten, die durch den Rechenaufwand für die Ausführung mehrerer Agenten entstehen. Um die Kommunikation zwischen Agenten zu erleichtern, verwenden Sie das Agent2Agent-Protokoll (A2A) mit ADK. A2A ist ein offenes Standardprotokoll, das es KI-Agenten ermöglicht, über verschiedene Plattformen und Frameworks hinweg zu kommunizieren und zusammenzuarbeiten, unabhängig von den zugrunde liegenden Technologien.

Weitere Informationen zu gängigen Agenten-Designmustern und zur Auswahl eines Musters basierend auf Ihren Arbeitslastanforderungen finden Sie unter Designmuster für Ihr agentisches KI-System auswählen.

KI-Modelle

Agentische Anwendungen sind auf die Fähigkeiten eines Modells zum Schlussfolgern und Verstehen angewiesen, um als primärer Aufgabenorchestrator zu fungieren. Für diese zentrale KI-Agentenrolle empfehlen wir die Verwendung von Gemini Pro.

Google-Modelle wie Gemini bieten über eine verwaltete API Zugriff auf die neuesten und leistungsstärksten proprietären Modelle. Dieser Ansatz ist ideal, um den operativen Aufwand zu minimieren. Im Gegensatz dazu bietet ein offenes, selbst gehostetes Modell die umfassende Kontrolle, die für die Feinabstimmung mit proprietären Daten erforderlich ist. Für Arbeitslasten mit strengen Sicherheits- und Datenstandortanforderungen ist ebenfalls ein selbst gehostetes Modell erforderlich, da Sie das Modell damit in Ihrem eigenen Netzwerk ausführen können.

Um die Leistung des KI-Agenten zu verbessern, können Sie die Logik des Modells anpassen. Modelle wie die neuesten Gemini Pro- und Flash-Modelle verfügen über einen integrierten Denkprozess, der die logische Schlussfolgerung und die mehrstufige Planung verbessert. Zur Fehlerbehebung und Optimierung können Sie die Zusammenfassungen der Gedankengänge des Modells oder synthetisierte Versionen seiner internen Gedankengänge prüfen, um seinen Argumentationspfad nachzuvollziehen. Sie können die Reasoning-Funktionen des Modells steuern, indem Sie das Thinking-Budget oder die Anzahl der Thinking-Tokens an die Komplexität der Aufgabe anpassen. Ein höheres Thinking-Budget ermöglicht es dem Modell, detailliertere Überlegungen und Planungen anzustellen, bevor es eine Antwort liefert. Ein höheres Budget für den Denkaufwand kann die Antwortqualität verbessern, aber auch die Latenz und die Kosten erhöhen.

Wenn Sie Leistung und Kosten optimieren möchten, implementieren Sie Modell-Routing, um dynamisch das am besten geeignete Modell für jede Aufgabe basierend auf der Komplexität, den Kosten oder den Latenzanforderungen der Aufgabe auszuwählen. Sie können beispielsweise einfache Anfragen für strukturierte Aufgaben wie Codegenerierung oder Textklassifizierung an ein Small Language Model (SLM) weiterleiten und ein leistungsstärkeres und teureres Modell für komplexe Logik reservieren. Wenn Sie Modell-Routing in Ihrer agentischen Anwendung implementieren, können Sie ein kostengünstiges System erstellen, das eine hohe Leistung beibehält.

Google Cloud bietet Zugriff auf eine große Auswahl an Google-Modellen, Partnermodellen und offenen Modellen, die Sie in Ihrer agentischen Architektur verwenden können. Weitere Informationen zu den verfügbaren Modellen und zur Auswahl eines Modells, das Ihren Anforderungen entspricht, finden Sie unter Model Garden auf der Gemini Enterprise Agent Platform.

Modelllaufzeit

Eine Modelllaufzeit ist die Umgebung, in der Ihr KI-Modell gehostet und bereitgestellt wird und die seine Reasoning-Funktionen für Ihren Agenten verfügbar macht.

Modelllaufzeit auswählen

Beachten Sie die folgenden Hinweise, um die beste Laufzeit für das Hosten Ihrer KI-Modelle auszuwählen:

Anwendungsfall Modelllaufzeit
Sie benötigen eine vollständig verwaltete API, um Gemini-Modelle, Partnermodelle, offene Modelle oder benutzerdefinierte Modelle mit Sicherheit, Skalierung und generativen KI-Tools auf Unternehmensniveau bereitzustellen. Agent Platform
Sie müssen ein offenes oder benutzerdefiniertes containerisiertes Modell bereitstellen und legen Wert auf die Einfachheit und Kosteneffizienz von serverlosen Lösungen für variablen Traffic. Cloud Run
Sie benötigen maximale Kontrolle über die Infrastruktur, um ein offenes oder benutzerdefiniertes containerisiertes Modell auf spezialisierter Hardware auszuführen oder komplexe Sicherheits- und Netzwerkanforderungen zu erfüllen. GKE

Die folgenden Abschnitte bieten einen Überblick über die vorherigen Modelllaufzeiten, einschließlich wichtiger Funktionen und Designaspekte. In diesem Dokument geht es um die Agent Platform, Cloud Run und die Google Kubernetes Engine (GKE). Google Cloud bietet jedoch andere Dienste,die Sie für eine Modelllaufzeit in Betracht ziehen könnten:

  • Gemini API: Die Gemini API ist für Entwickler gedacht, die schnellen, direkten Zugriff auf Gemini-Modelle benötigen, ohne die Enterprise-Governance-Funktionen, die komplexe agentische Systeme oft erfordern.
  • Compute Engine: Die Compute Engine ist ein IaaS-Produkt (Infrastructure as a Service), das sich für Legacy-Anwendungen eignet. Im Vergleich zu modernen, containerbasierten Laufzeiten entsteht dadurch ein erheblicher Betriebsaufwand.

Weitere Informationen zu den Funktionen, die die einzelnen Dienstoptionen für Modelllaufzeiten unterscheiden, finden Sie unter Infrastruktur für das Modellhosting.

Agent Platform

Die Agent Platform bietet eine vollständig verwaltete, serverlose Umgebung, in der Ihre KI-Modelle gehostet werden. Sie können Google-Modelle, Partnermodelle und offene Modelle über eine sichere und skalierbare API bereitstellen und optimieren. Bei diesem Ansatz wird die gesamte Infrastrukturverwaltung abstrahiert, sodass Sie sich auf die Einbindung von Modellintelligenz in Ihre Anwendungen konzentrieren können.

Wenn Sie die Agent Platform als Modelllaufzeit verwenden, sollten Sie die folgenden wichtigen Funktionen und Überlegungen beachten:

  • Infrastrukturkontrolle: Eine vollständig verwaltete API für Ihre Modelle. Google verwaltet die zugrunde liegende Infrastruktur.
  • Sicherheit: Verwaltete Sicherheitsstandards und Standard-Compliance-Zertifizierungen reichen für Ihre Anforderungen aus. Um Prompt- und Antwortschutz zu bieten und Best Practices für eine verantwortungsbewusste Anwendung von KI zu gewährleisten, können Sie Model Armor in die Agent Platform einbinden.
  • Modellverfügbarkeit: Zugriff auf eine große Auswahl an Modellen, einschließlich der neuesten Gemini-Modelle, über eine verwaltete API.
  • Kosten: Nutzungsbasiertes Preismodell, das mit dem Traffic Ihrer Anwendung skaliert wird. Weitere Informationen finden Sie unter Kosten für das Erstellen und Bereitstellen von KI-Modellen in der Agent Platform.

Cloud Run

Cloud Run bietet eine serverlose Laufzeit, die Ihre Modelle in benutzerdefinierten Containern hostet. Cloud Run bietet ein ausgewogenes Verhältnis zwischen der vollständig verwalteten Einfachheit der Agent Platform und der umfassenden Infrastrukturkontrolle von GKE. Dieser Ansatz ist ideal, wenn Sie die Flexibilität benötigen, Ihr Modell in einer Containerumgebung auszuführen, ohne Server oder Cluster verwalten zu müssen.

Wenn Sie Cloud Run als Modelllaufzeit verwenden, sollten Sie die folgenden wichtigen Funktionen und Überlegungen beachten:

  • Infrastrukturkontrolle: Sie können jedes Modell in einem benutzerdefinierten Container ausführen, was Ihnen die volle Kontrolle über die Softwareumgebung gibt, während die Plattform die zugrunde liegende serverlose Infrastruktur verwaltet.
  • Sicherheit: Bietet Sicherheit durch sitzungsspezifische, isolierte Compute-Instanzen und ermöglicht sichere Verbindungen zu privaten Ressourcen über Direct VPC Egress oder einen Connector für serverlosen VPC-Zugriff. Weitere Informationen finden Sie unter Private Netzwerke und Cloud Run.
  • Modellverfügbarkeit: Offene Modelle wie Gemma oder eigene benutzerdefinierte Modelle bereitstellen. Sie können Gemini-Modelle nicht in Cloud Run hosten oder bereitstellen.
  • Kosten: Es gibt ein nutzungsbasiertes, anfragebasiertes Preismodell, das auf null skaliert werden kann. Dadurch ist es für Modelle mit sporadischem oder variablem Traffic sehr kosteneffizient. Weitere Informationen finden Sie unter Cloud Run-Preise.

GKE

Die GKE bietet die größte Kontrolle und Flexibilität beim Hosten Ihrer KI-Modelle. Bei diesem Ansatz führen Sie Ihre Modelle in Containern in einem GKE-Cluster aus, den Sie konfigurieren und verwalten. Die GKE ist die ideale Wahl, wenn Sie Modelle auf spezialisierter Hardware ausführen, sie für minimale Latenz mit Ihren Anwendungen zusammenlegen oder eine detaillierte Kontrolle über jeden Aspekt der Bereitstellungsumgebung benötigen.

Wenn Sie GKE als Modelllaufzeit verwenden, sind die folgenden wichtigen Funktionen und Überlegungen zu beachten:

  • Infrastrukturkontrolle: Bietet maximale, detaillierte Kontrolle über die gesamte Bereitstellungsumgebung, einschließlich Knotenkonfigurationen, spezialisierter Maschinenbeschleuniger und der spezifischen Software für die Modellbereitstellung.
  • Sicherheit: Ermöglicht ein Höchstmaß an Sicherheit und Datenisolation, da Sie Modelle vollständig in Ihrem Netzwerk ausführen und detaillierte Kubernetes-Sicherheitsrichtlinien anwenden können. Wenn Sie den Traffic zu und von einem GKE-Cluster filtern und alle Interaktionen mit den KI-Modellen schützen möchten, können Sie Model Armor in GKE einbinden .
  • Modellverfügbarkeit: Offene Modelle wie Gemma oder eigene benutzerdefinierte Modelle bereitstellen. Sie können Gemini-Modelle nicht in der GKE hosten oder bereitstellen.
  • Kosten: Das Kostenmodell basiert auf den zugrunde liegenden Rechen- und Clusterressourcen, die Sie verbrauchen. Wenn Sie Rabatte für zugesicherte Nutzung verwenden, ist es daher für vorhersehbare Arbeitslasten mit hohem Volumen optimiert. Weitere Informationen finden Sie unter Google Kubernetes Engine – Preise.

Agent Runtime

Zum Hosten und Bereitstellen Ihrer agentischen Anwendung müssen Sie eine Agent Runtime auswählen. Dieser Dienst führt Ihren Anwendungscode aus – die Geschäftslogik und Orchestrierung, die Sie schreiben, wenn Sie ein Framework für die Agentenentwicklung verwenden. Von dieser Laufzeit aus führt Ihre Anwendung API-Aufrufe an die Modelle aus, die von der von Ihnen ausgewählten Modelllaufzeit gehostet und verwaltet werden.

Agent Runtime auswählen

Beachten Sie bei der Auswahl der Laufzeit für das Hosting Ihrer KI-Agenten die folgenden Hinweise:

Anwendungsfall Agent Runtime
Ihre Anwendung ist ein Python-Agent und erfordert eine vollständig verwaltete Umgebung mit minimalem Betriebsaufwand. Agent Runtime auf der Gemini Enterprise Agent Platform
Ihre Anwendung ist containerisiert und erfordert eine serverlose, ereignisgesteuerte Skalierung mit Sprachflexibilität. Cloud Run
Ihre Anwendung ist containerisiert, hat komplexe zustandsorientierte Anforderungen und erfordert eine detaillierte Infrastrukturkonfiguration. GKE

Wenn Sie bereits Anwendungen in Cloud Run oder GKE verwalten, können Sie die Entwicklung beschleunigen und den langfristigen Betrieb vereinfachen, indem Sie dieselbe Plattform für Ihre agentische Arbeitslast verwenden.

In den folgenden Abschnitten finden Sie eine Übersicht über die einzelnen Agent-Laufzeiten, einschließlich wichtiger Funktionen und Designaspekte.

Agent Runtime

Die Agent Runtime ist eine vollständig verwaltete, vordefinierte Laufzeit, mit der Sie agentische Anwendungen bereitstellen, betreiben und skalieren können. Die Agent Runtime abstrahiert die zugrunde liegende Infrastruktur, sodass Sie sich auf die Agentenlogik statt auf den Betrieb konzentrieren können.

Im Folgenden finden Sie Funktionen und Überlegungen zur Agent Runtime:

  • Flexibilität bei Programmiersprache und Framework: Entwickeln Sie Agenten in Python mit allen unterstützten Frameworks.
  • Kommunikationsprotokolle: Orchestrieren Sie Agenten und Tools, die MCP und A2A verwenden. Agent Runtime verwaltet die Laufzeit für diese Komponenten effizient, unterstützt aber nicht das Hosting von benutzerdefinierten MCP-Servern.

  • Memory: Bietet integrierte, verwaltete Speicherfunktionen, sodass keine externen Datenbanken für den Kernspeicher des KI-Agenten konfiguriert werden müssen.

  • Skalierbarkeit: Automatische Skalierung, um die Anforderungen Ihrer agentischen Arbeitslast zu erfüllen, sodass keine manuelle Konfiguration erforderlich ist.
  • Beobachtbarkeit: Bietet integriertes Logging, Monitoring und Tracing über Google Cloud Observability-Dienste.
  • Sicherheit: Bietet die folgende Zuverlässigkeit, Skalierbarkeit und Compliance auf Unternehmensebene:

    Informationen zu den Sicherheitsfunktionen von Agent Runtime finden Sie unter Unternehmenssicherheit.

Die Agent Runtime beschleunigt den Weg zur Produktion, da sie eine speziell entwickelte, verwaltete Umgebung bietet, die viele komplexe Aspekte beim Betrieb von Agenten übernimmt, z. B. die Verwaltung des Lebenszyklus und des Kontexts. Die Agent Runtime ist weniger für Anwendungsfälle geeignet, die eine umfassende Anpassung der Compute-Umgebung oder andere Programmiersprachen als Python erfordern. Für Arbeitslasten mit strengen Sicherheitsanforderungen für die Verwaltung privater Abhängigkeiten bieten Cloud Run und GKE einen direkteren, IAM-basierten Konfigurationspfad.

Cloud Run

Cloud Run ist eine vollständig verwaltete, serverlose Plattform, mit der Sie den Code Ihrer Agentenanwendung in einem zustandslosen Container ausführen können. Cloud Run ist ideal, wenn Sie die gesamte Agent-Anwendung, einzelne Komponenten oder benutzerdefinierte Tools als skalierbare HTTP-Endpunkte bereitstellen möchten, ohne die zugrunde liegende Infrastruktur verwalten zu müssen.

Im Folgenden finden Sie Features und Überlegungen zu Cloud Run:

  • Flexibilität bei Programmiersprache und Framework: Wenn Sie Ihre Anwendung in einem Container verpacken, können Sie Agenten in jeder Programmiersprache und mit jedem Framework entwickeln.
  • Kommunikationsprotokolle: Orchestrieren Sie Agenten und Tools, die MCP und A2A verwenden. MCP-Clients und ‑Server mit streamfähigem HTTP-Transport in Cloud Run hosten.
  • Arbeitsspeicher: Cloud Run-Instanzen sind zustandslos. Das bedeutet, dass eine Instanz nach dem Beenden alle Daten im Arbeitsspeicher verliert. Wenn Sie einen nichtflüchtigen Speicher implementieren möchten, verbinden Sie Ihren Dienst mit einem verwalteten Google Cloud -Speicherdienst:
  • Skalierbarkeit: Skaliert die Anzahl der Instanzen automatisch basierend auf dem eingehenden Traffic und skaliert Instanzen auch auf null herunter. Diese Funktion trägt dazu bei, dass Cloud Run für Anwendungen mit variablen Arbeitslasten kostengünstig ist.
  • Beobachtbarkeit: Bietet integriertes Logging, Monitoring und Tracing über Google Cloud Observability-Dienste. Weitere Informationen finden Sie unter Monitoring und Logging – Übersicht.
  • Sicherheit: Bietet die folgenden Sicherheitskontrollen für Ihre Agenten:

Cloud Run bietet eine erhebliche Vereinfachung des Betriebs und Kosteneffizienz, da die Infrastrukturverwaltung entfällt. Aufgrund der zustandslosen Natur von Cloud Run müssen Sie jedoch einen Speicherdienst verwenden, um den Kontext über einen mehrstufigen Workflow hinweg zu verwalten. Außerdem beträgt das maximale Zeitlimit für Anfragen für Cloud Run-Dienste bis zu einer Stunde, was lang andauernde agentische Aufgaben einschränken kann.

GKE

Google Kubernetes Engine ist ein verwalteter Containerorchestrierungsdienst, der eine detaillierte Kontrolle über die Architektur und Infrastruktur Ihrer agentischen Anwendung bietet. Die GKE eignet sich für komplexe agentische Systeme, die robuste, produktionsreife Funktionen erfordern, oder wenn Sie bereits GKE-Kunde sind und einen agentischen Workflow zusätzlich zu Ihrer vorhandenen Anwendung implementieren möchten.

Die folgenden Features und Überlegungen sind in GKE verfügbar:

Die GKE bietet maximale Kontrolle und Flexibilität, sodass Sie komplexe, zustandsorientierte Agenten ausführen können. Diese Kontrolle ist jedoch mit erheblichem Betriebsaufwand und hoher Komplexität verbunden. Sie müssen den Kubernetes-Cluster konfigurieren und verwalten, einschließlich Knotenpools, Netzwerk- und Skalierungsrichtlinien. Dies erfordert mehr Fachwissen und Entwicklungsaufwand als eine serverlose Plattform.

Nächste Schritte

Beitragende

Autor: Samantha He | Technical Writer

Weitere Beitragende: