Komponenten für Ihre agentische KI-Architektur auswählen

Last reviewed 2026-04-21 UTC

Dieses Dokument bietet eine Anleitung zur Auswahl von Architekturkomponenten für Ihre agentenbasierten KI-Anwendungen in Google Cloud. Darin wird beschrieben, wie Sie die Merkmale Ihrer Anwendung und Arbeitslast bewerten, um ein geeignetes Produkt oder einen geeigneten Dienst auszuwählen, das bzw. der Ihren Anforderungen am besten entspricht. Der Prozess zum Entwerfen einer agentischen KI-Architektur ist iterativ. Sie sollten Ihre Architektur regelmäßig neu bewerten, wenn sich die Merkmale Ihrer Arbeitslast ändern, sich Ihre Anforderungen weiterentwickeln oder neue Google Cloud Produkte und ‑Funktionen verfügbar werden.

KI-Agenten eignen sich für Anwendungen, die offene Probleme lösen, die möglicherweise eine autonome Entscheidungsfindung und ein komplexes mehrstufiges Workflowmanagement erfordern. KI-Agenten können Probleme in Echtzeit mithilfe externer Daten lösen und wissensintensive Aufgaben automatisieren. Mit diesen Funktionen können Kundenservicemitarbeiter mehr geschäftlichen Mehrwert bieten als mit den unterstützenden und generativen Funktionen eines KI-Modells.

Sie können KI-Agents für deterministische Probleme mit vordefinierten Schritten verwenden. Andere Ansätze können jedoch effizienter und kostengünstiger sein. Für Aufgaben wie das Zusammenfassen eines Dokuments, das Übersetzen von Text oder das Klassifizieren von Kundenfeedback ist beispielsweise kein Agent-Workflow erforderlich.

Informationen zu alternativen KI-Lösungen ohne Agent finden Sie in den folgenden Ressourcen:

Übersicht über die Agentenarchitektur

Ein Agent ist eine Anwendung, die ein Ziel erreicht, indem sie Eingaben verarbeitet, mit verfügbaren Tools Reasoning durchführt und auf der Grundlage ihrer Entscheidungen Maßnahmen ergreift. Ein Agent verwendet ein KI-Modell als zentrale Reasoning Engine, um komplexe Aufgaben zu automatisieren. Der Agent verwendet eine Reihe von Tools, mit denen das KI-Modell mit externen Systemen und Datenquellen interagieren kann. Ein Agent kann ein Speichersystem verwenden, um den Kontext beizubehalten und aus Interaktionen zu lernen. Ziel einer agentischen Architektur ist es, ein autonomes System zu schaffen, das die Intention eines Nutzers verstehen, einen mehrstufigen Plan erstellen und diesen Plan mit den verfügbaren Tools ausführen kann.

Das folgende Diagramm bietet einen allgemeinen Überblick über die Architekturkomponenten eines Agentensystems:

Die Architekturkomponenten eines KI-Agenten-Systems.

Die Architektur des Agentensystems umfasst die folgenden Komponenten:

  • Frontend-Framework: Eine Sammlung von vorgefertigten Komponenten, Bibliotheken und Tools, mit denen Sie die Benutzeroberfläche für Ihre Anwendung erstellen.
  • Framework für die Entwicklung von Agents: Die Frameworks und Bibliotheken, die Sie zum Erstellen und Strukturieren der Logik Ihres Agents verwenden.
  • Agent-Tools: Die Sammlung von Tools wie APIs, Diensten und Funktionen, mit denen Daten abgerufen und Aktionen oder Transaktionen ausgeführt werden.
  • Arbeitsspeicher des Agents: Das System, das Ihr Agent zum Speichern und Abrufen von Informationen verwendet.
  • Agent-Designmuster: Gängige Architekturansätze zum Strukturieren Ihrer agentischen Anwendung.
  • Agent-Laufzeit: Die Rechenumgebung, in der die Anwendungslogik Ihres Agenten ausgeführt wird.
  • KI-Modelle: Die Reasoning Engine, die die Entscheidungsfindung Ihres KI-Agents ermöglicht.
  • Modell-Laufzeit: Die Infrastruktur, auf der Ihr KI-Modell gehostet und bereitgestellt wird.

In den folgenden Abschnitten finden Sie eine detaillierte Analyse der Komponenten, die Ihnen bei der Entscheidung helfen soll, wie Sie Ihre Architektur erstellen. Die von Ihnen ausgewählten Komponenten wirken sich auf die Leistung, Skalierbarkeit, Kosten und Sicherheit Ihres Agenten aus. In diesem Dokument werden die wichtigsten Architekturkomponenten beschrieben, die Sie zum Erstellen und Bereitstellen der grundlegenden Logik für die Entscheidungsfindung und Ausführung eines KI-Agenten verwenden. Themen wie verantwortungsbewusste KI-Sicherheitsframeworks und die Verwaltung der Agentenidentität werden in diesem Dokument nicht behandelt.

Frontend-Framework

Das Frontend-Framework ist eine Sammlung von vorgefertigten Komponenten, Bibliotheken und Tools, mit denen Sie die Benutzeroberfläche für Ihre Agent-Anwendung erstellen. Das von Ihnen ausgewählte Frontend-Framework definiert die Anforderungen an Ihr Backend. Für eine einfache Schnittstelle für eine interne Demo ist möglicherweise nur eine synchrone HTTP-API erforderlich, während für eine Produktionsanwendung ein Backend erforderlich ist, das Streamingprotokolle und eine robuste Statusverwaltung unterstützt.

Es gibt folgende Kategorien von Frameworks:

  • Frameworks für Prototyping und interne Tools: Für die schnelle Entwicklung, interne Demos und Proof-of-Concept-Anwendungen sollten Sie Frameworks auswählen, bei denen die Entwicklerfreundlichkeit und Geschwindigkeit im Vordergrund stehen. Diese Frameworks bevorzugen in der Regel ein einfaches und synchrones Modell, das als Anfrage-Antwort-Modell bezeichnet wird. Mit einem Anfrage-/Antwort-Modell können Sie eine funktionale Benutzeroberfläche mit minimalem Code und einem einfacheren Backend als bei einem Produktionsframework erstellen. Dieser Ansatz eignet sich ideal, um die Agent-Logik und Tool-Integrationen schnell zu testen. Er ist jedoch möglicherweise nicht für hochgradig skalierbare, öffentliche Anwendungen geeignet, die Echtzeitinteraktionen erfordern. Zu den gängigen Frameworks in dieser Kategorie gehören Mesop und Gradio.
  • Produktionsframeworks: Wenn Sie skalierbare, responsive und funktionsreiche Anwendungen für externe Nutzer entwickeln möchten, sollten Sie ein Framework auswählen, das benutzerdefinierte Komponenten ermöglicht. Diese Frameworks erfordern eine Backend-Architektur, die eine moderne Nutzererfahrung unterstützt. Ein Produktionsframework sollte Unterstützung für Streamingprotokolle, ein zustandsloses API-Design und ein robustes, externalisiertes Speichersystem zur Verwaltung des Konversationsstatus über mehrere Nutzersitzungen hinweg umfassen. Zu den gängigen Frameworks für Produktionsanwendungen gehören Streamlit, React und das Flutter AI Toolkit.

Um die Kommunikation zwischen diesen Frameworks und Ihrem KI-Agenten zu verwalten, können Sie das AG-UI-Protokoll (Agent–User Interaction) verwenden. AG-UI ist ein offenes Protokoll, mit dem Backend-KI-Agenten mit Ihrem Frontend-Framework interagieren können. AG-UI teilt dem Frontend-Framework mit, wann die Antwort des Agenten gerendert, der Anwendungsstatus aktualisiert oder eine clientseitige Aktion ausgelöst werden soll. Um interaktive KI-Anwendungen zu entwickeln, kombinieren Sie AG-UI mit dem Agent Development Kit (ADK). Informationen zum ADK finden Sie im nächsten Abschnitt „Frameworks für die Entwicklung von Agenten“.

Frameworks für die Entwicklung von KI-Agenten

Frameworks für die Entwicklung von Agenten sind Bibliotheken, die das Erstellen, Testen und Bereitstellen von agentischen KI-Anwendungen vereinfachen. Diese Entwicklungstools bieten vorgefertigte Komponenten und Abstraktionen für die wichtigsten Agent-Funktionen, darunter Reasoning-Schleifen, Speicher und Tool-Integration.

Um die Entwicklung von KI-Agenten in Google Cloudzu beschleunigen, empfehlen wir die Verwendung des ADK. Das ADK ist ein Open-Source-, meinungsbasiertes und modulares Framework, das eine hohe Abstraktionsebene für das Erstellen und Orchestrieren von Workflows bietet – von einfachen Aufgaben bis hin zu komplexen Multi-Agenten-Systemen.

Das ADK ist für Gemini-Modelle und Google Cloudoptimiert, wurde aber für die Kompatibilität mit anderen Frameworks entwickelt. Das ADK unterstützt andere KI-Modelle und ‑Laufzeiten, sodass Sie es mit jedem Modell oder jeder Bereitstellungsmethode verwenden können. Bei Multi-Agent-Systemen unterstützt das ADK die Interaktion über gemeinsame Sitzungsstatus, die modellgesteuerte Delegation zum Weiterleiten von Aufgaben zwischen Agents und den expliziten Aufruf, mit dem ein Agent einen anderen Agent als Funktion oder Tool aufrufen kann.

Damit Sie schnell einsteigen können, bietet das ADK Codebeispiele in Python, Java und Go, die eine Vielzahl von Anwendungsfällen in verschiedenen Branchen veranschaulichen. Viele dieser Beispiele konzentrieren sich zwar auf Konversationsabläufe, das ADK eignet sich aber auch gut für die Entwicklung autonomer Agents, die Backend-Aufgaben ausführen. Wählen Sie für diese nicht interaktiven Anwendungsfälle ein Agent-Designmuster aus, das sich durch die Verarbeitung einer einzelnen, in sich geschlossenen Anfrage auszeichnet und eine robuste Fehlerbehandlung implementiert.

Sie können auch ein allgemeines KI-Framework wie Genkit verwenden, um eine benutzerdefinierte Agent-Architektur zu erstellen. Genkit bietet Primitiven, mit denen Sie die Agentenlogik detailliert steuern können, ohne die Abstraktion auf hoher Ebene, die ADK bietet. Ein spezielles Agenten-Framework wie das ADK bietet jedoch spezielle Tools für die Entwicklung von agentischen Anwendungen.

Tools von KI-Agenten

Die Fähigkeit eines KI-Agenten, über Tools mit externen Systemen zu interagieren, bestimmt seine Effektivität. Agent-Tools sind Funktionen oder APIs, die dem KI-Modell zur Verfügung stehen und die der Agent verwendet, um die Ausgabe zu optimieren und Aufgaben zu automatisieren. Wenn Sie einen KI-Agenten mit externen Systemen verbinden, verwandeln Tools den Agenten von einem einfachen Textgenerator in ein System, das komplexe, mehrstufige Aufgaben automatisieren kann.

Wählen Sie eines der folgenden Muster für die Tool-Nutzung aus, um Tool-Interaktionen zu aktivieren:

Anwendungsfall Muster der Toolnutzung
Sie müssen eine gängige Aufgabe wie eine Websuche, eine Berechnung oder die Ausführung von Code ausführen und möchten die erste Entwicklungsphase beschleunigen. Integrierte Tools
Sie möchten ein modulares oder Multi-Agenten-System erstellen, das interoperable und wiederverwendbare Tools erfordert. Model Context Protocol (MCP)
Sie müssen eine große Anzahl von API-basierten Tools auf Unternehmensniveau verwalten, schützen und überwachen. API-Verwaltungsplattform
Sie müssen eine bestimmte interne API oder eine API eines Drittanbieters einbinden, für die kein MCP-Server vorhanden ist. Benutzerdefinierte Funktionstools

Wenn Sie Tools für Ihren Agenten auswählen, sollten Sie sie anhand ihrer funktionalen Fähigkeiten und ihrer betrieblichen Zuverlässigkeit bewerten. Priorisieren Sie Tools, die beobachtbar und einfach zu debuggen sind und eine robuste Fehlerbehandlung bieten. Diese Funktionen helfen Ihnen, Aktionen nachzuvollziehen und Fehler schnell zu beheben. Bewerten Sie außerdem die Fähigkeit des KI-Agents, das richtige Tool auszuwählen, um die zugewiesenen Aufgaben erfolgreich zu erledigen.

Integrierte Tools

Das ADK bietet mehrere integrierte Tools, die direkt in die Laufzeit des KI-Agenten eingebunden sind. Sie können diese Tools als Funktionen aufrufen, ohne externe Kommunikationsprotokolle zu konfigurieren. Diese Tools bieten gängige Funktionen, darunter den Zugriff auf Echtzeitinformationen aus dem Web, die programmatische Ausführung von Code in einer sicheren Umgebung, das Abrufen von Informationen aus privaten Unternehmensdaten zur Implementierung von RAG und die Interaktion mit strukturierten Daten in Cloud-Datenbanken. Die integrierten Tools funktionieren zusammen mit allen benutzerdefinierten Tools, die Sie erstellen.

MCP

Damit die Komponenten Ihres Agentensystems interagieren können, müssen Sie klare Kommunikationsprotokolle festlegen. MCP ist ein offenes Protokoll, das eine standardisierte Schnittstelle für den Zugriff von KI-Agenten auf die erforderlichen Tools, Daten und anderen Dienste bietet.

MCP entkoppelt die grundlegende Logik des KI-Agenten von der spezifischen Implementierung seiner Tools. Das ist ähnlich wie bei einem Standard-Hardwareanschluss, über den verschiedene Peripheriegeräte mit einem Gerät verbunden werden können.

MCP bietet folgende Vorteile:

  • Die Tool-Integration wird durch vorgefertigte Connectors vereinfacht. Wenn einem MCP-Server weitere Tools hinzugefügt werden, erkennt der Agent die Tools ohne zusätzliche Konfiguration.
  • Bietet eine einheitliche Möglichkeit zum Erstellen benutzerdefinierter Integrationen.
  • Bietet Flexibilität und fördert die Interoperabilität zwischen verschiedenen Modellen und Tools.

Sie können MCP-Server in Ihrem agentischen KI-System mit den folgenden Methoden implementieren:

  • Google Cloud-MCP-Server: Wenn Sie eine Verbindung zu Google- und Google Cloud -Diensten herstellen möchten, stellen Sie eine Verbindung zu Remote-MCP-Servern her, die vollständig von Google verwaltet werden. Diese Server erweitern Ihre vorhandene Infrastruktur, indem sie eine einheitliche Ebene für alle von Ihnen verwendeten Google- und Google Cloud -Dienste bereitstellen. Diese Server bieten zustandslose Skalierung und Integration mit Identity and Access Management (IAM) und Cloud-Audit-Logs. Eine Liste der Google Cloud-MCP-Server finden Sie unter Unterstützte Produkte.
  • Remote-MCP-Server: Wenn Sie eine Verbindung zu externen APIs herstellen möchten, müssen Sie eine Verbindung zu einem Remote-MCP-Server herstellen, der von einem Drittanbieter gehostet und verwaltet wird.
  • Selbst gehostete MCP-Server: Wenn Sie Ihre eigene Agent-Logik und benutzerdefinierte Tools implementieren möchten, hosten Sie Ihren eigenen MCP-Server. Sie haben die volle Kontrolle darüber, wie Sie proprietäre oder Drittanbieter-APIs für Ihre Agenten bereitstellen. Wenn Sie einen eigenen benutzerdefinierten MCP-Server hosten möchten, stellen Sie ihn als containerisierte Anwendung in Cloud Run oder Google Kubernetes Engine (GKE) bereit.

API-Verwaltungsplattform

Eine API-Verwaltungsplattform ist ein zentralisiertes System, mit dem Sie interne oder externe Dienste über APIs sichern, überwachen und steuern können. Eine API-Verwaltungsplattform bietet einen zentralen Ort, an dem Sie alle APIs Ihrer Organisation katalogisieren, die Bereitstellung von Daten vereinfachen und die Beobachtbarkeit durch Nutzungs-Monitoring ermöglichen.

Wenn Sie die API-basierten Tools Ihres Agents im großen Maßstab in Google Cloudverwalten möchten, empfehlen wir Ihnen, den Apigee API Hub zu verwenden. Über den API-Hub können Agents sofort über direkte HTTP-Aufrufe, vorgefertigte Connectors, benutzerdefinierte APIs, die im Hub registriert sind, oder direkten Zugriff auf Google Cloud Datenquellen auf Daten zugreifen. So haben Ihre Kundenservicemitarbeiter sofort Zugriff auf die benötigten Informationen, ohne dass Sie benutzerdefinierte Pipelines für das Laden und Integrieren von Daten erstellen müssen.

Eine API-Verwaltungsplattform und ein Kommunikationsprotokoll wie MCP lösen unterschiedliche architektonische Probleme. Ein Kommunikationsprotokoll standardisiert das Interaktionsformat zwischen dem Agent und dem Tool. So wird sichergestellt, dass Komponenten wiederverwendbar sind und ausgetauscht werden können. Im Gegensatz dazu regelt eine API-Verwaltungsplattform den Lebenszyklus und die Sicherheit des API-Endpunkt und übernimmt Aufgaben wie Authentifizierung, Ratenbegrenzung und Monitoring. Diese Muster ergänzen sich. Ein Agent kann beispielsweise MCP verwenden, um mit einem Tool zu kommunizieren. Dieses Tool kann wiederum ein sicherer API-Endpunkt sein, der vom API-Hub verwaltet und geschützt wird.

Benutzerdefiniertes Funktionstool

Ein Funktionstool bietet einem Agenten neue Funktionen. Sie können ein benutzerdefiniertes Funktionstool schreiben, um Ihrem Agenten spezielle Funktionen zu geben, z. B. die Integration in eine externe API oder ein proprietäres Geschäftssystem. Das Schreiben eines benutzerdefinierten Funktionstools ist das gängigste Muster, um die Fähigkeiten eines KI-Agenten über das hinaus zu erweitern, was integrierte Tools bieten können.

Um ein benutzerdefiniertes Funktionstool zu erstellen, schreiben Sie eine Funktion in Ihrer bevorzugten Programmiersprache und geben dann eine klare Beschreibung in natürlicher Sprache für den Zweck, die Parameter und die Rückgabewerte an. Das Modell des KI-Agents verwendet diese Beschreibung, um zu entscheiden, wann das Tool benötigt wird, welche Eingaben erforderlich sind und wie die Ausgabe interpretiert werden muss, um die Anfrage eines Nutzers zu bearbeiten.

Sie können auch ein benutzerdefiniertes Funktions-Tool erstellen, das eine Agent-as-a-Tool-Funktion implementiert. Eine Agent-as-a-Tool-Funktion macht einen Agenten als aufrufbare Funktion verfügbar, die von einem anderen Agenten aufgerufen werden kann. Mit dieser Technik können Sie komplexe Multi-Agenten-Systeme erstellen, in denen ein Agent spezialisierte Aufgaben koordinieren und an andere, spezialisierte Agenten delegieren kann. Weitere Informationen zu Agent-Designmustern und zur Koordination der Orchestrierung mehrerer Agents finden Sie weiter unten in diesem Dokument im Abschnitt Agent-Designmuster.

Tool-Schwemme

Tool-Bloat tritt auf, wenn Sie zu viele Tool-Definitionen im System-Prompt eines KI-Modells angeben. Ein Modell kann durch eine übermäßige Anzahl von Tools, komplexe Parameter oder detaillierte Beschreibungen im Kontextfenster des Modells überfordert sein.

Wenn ein KI-Agent mit zu vielen Tools überlastet ist, können die folgenden Probleme auftreten:

  • Geringere Genauigkeit: Irrelevante Tokens lenken die Aufmerksamkeit des Modells im Kontextfenster ab. Wenn die Aufmerksamkeit des Modells nachlässt, kann es das richtige Tool nur schwer vom Rauschen unterscheiden.
  • Höhere Kosten und Latenz: Eine einzelne Nutzeranfrage kann mehrere verborgene Reasoning-Schleifen und Tool-Ausführungen auslösen. Eine Erhöhung der Anzahl von Schleifen und Ausführungen führt zu einer entsprechenden Erhöhung der Kosten und der Antwortzeiten des Tools.

Um die Anzahl der Tools zu reduzieren, können Sie die folgenden Strategien implementieren:

  • Toolkomplexität begrenzen: Hier sind einige Empfehlungen für prägnante Tooldefinitionen:
    • Verwenden Sie primitive Datentypen anstelle komplexer verschachtelter Objekte.
    • Beschränken Sie die Anzahl der Parameter für Tools auf weniger als fünf.
    • Beschränken Sie den Entscheidungsfindungsprozess des Modells mit enums anstelle von Freitext-Strings.
  • Granulare Toolsets bereitstellen: Teilen Sie monolithische Server in granulare, fokussierte Toolsets auf, die auf bestimmten Nutzeraktionen basieren. Ein großer Cloud SQL-Server kann beispielsweise in ein Administrator-Toolset für DevOps-Agents und ein Daten-Toolset für App-Agents unterteilt werden.
  • Progressive Einblendung implementieren: Designen Sie Systeme so, dass relevanter Kontext und relevante Funktionen dynamisch freigeschaltet werden, wenn sie benötigt werden, anstatt alles im Voraus zu laden. Wenn Sie einen Ansatz mit progressiver Offenlegung implementieren möchten, verwenden Sie die folgenden Strategien:
    • Suchtoolmuster: Um den Tokenverbrauch zu reduzieren, implementieren Sie einen KI-Agenten, der ein einzelnes Suchtool verwendet, um nur das relevante Toolschema dynamisch zu laden.
    • KI-Agenten-Skills: KI-Agenten-Skills sind ein Standardformat, das die progressive Ermittlung von Anweisungen, Skripts und anderen Ressourcen ermöglicht. Um den Kontext zu minimieren, definieren Sie eine Agent-Fähigkeit, die den Agent anweist, zusätzlichen Kontext nur bei Bedarf abzurufen.
    • Multi-Agenten-Delegierung: Um das Kontextfenster eines Agenten zu verkleinern, implementieren Sie ein Multi-Agenten-System, in dem ein Coordinator-Agent eine bestimmte Aufgabe an einen spezialisierten Sub-Agenten delegiert. So werden nur relevante Tools geladen und das Kontextfenster des Coordinator-Agents bleibt übersichtlich.

Diese Strategien schließen sich nicht gegenseitig aus und sollten je nach Architektur und Arbeitslastanforderungen kombiniert werden.

Arbeitsspeicher des KI-Agenten

Die Fähigkeit eines Agents, sich an vergangene Interaktionen zu erinnern, ist von grundlegender Bedeutung, um eine kohärente und nützliche Konversationserfahrung zu bieten. Wenn Sie zustandsbehaftete, kontextsensitive Agents erstellen möchten, müssen Sie Mechanismen für das Kurzzeit- und Langzeitgedächtnis implementieren. In den folgenden Abschnitten werden die Designentscheidungen und Dienste erläutert, die Sie verwenden können, um sowohl das Kurzzeit- als auch das Langzeitgedächtnis für Ihren Agent zu implementieren. Google Cloud

Kurzzeitgedächtnis

Das Kurzzeitgedächtnis ermöglicht es einem KI-Agenten, den Kontext in einer einzelnen, laufenden Unterhaltung beizubehalten. Wenn Sie das Kurzzeitgedächtnis implementieren möchten, müssen Sie sowohl die Sitzung als auch den zugehörigen Status verwalten.

  • Sitzung: Eine Sitzung ist der Unterhaltungsstrang zwischen einem Nutzer und dem Agenten, von der ersten Interaktion bis zum Ende des Dialogs.
  • Status: Der Status sind die Daten, die der Agent in einer bestimmten Sitzung verwendet und erhebt. Zu den erfassten Statusdaten gehören der Verlauf der Nachrichten, die der Nutzer und der Agent ausgetauscht haben, die Ergebnisse von Tool-Aufrufen und andere Variablen, die der Agent benötigt, um den Kontext der Unterhaltung zu verstehen.

Im Folgenden finden Sie Optionen für die Implementierung des Kurzzeitgedächtnisses mit dem ADK:

  • In-Memory-Speicher: Für die Entwicklung, das Testen oder einfache Anwendungen, die auf einer einzelnen Instanz ausgeführt werden, können Sie den Sitzungsstatus direkt im Speicher Ihrer Anwendung speichern. Der Agent verwendet eine Datenstruktur, z. B. ein Dictionary oder ein Objekt, um eine Liste von Schlüssel/Wert-Paaren zu speichern, und aktualisiert diese Werte während der Sitzung. Wenn Sie jedoch den In-Memory-Speicher verwenden, ist der Sitzungsstatus nicht persistent. Wenn die Anwendung neu gestartet wird, geht der gesamte Unterhaltungsverlauf verloren.

  • Externe Statusverwaltung: Für Produktionsanwendungen, die Skalierbarkeit und Zuverlässigkeit erfordern, empfehlen wir, eine zustandslose Agent-Anwendung zu erstellen und den Sitzungsstatus in einem externen Speicherdienst zu verwalten. In dieser Architektur wird bei jeder Anfrage an die Agent-Anwendung der aktuelle Unterhaltungsstatus aus dem externen Speicher abgerufen, der neue Turn verarbeitet und der aktualisierte Status wieder im Speicher gespeichert. Dieses Design ermöglicht es Ihnen, Ihre Anwendung horizontal zu skalieren, da jede Instanz die Anfrage eines beliebigen Nutzers bearbeiten kann. Häufige Optionen für die externe Statusverwaltung sind Memorystore for Redis, Firestore oder Gemini Enterprise Agent Platform Sessions.

    Wenn Sie das ADK verwenden, ist für DatabaseSessionService eine relationale Datenbank wie Cloud SQL erforderlich.

Langzeitgedächtnis

Langzeitgedächtnis: Der KI-Agent hat eine dauerhafte Wissensdatenbank, die für alle Unterhaltungen einzelner Nutzer verfügbar ist. Mit dem Langzeitspeicher kann der Agent externe Informationen abrufen und verwenden, aus früheren Interaktionen lernen und genauere und relevantere Antworten geben.

Im Folgenden finden Sie Optionen zum Implementieren des Langzeitgedächtnisses mit dem ADK:

  • Speicherinterner Speicher: Für die Entwicklung und das Testen können Sie den Sitzungsstatus direkt im Speicher Ihrer Anwendung speichern. Dieser Ansatz ist einfach zu implementieren, aber nicht dauerhaft. Wenn die Anwendung neu gestartet wird, geht der Unterhaltungsverlauf verloren. Normalerweise implementieren Sie dieses Muster mit einem In-Memory-Provider in einem Entwicklungs-Framework, z. B. InMemoryMemoryService, das im ADK für Tests enthalten ist.
  • Externer Speicher: Verwalten Sie für Produktionsanwendungen die Wissensdatenbank Ihres Agenten in einem externen, nichtflüchtigen Speicherdienst. Ein externer Speicherdienst sorgt dafür, dass das Wissen Ihres KI-Agenten dauerhaft, skalierbar und über mehrere Anwendungsinstanzen hinweg zugänglich ist. Verwenden Sie Memory Bank für die langfristige Speicherung mit einer beliebigen Agent-Laufzeit auf Google Cloud.

Entwurfsmuster für Agents

Agent-Designmuster sind gängige architektonische Ansätze zum Erstellen von Agent-Anwendungen. Diese Muster bieten ein eigenes Framework zum Organisieren der Komponenten eines Systems, zum Einbinden des KI-Modells und zum Orchestrieren eines einzelnen oder mehrerer Agents, um einen Workflow auszuführen. Um herauszufinden, welcher Ansatz für Ihren Workflow am besten geeignet ist, müssen Sie die Komplexität und den Workflow Ihrer Aufgaben sowie die Anforderungen an Latenz, Leistung und Kosten berücksichtigen.

Ein System mit einem einzelnen Agenten stützt sich auf die Reasoning-Fähigkeiten eines Modells, um die Anfrage eines Nutzers zu interpretieren, eine Abfolge von Schritten zu planen und zu entscheiden, welche Tools verwendet werden sollen. Dieser Ansatz ist ein guter Ausgangspunkt, mit dem Sie sich auf die Optimierung der Kernlogik, Prompts und Tool-Definitionen konzentrieren können, bevor Sie die Architektur komplexer gestalten. Die Leistung eines einzelnen Agenten kann jedoch nachlassen, wenn die Aufgaben und die Anzahl der Tools komplexer werden.

Bei komplexen Problemen koordiniert ein Multi-Agenten-System mehrere spezialisierte Agents, um ein Ziel zu erreichen, das ein einzelner Agent nicht so einfach bewältigen kann. Dieses modulare Design kann die Skalierbarkeit, Zuverlässigkeit und Wartungsfreundlichkeit des Systems verbessern. Im Vergleich zu einem System mit einem einzelnen Agenten sind jedoch zusätzliche Aspekte in Bezug auf Bewertung, Sicherheit und Kosten zu berücksichtigen.

Wenn Sie ein Multi-Agent-System entwickeln, müssen Sie präzise Zugriffssteuerungen für jeden spezialisierten Agenten implementieren, ein robustes Orchestrierungssystem entwerfen, um eine zuverlässige Kommunikation zwischen den Agenten zu gewährleisten, und die erhöhten Betriebskosten durch den Rechenaufwand für die Ausführung mehrerer Agenten verwalten. Um die Kommunikation zwischen Agenten zu erleichtern, verwenden Sie das Agent2Agent-Protokoll (A2A) mit dem ADK. A2A ist ein offenes Standardprotokoll, das es KI-Agenten ermöglicht, plattform- und frameworkübergreifend zu kommunizieren und zusammenzuarbeiten, unabhängig von den zugrunde liegenden Technologien.

Weitere Informationen zu gängigen Agent-Designmustern und dazu, wie Sie ein Muster basierend auf den Anforderungen Ihrer Arbeitslast auswählen, finden Sie unter Designmuster für Ihr agentisches KI-System auswählen.

KI-Modelle

Agentenbasierte Anwendungen sind auf die Schlussfolgerungs- und Verständnisfähigkeiten eines Modells angewiesen, um als primärer Task-Orchestrator zu fungieren. Für diese zentrale Rolle empfehlen wir Gemini Pro.

Google-Modelle wie Gemini bieten über eine verwaltete API Zugriff auf die neuesten und leistungsstärksten proprietären Modelle. Dieser Ansatz ist ideal, um den operativen Aufwand zu minimieren. Ein offenes, selbst gehostetes Modell bietet dagegen die umfassende Kontrolle, die für die Feinabstimmung mit proprietären Daten erforderlich ist. Für Arbeitslasten mit strengen Sicherheits- und Datenstandortanforderungen ist ebenfalls ein selbst gehostetes Modell erforderlich, da Sie das Modell so in Ihrem eigenen Netzwerk ausführen können.

Um die Leistung des Agents zu verbessern, können Sie die Logik des Modells anpassen. Modelle wie die neuesten Gemini Pro- und Flash-Modelle haben einen integrierten Denkprozess, der die Logik und die mehrstufige Planung verbessert. Zur Fehlerbehebung und Optimierung können Sie die Zusammenfassungen der Gedanken des Modells oder synthetisierte Versionen seiner internen Gedanken überprüfen, um seinen Denkprozess nachzuvollziehen. Sie können die Denkfähigkeiten des Modells steuern, indem Sie das Thinking-Budget oder die Anzahl der Thinking-Tokens an die Komplexität der Aufgabe anpassen. Mit einem höheren Denkbudget kann das Modell detailliertere Überlegungen und Planungen anstellen, bevor es eine Antwort gibt. Ein höheres Denkbudget kann die Qualität der Antworten verbessern, aber auch die Latenz und die Kosten erhöhen.

Um Leistung und Kosten zu optimieren, sollten Sie Modellrouting implementieren, um das am besten geeignete Modell für jede Aufgabe dynamisch auszuwählen. Die Auswahl erfolgt basierend auf der Komplexität der Aufgabe, den Kosten oder den Latenzanforderungen. Sie können beispielsweise einfache Anfragen an ein Small Language Model (SLM) für strukturierte Aufgaben wie die Code-Generierung oder Textklassifizierung weiterleiten und ein leistungsstärkeres und teureres Modell für komplexe Schlussfolgerungen reservieren. Wenn Sie das Modellrouting in Ihrer agentenbasierten Anwendung implementieren, können Sie ein kostengünstiges System erstellen, das eine hohe Leistung beibehält.

Google Cloud bietet Zugriff auf eine große Auswahl an Google-Modellen, Partnermodellen und offenen Modellen, die Sie in Ihrer Agentenarchitektur verwenden können. Weitere Informationen zu den verfügbaren Modellen und zur Auswahl eines Modells, das Ihren Anforderungen entspricht, finden Sie unter Model Garden auf der Gemini Enterprise Agent Platform.

Modelllaufzeit

Eine Modelllaufzeit ist die Umgebung, in der Ihr KI-Modell gehostet und bereitgestellt wird und in der die Argumentationsfähigkeiten für Ihren Agenten verfügbar gemacht werden.

Modelllaufzeit auswählen

Verwenden Sie die folgenden Richtlinien, um die beste Laufzeit für das Hosting Ihrer KI-Modelle auszuwählen:

Anwendungsfall Modelllaufzeit
Sie benötigen eine vollständig verwaltete API, um Gemini-Modelle, Partnermodelle, offene Modelle oder benutzerdefinierte Modelle mit Sicherheit, Skalierung und Tools für generative KI auf Unternehmensniveau bereitzustellen. Agent Platform
Sie müssen ein offenes oder benutzerdefiniertes containerisiertes Modell bereitstellen und serverlose Einfachheit und Kosteneffizienz für variablen Traffic priorisieren. Cloud Run
Sie benötigen maximale Kontrolle über die Infrastruktur, um ein offenes oder benutzerdefiniertes containerisiertes Modell auf spezialisierter Hardware auszuführen oder komplexe Sicherheits- und Netzwerkanforderungen zu erfüllen. GKE

In den folgenden Abschnitten finden Sie einen Überblick über die oben genannten Modell-Runtimes, einschließlich der wichtigsten Funktionen und Designüberlegungen. In diesem Dokument geht es hauptsächlich um die Agent Platform, Cloud Run und Google Kubernetes Engine (GKE). Google Cloud bietet jedoch andere Dienste an,die Sie für die Laufzeit eines Modells in Betracht ziehen könnten:

  • Gemini API: Die Gemini API wurde für Entwickler entwickelt, die einen schnellen, direkten Zugriff auf Gemini-Modelle benötigen, ohne die Enterprise-Governance-Funktionen, die für komplexe Agentensysteme oft erforderlich sind.
  • Compute Engine: Compute Engine ist ein IaaS-Produkt (Infrastructure as a Service), das sich für Legacy-Anwendungen eignet. Im Vergleich zu modernen, containerbasierten Runtimes ist der Betriebsaufwand erheblich höher.

Weitere Informationen zu den Funktionen, die die verschiedenen Dienstoptionen für Modell-Runtimes auszeichnen, finden Sie unter Infrastruktur für das Modellhosting.

Agent Platform

Die Agent Platform bietet eine vollständig verwaltete, serverlose Umgebung für Ihre KI-Modelle. Sie können Google-Modelle, Partnermodelle und offene Modelle über eine sichere und skalierbare API bereitstellen und abstimmen. Bei diesem Ansatz wird die gesamte Infrastrukturverwaltung abstrahiert, sodass Sie sich auf die Integration von Modellintelligenz in Ihre Anwendungen konzentrieren können.

Wenn Sie die Agent Platform als Modelllaufzeit verwenden, sind die wichtigsten Funktionen und Aspekte die folgenden:

  • Infrastruktursteuerung: Eine vollständig verwaltete API für Ihre Modelle. Google verwaltet die zugrunde liegende Infrastruktur.
  • Sicherheit: Die verwalteten Sicherheitsstandards und Standard-Compliance-Zertifizierungen reichen für Ihre Anforderungen aus. Um Prompts und Antworten zu schützen und eine verantwortungsbewusste Anwendung von KI zu gewährleisten, können Sie Model Armor in die Agent Platform einbinden.
  • Verfügbarkeit von Modellen: Zugriff auf eine große Auswahl an Modellen, einschließlich der neuesten Gemini-Modelle, über eine verwaltete API.
  • Kosten: Nutzungsbasiertes Preismodell, das mit dem Traffic Ihrer Anwendung skaliert wird. Weitere Informationen finden Sie unter Kosten für das Erstellen und Bereitstellen von KI-Modellen in der Agent Platform.

Cloud Run

Cloud Run bietet eine serverlose Laufzeitumgebung, in der Ihre Modelle in benutzerdefinierten Containern gehostet werden. Cloud Run bietet ein ausgewogenes Verhältnis zwischen der vollständig verwalteten Einfachheit der Agent Platform und der umfassenden Infrastrukturkontrolle von GKE. Dieser Ansatz ist ideal, wenn Sie Ihr Modell in einer containerisierten Umgebung ausführen möchten, ohne Server oder Cluster verwalten zu müssen.

Wenn Sie Cloud Run als Modell-Laufzeit verwenden, gelten die folgenden wichtigen Funktionen und Überlegungen:

  • Infrastrukturkontrolle: Sie können jedes Modell in einem benutzerdefinierten Container ausführen und haben so die volle Kontrolle über die Softwareumgebung. Die Plattform verwaltet die zugrunde liegende serverlose Infrastruktur.
  • Sicherheit: Bietet Sicherheit durch kurzlebige, isolierte Compute-Instanzen und ermöglicht sichere Verbindungen zu privaten Ressourcen über ausgehenden Direct VPC-Traffic oder einen Connector für serverlosen VPC-Zugriff. Weitere Informationen finden Sie unter Private Netzwerke und Cloud Run.
  • Modellverfügbarkeit: Sie können offene Modelle wie Gemma oder Ihre eigenen benutzerdefinierten Modelle bereitstellen. Sie können Gemini-Modelle nicht in Cloud Run hosten oder bereitstellen.
  • Kosten: Die Abrechnung erfolgt nutzungsabhängig und anfragebasiert. Die Kosten können auf null skaliert werden. Das macht den Dienst sehr kosteneffizient für Modelle mit sporadischem oder variablem Traffic. Weitere Informationen finden Sie unter Cloud Run-Preise.

GKE

GKE bietet die größte Kontrolle und Flexibilität für das Hosten Ihrer KI-Modelle. Bei diesem Ansatz führen Sie Ihre Modelle in Containern in einem GKE-Cluster aus, den Sie konfigurieren und verwalten. GKE ist die ideale Wahl, wenn Sie Modelle auf spezieller Hardware ausführen, sie für minimale Latenz mit Ihren Anwendungen zusammenstellen oder eine detaillierte Kontrolle über jeden Aspekt der Bereitstellungsumgebung benötigen.

Wenn Sie GKE als Modelllaufzeit verwenden, sind die wichtigsten Funktionen und Überlegungen die folgenden:

  • Infrastrukturkontrolle: Bietet maximale, detaillierte Kontrolle über die gesamte Bereitstellungsumgebung, einschließlich Knotenkonfigurationen, spezieller Maschinenbeschleuniger und der spezifischen Software für die Modellbereitstellung.
  • Sicherheit: Ermöglicht ein Höchstmaß an Sicherheit und Datenisolation, da Sie Modelle vollständig in Ihrem Netzwerk ausführen und detaillierte Kubernetes-Sicherheitsrichtlinien anwenden können. Um den Traffic zu und von einem GKE-Cluster zu filtern und alle Interaktionen mit den KI-Modellen zu schützen, können Sie Model Armor in GKE einbinden .
  • Modellverfügbarkeit: Sie können offene Modelle wie Gemma oder Ihre eigenen benutzerdefinierten Modelle bereitstellen. Sie können Gemini-Modelle nicht in GKE hosten oder bereitstellen.
  • Kosten: Das Kostenmodell basiert auf den zugrunde liegenden Rechen- und Clusterressourcen, die Sie nutzen. Dadurch ist es hochgradig für vorhersehbare Arbeitslasten mit hohem Volumen optimiert, wenn Sie Rabatte für zugesicherte Nutzung verwenden. Weitere Informationen finden Sie unter Google Kubernetes Engine-Preise.

Laufzeit für KI-Agenten

Zum Hosten und Bereitstellen Ihrer Agent-Anwendung müssen Sie eine Agent-Laufzeit auswählen. In diesem Dienst wird Ihr Anwendungscode ausgeführt – die Geschäftslogik und Orchestrierung, die Sie beim Verwenden eines Frameworks für die Entwicklung von Agents schreiben. Von dieser Laufzeit aus ruft Ihre Anwendung APIs für die Modelle auf, die von der ausgewählten Modelllaufzeit gehostet und verwaltet werden.

Agent-Laufzeit auswählen

Wenn Sie die Laufzeit beim Hosten Ihrer KI-Agents auswählen, sollten Sie Folgendes beachten:

Anwendungsfall Laufzeit für KI-Agenten
Ihre Anwendung ist ein Python-Agent und erfordert eine vollständig verwaltete Umgebung mit minimalem Betriebsaufwand. Agent Runtime auf der Gemini Enterprise Agent Platform
Ihre Anwendung ist containerisiert und erfordert eine serverlose, ereignisgesteuerte Skalierung mit Sprachflexibilität. Cloud Run
Ihre Anwendung ist containerisiert, hat komplexe zustandsbehaftete Anforderungen und erfordert eine detaillierte Infrastrukturkonfiguration. GKE

Wenn Sie bereits Anwendungen in Cloud Run oder GKE verwalten, können Sie die Entwicklung beschleunigen und den langfristigen Betrieb vereinfachen, indem Sie dieselbe Plattform für Ihre agentenbasierte Arbeitslast verwenden.

In den folgenden Abschnitten erhalten Sie einen Überblick über die einzelnen Agent-Laufzeiten, einschließlich der wichtigsten Funktionen und Designaspekte.

Agent Runtime

Agent Runtime ist eine vollständig verwaltete, meinungsbildende Laufzeit, mit der Sie Agent-basierte Anwendungen bereitstellen, betreiben und skalieren können. Die zugrunde liegende Infrastruktur wird in der Agent Runtime abstrahiert, sodass Sie sich auf die KI-Agentenlogik und nicht auf den Betrieb konzentrieren können.

Im Folgenden finden Sie Funktionen und Überlegungen zu Agent Runtime:

  • Flexibilität bei Programmiersprache und Framework: Entwickeln Sie Agents in Python mit beliebigen unterstützten Frameworks.
  • Kommunikationsprotokolle: Orchestrieren Sie Agenten und Tools, die MCP und A2A verwenden. Die Agent-Laufzeit verwaltet die Laufzeit für diese Komponenten effizient, unterstützt aber nicht das Hosting benutzerdefinierter MCP-Server.
  • Arbeitsspeicher: Bietet integrierte, verwaltete Arbeitsspeicherfunktionen, sodass keine externen Datenbanken für den Arbeitsspeicher des Core-Agents konfiguriert werden müssen.
    Anforderung Verfügbare Optionen
    Kurzzeitgedächtnis Sitzungen der Agent Platform
    Langzeitgedächtnis Memory Bank
    Datenbanksuchen und ‑abruf
  • Skalierbarkeit: Die Skalierung erfolgt automatisch, um den Anforderungen Ihrer agentenbasierten Arbeitslast gerecht zu werden. Eine manuelle Konfiguration ist nicht erforderlich.
  • Beobachtbarkeit: Bietet integriertes Logging, Monitoring und Tracing über Google Cloud Observability-Dienste.
  • Sicherheit: Bietet die folgenden Zuverlässigkeits-, Skalierbarkeits- und Compliance-Funktionen auf Unternehmensniveau:

    Informationen zu den Sicherheitsfunktionen der Agent Runtime finden Sie unter Enterprise-Sicherheit.

Die Agent Runtime beschleunigt den Weg zur Produktion, da sie eine speziell entwickelte, verwaltete Umgebung bietet, die viele komplexe Aspekte beim Betrieb von Agenten abdeckt, z. B. die Verwaltung von Lebenszyklus und Kontext. Die Agent Runtime eignet sich weniger für Anwendungsfälle, die eine umfangreiche Anpassung der Rechenumgebung oder andere Programmiersprachen als Python erfordern. Für Arbeitslasten mit strengen Sicherheitsanforderungen für die Verwaltung privater Abhängigkeiten bieten Cloud Run und GKE einen direkteren, IAM-basierten Konfigurationspfad.

Cloud Run

Cloud Run ist eine vollständig verwaltete, serverlose Plattform, mit der Sie den Anwendungscode Ihrer Agent-Anwendung in einem zustandslosen Container ausführen können. Cloud Run ist ideal, wenn Sie die gesamte Agent-Anwendung, einzelne Komponenten oder benutzerdefinierte Tools als skalierbare HTTP-Endpunkte bereitstellen möchten, ohne die zugrunde liegende Infrastruktur verwalten zu müssen.

Im Folgenden finden Sie Funktionen und Überlegungen zu Cloud Run:

Cloud Run bietet eine erhebliche betriebliche Einfachheit und Kosteneffizienz, da die Infrastrukturverwaltung entfällt. Aufgrund des zustandslosen Charakters von Cloud Run müssen Sie jedoch einen Speicherdienst verwenden, um den Kontext in einem mehrstufigen Workflow zu verwalten. Außerdem beträgt das maximale Zeitlimit für Anfragen für Cloud Run-Dienste bis zu einer Stunde, was lang andauernde Agent-Aufgaben einschränken kann.

GKE

Google Kubernetes Engine ist ein verwalteter Dienst zur Containerorchestrierung, der eine detaillierte Steuerung der Architektur und Infrastruktur Ihrer agentenbasierten Anwendung ermöglicht. GKE eignet sich für komplexe agentische Systeme, die robuste, produktionsreife Funktionen erfordern, oder wenn Sie bereits GKE-Kunde sind und einen agentischen Workflow für Ihre bestehende Anwendung implementieren möchten.

Die folgenden Funktionen und Überlegungen sind in GKE verfügbar:

GKE bietet maximale Kontrolle und Flexibilität, sodass Sie komplexe, zustandsorientierte Agents ausführen können. Dieses Steuerelement führt jedoch zu einem erheblichen Betriebsaufwand und einer erheblichen Komplexität. Sie müssen den Kubernetes-Cluster konfigurieren und verwalten, einschließlich Knotenpools, Netzwerk und Skalierungsrichtlinien. Das erfordert mehr Fachwissen und Entwicklungsaufwand als eine serverlose Plattform.

Nächste Schritte

Beitragende

Autorin: Samantha He | Technische Autorin

Weitere Beitragende: