KI-Agents in Cloud Run hosten

Auf dieser Seite werden Anwendungsfälle für das Hosten von KI-Agents in Cloud Run beschrieben.

KI-Agenten sind autonome Softwareeinheiten, die LLM-basierte Systeme verwenden, um Ziele zu erreichen. Da immer mehr autonome Agenten entwickelt werden, wird ihre Fähigkeit zur Kommunikation und Zusammenarbeit immer wichtiger.

Eine Einführung in KI-Agents finden Sie unter Was ist ein KI-Agent?.

Anwendungsfälle für KI-Agents in Cloud Run

Sie können KI-Agents als Cloud Run-Dienste implementieren, um eine Reihe asynchroner Aufgaben zu orchestrieren und Informationen über mehrere Anfrage-Antwort-Interaktionen bereitzustellen.

Ein Cloud Run-Dienst ist ein skalierbarer API-Endpunkt für die Kernlogik Ihrer Anwendung. Es verwaltet mehrere gleichzeitige Nutzer effizient durch automatisches, bedarfsgesteuertes und schnelles Skalieren von Instanzen.

Architektur von KI-Agents in Cloud Run

Eine typische KI-Agent-Architektur, die in Cloud Run bereitgestellt wird, kann mehrere Komponenten von Google Cloud sowie außerhalb von Google Cloudumfassen:

Die vier Komponenten eines KI-Agents, der in Cloud Run gehostet wird.
Abbildung 1. Architektur eines KI-Agents in Cloud Run.

Das Diagramm zeigt Folgendes:

  • Hostingplattform: Cloud Run ist eine Hostingplattform zum Ausführen von Agents und bietet die folgenden Vorteile:

    • Unterstützt die Ausführung eines beliebigen Agent-Frameworks zum Erstellen verschiedener Arten von Agenten und Agent-Architekturen. Beispiele für Agent-Frameworks sind das Agent Development Kit (ADK), Dify, LangGraph und n8n.
    • Bietet integrierte Funktionen zum Verwalten Ihres Agents. Cloud Run bietet beispielsweise eine integrierte Dienstidentität, die Sie als Agent-Identität für den Aufruf von Google Cloud APIs mit sicheren und automatischen Anmeldedaten verwenden können.
    • Unterstützt die Verbindung Ihres Agent-Frameworks mit anderen Diensten. Sie können Ihren Agent mit Erstanbieter- oder Drittanbietertools verbinden, die in Cloud Run bereitgestellt werden. Wenn Sie beispielsweise Einblick in die Aufgaben und Ausführungen Ihres Agents erhalten möchten, können Sie Tools wie Langfuse und Arize bereitstellen und verwenden.

  • Agent-Interaktionen: Cloud Run unterstützt Streaming von HTTP-Antworten an den Nutzer und WebSockets für Echtzeitinteraktionen.

  • GenAI-Modelle: Die Orchestrierungsebene ruft Modelle für Reasoning-Funktionen auf. Diese Modelle können auf Diensten wie den folgenden gehostet werden:

  • Speicher: Agents benötigen oft Speicher, um den Kontext beizubehalten und aus vergangenen Interaktionen zu lernen. Sie können die folgenden Dienste verwenden:

    • Memorystore for Redis für den Kurzzeitspeicher.
    • Firestore für das Langzeitgedächtnis, z. B. zum Speichern des Unterhaltungsverlaufs oder zum Merken der Nutzereinstellungen.

  • Vektordatenbank: Für Retrieval Augmented Generation (RAG) oder zum Abrufen strukturierter Daten können Sie eine Vektordatenbank verwenden, um bestimmte Informationen zu Entitäten abzufragen oder eine Vektorsuche für Einbettungen durchzuführen. Die pgvector-Erweiterung kann mit den folgenden Diensten verwendet werden:

  • Tools:Der Orchestrator verwendet Tools, um bestimmte Aufgaben auszuführen und mit externen Diensten, APIs oder Websites zu interagieren. Beispiel:

    • Model Context Protocol (MCP): Mit diesem standardisierten Protokoll können Sie mit externen Tools kommunizieren, die über einen MCP-Server ausgeführt werden.
    • Einfache Dienstprogramme: Präzise mathematische Berechnungen, Zeitumrechnungen oder andere ähnliche Dienstprogramme.
    • API-Aufrufe: Rufen Sie andere interne APIs oder APIs von Drittanbietern auf (Lese- oder Schreibzugriff).
    • Bild- oder Diagrammerstellung: Visuelle Inhalte schnell und effektiv erstellen.
    • Browser- und Betriebssystemautomatisierung: Führen Sie ein Headless- oder ein vollständiges grafisches Betriebssystem in Containerinstanzen aus, damit der Agent im Web surfen, Informationen von Websites extrahieren oder Aktionen durch Klicks und Tastatureingaben ausführen kann.
    • Codeausführung: Code ausführen in einer sicheren Umgebung mit mehrschichtiger Sandbox-Technologie und minimalen oder keinen IAM-Berechtigungen.

Nächste Schritte