KI-Lösungen in Cloud Run ausführen

Mit Cloud Run können Sie KI-Anwendungen und -Agents hosten, Modellinferenzen bereitstellen und KI-Workflows erstellen. Dank der verwalteten Infrastruktur und der On-Demand-Skalierung können Sie containerisierte KI-Arbeitslasten ausführen, ohne Server oder Cluster verwalten zu müssen.

Cloud Run zum Hosten von KI-Anwendungen, Agents und skalierbaren API-Endpunkten

Cloud Run bietet eine vollständig verwaltete Plattform, mit der Sie Ihre KI-Anwendungen und ‑Arbeitslasten skalieren können.

Wenn Sie KI-Apps in Cloud Run hosten, haben Sie in der Regel die folgenden Architekturkomponenten:

  • Bereitstellung und Orchestrierung: Sie stellen Ihren Anwendungscode oder Container in Cloud Run bereit.
  • KI-Modelle: Sie verwenden die KI-Modelle von Google, Open-Source-Modelle oder benutzerdefinierte Modelle mit Ihrer Anwendung.
  • Integrationen: Sie können eine Verbindung zu Diensten von Google Cloud oder Drittanbietern für Arbeitsspeicher, Datenbanken, Speicher, Sicherheit und mehr herstellen.
  • Tools: Sie können eine Verbindung zu Tools für andere Aufgaben und Vorgänge herstellen.

Das folgende Diagramm bietet eine allgemeine Übersicht über die Verwendung von Cloud Run als Hostingplattform für KI-Apps:

Die vier Komponenten einer in Cloud Run gehosteten KI-Anwendung: 1. Bereitstellung und Orchestrierung, 2. KI-Modelle, 3. Integrationen, 4. Tools.
Abbildung 1. Komponenten einer in Cloud Run gehosteten KI-Anwendung.

Wie im Diagramm dargestellt:

  1. In der Bereitstellungs- und Orchestrierungsebene fungiert ein Cloud Run-Dienst als skalierbarer API-Endpunkt für die Kernlogik Ihrer Anwendung. Mehrere gleichzeitige Nutzer werden durch automatisches, bedarfsorientiertes und schnelles Skalieren von Instanzen effizient verwaltet.

    Sie stellen Ihren Container in Cloud Run bereit. Sie können entweder Ihre Anwendung und ihre Abhängigkeit in einen Container verpacken oder Ihren Quellcode bereitstellen und von Cloud Run automatisch in einen Container für die Bereitstellung einbinden lassen. Für Quellcode-Bereitstellungen können Sie jede Sprache, offene Frameworks oder SDKs verwenden, um Ihre KI-Apps zu erstellen.

  2. Ihre KI-App fungiert als skalierbarer API-Endpunkt, der eingehende Anfragen verarbeitet, Daten zur Verarbeitung an ein vortrainiertes KI-Modell sendet und dann die Ergebnisse zurückgibt.

    Cloud Run ist in die KI-Modelle von Google wie Gemini und Vertex AI eingebunden und kann in Open-Source-Modelle wie Llama und Gemma integriert werden. Wenn Sie ein benutzerdefiniertes Modell haben, das Sie selbst trainiert haben, können Sie dieses Modell auch mit Ihrer Cloud Run-Ressource verwenden.

  3. Google Cloud bietet eine Vielzahl von Lösungen zur Unterstützung der Infrastruktur Ihrer KI-Anwendung. Einige Google Cloud -Integrationen, die gut mit Ihrer KI-Anwendung funktionieren, sind:

    • Arbeitsspeicher und Datenbanken
      • Kurzfristig
        • Memorystore ist ein Dienst für das Caching und die temporäre Verwaltung von Daten mit hohem Zugriff, der einen schnellen und externen Cache für die kurzfristige Datenspeicherung bietet.
      • Langfristig
        • AlloyDB for PostgreSQL ist eine PostgreSQL-kompatible Datenbank für anspruchsvolle Transaktions- und Analysearbeitslasten. Sie bietet eine integrierte Generierung von Vektoreinbettungen und einen Hochgeschwindigkeits-Vektorindex, was die semantische Suche im Vergleich zur Standardimplementierung von pgvector beschleunigt.
        • Cloud SQL ist ein relationaler Datenbankdienst für MySQL, PostgreSQL und SQL Server, der mit der pgvector-Erweiterung für PostgreSQL auch als Vektorspeicher dienen kann.
        • Firestore ist ein skalierbarer NoSQL-Dokumentendatenbankdienst mit integrierten Funktionen für die Vektorsuche.
    • Speicher
      • Cloud Storage ist eine Objektspeicherlösung zum Speichern großer Datasets für das Modelltraining, von Eingabe-/Ausgabedateien für Ihre Anwendung oder von Modellartefakten.
    • Sicherheit
      • Secret Manager ist ein Dienst zur Verwaltung von Secrets und Anmeldedaten, der eine sichere und zentrale Möglichkeit bietet, sensible Daten wie API-Schlüssel, Passwörter und Anmeldedaten zu speichern, die häufig für KI-Anwendungen erforderlich sind, um mit externen Diensten zu interagieren.

    Weitere Informationen finden Sie unter Verbindung zu Google Cloud -Diensten herstellen.

  4. Mit Tools können Ihre KI-Apps und ‑Modelle mit Diensten, APIs oder Websites interagieren, die extern oder in Cloud Run ausgeführt werden.

    Wenn Ihre KI-Anwendung beispielsweise ein KI-Agent ist, kann sie eine Anfrage an einen MCP-Server senden, um ein externes Tool auszuführen, oder Tools verwenden, die in Ihrem Container ausgeführt werden, z. B. Code-Ausführung, Computernutzung, Informationsabruf usw.

Modelle für KI-Inferenz in Cloud Run hosten

Zusätzlich zum Erstellen von Anwendungen und Agents, die ein Large Language Model (LLM) verwenden, können Sie GPUs mit Cloud Run aktivieren, um vortrainierte oder benutzerdefinierte, selbst bereitgestellte Modelle für die KI-Inferenz auszuführen.

Mit Cloud Run-GPUs können Sie die große Anzahl von Vorgängen bewältigen, die für rechenintensive Aufgaben für KI-Inferenzarbeitslasten erforderlich sind. Stellen Sie KI-Modelle als Container-Images oder aus Quellcode bereit und verwenden Sie verschiedene Methoden, um Ihre Cloud Run-Ressourcen bereitzustellen.

Nächste Schritte