Filestore-Agent-Volumes

Filestore-Agent-Volumes sind ein vollständig verwalteter, elastischer NFS-Dateispeicher mit hoher Dichte, der für zustandsorientierte KI-Agent-Sandboxes, autonome Agent-Flotten und Multi-Agent-Entwicklungsumgebungen entwickelt wurde.

Filestore-Agent-Volumes bieten die nichtflüchtige Speicherebene, die erforderlich ist, um Status, Kontext und Verlauf über Agent-Ausführungen hinweg beizubehalten. Dies ermöglicht Arbeitslasten mit niedriger Latenz, eine hohe Dichte der Rechenressourcennutzung und eine starke Sandbox-Isolation. Filestore-Agent-Volumes können auch für alle Agent-Arbeitsbereiche oder Scratchpads verwendet werden, da Agents nativ mit Dateisystemen arbeiten.

Volume-Pools und ‑Volumes wurden zwar in erster Linie für KI-Agent-Arbeitslasten und Entwicklersandboxes entwickelt, bieten aber auch eine Dateispeicherarchitektur für allgemeine Zwecke für Anwendungen, die mehrere einfache, unabhängige Dateisysteme erfordern.

Anwendungsfälle

Filestore-Agent-Volumes sind für Architekturen konzipiert, die zahlreiche einfache, schnell zu mountende Dateisysteme erfordern. Gängige Anwendungsfälle:

  • Zustandsorientierte KI-Agenten-Sandboxes:Bieten nichtflüchtigen Speicher für interaktive Coding-Agenten und autonome Workflows und unterstützen das erneute Anhängen von Volumes in weniger als 100 ms über Suspend- und Resume-Zyklen hinweg.
  • Kollaborative Multi-Agenten-Swarms:Ermöglichen Sie Teams von spezialisierten Agenten, gleichzeitig an gemeinsam genutzten Repositories mit POSIX-kompatiblem ReadWriteMany-Zugriff (RWX) und Byte-Range-Sperrung zu arbeiten.
  • Entwicklungsumgebungen mit hoher Dichte:Mehrmandantenfähige Cloud-IDEs und Entwickler-Sandboxes hosten und auf bis zu eine Million isolierte Volumes skalieren, die von einem einzelnen regionalen Kapazitätspool unterstützt werden.
  • Sitzungsspezifische CI/CD und automatisierte Tests:Stellen Sie kurzlebigen, isolierten Speicher für Test-Runner und Build-Pipelines mit API-Umsatz im Subsekundenbereich bereit.
  • Sichere Ausführung von nicht vertrauenswürdigem Code:Führen Sie modellgenerierten Code sicher in gVisor-Container-Sandboxes in GKE aus und verwenden Sie dabei Root-Squashing (root_squash), um den zugrunde liegenden Speicher zu schützen.

Zustandsorientierter Agent-Workflow in GKE

Das folgende Diagramm zeigt, wie Filestore-Agent-Volumes, Private Service Connect (PSC) und GKE während einer Agent-Sitzung zusammenarbeiten:

Workflow mit Filestore-Agent-Volumes in GKE
Abbildung 1. Workflow, der zeigt, wie Filestore-Agent-Volumes mit GKE funktionieren.
  1. Der GKE-Cluster kommuniziert über PSC-Richtlinien für Dienstverbindungen mit der verwalteten Speicherebene. Der gesamte Speicher- und NFS-Traffic bleibt in Ihrem VPC-Netzwerk (Virtual Private Cloud) privat, ohne dass externe IP-Adressen oder VPC-Peering erforderlich sind.
  2. In einem regionalen Volume-Pool werden freigegebene Kapazität und IOPS für Ihr Projekt reserviert. Wenn eine Agentsitzung angefordert wird, wird innerhalb einer Sekunde ein einzelnes Volume aus dem Pool mit dem Filestore-CSI-Treiber oder der API bereitgestellt.
  3. GKE plant einen mit gVisor isolierten Container-Pod. Der Filestore-CSI-Treiber hängt das Volume an das Arbeitsbereichsverzeichnis des Pods (z. B. /workspace) an und stellt es in weniger als 100 ms bereit.
  4. Der Agent wird in der Sandbox initialisiert und greift sofort auf sein dediziertes Dateisystem zu, um Git-Repositories zu klonen, Pakete zu installieren und Scratchpad-Artefakte zu schreiben. Wenn der Agent inaktiv wird, kann GKE den Compute-Pod beenden, um Kosten zu sparen. Das Volume behält jedoch den gesamten Arbeitsbereichsstatus bei, sodass die Ausführung sofort fortgesetzt werden kann.

Hauptfunktionen

Filestore-Agent-Volumes bieten die folgenden Kernfunktionen:

  • Extrem hohe Volumendichte:Sie können bis zu 1 Million unabhängige Volumes in einem einzelnen regionalen Volume-Pool bereitstellen.
  • Operationen im Subsekundenbereich:Mit REST APIs können Sie Volumes in weniger als einer Sekunde erstellen und löschen. Das entspricht dem kurzlebigen Lebenszyklus von Aufgaben autonomer Agents.
  • Speicher anhängen in weniger als 100 ms:Vorab aufgewärmte Sandboxes können in weniger als 100 ms mit vorhandenen Volumes verknüpft werden. So sind sofort interaktive Nutzersitzungen und eine hohe Auslastung der Recheninfrastruktur möglich.
  • POSIX-Konformität und RWX-Freigabe:Bereitstellung von NFSv3-Dateisystemsemantik, Verzeichnishierarchien und Dateisperrung im Bytebereich für mehrere Container und Knoten.
  • Private VPC-Verbindung:Stellen Sie mit PSC-Dienstverbindungsrichtlinien (Private Service Connect) eine sichere Verbindung zu Ihrem VPC-Netzwerk her.

Volume-Pool und Volumes

Filestore-Agent-Volumes führen ein vereinfachtes zweistufiges Ressourcenmodell ein. Die zugrunde liegende Speicherinfrastruktur wird für Sie verwaltet. Sie müssen also keine Dateiserverinstanzen verwalten oder konfigurieren:

  1. Volumenpool: Die verwaltete regionale Ressource der obersten Ebene. In einem Volume-Pool wird ein gemeinsamer Pool von Speicherkapazität und IOPS für ein Projekt und ein VPC-Netzwerk reserviert und es werden standardmäßige Volume-Kontingentrichtlinien erzwungen.
  2. Volume: Die einzelne, POSIX-konforme Speicherressource, die in einem Volume-Pool bereitgestellt wird. Jedes Volume repräsentiert ein isoliertes Dateisystem, das in einen oder mehrere Container, Pods oder VMs eingebunden werden kann.

Unterstützte Arbeitslastmuster

Sie können Filestore-Agent-Volumes mit verschiedenen Orchestrierungsmodellen in Ihre Architekturen einbinden:

  • GKE Agent Substrate:Verwenden Sie GKE Agent Substrate, um den Lebenszyklus von zustandsorientierten Agent-Sandboxes zu verwalten. Agent Substrate hält inaktive Agents an, um Rechenkosten zu sparen, und setzt sie in weniger als einer Sekunde fort. Filestore-Agent-Volumes speichern den Status des Arbeitsbereich-Dateisystems bei Anhalte- und Fortsetzungsvorgängen. Weitere Informationen finden Sie unter Filestore-Agent-Volumes mit GKE Agent Substrate verwenden.
  • GKE Agent Sandbox:Mit GKE Agent Sandbox können Sie den Lebenszyklus von isolierten, zustandsorientierten Agent-Umgebungen mit vorab aufgewärmten Sandbox-Pools verwalten. Weitere Informationen finden Sie unter Filestore-Agent-Volumes mit GKE Agent Sandbox verwenden.
  • Dynamische späte Bindung von Speicher: Bei interaktiven Plattformen, bei denen die Latenz kritisch ist, können vorab bereitgestellte NFS-Volumes mithilfe von Host-Daemons und Mount-Propagation in weniger als 100 ms in vorab aufgewärmte Sandbox-Pods eingefügt werden. Dadurch wird die Latenz beim Neustart von Pods vermieden. Weitere Informationen finden Sie unter Filestore-Agent-Volumes mit dynamischer Speicherbindung für die Agent Sandbox verwenden.
  • Selbstverwaltete GKE-Arbeitslasten:Stellen Sie Standard-Kubernetes-Arbeitslasten vom Typ Deployment, StatefulSet oder Job mit PersistentVolumeClaim-Ressourcen (PVC) bereit, die vom Filestore-CSI-Treiber und den StorageClass-Ressourcen des Volume-Pools unterstützt werden. Weitere Informationen finden Sie unter Filestore-Agent-Volumes mit selbstverwalteten GKE-Arbeitslasten verwenden.

Nächste Schritte