À propos des volumes d'agent Filestore

Les volumes d'agent Filestore sont une fonctionnalité de stockage de fichiers NFS élastique haute densité entièrement gérée, conçue pour les bacs à sable d'agents IA avec état, les flottes d'agents autonomes et les environnements de développement multi-agents.

Les volumes d'agent Filestore fournissent la couche de stockage persistant nécessaire pour maintenir l'état, le contexte et l'historique lors des exécutions d'agent, ce qui permet des charges de travail à faible latence, une utilisation du calcul à haute densité et une isolation renforcée du bac à sable. Les volumes de l'agent Filestore peuvent également être utilisés pour tout espace de travail ou bloc-notes de l'agent, car les agents travaillent de manière native sur les systèmes de fichiers.

Bien qu'ils soient principalement conçus pour les charges de travail des agents d'IA et les bacs à sable des développeurs, les pools et les volumes offrent également une architecture de stockage de fichiers à usage général pour les applications qui nécessitent plusieurs systèmes de fichiers légers et indépendants.

Cas d'utilisation

Les volumes de l'agent Filestore sont conçus pour les architectures qui nécessitent de nombreux systèmes de fichiers légers et à montage rapide. Voici quelques cas d'utilisation courants :

  • Bac à sable pour les agents d'IA avec état : fournit un stockage persistant pour les agents de codage interactifs et les workflows autonomes, avec une réassociation de volume inférieure à 100 ms lors des cycles de suspension et de reprise.
  • Essaims multi-agents collaboratifs : permettez à des équipes d'agents spécialisés de travailler simultanément sur des dépôts partagés avec un accès ReadWriteMany (RWX) conforme à POSIX et un verrouillage par plage d'octets.
  • Environnements de développement à haute densité : hébergez des IDE Cloud multilocataires et des bacs à sable pour les développeurs, en évoluant jusqu'à un million de volumes isolés soutenus par un seul pool de capacité régional.
  • CI/CD éphémère et tests automatisés : provisionnez un stockage isolé et éphémère pour les exécuteurs de tests et les pipelines de compilation avec un renouvellement de l'API en moins d'une seconde.
  • Exécution sécurisée de code non approuvé : exécutez le code généré par le modèle de manière sécurisée dans des bacs à sable de conteneurs gVisor sur GKE, en utilisant l'écrasement de root (root_squash) pour protéger le stockage sous-jacent.

Workflow de l'agent avec état sur GKE

Le schéma suivant illustre la manière dont les volumes de l'agent Filestore, Private Service Connect (PSC) et GKE fonctionnent ensemble lors d'une session d'agent :

Workflow montrant les volumes de l'agent Filestore sur GKE
Figure 1. Workflow montrant comment les volumes de l'agent Filestore fonctionnent avec GKE.
  1. Le cluster GKE communique avec le plan de stockage géré via des règles de connexion au service PSC. Tout le trafic de stockage et NFS reste privé au sein de votre réseau de cloud privé virtuel (VPC), sans nécessiter d'adresses IP externes ni d'appairage de VPC.
  2. Un pool de volumes régional réserve de la capacité et des IOPS partagées pour votre projet. Lorsqu'une session d'agent est demandée, un volume individuel est provisionné à partir du pool à l'aide du pilote ou de l'API CSI Filestore en moins d'une seconde.
  3. GKE planifie un pod de conteneur isolé avec gVisor. Le pilote CSI Filestore associe et installe le volume dans le répertoire de l'espace de travail du pod (tel que /workspace) en moins de 100 ms.
  4. L'agent s'initialise dans le bac à sable et accède immédiatement à son système de fichiers dédié pour cloner des dépôts Git, installer des packages et écrire des artefacts de bloc-notes. Lorsque l'agent devient inactif, GKE peut mettre fin au pod de calcul pour réduire les coûts, tandis que le volume conserve l'état de l'espace de travail pour une reprise instantanée.

Fonctionnalités de base

Les volumes d'agent Filestore offrent les fonctionnalités de base suivantes :

  • Densité de volume ultra-élevée : provisionnez jusqu'à un million de volumes indépendants dans un même pool de volumes régionaux.
  • Opérations en moins d'une seconde : créez et supprimez des volumes en moins d'une seconde à l'aide des API REST, en respectant le cycle de vie éphémère des tâches des agents autonomes.
  • Attachement de stockage en moins de 100 ms : montez des volumes existants dans des bacs à sable préchauffés en moins de 100 ms, ce qui permet des sessions utilisateur interactives instantanées et une utilisation élevée de l'infrastructure de calcul.
  • Conformité POSIX et partage RWX : fournissez la sémantique du système de fichiers NFSv3, les hiérarchies de répertoires et le verrouillage de fichiers par plage d'octets sur plusieurs conteneurs et nœuds.
  • Connectivité VPC privé : connectez-vous de manière sécurisée à votre réseau VPC à l'aide des règles de connexion au service Private Service Connect (PSC).

Pool de volumes et volumes

Les volumes d'agent Filestore introduisent un modèle de ressources simplifié à deux niveaux. L'infrastructure de stockage sous-jacente est gérée pour vous. Vous n'avez donc pas besoin de gérer ni de configurer les instances de serveur de fichiers :

  1. Pool de volumes : ressource régionale gérée de premier niveau. Un pool de volumes réserve un pool partagé de capacité de stockage et d'IOPS pour un projet et un réseau VPC, et applique des règles de quota de volume par défaut.
  2. Volume : ressource de stockage individuelle compatible avec POSIX provisionnée dans un pool de volumes. Chaque volume représente un système de fichiers isolé qui peut être installé dans un ou plusieurs conteneurs, pods ou VM.

Schémas de charge de travail compatibles

Vous pouvez intégrer des volumes d'agent Filestore dans vos architectures à l'aide de plusieurs modèles d'orchestration :

  • Sous-couche de l'agent GKE : utilisez la sous-couche de l'agent GKE pour gérer le cycle de vie des bacs à sable d'agent avec état. Le sous-strat Agent suspend les agents inactifs pour réduire les coûts de calcul et les réactive en moins d'une seconde, tandis que les volumes d'agent Filestore conservent l'état du système de fichiers de l'espace de travail lors des opérations de suspension et de réactivation. Pour en savoir plus, consultez Utiliser des volumes d'agent Filestore avec GKE Agent Substrate.
  • GKE Agent Sandbox : utilisez GKE Agent Sandbox pour gérer le cycle de vie des environnements d'agent avec état isolés avec des pools de bac à sable préchauffés. Pour en savoir plus, consultez Utiliser des volumes d'agent Filestore avec GKE Agent Sandbox.
  • Liaison tardive du stockage dynamique : pour les plates-formes interactives critiques en termes de latence, injectez des volumes NFS préprovisionnés dans des pods sandbox préchauffés en moins de 100 ms à l'aide de daemons hôtes et de la propagation du montage, ce qui élimine la latence de redémarrage des pods. Pour en savoir plus, consultez Utiliser des volumes d'agent Filestore avec le stockage dynamique à liaison tardive de l'Agent Sandbox.
  • Charges de travail GKE autogérées : déployez des charges de travail Kubernetes standards Deployment, StatefulSet ou Job avec des ressources PersistentVolumeClaim (PVC) soutenues par le pilote CSI Filestore et les ressources du pool de volumes StorageClass. Pour en savoir plus, consultez Utiliser des volumes d'agent Filestore avec des charges de travail GKE autogérées.

Étapes suivantes