Ce document vous aide à sélectionner une option de stockage appropriée pour vos agents IA en fonction de leurs besoins spécifiques en termes de cycle de vie des données et de latence.
Pour plus d'informations sur la mise en œuvre de cette fonctionnalité, consultez Gérer le stockage de bac à sable d'agent.
Éléments à prendre en compte lors du choix d'une solution de stockage
Lorsque vous choisissez une solution de stockage pour vos agents IA, vous devez tenir compte des exigences de votre plate-forme d'agent, telles que les performances et l'échelle, ainsi que des exigences de gestion des données de vos agents.
Exigences liées aux plates-formes
Évaluez les exigences opérationnelles et architecturales suivantes de votre plate-forme :
- Échelle de la plate-forme et fréquence de renouvellement des agents (plan de contrôle) : nombre d' agents simultanés, et nombre d'agents créés, mis en pause, réactivés, et supprimés par minute. Les plates-formes qui créent des milliers d'agents par minute ou qui mettent en pause les agents inactifs nécessitent un stockage avec des opérations d'association et de montage à faible latence à une échelle significative (par exemple, Filestore se monte plus rapidement qu'Hyperdisk ne peut s'associer).
- Taille de l'ensemble de données et latence de chargement (plan de données) : les agents qui chargent des ensembles de données de plusieurs gigaoctets ou des bibliothèques volumineuses (telles que des packages Node.js ou Python packages) au démarrage nécessitent des performances d'E/S de stockage élevées pour lire les données en quelques secondes (par exemple, Hyperdisk offre un débit de lecture élevé par disque).
- Latence de démarrage à froid et de réactivation de l'agent : latence attendue, par exemple inférieure à une seconde ou de plusieurs secondes. Pour obtenir une latence de démarrage inférieure à une seconde, vous devez utiliser des pools à chaud GKE Agent Sandbox. La création de bac à sable directe entraîne généralement un délai de plusieurs secondes pour le démarrage du pod et l'association dynamique du disque.
- Taille de stockage par agent : selon le service choisi, vous devez respecter les limites de provisionnement, telles qu'une taille minimale de 4 Gio pour Google Cloud Hyperdisk ou de 10 Gio pour un seul partage Filestore.
- Modes d'accès aux données et isolation : comment la plate-forme doit prendre en charge l'isolation de l'espace de travail et les espaces de travail collaboratifs. Cela détermine si vos agents auront besoin d'espaces de travail isolés privés (ReadWriteOnce), d'espaces de travail collaboratifs (ReadWriteMany) ou d'espaces de travail de branching d'exploration (modèle en lecture seule avec un bloc-notes accessible en écriture).
- Résilience : si vos agents nécessitent spécifiquement une résilience régionale, Filestore Multishares pour GKE (Enterprise) est le choix approprié.
- Coût de stockage : les services de stockage varient considérablement en termes de prix, Hyperdisk Balanced offrant une option économique par rapport à Filestore Multishares.
Modèles de cycle de vie des données d'agent
Lorsque vous décidez comment votre solution gère les données persistantes et éphémères, tenez compte des modèles de cycle de vie des données d'agent suivants :
- Espace de travail avec état (état continu) : l'espace de travail conserve un état continu entre les sessions. L'agent conserve ses données lorsqu'il est mis en pause (le bac à sable d'agent est supprimé) et les restaure à partir du dernier état enregistré lors de sa réactivation (le bac à sable est recréé).
- Restauration à un point dans le temps et transfert de propriété (état d'instantané) : l' espace de travail agit comme un état d'instantané, ce qui signifie qu'il se ramifie à partir d'un point dans le temps figé. L'espace de travail est initialisé à partir d'un ensemble de données historique ou de l'état partagé d'un autre utilisateur, afin d'exécuter un transfert de propriété. Les modifications ultérieures sont enregistrées dans une couche accessible en écriture privée distincte, ce qui laisse la copie principale intacte. Ce modèle est utile dans des scénarios tels que le clonage d'un ensemble de données pour exécuter des expériences parallèles, le débogage ou l'exécution d'un travail indépendant basé sur des données partagées.
- Espace de travail éphémère (état de brouillon) : l'espace de travail fournit un état de brouillon temporaire dans lequel aucune donnée n'est conservée. L'agent utilise un volume de stockage strictement pour contenir des fichiers temporaires lorsqu'il est actif. Lorsque l'agent est mis en pause ou supprimé (suppression du bac à sable d'agent), les données temporaires sont définitivement supprimées.
Modes d'accès aux données d'agent
Choisissez un service de stockage qui répond aux besoins de vos agents s'ils doivent accéder au stockage dans l'un de ces modes d'accès aux données :
- Espace de travail isolé privé : un agent démarre avec un répertoire de stockage isolé privé auquel il a un accès exclusif en lecture et en écriture.
- Espace de travail collaboratif : plusieurs agents de coordination montent exactement le même répertoire partagé en mode lecture/écriture (RW) pour mettre à jour les fichiers en temps réel de manière collaborative.
- Espace de travail de branching d'exploration : l'agent accède aux fichiers de modèle de base en
mode lecture seule (RO) pour éviter de modifier le modèle, et effectue de nouvelles écritures
en les acheminant vers un bloc-notes
emptyDirlocal distinct ou un chemin persistant privé, ou en copiant les fichiers de modèle directement dans un espace de travail accessible en écriture privé au démarrage.
Comparer les options de stockage pour les bacs à sable d'agent
Étudiez les cas de figure suivants pour vous aider à comparer vos options de stockage :
- Utilisez Hyperdisk Balanced pour un stockage économique pour les agents qui tolèrent une latence de démarrage de quelques secondes et qui utilisent un espace de travail isolé privé avec le mode d'accès ReadWriteOnce (RWO).
- Utilisez Filestore Multishares pour GKE (Enterprise) pour les agents qui nécessitent un espace de travail collaboratif ou une résilience régionale.
Le tableau suivant compare les services de stockage pour vous aider à répondre aux exigences de performances, d'échelle, d'accès aux données et de coûts de vos agents IA.
| Fonctionnalité | Hyperdisk Balanced | Multipartages Filestore pour GKE (Enterprise) |
|---|---|---|
| Application idéale |
|
|
| Modes d'accès |
ReadWriteOnce (RWO) Remarque : Utilisez Hyperdisk ML pour le mode ReadOnlyMany (ROX). |
ReadWriteMany (RWX) |
| Démarrage du bac à sable d'agent en moins d'une seconde (pools à chaud) |
|
|
| Latence de provisionnement du stockage | Plusieurs secondes par volume |
|
| Latence d'association et de montage du chemin chaud | Plusieurs secondes pour l'association du disque | Moins d'une seconde pour le montage NFS réseau |
| Débit maximal en lecture |
|
|
| IOPS | De 3 000 à 160 000, selon la taille et la configuration du volume |
|
| Limites de taille |
|
|
| Limites d'échelle |
|
|
| Sens de la mise à l'échelle de la capacité | Mise à l'échelle à la hausse uniquement | Mise à l'échelle à la hausse ou à la baisse |
| Compatibilité avec CSI VolumeSnapshot | Compatible | Non compatible (les instantanés par partage ne sont pas compatibles) |
| Prix | Tarifs de Persistent Disk et Google Cloud Hyperdisk | Tarifs de Filestore |
Étape suivante
- En savoir plus sur GKE Agent Sandbox.
- Découvrez comment gérer le stockage de fichiers de bac à sable d'agent.