Scegliere l'archiviazione per i workload agentici di AI

Questo documento ti aiuta a selezionare un'opzione di archiviazione appropriata per i tuoi agenti AI in base alle loro esigenze specifiche del ciclo di vita dei dati e ai requisiti di latenza.

Per i dettagli di implementazione, vedi Gestire lo spazio di archiviazione di Agent Sandbox.

Considerazioni per la scelta di una soluzione di archiviazione

Quando scegli una soluzione di archiviazione per i tuoi agenti di AI, devi considerare i requisiti della piattaforma agentica, come prestazioni e scalabilità, e i requisiti di gestione dei dati degli agenti.

Requisiti della piattaforma

Valuta i seguenti requisiti operativi e di architettura della tua piattaforma:

  • Scala della piattaforma e frequenza di churn degli agenti (control plane): il numero di agenti simultanei e il numero di agenti creati, messi in pausa, riattivati ed eliminati al minuto. Le piattaforme che creano migliaia di agenti al minuto o mettono in pausa gli agenti inattivi richiedono spazio di archiviazione con operazioni di collegamento e montaggio a bassa latenza su larga scala (ad esempio, Filestore si monta più velocemente di quanto Hyperdisk possa collegarsi).
  • Dimensioni del set di dati e latenza di caricamento (piano dati): gli agenti che caricano set di dati di più gigabyte o librerie pesanti (come pacchetti Node.js o Python) durante l'avvio richiedono prestazioni di I/O di archiviazione elevate per leggere i dati in pochi secondi (ad esempio, Hyperdisk offre un throughput di lettura elevato per disco).
  • Latenza di avvio a freddo e riattivazione dell'agente: la latenza prevista, ad esempio inferiore a un secondo o di più secondi. Per ottenere una latenza di avvio inferiore al secondo è necessario utilizzare i pool caldi della sandbox dell'agente GKE. L'utilizzo della creazione diretta di sandbox in genere comporta un ritardo di diversi secondi per l'avvio del pod e l'attacco dinamico del disco.
  • Dimensione dello spazio di archiviazione per agente: a seconda del servizio scelto, devi rispettare i limiti di provisioning, ad esempio una dimensione minima di 4 GiB per Google Cloud Hyperdisk o un minimo di 10 GiB per una singola condivisione Filestore.
  • Modalità di accesso ai dati e isolamento: come la piattaforma deve supportare l'isolamento dello spazio di lavoro e gli spazi di lavoro collaborativi. Determina se gli agenti avranno bisogno di workspace privati isolati (ReadWriteOnce), workspace collaborativi (ReadWriteMany) o workspace di ramificazione dell'esplorazione (modello di sola lettura con un blocco note scrivibile).
  • Resilienza: se i tuoi agenti richiedono specificamente la resilienza regionale, Filestore Multishares per GKE (Enterprise) è la scelta appropriata.
  • Costo di archiviazione: i servizi di archiviazione variano notevolmente in termini di prezzo, con Hyperdisk bilanciato che offre un'opzione conveniente rispetto a Filestore Multishares.

Modelli del ciclo di vita dei dati dell'agente

Quando decidi come la tua soluzione gestisce i dati persistenti ed effimeri, considera i seguenti pattern del ciclo di vita dei dati dell'agente:

  • Workspace stateful (stato continuo): lo spazio di lavoro mantiene uno stato continuo tra le sessioni. L'agente conserva i suoi dati quando viene messo in pausa (la sandbox dell'agente viene eliminata) e li ripristina dall'ultimo stato salvato quando viene riattivato (la sandbox viene ricreata).
  • Recupero point-in-time e trasferimento della proprietà (stato snapshot): lo spazio di lavoro funge da stato snapshot, il che significa che si dirama da un punto nel tempo bloccato. Lo spazio di lavoro viene inizializzato da un set di dati storici o dallo stato condiviso di un altro utente per eseguire un trasferimento di proprietà. Le modifiche successive vengono salvate in un livello scrivibile separato e privato, lasciando intatta la copia principale. Questo pattern è utile per scenari come la clonazione di un set di dati per eseguire esperimenti paralleli, il debug o l'esecuzione di un lavoro indipendente basato su dati condivisi.
  • Workspace effimero (stato scratch): il workspace fornisce uno stato scratch temporaneo in cui non vengono conservati dati. L'agente utilizza un volume di archiviazione esclusivamente per contenere i file temporanei mentre è attivo. Quando l'agente viene messo in pausa o eliminato (eliminazione della sandbox dell'agente), i dati temporanei vengono eliminati definitivamente.

Modalità di accesso ai dati dell'agente

Scegli un servizio di archiviazione che soddisfi le esigenze dei tuoi agenti se devono accedere all'archiviazione in una di queste modalità di accesso ai dati:

  • Workspace isolato privato: un agente viene avviato con una directory di archiviazione isolata privata a cui ha accesso esclusivo in lettura e scrittura.
  • Spazio di lavoro collaborativo: più agenti di coordinamento montano la stessa directory condivisa in modalità lettura/scrittura per aggiornare in modo collaborativo i file in tempo reale.
  • Spazio di lavoro di ramificazione dell'esplorazione: l'agente accede ai file del modello di base in modalità di sola lettura per evitare di alterare il modello ed esegue nuove scritture indirizzandole a un blocco note locale separato emptyDir o a un percorso persistente privato oppure copiando i file del modello direttamente in uno spazio di lavoro privato scrivibile all'avvio.

Confronta le opzioni di archiviazione per le sandbox dell'agente

Per aiutarti a confrontare le opzioni di archiviazione, prendi in considerazione i seguenti scenari:

  • Utilizza Hyperdisk Balanced per uno spazio di archiviazione conveniente per gli agenti che tollerano una latenza di avvio di pochi secondi e utilizzano uno spazio di lavoro privato isolato con modalità di accesso ReadWriteOnce (RWO).
  • Utilizza Filestore Multishares per GKE (Enterprise) per gli agenti che richiedono uno spazio di lavoro collaborativo o resilienza regionale.

La tabella seguente confronta i servizi di archiviazione per aiutarti a soddisfare i requisiti di prestazioni, scalabilità, accesso ai dati e costi dei tuoi agenti AI.

Funzionalità Hyperdisk bilanciato Filestore Multishares per GKE (Enterprise)
Ideale per
  • Workspace individuali con modalità di accesso ReadWriteOnce (RWO)
  • Carichi di lavoro che tollerano una latenza di collegamento dello spazio di archiviazione di più secondi
  • Efficienza in termini di costi
  • Creazione diretta della sandbox
  • Spazi di lavoro collaborativi con modalità di accesso ReadWriteMany (RWX)
  • Workload che richiedono una latenza di collegamento dello spazio di archiviazione inferiore al secondo
  • Resilienza regionale
Modalità di accesso ReadWriteOnce (RWO)

Nota:utilizza Hyperdisk ML per la modalità ReadOnlyMany (ROX).
ReadWriteMany (RWX)
Avvio della sandbox dell'agente in meno di un secondo (Warm Pools)
  • Workspace effimero:un volume vuoto può essere pre-collegato al momento della creazione e distrutto al termine della sessione attiva.
  • Workspace stateful o ripristino point-in-time:richiede script personalizzati e un DaemonSet per il binding dinamico dei volumi (esempio in GitHub).
  • Workspace effimero:un volume vuoto può essere pre-collegato alla creazione e distrutto al termine della sessione attiva.
  • Workspace stateful o ripristino point-in-time:richiede script personalizzati e un DaemonSet per il binding dinamico dei volumi (esempio in GitHub).
Latenza del provisioning dello spazio di archiviazione Diversi secondi per volume
  • Sei minuti per creare un'istanza con un massimo di 80 condivisioni
  • È possibile creare più istanze in parallelo
Latenza di collegamento e montaggio del percorso rapido Diversi secondi per il collegamento del disco Meno di un secondo per il montaggio NFS di rete
Throughput di lettura massimo
  • 2400 MiB/s per disco
  • La velocità effettiva è limitata dal limite hardware fisico del dispositivo collegato
  • 120 MiB/s per 1 TiB di capacità di provisioning
  • Il throughput è limitato a 1200 MiB/s per un'istanza multishare da 10 TiB con capacità massima
IOPS Da 3000 a 160.000, a seconda delle dimensioni e della configurazione del volume
  • IOPS di lettura: 12.000 IOPS di lettura per 1 TiB di capacità dell'istanza (massimo 120.000 IOPS di lettura)
  • IOPS di scrittura:4000 IOPS di scrittura per 1 TiB di capacità dell'istanza (massimo 40.000 IOPS di scrittura)
Limiti di dimensione
  • Per disco: minimo 4 GiB, massimo 64 TiB (128 TiB su C4)
  • Per nodo: massimo 247 TiB per meno di 32 vCPU o 512 TiB per 32 o più vCPU
Limiti di scalabilità
  • Per nodo:nessun limite per gli allegati
  • Per istanza multishare:massimo 80 condivisioni e fino a 20.000 connessioni (2000 per 1 TiB, scalabilità con incrementi di 500)
Direzione di scalabilità della capacità Solo scale up Aumenta o diminuisce
Supporto di CSI VolumeSnapshot Supportato Non supportato (le istantanee per azione non sono supportate)
Prezzo Prezzi di Persistent Disk e Google Cloud Hyperdisk Prezzi di Filestore

Passaggi successivi