Panoramica della preparazione dei dati

Esistono diverse opzioni per sviluppare i dati di addestramento.

La scelta dipende da numerosi fattori.

Cloud Storage come file system montato (Cloud Storage FUSE)

Valuta la possibilità di utilizzare Cloud Storage come file system montato (Cloud Storage FUSE) per i seguenti motivi:

  • Quando i dati di addestramento non sono strutturati, ad esempio immagini, testo o video: Cloud Storage è la soluzione ideale per archiviare questi tipi di file di grandi dimensioni, spesso singoli.
  • Quando i dati di addestramento sono strutturati in formati come TFRecord: Cloud Storage viene comunemente utilizzato per questi formati specifici per il ML.
  • Quando lavori con file molto grandi: Cloud Storage FUSE trasmette i dati al job di addestramento anziché richiedere il download dell'intero file nelle repliche. Ciò può comportare un caricamento dei dati più rapido e tempi di avvio dei job più brevi per set di dati di grandi dimensioni.
  • Quando esegui l'addestramento distribuito: Cloud Storage FUSE offre un throughput elevato per le letture sequenziali di file di grandi dimensioni, il che è utile negli scenari di addestramento distribuito in cui più worker devono accedere ai dati in parallelo.
  • Quando preferisci la comodità di accedere ai dati di Cloud Storage come se fossero un file system locale, senza dover effettuare chiamate API esplicite nel codice di addestramento.
  • Quando la tua esigenza principale è lo spazio di archiviazione scalabile e non ti preoccupa la latenza molto bassa per l'accesso casuale a numerosi file di piccole dimensioni.

Specifico per Ray on Agent Platform

  • Puoi archiviare i dati in bucket Cloud Storage, a cui Ray su Agent Platform può accedere.
  • Ray può leggere direttamente i dati da Cloud Storage. Ad esempio, quando esegui Spark su Ray, puoi leggere i file da Cloud Storage.
  • La piattaforma agent utilizza Cloud Storage FUSE per montare i bucket Cloud Storage come file system locali all'interno dei job di addestramento in esecuzione su Ray. In questo modo, le tue applicazioni Ray possono accedere ai dati come se si trovassero su un disco locale utilizzando operazioni di I/O dei file standard.
  • Per prestazioni ottimali, ti consigliamo di utilizzare i bucket Cloud Storage nella stessa regione in cui esegui il cluster Ray.

Scopri di più

Condivisione Network File System (NFS)

  • Quando hai bisogno di un throughput elevato e di un accesso a bassa latenza ai file remoti, come se fossero archiviati localmente. Questo può essere importante per determinati tipi di dati o interazioni di file complesse durante l'addestramento.
  • Quando devi rendere i file remoti facilmente disponibili per tutti i nodi di un cluster di computing, ad esempio un cluster Ray su Agent Platform.
  • Quando la tua applicazione trae vantaggio da un'interfaccia del file system più standard con una conformità POSIX potenzialmente più elevata rispetto a Cloud Storage FUSE.
  • Hai un'infrastruttura NFS esistente all'interno del tuo Virtual Private Cloud che vuoi utilizzare.
  • Devi condividere file o directory tra più job o cluster con un accesso coerente e a bassa latenza e preferisci gestire le autorizzazioni a livello di file system.

Specifico per Ray on Agent Platform

  • Puoi montare condivisioni NFS sul tuo cluster Ray su Agent Platform, rendendo i file remoti accessibili come se fossero locali.
  • Questo è utile per l'accesso a bassa latenza e con throughput elevato ai file system condivisi.
  • Puoi configurare i punti di montaggio NFS durante la creazione del cluster Ray utilizzando l'SDK Agent Platform per Python, specificando il server, il percorso e il punto di montaggio. Una volta montati, il codice Ray può leggere e scrivere su questi volumi NFS utilizzando operazioni su file standard.

Scopri di più

Set di dati gestito

  • Gestione e governance dei dati centralizzate: i set di dati gestiti forniscono una posizione centrale per organizzare e gestire i set di dati all'interno di Agent Platform. In questo modo, puoi monitorare e gestire i tuoi asset di dati in diversi progetti ed esperimenti.
  • Etichettatura dei dati su Gemini Enterprise Agent Platform: puoi creare attività di etichettatura e gestire i set di annotazioni direttamente all'interno del set di dati gestito.
  • Tracciamento della derivazione dei dati: i set di dati gestiti tracciano automaticamente la derivazione dei dati rispetto ai modelli addestrati su di essi. Questo è fondamentale per comprendere le origini dati utilizzate per modelli specifici e per garantire la riproducibilità e la governance.
  • Confronto tra modelli personalizzati e AutoML: i set di dati gestiti ti consentono di addestrare sia modelli personalizzati sia modelli AutoML utilizzando gli stessi dati. In questo modo è possibile confrontare direttamente le prestazioni sullo stesso set di dati, aiutandoti a scegliere l'approccio migliore per il tuo problema.
  • Generazione di statistiche e visualizzazioni dei dati: Agent Platform può generare automaticamente statistiche e visualizzazioni per i dati all'interno di un set di dati gestito. Questo può essere utile per l'analisi esplorativa dei dati e per comprendere le caratteristiche dei dati.
  • Suddivisione automatica dei dati: quando utilizzi set di dati gestiti nelle pipeline di addestramento, Agent Platform può suddividere automaticamente i dati in set di addestramento, convalida e test in base a frazioni, filtri, suddivisioni predefinite o timestamp specificati. In questo modo, il processo di preparazione dei dati viene semplificato.
  • Utilizzo delle versioni dei set di dati: i set di dati gestiti consentono il controllo delle versioni, che ti consente di monitorare le modifiche ai dati nel tempo e di ripristinare le versioni precedenti, se necessario.

Specifico per Ray su Gemini Enterprise Agent Platform

  • Se utilizzi un set di dati gestito in una pipeline di addestramento della piattaforma agente che utilizza Ray per l'addestramento distribuito, i dati del set di dati gestito vengono resi disponibili ai container di addestramento, a cui la tua applicazione Ray può accedere (tramite Cloud Storage o BigQuery montati se il set di dati è collegato a queste origini). Le variabili di ambiente AIP_TRAINING_DATA_URI, AIP_VALIDATION_DATA_URI e AIP_TEST_DATA_URI indicherebbero i dati.

Scopri di più

BigQuery

  • Quando ti connetti ai dati all'interno dei componenti di Agent Platform: molti strumenti e servizi di Agent Platform si integrano direttamente con BigQuery. Puoi eseguire query sui dati in BigQuery da JupyterLab. In questo modo puoi interagire direttamente con i tuoi dati BigQuery per l'esplorazione, la visualizzazione e lo sviluppo di modelli senza doverli spostare in un altro sistema di archiviazione.
  • Durante la creazione di pipeline di addestramento: quando crei pipeline di addestramento in Agent Platform, puoi utilizzare i dati direttamente da BigQuery. Ad esempio, una pipeline può recuperare i dati da BigQuery, pre-elaborarli e quindi addestrare un modello.
  • Pipeline di addestramento continuo dei modelli: per configurare l'addestramento continuo dei modelli, puoi attivare le esecuzioni della pipeline in base ai nuovi dati che arrivano in una tabella BigQuery. In questo modo è possibile automatizzare il riaddestramento del modello. Puoi configurare un trigger Eventarc per avviare una pipeline quando viene inserito un nuovo job in una tabella BigQuery specifica.
  • Monitoraggio dei modelli: BigQuery può essere utilizzato come origine per monitorare lo sfasamento e la deviazione delle caratteristiche dei modelli di cui hai eseguito il deployment. Per il rilevamento dello sfasamento, puoi specificare l'URI BigQuery del set di dati di addestramento. Inoltre, BigQuery può archiviare i log degli endpoint di inferenza online, che possono poi essere utilizzati come origine dati per il monitoraggio continuo. Per questo, idealmente la tabella BigQuery deve avere una colonna timestamp.
  • Integrazione di BigQuery ML: puoi utilizzare i set di dati BigQuery quando sfrutti BigQuery ML per creare modelli di machine learning utilizzando SQL. Agent Platform Workbench, consente l'analisi esplorativa interattiva dei dati di BigQuery e l'utilizzo di BigQuery ML in un ambiente di blocco note.
  • Esplorazione e preparazione dei dati: prima dell'addestramento, puoi utilizzare BigQuery per esplorare e visualizzare i dati. Puoi anche eseguire trasformazioni dei dati utilizzando query SQL direttamente in BigQuery prima di utilizzare i dati per l'addestramento.
  • Accesso ai set di dati pubblici: BigQuery ospita molti set di dati pubblici, come il set di dati Chicago Taxi Trips, che puoi utilizzare facilmente per la sperimentazione e l'addestramento in Agent Platform Workbench.

Specifico per Ray su Gemini Enterprise Agent Platform

  • Ray su Gemini Enterprise Agent Platform è in grado di leggere i dati direttamente da BigQuery. Puoi utilizzare l'SDK Agent Platform per Python all'interno di un'attività Ray per eseguire query BigQuery e materializzare i risultati da utilizzare nelle tue applicazioni Ray.
  • Quando leggi da BigQuery, tieni presente la dimensione massima della risposta alla query, che è di 10 GB.
  • Puoi anche scrivere i dati dalle tue applicazioni Ray in BigQuery utilizzando l'SDK Agent Platform per Python.

Scopri di più