Übersicht über die Datenvorbereitung

Es gibt mehrere Möglichkeiten, Ihre Trainingsdaten zu entwickeln.

Die Wahl hängt von zahlreichen Faktoren ab.

Cloud Storage als bereitgestelltes Dateisystem (Cloud Storage FUSE)

Aus folgenden Gründen sollten Sie Cloud Storage als bereitgestelltes Dateisystem (Cloud Storage FUSE) verwenden:

  • Wenn Trainingsdaten unstrukturiert sind, z. B. Bilder, Text oder Videos: Cloud Storage ist eine gute Wahl zum Speichern dieser Arten von großen, oft einzelnen Dateien.
  • Wenn Trainingsdaten in Formaten wie TFRecord strukturiert sind: Cloud Storage wird häufig für diese ML-spezifischen Formate verwendet.
  • Wenn Sie mit sehr großen Dateien arbeiten: Cloud Storage FUSE streamt die Daten an Ihren Trainingsjob, anstatt dass die gesamte Datei auf die Replikate heruntergeladen werden muss. Dies kann zu schnelleren Datenlade- und Jobstartzeiten für große Datasets führen.
  • Beim verteilten Training: Cloud Storage FUSE bietet einen hohen Durchsatz für sequenzielle Lesevorgänge großer Dateien, was in verteilten Trainingsszenarien von Vorteil ist, in denen mehrere Worker parallel auf Daten zugreifen müssen.
  • Wenn Sie Cloud Storage-Daten bequem so aufrufen möchten, als wären sie ein lokales Dateisystem, ohne explizite API-Aufrufe in Ihrem Trainingscode ausführen zu müssen.
  • Wenn Ihr Hauptanliegen skalierbarer Speicher ist und Sie weniger Wert auf die niedrigste Latenz für den zufälligen Zugriff auf zahlreiche kleine Dateien legen.

Spezifisch für Ray auf der Agent Platform

  • Sie können Ihre Daten in Cloud Storage-Buckets speichern, auf die Ray auf der Agent Platform zugreifen kann.
  • Ray kann Daten direkt aus Cloud Storage lesen. Wenn Sie beispielsweise Spark in Ray ausführen, können Sie Dateien aus Cloud Storage lesen.
  • Die Agent Platform verwendet Cloud Storage FUSE, um Cloud Storage-Buckets als lokale Dateisysteme in Ihren Trainingsjobs bereitzustellen, die in Ray ausgeführt werden. So können Ihre Ray-Anwendungen mit Standard-Datei-E/A-Vorgängen auf Daten zugreifen, als wären sie auf einem lokalen Laufwerk.
  • Für eine optimale Leistung sollten Sie Cloud Storage-Buckets in derselben Region verwenden, in der Sie Ihren Ray-Cluster ausführen.

Weitere Informationen

NFS-Freigabe (Network File System)

  • Wenn Sie einen sehr hohen Durchsatz und Zugriff mit niedriger Latenz auf Remotedateien benötigen, als wären sie lokal gespeichert. Dies kann für bestimmte Datentypen oder komplexe Dateiinteraktionen während des Trainings wichtig sein.
  • Wenn Sie Remotedateien für alle Knoten in einem Compute-Cluster verfügbar machen müssen, z. B. für einen Ray-Cluster auf der Agent Platform.
  • Wenn Ihre Anwendung von einer standardmäßigeren Dateisystemschnittstelle mit potenziell stärkerer POSIX-Konformität im Vergleich zu Cloud Storage FUSE profitiert.
  • Sie haben eine vorhandene NFS-Infrastruktur in Ihrer Virtual Private Cloud, die Sie verwenden möchten.
  • Sie müssen Dateien oder Verzeichnisse für mehrere Jobs oder Cluster freigeben und dabei einen konsistenten Zugriff mit niedriger Latenz ermöglichen. Außerdem bevorzugen Sie die Verwaltung von Berechtigungen auf Dateisystemebene.

Spezifisch für Ray auf der Agent Platform

  • Sie können NFS-Freigaben in Ihrem Ray-Cluster auf der Agent Platform bereitstellen, sodass auf Remotedateien zugegriffen werden kann, als wären sie lokal.
  • Dies ist von Vorteil für den Zugriff mit hohem Durchsatz und niedriger Latenz auf freigegebene Dateisysteme.
  • Sie können NFS-Bereitstellungen einrichten, wenn Sie Ihren Ray-Cluster mit dem Agent Platform SDK für Python erstellen und dabei den Server, den Pfad und den Bereitstellungspunkt angeben. Nach der Bereitstellung kann Ihr Ray-Code mit Standard-Dateivorgängen in diese NFS-Volumes lesen und schreiben.

Weitere Informationen

Verwaltetes Dataset

  • Zentrale Datenverwaltung und ‑steuerung: Verwaltete Datasets bieten einen zentralen Ort zum Organisieren und Verwalten Ihrer Datasets auf der Agent Platform. Das hilft beim Tracking und der Steuerung Ihrer Daten-Assets in verschiedenen Projekten und Experimenten.
  • Datenlabeling: Sie können Labeling-Aufgaben erstellen und Annotationssätze direkt im verwalteten Dataset verwalten.
  • Tracking der Datenherkunft: Bei verwalteten Datasets wird die Herkunft Ihrer Daten automatisch zu den Modellen verfolgt, die damit trainiert wurden. Das ist entscheidend, um die Datenquellen zu verstehen, die für bestimmte Modelle verwendet werden, und um Reproduzierbarkeit und Steuerung zu gewährleisten.
  • Vergleich von benutzerdefinierten und AutoML-Modellen: Mit verwalteten Datasets können Sie sowohl benutzerdefinierte Modelle als auch AutoML-Modelle mit denselben Daten trainieren. So können Sie ihre Leistung direkt mit demselben Dataset vergleichen und den besten Ansatz für Ihr Problem auswählen.
  • Generieren von Datenstatistiken und ‑visualisierungen: Die Agent Platform kann automatisch Statistiken und Visualisierungen für die Daten in einem verwalteten Dataset generieren. Das kann bei der explorativen Datenanalyse helfen und Ihnen die Eigenschaften Ihrer Daten näherbringen.
  • Automatische Datenaufteilung: Wenn Sie verwaltete Datasets in Trainingspipelines verwenden, kann die Agent Platform Ihre Daten automatisch anhand bestimmter Anteile, Filter, vordefinierter Aufteilungen oder Zeitstempel in Trainings-, Validierungs- und Test-Datasets aufteilen. Das vereinfacht die Datenvorbereitung.
  • Dataset-Versionen verwenden: Verwaltete Datasets ermöglichen die Versionsverwaltung. So können Sie Änderungen an Ihren Daten im Zeitverlauf verfolgen und bei Bedarf zu früheren Versionen zurückkehren.

Spezifisch für Ray auf der Gemini Enterprise Agent Platform

  • Wenn Sie ein verwaltetes Dataset in einer Agent Platform-Trainingspipeline verwenden, die Ray für das verteilte Training nutzt, werden die Daten aus dem verwalteten Dataset für die Trainingscontainer verfügbar gemacht. Ihre Ray-Anwendung kann dann darauf zugreifen (über bereitgestelltes Cloud Storage oder BigQuery, wenn das Dataset mit diesen Quellen verknüpft ist). Die Umgebungsvariablen AIP_TRAINING_DATA_URI, AIP_VALIDATION_DATA_URI und AIP_TEST_DATA_URI verweisen auf die Daten.

Weitere Informationen

BigQuery

  • Beim Herstellen einer Verbindung zu Daten in Agent Platform-Komponenten: Viele Tools und Dienste der Agent Platform sind direkt in BigQuery eingebunden. Sie können Daten in BigQuery über JupyterLab abfragen. So können Sie direkt mit Ihren BigQuery-Daten interagieren, um sie zu untersuchen, zu visualisieren und Modelle zu entwickeln, ohne sie in ein anderes Speichersystem verschieben zu müssen.
  • Beim Erstellen von Trainingspipelines: Wenn Sie Trainingspipelines auf der Agent Platform erstellen, können Sie Daten direkt aus BigQuery verwenden. Eine Pipeline kann beispielsweise Daten aus BigQuery abrufen, sie vorverarbeiten und dann ein Modell trainieren.
  • Pipelines für kontinuierliches Modelltraining: Wenn Sie ein kontinuierliches Modelltraining einrichten möchten, können Sie Pipelineausführungen auslösen, wenn neue Daten in einer BigQuery-Tabelle eingehen. So lässt sich das erneute Trainieren von Modellen automatisieren. Sie können einen Eventarc-Trigger konfigurieren, um eine Pipeline zu starten, wenn ein neuer Job in eine bestimmte BigQuery-Tabelle eingefügt wird.
  • Modellmonitoring: BigQuery kann als Quelle für das Monitoring von Abweichungen und Drift von Features Ihrer bereitgestellten Modelle verwendet werden. Für die Abweichungserkennung können Sie den BigQuery-URI Ihres Trainings-Datasets angeben. Außerdem können in BigQuery die Logs von Online-Inferenzendpunkten gespeichert werden, die dann als Datenquelle für das kontinuierliche Monitoring verwendet werden können. Dazu sollte Ihre BigQuery-Tabelle idealerweise eine Zeitstempelspalte haben.
  • BigQuery ML-Integration: Sie können BigQuery-Datasets verwenden, wenn Sie BigQuery ML zum Erstellen von Modellen für maschinelles Lernen mit SQL nutzen. Mit der Agent Platform Workbench können Sie interaktive explorative Analysen von BigQuery-Daten durchführen und BigQuery ML in einer Notebook-Umgebung verwenden.
  • Daten untersuchen und vorbereiten: Vor dem Training können Sie BigQuery verwenden, um Ihre Daten zu untersuchen und zu visualisieren. Sie können auch Datentransformationen mit SQL-Abfragen direkt in BigQuery durchführen, bevor Sie die Daten für das Training verwenden.
  • Auf öffentliche Datasets zugreifen: BigQuery hostet viele öffentliche Datasets, z. B. das Dataset „Chicago Taxi Trips“, das Sie in der Agent Platform Workbench problemlos für Experimente und Trainings verwenden können.

Spezifisch für Ray auf der Gemini Enterprise Agent Platform

  • Ray auf der Gemini Enterprise Agent Platform kann Daten direkt aus BigQuery lesen. Sie können das Agent Platform SDK für Python in einer Ray-Aufgabe verwenden, um BigQuery-Abfragen auszuführen und die Ergebnisse für die Verwendung in Ihren Ray-Anwendungen zu materialisieren.
  • Beachten Sie beim Lesen aus BigQuery die maximale Größe der Abfrageantwort von 10 GB.
  • Sie können Daten auch mit dem Agent Platform SDK für Python aus Ihren Ray-Anwendungen zurück in BigQuery schreiben.

Weitere Informationen