Übersicht über die Datenvorbereitung

Es gibt mehrere Möglichkeiten, Trainingsdaten zu entwickeln.

Welche Wahl Sie treffen, hängt von zahlreichen Faktoren ab.

Cloud Storage als bereitgestelltes Dateisystem (Cloud Storage FUSE)

Aus den folgenden Gründen sollten Sie Cloud Storage als bereitgestelltes Dateisystem (Cloud Storage FUSE) verwenden:

  • Wenn die Trainingsdaten unstrukturiert sind, z. B. Bilder, Text oder Videos: Cloud Storage eignet sich hervorragend zum Speichern dieser Art von großen, oft einzelnen Dateien.
  • Wenn Trainingsdaten in Formaten wie TFRecord strukturiert sind: Cloud Storage wird häufig für diese ML-spezifischen Formate verwendet.
  • Wenn Sie mit sehr großen Dateien arbeiten: Cloud Storage FUSE streamt die Daten an Ihren Trainingsjob, anstatt die gesamte Datei auf die Replikate herunterzuladen. Dies kann bei großen Datasets zu schnellerem Laden von Daten und kürzeren Jobstartzeiten führen.
  • Beim verteilten Training: Cloud Storage FUSE bietet einen hohen Durchsatz für sequenzielle Lesevorgänge großer Dateien. Das ist in verteilten Trainingsszenarien von Vorteil, in denen mehrere Worker parallel auf Daten zugreifen müssen.
  • Wenn Sie den Komfort bevorzugen, auf Cloud Storage-Daten zuzugreifen, als wäre es ein lokales Dateisystem, ohne explizite API-Aufrufe in Ihrem Trainingscode vornehmen zu müssen.
  • Wenn Sie in erster Linie skalierbaren Speicher benötigen und die niedrigste Latenz für den zufälligen Zugriff auf zahlreiche kleine Dateien weniger wichtig ist.

Spezifisch für Ray auf der Agent Platform

  • Sie können Ihre Daten in Cloud Storage-Buckets speichern, auf die Ray on Agent Platform zugreifen kann.
  • Ray kann Daten direkt aus Cloud Storage lesen. Wenn Sie beispielsweise Spark on Ray ausführen, können Sie Dateien aus Cloud Storage lesen.
  • Die Agent-Plattform verwendet Cloud Storage FUSE, um Cloud Storage-Buckets als lokale Dateisysteme in Ihren Trainingsjobs bereitzustellen, die auf Ray ausgeführt werden. Dadurch können Ihre Ray-Anwendungen mit Standard-Datei-E/A-Vorgängen auf Daten zugreifen, als ob sie sich auf einem lokalen Laufwerk befinden würden.
  • Für eine optimale Leistung wird empfohlen, Cloud Storage-Buckets in derselben Region zu verwenden, in der Sie Ihren Ray-Cluster ausführen.

Weitere Informationen

NFS-Freigabe (Network File System)

  • Wenn Sie einen sehr hohen Durchsatz und eine niedrige Latenz für den Zugriff auf Remotedateien benötigen, als wären sie lokal gespeichert. Dies kann für bestimmte Datentypen oder komplexe Dateiinteraktionen während des Trainings wichtig sein.
  • Wenn Sie Remote-Dateien für alle Knoten in einem Compute-Cluster, z. B. einem Ray-Cluster auf der Agent Platform, leicht verfügbar machen müssen.
  • Wenn Ihre Anwendung von einer standardmäßigeren Dateisystemschnittstelle mit potenziell stärkerer POSIX-Konformität im Vergleich zu Cloud Storage FUSE profitiert.
  • Sie haben eine vorhandene NFS-Infrastruktur in Ihrer Virtual Private Cloud, die Sie verwenden möchten.
  • Sie müssen Dateien oder Verzeichnisse über mehrere Jobs oder Cluster hinweg mit konsistentem Zugriff mit niedriger Latenz freigeben und die Berechtigungen auf Dateisystemebene verwalten.

Spezifisch für Ray auf der Agent Platform

  • Sie können NFS-Freigaben auf Ihrem Ray-Cluster auf der Agent-Plattform bereitstellen, sodass Remote-Dateien wie lokale Dateien zugänglich sind.
  • Dies ist vorteilhaft für den Zugriff auf freigegebene Dateisysteme mit hohem Durchsatz und niedriger Latenz.
  • Sie können NFS-Bereitstellungen einrichten, wenn Sie Ihren Ray-Cluster mit dem Agent Platform SDK für Python erstellen. Geben Sie dazu den Server, den Pfad und den Bereitstellungspunkt an. Nach dem Bereitstellen kann Ihr Ray-Code diese NFS-Volumes mithilfe von Standarddateioperationen lesen und beschreiben.

Weitere Informationen

Verwaltetes Dataset

  • Zentrales Datenmanagement und Governance: Verwaltete Datasets bieten einen zentralen Ort, an dem Sie Ihre Datasets in der Agent Platform organisieren und verwalten können. Das erleichtert das Tracking und die Governance Ihrer Daten-Assets über verschiedene Projekte und Experimente hinweg.
  • Daten-Labeling auf der Gemini Enterprise Agent Platform: Sie können Labeling-Aufgaben erstellen und Annotationssätze direkt im verwalteten Dataset verwalten.
  • Datenherkunft verfolgen: Verwaltete Datasets verfolgen automatisch die Herkunft Ihrer Daten zu den Modellen, die mit ihnen trainiert wurden. Dies ist entscheidend, um die für bestimmte Modelle verwendeten Datenquellen zu verstehen und die Reproduzierbarkeit und Governance zu gewährleisten.
  • Benutzerdefinierte und AutoML-Modelle vergleichen: Mit verwalteten Datasets können Sie sowohl benutzerdefinierte Modelle als auch AutoML-Modelle mit denselben Daten trainieren. So können Sie die Leistung der Modelle mit demselben Dataset direkt vergleichen und den besten Ansatz für Ihr Problem auswählen.
  • Datenstatistiken und Visualisierungen generieren: Die Agent Platform kann automatisch Statistiken und Visualisierungen für die Daten in einem verwalteten Dataset generieren. Dies kann bei der explorativen Datenanalyse hilfreich sein und Ihnen helfen, die Merkmale Ihrer Daten zu verstehen.
  • Automatische Datenaufteilung: Wenn Sie verwaltete Datasets in Trainingspipelines verwenden, kann die Agent Platform Ihre Daten automatisch in Trainings-, Validierungs- und Test-Datasets aufteilen. Dies geschieht anhand von angegebenen Anteilen, Filtern, vordefinierten Aufteilungen oder Zeitstempeln. Das vereinfacht die Datenvorbereitung.
  • Dataset-Versionen verwenden: Verwaltete Datasets ermöglichen die Versionsverwaltung, mit der Sie Änderungen an Ihren Daten im Laufe der Zeit verfolgen und bei Bedarf zu früheren Versionen zurückkehren können.

Spezifisch für Ray auf der Gemini Enterprise Agent Platform

  • Wenn Sie ein verwaltetes Dataset in einer Agent Platform-Trainingspipeline verwenden, die Ray für verteiltes Training nutzt, werden die Daten aus dem verwalteten Dataset den Trainingscontainern zur Verfügung gestellt. Ihre Ray-Anwendung kann dann darauf zugreifen (über bereitgestellten Cloud Storage oder BigQuery, wenn das Dataset mit diesen Quellen verknüpft ist). Die Umgebungsvariablen AIP_TRAINING_DATA_URI, AIP_VALIDATION_DATA_URI und AIP_TEST_DATA_URI verweisen auf die Daten.

Weitere Informationen

BigQuery

  • Beim Herstellen einer Verbindung zu Daten in Agent Platform-Komponenten: Viele Agent Platform-Tools und -Dienste sind direkt in BigQuery eingebunden. Sie können Daten in BigQuery über JupyterLab abfragen. So können Sie direkt mit Ihren BigQuery-Daten interagieren, um sie zu untersuchen, zu visualisieren und Modelle zu entwickeln, ohne sie in ein anderes Speichersystem verschieben zu müssen.
  • Beim Erstellen von Trainingspipelines: Wenn Sie Trainingspipelines in der Agent Platform erstellen, können Sie Daten direkt aus BigQuery verwenden. Eine Pipeline kann beispielsweise Daten aus BigQuery abrufen, vorverarbeiten und dann ein Modell trainieren.
  • Pipelines für kontinuierliches Modelltraining: Zum Einrichten eines kontinuierlichen Modelltrainings können Sie Pipelineausführungen basierend auf neuen Daten auslösen, die in einer BigQuery-Tabelle eingehen. Dadurch kann das erneute Trainieren von Modellen automatisiert werden. Sie können einen Eventarc-Trigger so konfigurieren, dass eine Pipeline initiiert wird, wenn ein neuer Job in eine bestimmte BigQuery-Tabelle eingefügt wird.
  • Modellmonitoring: BigQuery kann als Quelle für das Monitoring von Feature-Verzerrungen und -Abweichungen Ihrer bereitgestellten Modelle verwendet werden. Für die Abweichungserkennung können Sie den BigQuery-URI Ihres Trainings-Datasets angeben. Außerdem können in BigQuery die Logs von Online-Inferenzendpunkten gespeichert werden, die dann als Datenquelle für das kontinuierliche Monitoring verwendet werden können. Dafür sollte Ihre BigQuery-Tabelle idealerweise eine Zeitstempelspalte haben.
  • BigQuery ML-Integration: Sie können BigQuery-Datasets verwenden, wenn Sie BigQuery ML zum Erstellen von Machine-Learning-Modellen mit SQL nutzen. Die Agent Platform Workbench ermöglicht die interaktive explorative Analyse von BigQuery-Daten und die Verwendung von BigQuery ML in einer Notebook-Umgebung.
  • Explorative Datenanalyse und Vorbereitung: Vor dem Training können Sie BigQuery verwenden, um Ihre Daten zu untersuchen und zu visualisieren. Sie können auch Datentransformationen mit SQL-Abfragen direkt in BigQuery ausführen, bevor Sie die Daten für das Training verwenden.
  • Zugriff auf öffentliche Datasets: BigQuery hostet viele öffentliche Datasets, z. B. das Dataset „Chicago Taxi Trips“, die Sie für Tests und Training in der Agent Platform Workbench verwenden können.

Spezifisch für Ray auf der Gemini Enterprise Agent Platform

  • Ray auf der Gemini Enterprise Agent Platform kann Daten direkt aus BigQuery lesen. Sie können das Agent Platform SDK für Python in einem Ray-Task verwenden, um BigQuery-Abfragen auszuführen und die Ergebnisse für die Verwendung in Ihren Ray-Anwendungen zu materialisieren.
  • Beachten Sie beim Lesen aus BigQuery die maximale Größe der Abfrageantwort von 10 GB.
  • Sie können mit dem Agent Platform SDK für Python auch Daten aus Ihren Ray-Anwendungen zurück in BigQuery schreiben.

Weitere Informationen