Modelltraining mit vordefiniertem Daten-Vorverarbeitungscode: Notebook

Als Data Scientist ist dies mein üblicher Workflow: Ein Modell lokal trainieren (in meinem Notebook), die Parameter protokollieren, die Zeitachsenmesswerte für das Training in Vertex AI TensorBoard, und die Bewertungsmesswerte protokollieren.

Als Data Scientists möchte ich die Möglichkeit haben, Datenvorverarbeitungscode wiederzuverwenden, den andere in meinem Unternehmen geschrieben haben, um unsere komplexen Data Wrangling-Vorgänge zu vereinfachen und zu standardisieren. Ich möchte Folgendes tun können:

1. Eine Python-Bibliothek zur Datenvorverarbeitung verwenden, um ein Speicher-Dataset (ein Pandas-DataFrame) in einem Notebook zu bereinigen.
2. Ein Modell mit Keras trainieren (ebenfalls in einem Notebook).

Notebook: Modellexperimente mit vorverarbeiteten Daten

Wenn Sie ein Beispiel für die Erstellung einer Vertex AI Experiments-Herkunft für benutzerdefiniertes Training sehen möchten, führen Sie das Notebook „Build Experiment lineage for custom training“ in einer der folgenden Umgebungen aus:

In Colab öffnen | In Colab Enterprise öffnen | In Agent Platform Workbench öffnen | Auf GitHub ansehen

Im Notebook „Build Vertex AI Experiment: Herkunft für benutzerdefiniertes Training“ erfahren Sie, wie Sie Vorverarbeitungscode in Vertex AI Experiments einbinden. Außerdem erstellen Sie die Herkunft des Tests, mit der Sie Metadaten und Artefakte, die während Ihres ML-Prozesses erstellt wurden, aufzeichnen, analysieren, debuggen und prüfen können.

Sie können die Herkunft des Artefakts in der Google Cloud Konsole ansehen.

Relevante Inhalte

• Daten manuell in einer Testausführung loggen
• Zusammenfassende Messwerte loggen
• Zeitachsenmesswerte loggen
• Parameter loggen
• Logklassifizierungs-Messwerte

• Ausführungen und Artefakte verfolgen