KI- und ML-Modelle trainieren

Vorschau

Dieses Produkt unterliegt den Bedingungen für Pre‑GA-Angebote im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen und den Zusatzbedingungen für Vorschauprodukte auf Basis von generativer KI. Pre-GA-Produkte stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen.

Hier erfahren Sie, wie Sie KI- und ML-Modelle in der Erweiterung „Google Cloud Data Agent Kit“ für Antigravity trainieren.

In dieser Kurzanleitung verwenden Sie eine Sitzungsvorlage und ein Beispiel-Jupyter-Notebook, um die Höhe des Trinkgelds für Taxis in New York City vorherzusagen. Mit einem Remote-Jupyter-Kernel mit PySpark testen Sie verschiedene Modelle wie lineare Regression, Random Forest und XGBoost. Mit diesem Prozess können Sie verteiltes Training und Inferenz durchführen. Es wird die Skalierbarkeit auf mehreren Computern mit Spark ML und der XGBoost-Bibliothek demonstriert.

In dieser Kurzanleitung wird zwar nicht darauf eingegangen, aber es gibt mehrere Möglichkeiten, KI- und ML-Modelle mit der Google Cloud Data Agent Kit-Erweiterung für Antigravity zu trainieren:

• Wenn Ihr Trainingsdataset groß ist oder Sie die Funktionen für verteiltes Training von Apache Spark nutzen möchten, können Sie Spark-Notebooks mit Remote-Kernels verwenden.
• Wenn sich Ihr Dataset in BigQuery befindet und BigQuery ML Ihren Anwendungsfall unterstützt, können Sie ein BigQuery DataFrames-Notebook verwenden.
• Wenn Ihr Dataset klein ist und Sie Ihr Modell lokal trainieren möchten, können Sie ein Python-Notebook verwenden.

Spark-Laufzeitvorlage erstellen

Mit Serverless Spark-Laufzeitvorlagen können Sie eine Apache Spark-Sitzung mit einer bestimmten Konfiguration starten. So erstellen Sie eine neue Vorlage für die serverlose Laufzeit:

1. Klicken Sie in der Aktivitätsleiste der IDE auf das Symbol Google Cloud Data Agent Kit.
2. Maximieren Sie im Menü des Google Cloud Data Agent Kit Apache Spark.
3. Maximieren Sie Serverless und klicken Sie dann auf + Serverlose Runtimes erstellen. Ein Formular zur Erstellung der Serverless Runtime wird angezeigt.
4. Geben Sie im Feld Anzeigename den Wert ai-ml-tutorial ein.
5. Rufen Sie den Bereich Auto Scaling auf.
6. Setzen Sie spark.dynamicAllocation.enabled in der Drop-down-Liste auf „false“. Diese Einstellung ist erforderlich, damit XGBoost mit Apache Spark funktioniert.
7. Übernehmen Sie für alle anderen Felder die Standardeinstellungen.
8. Klicken Sie auf Senden.

Neues Notebook erstellen

Hinweis :In dieser Kurzanleitung verwenden Sie ein vorkonfiguriertes Beispiel-Notebook. Sie können den Agenten auch in Ihrer IDE verwenden, um mit einem Prompt, der Ihren spezifischen ML-Anwendungsfall beschreibt, ein Spark-Notebook zu generieren.

Erstellen Sie als Nächstes ein neues Spark-Notebook:

1. Klicken Sie auf dem Tab „Google Cloud Data Agent Kit“ unter Apache Spark auf + Neues Spark-Notebook.
2. Wählen Sie Remote Kernel als Kerneltyp aus.
3. Klicken Sie auf Mit einem Beispiel-Notebook beginnen.
4. Wählen Sie in der Liste der Beispiele Data Science with PySpark and Distributed XGBoost (Data Science mit PySpark und verteiltem XGBoost) aus. Ein unbenanntes Jupyter-Notebook wird angezeigt.

Modell trainieren

1. Klicken Sie auf dem Tab „Notebook“ auf Alle ausführen. In der Kernelauswahl werden Sie aufgefordert, einen Kernel auszuwählen, mit dem das Notebook ausgeführt werden soll.
2. Klicken Sie auf Anderen Kernel auswählen.
3. Klicken Sie auf Remote Spark Kernels.
4. Wählen Sie das ai-ml-tutorial on Serverless Spark aus, die Laufzeitvorlage, die Sie zuvor erstellt haben.

Hinweis :Unter Windows muss die Unterstützung für lange Pfade aktiviert sein, damit Spark-Notebooks mit Remote-Kerneln verwendet werden können.

Während das System Ihre Serverless Spark-Sitzung erstellt, wird die folgende Benachrichtigung angezeigt: Connecting to kernel: ai-ml-tutorial on Serverless Spark. Wenn das Notebook eine Verbindung zum Remote-PySpark-Kernel herstellt, beginnt die Ausführung in der ersten Zelle. Dieser Vorgang dauert etwa zwei bis drei Minuten.

Wichtiger Hinweis :Managed Service for Apache Spark führt Ihren Trainingscode vollständig aus. Das System lädt keinen Teil Ihres Trainingsdatensatzes auf Ihren lokalen Computer herunter.

Spark-Sitzung prüfen

1. Maximieren Sie auf dem Tab „Google Cloud Data Agent Kit“ unter „Apache Spark“ die Laufzeitvorlage ai-ml-tutorial. In der IDE wird die Liste der interaktiven Sitzungen angezeigt, die Sie mit dieser Laufzeitvorlage erstellt haben.
2. Suchen Sie oben in der Liste nach der Sitzung, die vom System durch Ausführen des Notebooks erstellt wurde. Klicken Sie auf die Sitzung, um die Details aufzurufen. Sie können die Sitzungskonfiguration und die Ressourcen, die das System zum Ausführen Ihres Notebooks verwendet hat, einsehen.

Bereinigen

Führen Sie nach der erfolgreichen Ausführung des Notebooks die folgenden Bereinigungsschritte aus.

1. Klicken Sie auf dem Tab „Google Cloud Data Agent Kit“ unter „Apache Spark“ mit der rechten Maustaste auf Serverless und wählen Sie List Serverless Runtimes aus. Die Liste der serverlosen Runtimes wird angezeigt.
2. Klicken Sie für ai-ml-tutorial auf das Menü Aktion, um alle interaktiven Sitzungen aufzulisten, die das System aus Ihrer Vorlage erstellt hat.
3. Klicken Sie unter Aktionen auf Löschen.
4. Kehren Sie zum Fenster „Serverless Runtimes“ zurück.
5. Klicken Sie unter Aktionen für ai-ml-tutorial auf Löschen.
6. Klicken Sie auf Bestätigen, um die Vorlage zu löschen, die Sie für diese Anleitung erstellt haben.

Nächste Schritte

• Übersicht über Managed Service for Apache Spark
• Daten transformieren