Data Science Agent verwenden

In dieser Anleitung wird beschrieben, wie Sie den Data Science Agent in Colab Enterprise verwenden können, um Data Science-Aufgaben in Ihren Notebooks auszuführen.

Weitere Informationen dazu, wie und wann Gemini forIhre Daten verwendet. Google Cloud

Dieses Dokument richtet sich an Fachkräfte für Datenanalyse, Data Scientists und Datenentwickler, die mit Colab Enterprise arbeiten. Es wird davon ausgegangen, dass Sie wissen, wie Sie Code in einer Notebookumgebung schreiben.

Funktionen des Data Science Agent

Der Data Science Agent kann Sie bei Aufgaben unterstützen, die von der explorativen Datenanalyse bis hin zur Generierung von Vorhersagen und Prognosen für maschinelles Lernen reichen. Sie können den Data Science Agent für Folgendes verwenden:

  • Umfangreiche Datenverarbeitung: Mit BigQuery ML, BigQuery DataFrames oder Managed Service for Apache Spark können Sie die verteilte Datenverarbeitung für große Datasets ausführen. So können Sie Daten effizient bereinigen, transformieren und analysieren, die zu groß sind, um auf einem einzelnen Computer in den Arbeitsspeicher zu passen.
  • Pläne erstellen: Erstellen und ändern Sie einen Plan, um eine bestimmte Aufgabe mit gängigen Tools wie Python, SQL, Apache Spark und BigQuery DataFrames auszuführen.
  • Explorative Datenanalyse: Analysieren Sie ein Dataset, um seine Struktur zu verstehen, potenzielle Probleme wie fehlende Werte und Ausreißer zu identifizieren und die Verteilung der wichtigsten Variablen zu untersuchen.
  • Daten bereinigen: Bereinigen Sie Ihre Daten. Entfernen Sie beispielsweise Ausreißer-Datenpunkte.
  • Datenaufbereitung: Konvertieren Sie kategoriale Merkmale mithilfe von Techniken wie der One-Hot-Codierung oder der Label-Codierung in numerische Darstellungen. Erstellen Sie neue Merkmale für die Analyse.
  • Datenanalyse: Analysieren Sie die Beziehungen zwischen verschiedenen Variablen. Berechnen Sie Korrelationen zwischen numerischen Merkmalen und untersuchen Sie die Verteilungen kategorialer Merkmale. Suchen Sie nach Mustern und Trends in den Daten.
  • Datenvisualisierung: Erstellen Sie Visualisierungen wie Histogramme, Box-Plots, Streudiagramme und Balkendiagramme, die die Verteilungen von einzelnen Variablen und die Beziehungen zwischen ihnen darstellen.
  • Feature Engineering: Erstellen Sie neue Merkmale aus einem bereinigten Dataset.
  • Datenaufteilung: Teilen Sie ein vorbereitetes Dataset in Trainings-, Validierungs-, und Test-Datasets auf.
  • Modelltraining: Trainieren Sie ein Modell mit den Trainingsdaten in einem Pandas DataFrame, einem BigQuery DataFrames, einem PySpark DataFrame, oder mit der BigQuery ML CREATE MODEL Anweisung mit BigQuery-Tabellen.
  • Modelloptimierung: Optimieren Sie ein Modell mit dem Validierungs-Dataset. Untersuchen Sie alternative Modelle wie DecisionTreeRegressor und RandomForestRegressor und vergleichen Sie ihre Leistung.
  • Modellbewertung: Bewerten Sie die Modellleistung anhand eines Test-Datasets mit einem Pandas DataFrame, BigQuery DataFrames oder einem PySpark DataFrame. Sie können auch die Modellqualität bewerten und Modelle vergleichen, indem Sie BigQuery ML Modellbewertungsfunktionen für Modelle verwenden, die mit BigQuery ML trainiert wurden.
  • Modellinferenz: Führen Sie Inferenzen mit BigQuery ML-trainierten Modellen, importierten Modellen und Remote-Modellen mit BigQuery ML Inferenzfunktionen aus. Sie können auch die BigQuery DataFrames model.predict() Methode oder PySpark Transformer verwenden, um Vorhersagen zu treffen.

Beschränkungen

  • Der Data Science Agent unterstützt die folgenden Datenquellen:
    • CSV-Dateien
    • BigQuery-Tabellen
  • Der vom Data Science Agent erstellte Code wird nur in der Laufzeit Ihres Notebooks ausgeführt.
  • Ihr Notebook muss sich in einer Region befinden, die vom Data Science Agent unterstützt wird. Weitere Informationen finden Sie unter Standorte.
  • Der Data Science Agent wird in Projekten, in denen VPC Service Controls aktiviert ist, nicht unterstützt.
  • Wenn Sie den Data Science Agent zum ersten Mal ausführen, kann es zu einer Latenz von etwa fünf bis zehn Minuten kommen. Dies geschieht nur einmal pro Projekt bei der Ersteinrichtung.
  • Die Suche nach BigQuery-Tabellen mit der Funktion @mention ist auf Ihr aktuelles Projekt beschränkt. Verwenden Sie die Tabellenauswahl, um projektübergreifend zu suchen.
  • Die Funktion @mention sucht nur nach BigQuery-Tabellen. Wenn Sie nach Datendateien suchen möchten, die Sie hochladen können, verwenden Sie das Symbol +.
  • PySpark im Data Science Agent generiert nur Apache Spark 4.0-Code. Der DSA kann Sie beim Upgrade auf Apache Spark 4.0 unterstützen. Nutzer, die frühere Versionen von Apache Spark benötigen, sollten den Data Science Agent jedoch nicht verwenden.

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Konto haben Google Cloud, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Colab Enterprise User (roles/aiplatform.colabEnterpriseUser) für das Projekt zuzuweisen, damit Sie die erforderlichen Berechtigungen zum Verwenden des Data Science Agent in Colab Enterprise erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Auf Ihre Daten verweisen

Damit der Data Science Agent von Colab Enterprise auf Ihre Daten zugreifen und damit arbeiten kann, können Sie eine CSV-Datei hochladen oder auf eine BigQuery-Tabelle verweisen.

CSV-Datei

  1. Rufen Sie in der Google Cloud Console die Seite Meine Notebooks für Colab Enterprise auf.

    Zu „Meine Notebooks“

  2. Wählen Sie im Menü Region die Region aus, in der sich Ihr Notebook befindet.

  3. Klicken Sie auf das Notebook, das Sie öffnen möchten.

  4. Klicken Sie auf die Schaltfläche  Gemini in Colab ein-/ausblenden , um das Chatdialogfeld zu öffnen.

  5. Klicken Sie im Chatdialogfeld auf Dateien hinzufügen > Hochladen.

  6. Autorisieren Sie gegebenenfalls Ihr Google-Konto.

    Warten Sie einen Moment, bis Colab Enterprise eine Laufzeit startet und die Dateisuche aktiviert.

  7. Suchen Sie nach der Datei und klicken Sie dann auf Öffnen.

  8. Klicken Sie auf OK , um zu bestätigen, dass die Dateien dieser Laufzeit gelöscht werden, wenn die Laufzeit beendet wird.

    Die Datei wird in den Bereich Dateien hochgeladen und im Chatfenster angezeigt.

BigQuery-Tabelle

  1. Rufen Sie in der Google Cloud Console die Seite Meine Notebooks für Colab Enterprise auf.

    Zu „Meine Notebooks“

  2. Wählen Sie im Menü Region die Region aus, in der sich Ihr Notebook befindet.

  3. Klicken Sie auf das Notebook, das Sie öffnen möchten.

  4. Klicken Sie auf die Schaltfläche  Gemini in Colab ein-/ausblenden , um das Chatdialogfeld zu öffnen.

  5. Führen Sie einen der folgenden Schritte aus, um auf Ihre Daten zu verweisen:

    • Wählen Sie mit der Tabellenauswahl eine oder mehrere Tabellen aus:

      1. Klicken Sie auf Zu Gemini hinzufügen > BigQuery-Tabellen.
      2. Wählen Sie im Fenster BigQuery-Tabellen eine oder mehrere Tabellen in Ihrem Projekt aus. Sie können mit der Suchleiste nach Tabellen in allen Projekten suchen und Tabellen filtern.

    • Fügen Sie einen BigQuery-Tabellennamen direkt in Ihren Prompt ein. Beispiel: „Unterstütze mich bei der explorativen Datenanalyse und gib mir Statistiken zu den Daten in dieser Tabelle: PROJECT_ID:DATASET.TABLE.“

      Ersetzen Sie Folgendes:

      • PROJECT_ID: Ihre Projekt-ID.
      • DATASET: der Name des Datasets, das die Tabelle enthält, die Sie analysieren.
      • TABLE: der Name der Tabelle, die Sie analysieren.
    • Geben Sie @ ein, um in Ihrem aktuellen Projekt nach einer BigQuery-Tabelle zu suchen.

Data Science Agent verwenden

So verwenden Sie den Data Science Agent von Colab Enterprise:

  1. Geben Sie im Chatdialogfeld Gemini einen Prompt ein und klicken Sie auf  Senden. Ideen für Prompts finden Sie unter Funktionen des Data Science Agent und Beispiel-Prompts.

    Sie können beispielsweise „Gib mir eine Analyse der von mir hochgeladenen Daten“ eingeben.

    Wenn Sie den Data Science Agent noch nicht autorisiert haben, wird ein kurzes Dialogfeld angezeigt, während Colab Enterprise Ihr Google-Konto für den Data Science Agent authentifiziert.

  2. Gemini antwortet auf Ihren Prompt. Die Antwort kann Code-Snippets zum Ausführen, allgemeine Ratschläge für Ihr Projekt, nächste Schritte zum Erreichen Ihrer Ziele oder Informationen zu bestimmten Problemen in Ihren Daten oder Ihrem Code enthalten.

    Nachdem Sie die Antwort ausgewertet haben, können Sie Folgendes tun:

    • Wenn Gemini in der Antwort Code bereitstellt, können Sie auf Folgendes klicken:
      • Akzeptieren , um den Code zu Ihrem Notebook hinzuzufügen.
      • Akzeptieren und ausführen , um den Code zu Ihrem Notebook hinzuzufügen und auszuführen.
      • Abbrechen , um den vorgeschlagenen Code zu löschen.
    • Stellen Sie Folgefragen und setzen Sie die Unterhaltung nach Bedarf fort.

  3. Klicken Sie auf  Schließen, um das Dialogfeld Gemini zu schließen.

Gemini in Colab Enterprise deaktivieren

Wenn Sie Gemini in Colab Enterprise für ein Google Cloud Projekt deaktivieren möchten, muss ein Administrator die Gemini for Google Cloud API deaktivieren. Weitere Informationen finden Sie unter Dienste deaktivieren.

Wenn Sie Gemini in Colab Enterprise für einen bestimmten Nutzer deaktivieren möchten, muss der Administrator ihm die Rolle „Gemini for Google Cloud User“ (roles/cloudaicompanion.user) entziehen. Weitere Informationen finden Sie unter Einzelne IAM-Rolle widerrufen.

Beispiel-Prompts

In den folgenden Abschnitten finden Sie Beispiele für die Arten von Prompts, die Sie mit dem Data Science Agent verwenden können.

Python-Prompts

Python-Code wird standardmäßig generiert, es sei denn, Sie verwenden im Prompt ein bestimmtes Keyword wie „BigQuery ML“ oder „SQL“.

  • Fehlende Werte mit dem Machine-Learning-Algorithmus „k-Nearest Neighbors“ (KNN) untersuchen und ersetzen
  • Ein Diagramm des Gehalts nach Erfahrungsstufe erstellen Verwenden Sie die Spalte experience_level, um die Gehälter zu gruppieren, und erstellen Sie für jede Gruppe ein Box-Plot mit den Werten aus der Spalte salary_in_usd.
  • Mit dem XGBoost-Algorithmus ein Modell erstellen, um die Variable class einer bestimmten Frucht zu bestimmen Teilen Sie die Daten in Trainings- und Test-Datasets auf, um ein Modell zu generieren und die Genauigkeit des Modells zu bestimmen. Erstellen Sie eine Wahrheitsmatrix, um die Vorhersagen für jede Klasse zu zeigen, einschließlich aller korrekten und falschen Vorhersagen.
  • target_variable aus filename.csv für die nächsten sechs Monate vorhersagen

SQL- und BigQuery ML-Prompts

  • Mit BigQuery SQL ein Klassifizierungsmodell für bigquery-public-data.ml_datasets.census_adult_income erstellen und bewerten
  • Mit SQL den zukünftigen Traffic meiner Website für den nächsten Monat basierend auf bigquery-public-data.google_analytics_sample.ga_sessions_* vorhersagen Anschließend die historischen und prognostizierten Werte grafisch darstellen
  • Ähnliche Kunden gruppieren, um mit einem KMeans-Modell und BigQuery ML-SQL-Funktionen zielgerichtete Marketingkampagnen zu erstellen Drei Merkmale für das Clustering verwenden Anschließend die Ergebnisse visualisieren, indem Sie eine Reihe von 2D-Streudiagrammen erstellen Die Tabelle bigquery-public-data.ml_datasets.census_adult_income verwenden
  • Texteinbettungen in BigQuery ML mit den Rezensionsinhalten in bigquery-public-data.imdb.reviews generieren

Eine Liste der unterstützten Modelle und Machine-Learning-Aufgaben finden Sie in der BigQuery ML-Dokumentation.

DataFrame-Prompts

  • Ein Pandas DataFrame für die Daten in project_id:dataset.table erstellen Die Daten auf Nullwerte analysieren und dann die Verteilung der einzelnen Spalten mit dem Diagrammtyp grafisch darstellen Violin-Plots für Messwerte und Balkendiagramme für Kategorien verwenden
  • filename.csv lesen und ein DataFrame erstellen Eine Analyse für das DataFrame ausführen, um zu ermitteln, was mit den Werten geschehen muss Gibt es beispielsweise fehlende Werte, die ersetzt oder entfernt werden müssen, oder gibt es doppelte Zeilen, die bearbeitet werden müssen? Mit der Datendatei die Verteilung des in US-Dollar investierten Geldes pro Stadt ermitteln Die 20 besten Ergebnisse in einem Balkendiagramm darstellen, in dem die Ergebnisse in absteigender Reihenfolge als „Standort“ im Vergleich zu „Durchschnittlich investierter Betrag (USD)“ angezeigt werden
  • Mit project_id:dataset.table ein Klassifizierungsmodell für BigQuery DataFrames erstellen und bewerten
  • Mit project_id:dataset.table mit BigQuery DataFrames ein Zeitreihenprognosemodell erstellen und die Modellbewertungen visualisieren
  • Die Umsatzzahlen des letzten Jahres in der BigQuery Tabelle project_id:dataset.table mit BigQuery DataFrames visualisieren
  • Die Merkmale ermitteln, mit denen sich die Pinguinart aus der Tabelle bigquery-public_data.ml_datasets.penguins am besten vorhersagen lässt, und BigQuery DataFrames verwenden

PySpark-Prompts

  • Mit Managed Service for Apache Spark ein Klassifizierungsmodell für project_id:dataset.table erstellen und bewerten
  • Ähnliche Kunden gruppieren, um zielgerichtete Marketingkampagnen zu erstellen, aber zuerst die Dimensionalität mit einem PCA-Modell reduzieren PySpark verwenden, um dies auszuführen für die Tabelle project_id:dataset.table

Unterstützte Regionen

Die unterstützten Regionen für den Data Science Agent von Colab Enterprise finden Sie unter Standorte.

Abrechnung

Während der Vorschauphase werden Ihnen nur die Kosten für die Ausführung von Code in der Laufzeit des Notebooks in Rechnung gestellt. Weitere Informationen finden Sie unter Colab Enterprise-Preise.

Nächste Schritte