Colab Enterprise Data Science-Agent mit BigQuery verwenden

Mit dem Data Science Agent (DSA) für Colab Enterprise und BigQuery können Sie explorative Datenanalysen automatisieren, Machine-Learning-Aufgaben ausführen und Insights generieren – alles in einem Colab Enterprise-Notebook.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die BigQuery, Gemini for Google Cloud, Dataform und Compute Engine APIs, falls sie noch nicht aktiviert sind.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

   APIs aktivieren

   Bei neuen Projekten ist die BigQuery API automatisch aktiviert.

Wenn Sie Colab Enterprise in BigQuery noch nicht kennen, finden Sie die Einrichtungsschritte auf der Seite Notebooks erstellen.

Beschränkungen

• Der Data Science Agent ist nur in der Colab Enterprise-Umgebung verfügbar.
• Der Data Science Agent unterstützt die folgenden Datenquellen:
  • CSV-Dateien
  • BigQuery-Tabellen
• Der vom Data Science Agent erstellte Code wird nur in der Laufzeit Ihres Notebooks ausgeführt.
• Die Suche nach BigQuery-Tabellen mit der Funktion @mention ist auf Ihr aktuelles Projekt beschränkt. Mit der Tabellenauswahl können Sie projektübergreifend suchen.
• Die Funktion @mention sucht nur nach BigQuery-Tabellen. Wenn Sie nach Datendateien suchen möchten, die Sie hochladen können, verwenden Sie das Symbol +.
• PySpark im Data Science Agent generiert nur Managed Service for Apache Spark 4.0-Code. Der DSA kann Ihnen beim Upgrade auf Managed Service for Apache Spark 4.0 helfen. Nutzer, die frühere Versionen benötigen, sollten den Data Science Agent jedoch nicht verwenden.
• Kundenverwaltete Verschlüsselungsschlüssel (CMEK) werden nicht unterstützt.

Wann sollte der Data Science Agent verwendet werden?

Der Data Science Agent unterstützt Sie bei Aufgaben, die von der explorativen Datenanalyse bis hin zur Erstellung von Vorhersagen und Prognosen mit maschinellem Lernen reichen. Sie können den DSA für Folgendes verwenden:

• Datenverarbeitung im großen Maßstab: Verwenden Sie BigQuery ML, BigQuery DataFrames oder Managed Service for Apache Spark, um verteilte Datenverarbeitung für große Datasets auszuführen. So können Sie Daten, die zu groß sind, um in den Arbeitsspeicher eines einzelnen Computers zu passen, effizient bereinigen, transformieren und analysieren.
• Plan generieren: Generieren und ändern Sie einen Plan, um eine bestimmte Aufgabe mit gängigen Tools wie Python, SQL, Managed Service for Apache Spark und BigQuery DataFrames zu erledigen.
• Explorative Datenanalyse: Erkunden Sie ein Dataset, um seine Struktur zu verstehen, potenzielle Probleme wie fehlende Werte und Ausreißer zu identifizieren und die Verteilung wichtiger Variablen mit Python oder SQL zu untersuchen.
• Datenbereinigung: Bereinigen Sie Ihre Daten. Entfernen Sie beispielsweise Datenpunkte, die Ausreißer sind.
• Data Wrangling: Konvertieren Sie kategoriale Features in numerische Darstellungen. Verwenden Sie dazu Techniken wie One-Hot-Codierung oder Labelcodierung oder die Feature-Transformationstools von BigQuery ML. Neue Features für die Analyse erstellen
• Datenanalyse: Analysieren Sie die Beziehungen zwischen verschiedenen Variablen. Korrelationen zwischen numerischen Features berechnen und Verteilungen kategorialer Features untersuchen Suchen Sie nach Mustern und Trends in den Daten.
• Datenvisualisierung: Erstellen Sie Visualisierungen wie Histogramme, Box-Plots, Streudiagramme und Balkendiagramme, die die Verteilungen einzelner Variablen und die Beziehungen zwischen ihnen darstellen. Sie können auch Visualisierungen in Python für Tabellen erstellen, die in BigQuery gespeichert sind.
• Feature Engineering: Neue Features aus einem bereinigten Dataset erstellen.
• Datenaufteilung: Ein bearbeitetes Dataset in Trainings-, Validierungs- und Test-Datasets aufteilen.
• Modelltraining: Trainieren Sie ein Modell mit den Trainingsdaten in einem Pandas-DataFrame (X_train, y_train), BigQuery DataFrames, einem PySpark-DataFrame oder mit der BigQuery ML-Anweisung CREATE MODEL mit BigQuery-Tabellen.
• Modelloptimierung: Optimieren Sie ein Modell mithilfe des Validierungs-Datasets. Sehen Sie sich alternative Modelle wie DecisionTreeRegressor und RandomForestRegressor an und vergleichen Sie deren Leistung.
• Modellbewertung: Bewerten Sie die Modellleistung anhand eines Test-Datasets mit einem Pandas-DataFrame, BigQuery-DataFrames oder einem PySpark-DataFrame. Sie können auch die Modellqualität bewerten und Modelle vergleichen, indem Sie die Modellbewertungsfunktionen von BigQuery ML für Modelle verwenden, die mit BigQuery ML trainiert wurden.
• Modellinferenz: Führen Sie Inferenzen mit trainierten BigQuery ML-Modellen, importierten Modellen und Remote-Modellen mithilfe von BigQuery ML-Inferenzfunktionen aus. Sie können auch die BigFrames-Methode model.predict() oder PySpark-Transformer verwenden, um Vorhersagen zu treffen.

Data Science Agent in BigQuery verwenden

In den folgenden Schritten wird beschrieben, wie Sie den Data Science-Agenten in BigQuery verwenden.

1. Erstellen oder öffnen Sie ein Colab Enterprise-Notebook.

2. Optional: Verweisen Sie auf eine der folgenden Arten auf Ihre Daten:

   • Laden Sie eine CSV-Datei hoch oder verwenden Sie das Symbol + in Ihrem Prompt, um nach verfügbaren Dateien zu suchen.
   • Wählen Sie in der Tabellenauswahl eine oder mehrere BigQuery-Tabellen aus Ihrem aktuellen Projekt oder aus anderen Projekten aus, auf die Sie Zugriff haben.
   • Verweisen Sie in Ihrem Prompt auf einen BigQuery-Tabellennamen im folgenden Format: project_id:dataset.table.
   • Geben Sie das Symbol @ ein, um mit der Funktion @mention nach einem BigQuery-Tabellennamen zu suchen.

3. Geben Sie einen Prompt ein, der die Datenanalyse beschreibt, die Sie durchführen möchten, oder den Prototyp, den Sie erstellen möchten. Das Standardverhalten des Data Science-Agenten ist die Generierung von Python-Code mithilfe von Open-Source-Bibliotheken wie sklearn, um komplexe Aufgaben des maschinellen Lernens zu erledigen. Wenn Sie ein bestimmtes Tool verwenden möchten, fügen Sie die folgenden Schlüsselwörter in Ihren Prompt ein:

   • Wenn Sie BigQuery ML verwenden möchten, fügen Sie das Keyword „SQL“ ein.
   • Wenn Sie „BigQuery DataFrames“ verwenden möchten, geben Sie die Suchbegriffe „BigFrames“ oder „BigQuery DataFrames“ an.
   • Wenn Sie PySpark verwenden möchten, fügen Sie die Suchbegriffe „Apache Spark“ oder „PySpark“ ein.

   Weitere Informationen finden Sie in den Beispiel-Prompts.

4. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

5. Senden Sie den Prompt und sehen Sie sich die Ergebnisse an.

CSV-Datei analysieren

So analysieren Sie eine CSV-Datei mit dem Data Science-Agenten in BigQuery:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie auf Neues Notebook > Leeres Notebook.

   Alternativ können Sie in der Tableiste auf den Drop-down-Pfeil arrow_drop_down neben dem Symbol add_box Hinzufügen und dann auf Notebook > Leeres Notebook klicken.

4. Klicken Sie auf den Button spark Gemini in Colab ein-/ausschalten, um das Chat-Dialogfeld zu öffnen.

   Hinweis: Sie können zwischen der Anzeige des Chat-Dialogfelds in einem separaten Bereich und der Anzeige des Chat-Dialogfelds in Ihrem Notebook wechseln, indem Sie auf das Symbol Verschieben klicken.

5. Laden Sie die CSV-Datei hoch.

   1. Klicken Sie im Chat-Dialogfeld auf Zu Gemini hinzufügen > Hochladen.

   2. Autorisieren Sie gegebenenfalls Ihr Google-Konto.

   3. Gehen Sie zum Speicherort der CSV-Datei und klicken Sie auf Öffnen.

6. Alternativ können Sie das Symbol + in Ihren Prompt eingeben, um nach verfügbaren Dateien zum Hochladen zu suchen.

7. Geben Sie Ihren Prompt in das Chatfenster ein. Beispiel: Identify trends and anomalies in this file.

8. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

9. Klicken Sie auf send Senden. Die Ergebnisse werden im Chatfenster angezeigt.

10. Sie können den KI-Agenten bitten, den Plan zu ändern, oder Sie können ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Plan ausgeführt wird, werden generierter Code und Text im Notebook angezeigt. Klicken Sie auf Abbrechen, um den Vorgang zu beenden.

BigQuery-Tabellen analysieren

Wenn Sie eine BigQuery-Tabelle analysieren möchten, wählen Sie eine oder mehrere Tabellen in der Tabellenauswahl aus, geben Sie in Ihrem Prompt einen Verweis auf die Tabelle an oder suchen Sie mit dem Symbol @ nach einer Tabelle.

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie auf Neues Notebook > Leeres Notebook.

   Alternativ können Sie in der Tableiste auf den Drop-down-Pfeil arrow_drop_down neben dem Symbol add_box Hinzufügen und dann auf Notebook > Leeres Notebook klicken.

4. Klicken Sie auf den Button spark Gemini in Colab ein-/ausschalten, um das Chat-Dialogfeld zu öffnen.

   Hinweis: Sie können zwischen der Anzeige des Chat-Dialogfelds in einem separaten Bereich und der Anzeige des Chat-Dialogfelds in Ihrem Notebook wechseln, indem Sie auf das Symbol Verschieben klicken.

5. Geben Sie Ihren Prompt in das Chatfenster ein.

6. Verweisen Sie auf eine der folgenden Arten auf Ihre Daten:

   1. Wählen Sie mit der Tabellenauswahl eine oder mehrere Tabellen aus:

      1. Klicken Sie auf Zu Gemini hinzufügen > BigQuery-Tabellen.

      2. Wählen Sie im Fenster BigQuery-Tabellen eine oder mehrere Tabellen in Ihrem Projekt aus. Sie können projektübergreifend nach Tabellen suchen und Tabellen mithilfe der Suchleiste filtern.

   2. Geben Sie einen BigQuery-Tabellennamen direkt in Ihren Prompt ein. Beispiel: „Hilf mir, eine explorative Datenanalyse durchzuführen und Informationen zu den Daten in dieser Tabelle zu erhalten: project_id:dataset.table.“

      Ersetzen Sie Folgendes:

      • project_id: Ihre Projekt-ID.
      • dataset: der Name des Datasets, das die zu analysierende Tabelle enthält
      • table: der Name der Tabelle, die Sie analysieren.

   3. Geben Sie @ ein, um in Ihrem aktuellen Projekt nach einer BigQuery-Tabelle zu suchen.

7. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

8. Klicken Sie auf send Senden.

   Die Ergebnisse werden im Chatfenster angezeigt.

9. Sie können den KI-Agenten bitten, den Plan zu ändern, oder Sie können ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Plan ausgeführt wird, werden generierter Code und Text im Notebook angezeigt. Für weitere Schritte im Plan müssen Sie möglicherweise noch einmal auf Akzeptieren und ausführen klicken. Klicken Sie auf Abbrechen, um den Vorgang zu beenden.

Beispiel-Prompts

Unabhängig von der Komplexität des verwendeten Prompts generiert der Data Science Agent einen Plan, den Sie an Ihre Anforderungen anpassen können.

Die folgenden Beispiele zeigen die Arten von Prompts, die Sie mit dem DSA verwenden können.

Python-Prompts

Python-Code wird standardmäßig generiert, es sei denn, Sie verwenden einen bestimmten Begriff im Prompt, z. B. „BigQuery ML“ oder „SQL“.

• „Fehlende Werte mithilfe des Machine-Learning-Algorithmus ‚k-Nearest Neighbors‘ (KNN) untersuchen und ergänzen.“
• „Erstelle ein Diagramm, das das Gehalt nach Erfahrungsstufe darstellt. Verwenden Sie die Spalte experience_level, um die Gehälter zu gruppieren, und erstellen Sie für jede Gruppe ein Boxplot mit den Werten aus der Spalte salary_in_usd.“
• "Verwenden Sie den XGBoost-Algorithmus, um ein Modell zur Bestimmung der Variablen class einer bestimmten Frucht zu erstellen. Teilen Sie die Daten in Trainings- und Test-Datasets auf, um ein Modell zu generieren und die Genauigkeit des Modells zu bestimmen. Erstellen Sie eine Wahrheitsmatrix, um die Vorhersagen für jede Klasse anzuzeigen, einschließlich aller richtigen und falschen Vorhersagen.“
• „Prognostiziere target_variable von filename.csv für die nächsten sechs Monate.“

SQL- und BigQuery ML-Prompts

• „Erstelle und evaluiere ein Klassifizierungsmodell auf bigquery-public-data.ml_datasets.census_adult_income unter Verwendung von BigQuery SQL.“
• „Prognostiziere mithilfe von SQL den zukünftigen Traffic auf meiner Website für den nächsten Monat auf Basis von bigquery-public-data.google_analytics_sample.ga_sessions_*. Veranschauliche die historischen und prognostizierten Werte anschließend in einer Grafik.“
• "Ähnliche Kunden gruppieren, um mit einem KMeans-Modell und BigQuery ML-SQL-Funktionen zielgerichtete Marketingkampagnen zu erstellen. Verwenden Sie drei Features für das Clustering. Anschließend visualisieren Sie die Ergebnisse, indem Sie eine Reihe von 2D-Streudiagrammen erstellen. Verwenden Sie die Tabelle bigquery-public-data.ml_datasets.census_adult_income.“
• „Generiere Texteinbettungen in BigQuery ML mit den Rezensionsinhalten in bigquery-public-data.imdb.reviews.“

Eine Liste der unterstützten Modelle und Aufgaben des maschinellen Lernens finden Sie in der BigQuery ML-Dokumentation.

DataFrame-Prompts

• „Erstelle einen Pandas-DataFrame für die Daten in project_id:dataset.table. Untersuche die Daten auf fehlende Werte und stelle die Verteilung jeder Spalte mithilfe des Diagrammtyps grafisch dar. Verwende Violinendiagramme für Messwerte und Balkendiagramme für Kategorien.“
• „Lies filename.csv und erstelle einen DataFrame. Führen Sie eine Analyse des DataFrame aus, um zu bestimmen, was mit den Werten geschehen soll. Gibt es beispielsweise fehlende Werte, die ersetzt oder entfernt werden müssen, oder doppelte Zeilen, die korrigiert werden müssen? Verwenden Sie die Datendatei, um die Verteilung des investierten Geldes in USD pro Stadt zu ermitteln. Stellen Sie die 20 besten Ergebnisse in einem Balkendiagramm dar, das die Ergebnisse in absteigender Reihenfolge als „Standort“ im Vergleich zu „Durchschnittlicher investierter Betrag (USD)“ zeigt.“
• „Erstelle und evaluiere ein Klassifizierungsmodell auf project_id:dataset.table unter Verwendung von BigQuery DataFrames.“
• „Erstelle ein Zeitreihen-Prognosemodell für project_id:dataset.table mit BigQuery DataFrames und visualisiere die Modellbewertungen.“
• „Visualisiere die Verkaufszahlen des letzten Jahres in der BigQuery-Tabelle project_id:dataset.table mit BigQuery DataFrames.“
• „Finden Sie die Features, mit denen sich die Pinguinarten aus der Tabelle bigquery-public_data.ml_datasets.penguins am besten vorhersagen lassen, und verwenden Sie dazu BigQuery DataFrames.“

PySpark-Prompts

• "Create and evaluate a classification model on project_id:dataset.table using Managed Service for Apache Spark."
• „Ähnliche Kunden gruppieren, um Zielgruppen-Marketingkampagnen zu erstellen, aber zuerst eine Dimensionsreduktion mit einem PCA-Modell durchführen. Verwenden Sie dazu PySpark für die Tabelle project_id:dataset.table.“

Gemini in BigQuery deaktivieren

Wenn Sie Gemini in BigQuery für ein Google Cloud -Projekt deaktivieren möchten, muss ein Administrator die Gemini for Google Cloud API deaktivieren. Weitere Informationen finden Sie unter Dienste deaktivieren.

Wenn Sie Gemini in BigQuery für einen bestimmten Nutzer deaktivieren möchten, muss der Administrator ihm die Rolle Gemini for Google Cloud User (roles/cloudaicompanion.user) entziehen. Weitere Informationen finden Sie unter Einzelne IAM-Rolle widerrufen.

Hinweis: Wenn Sie den Data Science-Agenten deaktivieren möchten, ohne andere Gemini-Funktionen zu deaktivieren, wenden Sie sich an [e-mail] oder füllen Sie das Formular zur Deaktivierung des Data Science-Agenten aus. Weitere Informationen zum Deaktivieren des Data Science Agent finden Sie unter Gemini in Colab Enterprise deaktivieren.

Preise

Die Preise für den Data Science Agent basieren auf Ihren Eingabe- und Ausgabedaten. Weitere Informationen zu den Preisen für Agenten finden Sie unter So funktionieren die BigQuery-Preise.

Unterstützte Regionen

Eine Liste der unterstützten Regionen für den Data Science-Agenten von Colab Enterprise finden Sie unter Standorte.