Colab Enterprise Data Science Agent mit BigQuery verwenden

Mit dem Data Science Agent (DSA) für Colab Enterprise und BigQuery können Sie die explorative Datenanalyse automatisieren, Machine-Learning-Aufgaben ausführen und Erkenntnisse gewinnen – alles in einem Colab Enterprise-Notebook.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die APIs für BigQuery, Gemini für Google Cloud, Dataform und Compute Engine.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

   APIs aktivieren

   Bei neuen Projekten ist die BigQuery API automatisch aktiviert.

Wenn Sie Colab Enterprise in BigQuery noch nicht kennen, finden Sie auf der Seite Notebooks erstellen eine Anleitung zur Einrichtung.

Beschränkungen

• Der Data Science Agent ist nur in der Colab Enterprise-Umgebung verfügbar.
• Der Data Science Agent unterstützt die folgenden Datenquellen:
  • CSV-Dateien
  • BigQuery-Tabellen
• Der vom Data Science Agent generierte Code wird nur in der Laufzeit Ihres Notebooks ausgeführt.
• Die Suche nach BigQuery-Tabellen mit der Funktion @mention ist auf Ihr aktuelles Projekt beschränkt. Mit der Tabellenauswahl können Sie projektübergreifend suchen.
• Die Funktion @mention sucht nur nach BigQuery-Tabellen. Wenn Sie nach Datendateien suchen möchten, die Sie hochladen können, verwenden Sie das Symbol +.
• PySpark im Data Science Agent generiert nur Code für Managed Service for Apache Spark 4.0. Der DSA kann Sie beim Upgrade auf Managed Service for Apache Spark 4.0 unterstützen. Nutzer, die frühere Versionen benötigen, sollten den Data Science Agent jedoch nicht verwenden.
• Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) werden nicht unterstützt.

Wann sollte der Data Science Agent verwendet werden?

Der Data Science Agent unterstützt Sie bei Aufgaben von der explorativen Datenanalyse bis hin zum Generieren von Vorhersagen und Prognosen für maschinelles Lernen. Sie können das DSA für Folgendes verwenden:

• Datenverarbeitung im großen Maßstab: Mit BigQuery ML, BigQuery DataFrames oder Managed Service for Apache Spark können Sie die verteilte Datenverarbeitung für große Datasets ausführen. So können Sie Daten, die zu groß sind, um auf einem einzelnen Computer in den Arbeitsspeicher zu passen, effizient bereinigen, transformieren und analysieren.
• Plan erstellen: Erstellen und ändern Sie einen Plan, um eine bestimmte Aufgabe mit gängigen Tools wie Python, SQL, Managed Service for Apache Spark und BigQuery DataFrames auszuführen.
• Datenexploration: Untersuchen Sie ein Dataset, um seine Struktur zu verstehen, potenzielle Probleme wie fehlende Werte und Ausreißer zu identifizieren und die Verteilung wichtiger Variablen mit Python oder SQL zu analysieren.
• Datenbereinigung: Bereinigen Sie Ihre Daten. Entfernen Sie beispielsweise Ausreißer-Datenpunkte.
• Datenbereinigung: Konvertieren Sie kategorische Merkmale in numerische Darstellungen. Verwenden Sie dazu Techniken wie One-Hot- oder Label-Codierung oder die Tools zur Merkmalstransformation von BigQuery ML. Neue Funktionen für die Analyse erstellen
• Datenanalyse: Analysieren Sie die Beziehungen zwischen verschiedenen Variablen. Korrelationen zwischen numerischen Features berechnen und Verteilungen kategorialer Features untersuchen. Suchen Sie nach Mustern und Trends in den Daten.
• Datenvisualisierung: Erstellen Sie Visualisierungen wie Histogramme, Box-Plots, Streudiagramme und Balkendiagramme, die die Verteilungen einzelner Variablen und die Beziehungen zwischen ihnen darstellen. Sie können auch Visualisierungen in Python für Tabellen erstellen, die in BigQuery gespeichert sind.
• Feature Engineering: Neue Features aus einem bereinigten Dataset erstellen.
• Datenaufteilung: Teilen Sie ein aufbereitetes Dataset in Trainings-, Validierungs- und Test-Datasets auf.
• Modelltraining: Sie können ein Modell mit den Trainingsdaten in einem pandas-DataFrame (X_train, y_train), BigQuery DataFrames>, einem PySpark-DataFrame oder mit der BigQuery ML-Anweisung CREATE MODEL mit BigQuery-Tabellen trainieren.
• Modelloptimierung: Ein Modell mithilfe des Validierungssatzes optimieren. Sehen Sie sich alternative Modelle wie DecisionTreeRegressor und RandomForestRegressor an und vergleichen Sie ihre Leistung.
• Modellbewertung: Bewerten Sie die Modellleistung anhand eines Testdatasets mit einem Pandas-DataFrame, BigQuery DataFrames oder einem PySpark-DataFrame. Sie können die Modellqualität auch bewerten und Modelle vergleichen, indem Sie BigQuery ML-Funktionen zur Modellbewertung für Modelle verwenden, die mit BigQuery ML trainiert wurden.
• Modellinferenz: Mit BigQuery ML-Inferenzfunktionen können Sie Inferenzen mit in BigQuery ML trainierten Modellen, importierten Modellen und Remote-Modellen ausführen. Sie können auch die BigFrames-Methode model.predict() oder PySpark-Transformer verwenden, um Vorhersagen zu treffen.

Data Science Agent in BigQuery verwenden

In den folgenden Schritten wird beschrieben, wie Sie den Data Science-Agenten in BigQuery verwenden.

1. Erstellen oder öffnen Sie ein Colab Enterprise-Notebook.

2. Optional: Verweisen Sie auf Ihre Daten auf eine der folgenden Arten:

   • Laden Sie eine CSV-Datei hoch oder verwenden Sie das +-Symbol in Ihrem Prompt, um nach verfügbaren Dateien zu suchen.
   • Wählen Sie in der Tabellenauswahl eine oder mehrere BigQuery-Tabellen aus Ihrem aktuellen Projekt oder aus anderen Projekten aus, auf die Sie Zugriff haben.
   • Verweisen Sie in Ihrem Prompt auf einen BigQuery-Tabellennamen in diesem Format: project_id:dataset.table.
   • Geben Sie das Symbol @ ein, um mit der Funktion @mention nach einem BigQuery-Tabellennamen zu suchen.

3. Geben Sie einen Prompt ein, der die Datenanalyse beschreibt, die Sie durchführen möchten, oder den Prototyp, den Sie erstellen möchten. Standardmäßig generiert der Data Science-Agent Python-Code mit Open-Source-Bibliotheken wie sklearn, um komplexe Aufgaben im Bereich des maschinellen Lernens zu erledigen. Wenn Sie ein bestimmtes Tool verwenden möchten, fügen Sie die folgenden Keywords in Ihren Prompt ein:

   • Wenn Sie BigQuery ML verwenden möchten, fügen Sie das Keyword „SQL“ ein.
   • Wenn Sie „BigQuery DataFrames“ verwenden möchten, geben Sie die Keywords „BigFrames“ oder „BigQuery DataFrames“ an.
   • Wenn Sie PySpark verwenden möchten, fügen Sie die Schlüsselwörter „Apache Spark“ oder „PySpark“ ein.

   Beispielaufforderungen

4. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

5. Senden Sie Ihren Prompt und sehen Sie sich die Ergebnisse an.

CSV-Datei analysieren

So analysieren Sie eine CSV-Datei mit dem Data Science Agent in BigQuery:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie auf Neues Notebook > Leeres Notebook.

   Alternativ können Sie in der Tab-Leiste neben dem Symbol arrow_drop_down Hinzufügen auf den Drop-down-Pfeil arrow_drop_down klicken und dann Notebook > Leeres Notebook auswählen.

4. Klicken Sie auf die Schaltfläche spark Gemini in Colab ein-/ausblenden, um das Chatdialogfeld zu öffnen.

   Hinweis :Sie können zwischen der Anzeige des Chatdialogfelds in einem separaten Bereich und der Anzeige des Chatdialogfelds in Ihrem Notebook wechseln, indem Sie auf das Symbol Verschieben klicken.

5. Laden Sie die CSV-Datei hoch.

   1. Klicken Sie im Chatdialogfeld auf  Zu Gemini hinzufügen > Hochladen.

   2. Autorisieren Sie gegebenenfalls Ihr Google-Konto.

   3. Suchen Sie nach der CSV-Datei und klicken Sie auf Öffnen.

6. Alternativ können Sie das Symbol + in Ihren Prompt eingeben, um nach verfügbaren Dateien zu suchen, die hochgeladen werden können.

7. Geben Sie Ihren Prompt in das Chatfenster ein. Beispiel: Identify trends and anomalies in this file.

8. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

9. Klicken Sie auf send Senden. Die Ergebnisse werden im Chatfenster angezeigt.

10. Sie können den Agent bitten, den Plan zu ändern, oder ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Ausführung des Plans werden generierter Code und Text im Notebook angezeigt. Klicke auf Abbrechen, um den Vorgang zu beenden.

BigQuery-Tabellen analysieren

Wenn Sie eine BigQuery-Tabelle analysieren möchten, wählen Sie im Tabellenauswahlfeld eine oder mehrere Tabellen aus, geben Sie in Ihrem Prompt einen Verweis auf die Tabelle an oder suchen Sie mit dem Symbol @ nach einer Tabelle.

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie auf Neues Notebook > Leeres Notebook.

   Alternativ können Sie in der Tab-Leiste neben dem Symbol arrow_drop_down Hinzufügen auf den Drop-down-Pfeil arrow_drop_down klicken und dann Notebook > Leeres Notebook auswählen.

4. Klicken Sie auf die Schaltfläche spark Gemini in Colab ein-/ausblenden, um das Chatdialogfeld zu öffnen.

   Hinweis :Sie können zwischen der Anzeige des Chatdialogfelds in einem separaten Bereich und der Anzeige des Chatdialogfelds in Ihrem Notebook wechseln, indem Sie auf das Symbol Verschieben klicken.

5. Geben Sie Ihren Prompt in das Chatfenster ein.

6. Sie haben folgende Möglichkeiten, auf Ihre Daten zu verweisen:

   1. Wählen Sie mit der Tabellenauswahl eine oder mehrere Tabellen aus:

      1. Klicken Sie auf  Zu Gemini hinzufügen > BigQuery-Tabellen.

      2. Wählen Sie im Fenster BigQuery-Tabellen eine oder mehrere Tabellen in Ihrem Projekt aus. Sie können projektübergreifend nach Tabellen suchen und Tabellen über die Suchleiste filtern.

   2. Geben Sie den Namen einer BigQuery-Tabelle direkt in Ihrem Prompt an. Beispiel: „Hilf mir, eine explorative Datenanalyse durchzuführen und Erkenntnisse zu den Daten in dieser Tabelle zu gewinnen: project_id:dataset.table.“

      Ersetzen Sie Folgendes:

      • project_id: Ihre Projekt-ID.
      • dataset: der Name des Datasets, das die Tabelle enthält, die Sie analysieren
      • table: der Name der Tabelle, die Sie analysieren

   3. Geben Sie @ ein, um in Ihrem aktuellen Projekt nach einer BigQuery-Tabelle zu suchen.

7. Wählen Sie Ihr Modell aus. Das Standardmodell ist Gemini 3.0 Flash.

8. Klicken Sie auf send Senden.

   Die Ergebnisse werden im Chatfenster angezeigt.

9. Sie können den Agent bitten, den Plan zu ändern, oder ihn ausführen, indem Sie auf Akzeptieren und ausführen klicken. Während der Ausführung des Plans werden generierter Code und Text im Notebook angezeigt. Für zusätzliche Schritte im Plan müssen Sie möglicherweise noch einmal auf Akzeptieren und ausführen klicken. Klicke auf Abbrechen, um den Vorgang zu beenden.

Beispiel-Prompts

Unabhängig von der Komplexität des verwendeten Prompts generiert der Data Science Agent einen Plan, den Sie an Ihre Anforderungen anpassen können.

Die folgenden Beispiele zeigen die Arten von Prompts, die Sie mit der DSA verwenden können.

Python-Prompts

Python-Code wird standardmäßig generiert, sofern Sie in der Aufforderung kein bestimmtes Keyword wie „BigQuery ML“ oder „SQL“ verwenden.

• „Untersuchen und füllen Sie fehlende Werte mithilfe des Machine-Learning-Algorithmus ‚k-Nearest Neighbors‘ (KNN).“
• „Erstelle ein Diagramm des Gehalts nach Erfahrungsniveau. Verwende die Spalte experience_level, um die Gehälter zu gruppieren, und erstelle für jede Gruppe ein Boxplot mit den Werten aus der Spalte salary_in_usd.“
• „Verwende den XGBoost-Algorithmus, um ein Modell zur Bestimmung der Variablen class einer bestimmten Frucht zu erstellen. Teilen Sie die Daten in Trainings- und Test-Datasets auf, um ein Modell zu generieren und die Genauigkeit des Modells zu bestimmen. Erstelle eine Wahrheitsmatrix, um die Vorhersagen für jede Klasse darzustellen, einschließlich aller richtigen und falschen Vorhersagen.“
• „Erstelle eine Prognose für target_variable ab filename.csv für die nächsten sechs Monate.“

SQL- und BigQuery ML-Prompts

• „Erstelle und evaluiere ein Klassifizierungsmodell für bigquery-public-data.ml_datasets.census_adult_income mit BigQuery SQL.“
• „Prognostiziere mithilfe von SQL den zukünftigen Traffic auf meiner Website für den nächsten Monat auf Basis von bigquery-public-data.google_analytics_sample.ga_sessions_*. Stelle die historischen und prognostizierten Werte anschließend in einer Grafik dar.“
• „Ähnliche Kunden gruppieren, um mit einem KMeans-Modell und BigQuery ML-SQL-Funktionen Kampagnen für die Zielgruppe zu erstellen. Verwenden Sie drei Attribute für das Clustering. Anschließend visualisieren Sie die Ergebnisse, indem Sie eine Reihe von 2D-Streudiagrammen erstellen. Verwende die Tabelle bigquery-public-data.ml_datasets.census_adult_income.“
• „Generiere Texteinbettungen in BigQuery ML anhand der Rezensionsinhalte in bigquery-public-data.imdb.reviews.“

Eine Liste der unterstützten Modelle und Aufgaben für maschinelles Lernen finden Sie in der BigQuery ML-Dokumentation.

DataFrame-Prompts

• „Erstelle einen Pandas-DataFrame für die Daten in project_id:dataset.table. Untersuche die Daten auf fehlende Werte und stelle die Verteilung jeder Spalte mithilfe des Diagrammtyps grafisch dar. Verwende Violinendiagramme für Messwerte und Balkendiagramme für Kategorien.“
• „Lese filename.csv und erstelle ein DataFrame. Führen Sie eine Analyse des DataFrames durch, um zu ermitteln, was mit den Werten geschehen muss. Gibt es beispielsweise fehlende Werte, die ersetzt oder entfernt werden müssen, oder doppelte Zeilen, die korrigiert werden müssen? Mithilfe der Datei können Sie die Verteilung des in USD investierten Geldes pro Stadt ermitteln. Stelle die 20 besten Ergebnisse in einem Balkendiagramm dar, in dem die Ergebnisse in absteigender Reihenfolge als „Standort“ im Vergleich zu „Durchschnittlich investierter Betrag (USD)“ dargestellt werden.“
• „Erstelle und evaluiere ein Klassifizierungsmodell für project_id:dataset.table mit BigQuery DataFrames.“
• „Erstelle ein Zeitreihen-Prognosemodell für project_id:dataset.table mit BigQuery DataFrames und visualisiere die Modellbewertungen.“
• „Stelle die Umsatzzahlen des letzten Jahres in der BigQuery-Tabelle project_id:dataset.table mit BigQuery DataFrames dar.“
• „Finde die Merkmale, mit denen sich die Pinguinart aus der Tabelle bigquery-public_data.ml_datasets.penguins am besten vorhersagen lässt, indem du BigQuery DataFrames verwendest.“

PySpark-Prompts

• „Klassifizierungsmodell für project_id:dataset.table mit Managed Service for Apache Spark erstellen und bewerten“
• „Gruppiere ähnliche Kunden, um Kampagnen für die Zielgruppenansprache zu erstellen. Führe aber zuerst eine Dimensionsreduzierung mit einem PCA-Modell durch. Verwende PySpark, um das für die Tabelle project_id:dataset.table zu tun.“

Gemini in BigQuery deaktivieren

Wenn Sie Gemini in BigQuery für ein Google Cloud -Projekt deaktivieren möchten, muss ein Administrator die Gemini for Google Cloud API deaktivieren. Weitere Informationen finden Sie unter Dienste deaktivieren.

Wenn Sie Gemini in BigQuery für einen bestimmten Nutzer deaktivieren möchten, muss der Administrator ihm die Rolle Gemini for Google Cloud User (roles/cloudaicompanion.user) entziehen. Weitere Informationen finden Sie unter Einzelne IAM-Rolle widerrufen.

Hinweis :Wenn Sie die Verwendung des Data Science Agent deaktivieren möchten, ohne andere Gemini-Funktionen zu deaktivieren, wenden Sie sich an [e-mail] oder füllen Sie das Abmeldeformular für Data Science Agent aus. Weitere Informationen zum Deaktivieren des Data Science Agent finden Sie unter Gemini in Colab Enterprise deaktivieren.

Preise

Die Preise für den Data Science Agent basieren auf Ihren Eingabe- und Ausgabedaten. Weitere Informationen finden Sie unter BigQuery-Preise.

Unterstützte Regionen

Hier finden Sie die unterstützten Regionen für den Data Science Agent von Colab Enterprise.