Abfrageergebnisse in Notebooks auswerten

Sie können Abfrageergebnisse mit SQL-Zellen oder Codezellen in BigQuery Colab Enterprise-Notebooks auswerten.

In dieser Anleitung fragen Sie Daten aus einem öffentlichen BigQuery-Dataset ab und werten die Abfrageergebnisse in einem Notebook aus.

Lernziele

• Erstellen Sie eine Abfrage in BigQuery und führen Sie sie aus.
• Werten Sie Abfrageergebnisse in einem Notebook mit SQL-Zellen und Codezellen aus.

Kosten

In dieser Anleitung wird ein Dataset aus dem Google Cloud Programm für öffentliche Datasets verwendet. Google bezahlt die Speicherung dieser Datasets und bietet öffentlichen Zugriff auf die Daten. Ihnen werden die Abfragen der Daten in Rechnung gestellt. Weitere Informationen finden Sie unter BigQuery-Preise.

Hinweis

1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Google Cloud Projekt aus oder erstellen Sie eines.

   Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

   • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können ein beliebiges Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
   • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die resourcemanager.projects.create Berechtigung enthält. Weitere Informationen zum Zuweisen von Rollen.
   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit ihm verknüpften Ressourcen entfernen.

   Zur Projektauswahl

2. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

3. Aktivieren Sie die BigQuery API.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Weitere Informationen zum Zuweisen von Rollen.

   API aktivieren

   Bei neuen Projekten ist BigQuery automatisch aktiviert.

Standardregion für Code-Assets festlegen

Für alle neuen Code-Assets in Ihrem Google Cloud Projekt wird eine Standardregion verwendet. Nachdem das Asset erstellt wurde, können Sie seine Region nicht mehr ändern.

Wichtig: Wenn Sie die Region beim Erstellen eines Code-Assets ändern, wird diese Region zur Standardregion für alle nachfolgenden Code-Assets. Vorhandene Code-Assets sind davon nicht betroffen.

So legen Sie die Standardregion für neue Code-Assets fest:

1. Rufen Sie die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Dateien um den Dateibrowser zu öffnen:

   

3. Klicken Sie neben dem Projektnamen auf Aktionen für das Dateifenster ansehen > Code-Region wechseln.

4. Wählen Sie die Code-Region aus, die Sie als Standard verwenden möchten.

5. Klicken Sie auf Speichern.

Eine Liste der unterstützten Regionen finden Sie unter BigQuery Studio-Standorte.

Erforderliche Berechtigungen

Zum Erstellen und Ausführen von Notebooks benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

• BigQuery-Nutzer (roles/bigquery.user)
• Notebook Runtime-Nutzer (roles/aiplatform.notebookRuntimeUser)
• Code Creator (roles/dataform.codeCreator)

Abfrageergebnisse in einem Notebook öffnen

Sie können eine SQL-Abfrage ausführen und dann ein Notebook verwenden, um die Daten auszuwerten. Diese Vorgehensweise ist nützlich, wenn Sie die Daten in BigQuery ändern möchten, bevor Sie mit ihnen arbeiten, oder wenn Sie nur eine Teilmenge der Tabellenfelder benötigen.

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie im linken Bereich auf Explorer.

3. Rufen Sie das bigquery-public-data Projekt auf, klicken Sie Knoten ein-/ausblenden , um es zu maximieren, und klicken Sie dann auf Datasets. Im Detailbereich wird ein neuer Tab mit einer Liste aller Datasets im Projekt geöffnet.

4. Wählen Sie im Feld Filter die Option Dataset-ID aus und geben Sie ml_datasets ein.

   

5. Klicken Sie auf der Seite Datasets auf ml_datasets > penguins.

6. Klicken Sie auf Abfrage.

7. Fügen Sie der generierten Abfrage ein Sternchen (*) für die Feldauswahl hinzu, sodass sie wie im folgenden Beispiel aussieht:

   SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

8. Klicken Sie auf „Ausführen“ .

9. Klicken Sie im Bereich Abfrageergebnisse auf Öffnen in und dann auf Notebook.

Notebook für die Verwendung vorbereiten

Bereiten Sie das Notebook für die Verwendung vor, indem Sie eine Verbindung zu einer Laufzeit herstellen und Standardwerte für die Anwendung festlegen.

1. Klicken Sie in der Notebook-Kopfzeile auf Verbinden, um eine Verbindung zur Standardlaufzeit herzustellen.

2. Klicken Sie im Codeblock Einrichtung auf Zelle ausführen.

Öffentliche Daten durchsuchen

1. Klicken Sie auf Codezelle einfügen Optionen > SQL-Zelle hinzufügen.

   

2. Geben Sie die folgende Abfrage in die SQL-Zelle ein:

   SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;
   

3. Klicken Sie auf „Zelle ausführen“ .

   Die Abfrageergebnisse werden in einem BigQuery DataFrame angezeigt.

4. Alternativ können Sie die Abfrageergebnisse mit dem Abfragejob, den Sie zuvor im Abfrageeditor ausgeführt haben, in ein BigQuery-DataFrame laden. Gehen Sie dazu so vor:

   1. Rufen Sie den Abschnitt Ergebnismenge, die aus dem BigQuery-Job als DataFrame geladen wurde auf.

   2. Klicken Sie im Codeblock auf „Zelle ausführen“ .

      Die Abfrageergebnisse werden in einem BigQuery-DataFrame angezeigt.

5. So rufen Sie beschreibende Messwerte für die Daten ab:

   1. Rufen Sie den Abschnitt Beschreibende Statistiken mit describe() anzeigen auf.

   2. Klicken Sie im Codeblock auf „Zelle ausführen“ .

      Die Ergebnisse werden in einem BigQuery-DataFrame angezeigt.

6. Optional: Verwenden Sie andere Python-Funktionen oder -Pakete, um die Daten auszuwerten und zu analysieren.

Im folgenden Codebeispiel wird die Verwendung von bigframes.pandas zum Analysieren von Daten und von bigframes.ml zum Erstellen eines linearen Regressionsmodells aus Pinguin-Daten in einem BigQuery-DataFrame:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des Google Cloud Projekts das Sie für diese Anleitung erstellt haben.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Herunterfahren), um das Projekt zu löschen.

Nächste Schritte

• Weitere Informationen zum Erstellen von Notebooks in BigQuery
• Daten mit BigQuery DataFrames untersuchen