Notebook mithilfe der Notebook-Galerie erstellen und ausführen

Notebook mithilfe der Notebook-Galerie erstellen und ausführen

Beginnen Sie mit der Datenanalyse mithilfe der Notebook-Galerie in BigQuery Studio.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Aktivieren Sie die BigQuery API, falls sie noch nicht aktiviert ist.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

   API aktivieren

   Bei neuen Projekten ist die BigQuery API automatisch aktiviert.

2. Optional: Aktivieren Sie die Abrechnung für das Projekt. Die Abrechnung funktioniert auch dann, wenn Sie die Abrechnung nicht aktivieren oder keine Kreditkarte angeben möchten. BigQuery bietet Ihnen eine Sandbox zum Ausführen dieser Schritte. Weitere Informationen finden Sie unter BigQuery-Sandbox aktivieren.
   Hinweis:Deaktivieren Sie die Abrechnung für Ihr Projekt, wenn Ihr Projekt ein Rechnungskonto hat und Sie die BigQuery-Sandbox verwenden möchten.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Erstellen eines Notebooks haben:

• BigQuery Read Session-Nutzer ()roles/bigquery.readSessionUser
• BigQuery Studio User (roles/bigquery.studioUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie noch keine Erfahrung mit Notebooks in BigQuery haben, finden Sie auf der Seite „Notebooks erstellen“ Informationen zu den erforderlichen Berechtigungen.

Notebook-Galerie

Die Notebook-Galerie ist ein zentraler Hub zum Suchen und Verwenden vordefinierter Notebook-Vorlagen. Mit diesen Vorlagen können Sie gängige Aufgaben wie Datenvorbereitung, Datenanalyse und Visualisierung ausführen. Notebook-Vorlagen helfen Ihnen auch, BigQuery Studio-Funktionen zu erkunden, Workflows zu verwalten und Best Practices zu fördern.

Mit Notebook-Galerievorlagen können Sie den gesamten Workflow von der Absicht bis zur Erkenntnis in jeder Phase des Datenlebenszyklus optimieren – von der Aufnahme und explorativen Datenanalyse bis hin zu erweiterten Analysen und BigQuery ML.

Die Notebook-Galerie bietet Vorlagen für alle Kenntnisstufen. Die Galerie enthält grundlegende Vorlagen für SQL, Python, Apache Spark und DataFrames. Sie können sich auch mit Themen wie generativer KI und multimodaler Datenanalyse in BigQuery vertraut machen.

Weitere Informationen zur Verwendung von Vorlagen aus der Notebook-Galerie finden Sie unter Notebook mit der Notebook-Galerie erstellen.

Notebook aus einer Vorlage in der Notebook-Galerie erstellen

Im folgenden Beispiel wird die Vorlage „Einführung in Notebooks in BigQuery Studio“ verwendet. In diesem Notebook erfahren Sie, wie Sie die folgenden Aufgaben ausführen:

• Daten abfragen: Führen Sie Abfragen mit SQL-Zellen aus.
• Abfrageergebnisse visualisieren: Erstellen Sie Visualisierungen ohne Code mit Visualisierungszellen.
• Daten bereinigen und transformieren: Sortieren, deduplizieren und filtern Sie Ihre Daten mit der BigQuery DataFrames (pandas) API.
• KI-Vorhersagen ausführen: Generieren Sie Vorhersagen mit der (AI.FORECAST-Funktion) in BigQuery DataFrames. Die Funktion AI.FORECAST verwendet das TimesFM-Foundation-Model, um Vorhersagen direkt aus einem Dataset zu generieren, ohne dass ein Modelltraining erforderlich ist.
• Daten darstellen: Stellen Sie Daten mit den integrierten Visualisierungsbibliotheken von Python dar. Sie stellen die Daten mit der BigQuery DataFrames-Visualisierungsbibliothek dar, die auf Matplotlib und Pandas basiert.

Wenn Sie das Notebook verwenden möchten, öffnen Sie die Vorlage, konvertieren sie in ein ausführbares Notebook, stellen eine Verbindung zur Laufzeitumgebung des Notebooks her und führen das Notebook dann aus.

Vorlage öffnen und in ein ausführbares Notebook konvertieren

Bevor Sie ein Notebook verwenden können, das aus einer Notebook-Galerievorlage erstellt wurde, müssen Sie die Vorlage in ein ausführbares Notebook konvertieren.

So öffnen Sie die Vorlage Einführung in Notebooks in BigQuery Studio in der Notebook-Galerie und konvertieren sie in ein ausführbares Notebook:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Klicken Sie auf den Drop-down-Pfeil  und wählen Sie dann Notebook > Alle Vorlagen aus.

3. Alternativ können Sie auf der BigQuery Studio-Startseite auf Notebook-Galerie ansehen klicken.

   

4. Klicken Sie auf die Karte Einführung in Notebooks in BigQuery Studio oder suchen Sie in der Galerie danach.

5. Nachdem die Vorlage geöffnet wurde, klicken Sie auf Diese Vorlage verwenden, um die Vorlage in ein ausführbares Notebook zu konvertieren.

Verbindung zur Standardlaufzeit herstellen

Bevor Sie das Notebook ausführen können, müssen Sie es mit einer Gemini Enterprise Agent Platform-Laufzeit verbinden. Eine Laufzeit ist eine Computing-Ressource, die den Code in Ihrem Notebook ausführt. Die Laufzeit muss sich in derselben Region wie Ihr Notebook befinden.

Weitere Informationen zu Laufzeiten finden Sie unter Laufzeiten und Laufzeitvorlagen. Weitere Informationen zum Konfigurieren regionaler Einstellungen finden Sie unter Standardregion für Code-Assets festlegen.

Hinweis: Wenn Sie VPC Service Controls verwenden, müssen Sie den privaten Google-Zugriff mit VPC Service Controls konfigurieren, bevor Sie eine Verbindung zu einer Laufzeit herstellen. Andernfalls gibt der Dienst den Fehler Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found. zurück.

In dieser Anleitung verwenden Sie die Standardlaufzeit. Die Standardlaufzeit ist eine voreingestellte Laufzeit, die nur minimale Einrichtung erfordert. So stellen Sie eine Verbindung zur Standardlaufzeit her:

1. Klicken Sie bei geöffnetem Notebook auf Verbinden.

   Es kann einige Minuten dauern, bis eine Verbindung zur Standardlaufzeit hergestellt wird, wenn Sie noch keine aktive Laufzeit haben.

2. Wenn die Laufzeit bereit ist, sollten Sie ein Häkchen mit RAM- und Laufwerksdiagrammen sehen. Wenn Sie den Mauszeiger auf die Diagramme bewegen, sehen Sie den Typ der Laufzeit und die Konfiguration der Laufzeit.

   

Notebook ausführen

Einführung in Notebooks in BigQuery Studio mit Text-, SQL-, Visualisierungs- und Codezellen. Andere Zellen als Textzellen können einzeln ausgeführt werden. Sie können aber auch alle Zellen in der Reihenfolge von der ersten bis zur letzten ausführen.

In dieser Anleitung führen Sie die Zellen im Notebook einzeln aus, damit Sie die Ergebnisse schrittweise sehen können. So führen Sie das Notebook aus:

1. Bewegen Sie den Mauszeiger im Abschnitt Daten mit SQL-Zellen abfragen auf die SQL-Zelle und klicken Sie dann auf Zelle ausführen.

   

   Diese SQL-Zelle fragt die Tabelle bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary im öffentlichen Dataset „Historical Air Quality“ ab und gibt den täglichen Durchschnitt von PM2.5 (ein gängiger Messwert für die Luftqualität) für San Francisco in den letzten Jahren zurück.

2. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   Hinweis: Wenn Sie die Ergebnisse löschen oder kopieren möchten, klicken Sie auf Aktionen für die Codezellenausgabe.

3. Bewegen Sie im Abschnitt Daten visualisieren den Mauszeiger auf die Visualisierungszelle und klicken Sie dann auf Zelle ausführen.

4. Sehen Sie sich die generierte Visualisierung an.

   

   Das Ergebnis ist ein Zeitreihendiagramm, in dem die täglichen durchschnittlichen PM2.5-Werte im zuvor generierten DataFrame df dargestellt werden. Dieses Diagramm zeigt den Trend der PM2,5-Werte im Zeitverlauf.

5. Bewegen Sie den Mauszeiger im Abschnitt Daten bereinigen über die Codezelle und klicken Sie dann auf Zelle ausführen.

6. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem DataFrame angezeigt.

   

   Der Code führt Folgendes aus:

   • Importieren Sie die bigframes.pandas-Bibliothek.
   • Das Feld date_local muss ein Zeitstempel sein.
   • Sortieren Sie die Ergebnisse nach Datum, was für die Prognose erforderlich ist.
   • Doppelte Zeilen entfernen.
   • Zeilen löschen, in denen avg_pm25 den Wert null hat.
   • Ausreißer herausfiltern.
   • Zeigen Sie die Ergebnisse in einem BigQuery-DataFrame mit dem Namen df_cleaned an.

7. Bewegen Sie den Mauszeiger im Abschnitt Werte mit AI.FORECAST vorhersagen über die SQL-Zelle und klicken Sie dann auf Zelle ausführen.

8. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   In dieser SQL-Zelle wird eine Abfrage ausgeführt, die die Funktion AI.FORECAST verwendet, um den zukünftigen durchschnittlichen täglichen PM2.5-Wert anhand des zuvor generierten DataFrame df_cleaned zu prognostizieren.

9. Bewegen Sie den Mauszeiger im Abschnitt Daten mit Python visualisieren auf die Codezelle und klicken Sie dann auf Zelle ausführen.

10. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem Diagramm angezeigt.

    

    Der Python-Code führt Folgendes aus:

    • Importieren Sie das Modul datetime.
    • Stellen Sie zuerst die Verlaufsdaten dar und rufen Sie die Achsen ab.
    • Stellen Sie die prognostizierten Daten auf denselben Achsen dar.
    • Stellen Sie das Konfidenzintervall dar.

    Diese Visualisierung ähnelt der Standard-Python-Darstellung, aber df_cleaned.plot ist ein BigQuery DataFrames-Befehl. Mit dem Befehl werden nur die Daten abgerufen, die zum Rendern des Diagramms erforderlich sind (eine Stichprobe), nicht das gesamte Dataset.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Alternativ können Sie das Projekt beibehalten und die in dieser Anleitung verwendeten Ressourcen löschen. Gehen Sie dazu so vor:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie für das Notebook, das Sie löschen möchten, auf Aktionen öffnen > Löschen.

4. Klicken Sie im Dialogfeld Notebook löschen auf Löschen, um den Vorgang zu bestätigen.

Nächste Schritte

Wenn Sie andere Beispiel-Notebookvorlagen in der Notebook-Galerie ausführen möchten, lesen Sie die folgenden Informationen:

• Erste Schritte mit Notebooks für SQL-Nutzer
• Erste Schritte mit Notebooks für Python-Nutzer

Weitere Informationen zu DataFrames finden Sie hier:

• Einführung in BigQuery DataFrames
• Referenz zur BigQuery DataFrames API

Weitere Informationen zu generativer KI und ML-Funktionen in BigQuery finden Sie in der Übersicht zu generativer KI.