Notebook über die Notebook-Galerie erstellen und ausführen

Notebook über die Notebook-Galerie erstellen und ausführen

Erste Schritte bei der Datenanalyse mit der Notebook-Galerie in BigQuery Studio

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Aktivieren Sie die BigQuery API.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen

   API aktivieren

   Bei neuen Projekten ist die BigQuery API automatisch aktiviert.

2. Optional: Aktivieren Sie die Abrechnung für das Projekt. Die Abrechnung funktioniert auch dann, wenn Sie die Abrechnung nicht aktivieren oder keine Kreditkarte angeben möchten. BigQuery bietet Ihnen eine Sandbox zum Ausführen dieser Schritte. Weitere Informationen finden Sie unter BigQuery-Sandbox aktivieren.
   Hinweis:Deaktivieren Sie die Abrechnung für Ihr Projekt, wenn Ihr Projekt ein Rechnungskonto hat und Sie die BigQuery-Sandbox verwenden möchten.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Erstellen von Notebooks für die Ausführung haben:

• BigQuery Read Session-Nutzer ()roles/bigquery.readSessionUser
• BigQuery Studio User (roles/bigquery.studioUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie noch nicht mit Notebooks in BigQuery vertraut sind, finden Sie auf der Seite „Notebooks erstellen“ Informationen zu den erforderlichen Berechtigungen.

Notebook-Galerie

Die Notebook-Galerie ist ein zentraler Hub zum Auffinden und Verwenden vorgefertigter Notebook-Vorlagen. Mit diesen Vorlagen können Sie häufige Aufgaben wie Datenaufbereitung, Datenanalyse und Visualisierung ausführen. Notebook-Vorlagen helfen Ihnen auch, BigQuery Studio-Funktionen zu nutzen, Workflows zu verwalten und Best Practices zu fördern.

Mit Vorlagen aus der Notebook-Galerie können Sie Ihren gesamten Workflow von der Absicht bis zur Erkenntnis in jeder Phase des Datenlebenszyklus optimieren – von der Aufnahme und explorativen Datenanalyse bis hin zu erweiterten Analysen und BigQuery ML.

In der Notebook-Galerie finden Sie Vorlagen für alle Erfahrungsstufen. Die Galerie enthält grundlegende Vorlagen für SQL, Python, Apache Spark und DataFrames. Außerdem können Sie sich mit Themen wie generativer KI und multimodaler Datenanalyse in BigQuery beschäftigen.

Weitere Informationen zur Verwendung von Notebook-Galerievorlagen finden Sie unter Notebook mithilfe der Notebook-Galerie erstellen.

Notebook aus einer Vorlage in der Notebook-Galerie erstellen

Im folgenden Beispiel wird die Vorlage „Einführung in Notebooks in BigQuery Studio“ verwendet. In diesem Notebook wird beschrieben, wie Sie diese Aufgaben ausführen:

• Daten abfragen: Führen Sie Abfragen mit SQL-Zellen aus.
• Abfrageergebnisse visualisieren: Mit Visualisierungszellen können Sie Visualisierungen ohne Code erstellen.
• Daten bereinigen und transformieren: Sortieren, deduplizieren und filtern Sie Ihre Daten mit der BigQuery DataFrames-API (Pandas).
• KI-Vorhersagen ausführen: Generieren Sie Vorhersagen mit der AI.FORECAST-Funktion in BigQuery DataFrames. Die Funktion AI.FORECAST verwendet das TimesFM-Foundation Model, um Vorhersagen direkt aus einem Dataset zu generieren. Dazu ist kein Modelltraining erforderlich.
• Daten darstellen: Daten mit den integrierten Visualisierungsbibliotheken von Python darstellen. Sie stellen die Daten mit der BigQuery DataFrames-Visualisierungsbibliothek dar, die auf Matplotlib und Pandas basiert.

Um das Notebook zu verwenden, öffnen Sie die Vorlage, wandeln sie in ein ausführbares Notebook um, stellen eine Verbindung zur Laufzeitumgebung des Notebooks her und führen das Notebook dann aus.

Vorlage öffnen und in ein ausführbares Notebook umwandeln

Bevor Sie ein Notebook verwenden können, das aus einer Notebook-Galerievorlage erstellt wurde, müssen Sie die Vorlage in ein ausführbares Notebook konvertieren.

So öffnen Sie die Vorlage Einführung in Notebooks in BigQuery Studio in der Notebook-Galerie und wandeln sie in ein ausführbares Notebook um:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Klicken Sie auf das Drop-down-Menü  und wählen Sie dann Notebook > Alle Vorlagen aus.

3. Alternativ können Sie auf der BigQuery Studio-Startseite auf Notebook-Galerie ansehen klicken.

   

4. Klicken Sie auf die Karte Einführung in Notebooks in BigQuery Studio oder suchen Sie in der Galerie danach.

5. Klicken Sie nach dem Öffnen der Vorlage auf Diese Vorlage verwenden, um die Vorlage in ein ausführbares Notebook zu konvertieren.

Verbindung zur Standardlaufzeit herstellen

Bevor Sie das Notebook ausführen können, müssen Sie es mit einer Gemini Enterprise Agent Platform-Laufzeit verbinden. Eine Laufzeit ist eine Computing-Ressource, die den Code in Ihrem Notebook ausführt. Die Laufzeit muss sich in derselben Region wie Ihr Notebook befinden.

Weitere Informationen zu Laufzeiten finden Sie unter Laufzeiten und Laufzeitvorlagen. Weitere Informationen zum Konfigurieren regionaler Einstellungen finden Sie unter Standardregion für Code-Assets festlegen.

Hinweis: Wenn Sie VPC Service Controls verwenden, müssen Sie privaten Google-Zugriff mit VPC Service Controls konfigurieren, bevor Sie eine Verbindung zu einer Laufzeit herstellen. Andernfalls gibt der Dienst den Fehler Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

zurück.

In dieser Anleitung verwenden Sie die Standardlaufzeit. Die Standardlaufzeit ist eine voreingestellte Laufzeit, die nur minimale Einrichtung erfordert. So stellen Sie eine Verbindung zur Standardlaufzeit her:

1. Klicken Sie bei geöffnetem Notebook auf Verbinden.

   Es kann einige Minuten dauern, bis eine Verbindung zur Standardlaufzeit hergestellt wird, wenn Sie noch keine aktive Laufzeit haben.

2. Wenn die Laufzeit bereit ist, sollten Sie ein Häkchen mit Diagrammen für RAM und Festplatte sehen. Wenn Sie den Mauszeiger auf die Diagramme bewegen, sehen Sie den Typ der Laufzeit und die Konfiguration der Laufzeit.

   

Notebook ausführen

Die Einführung in Notebooks in BigQuery Studio enthält Text-, SQL-, Visualisierungs- und Code-Zellen. Andere Zellen als Textzellen können einzeln oder alle Zellen in der Reihenfolge von der ersten bis zur letzten ausgeführt werden.

In dieser Anleitung führen Sie die Zellen im Notebook einzeln aus, damit Sie die Ergebnisse in Phasen sehen können. So führen Sie das Notebook aus:

1. Bewegen Sie den Mauszeiger im Bereich Daten mit SQL-Zellen abfragen auf die SQL-Zelle und klicken Sie dann auf  Zelle ausführen.

   

   In dieser SQL-Zelle wird die Tabelle bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary im öffentlichen Dataset „Historical Air Quality“ abgefragt und der tägliche Durchschnittswert für PM2.5 (ein gängiger Luftqualitätsmesswert) für San Francisco in den letzten Jahren zurückgegeben.

2. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   Hinweis :Wenn Sie die Ergebnisse löschen oder kopieren möchten, klicken Sie auf Aktionen für die Ausgabe von Codezellen.

3. Bewegen Sie im Bereich Daten visualisieren den Mauszeiger auf die Visualisierungszelle und klicken Sie dann auf  Zelle ausführen.

4. Sehen Sie sich die generierte Visualisierung an.

   

   Das Ergebnis ist ein Zeitreihendiagramm mit den täglichen Durchschnittswerten für PM2.5 im zuvor generierten df-DataFrame. Dieses Diagramm zeigt den Trend der PM2,5-Werte im Zeitverlauf.

5. Bewegen Sie den Mauszeiger im Abschnitt Daten bereinigen auf die Codezelle und klicken Sie dann auf Zelle ausführen.

6. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem DataFrame angezeigt.

   

   Der Code führt Folgendes aus:

   • Importieren Sie die bigframes.pandas-Bibliothek.
   • Das Feld date_local muss ein Zeitstempel sein.
   • Sortieren Sie die Ergebnisse nach Datum. Das ist für die Prognose erforderlich.
   • Entfernen Sie doppelte Zeilen.
   • Lösche Zeilen, in denen avg_pm25 gleich null ist.
   • Ausreißer herausfiltern
   • Die Ergebnisse werden in einem BigQuery DataFrame mit dem Namen df_cleaned angezeigt.

7. Bewegen Sie den Mauszeiger im Bereich Werte mit AI.FORECAST vorhersagen auf die SQL-Zelle und klicken Sie dann auf  Zelle ausführen.

8. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   In dieser SQL-Zelle wird eine Abfrage ausgeführt, in der die Funktion AI.FORECAST verwendet wird, um den zukünftigen durchschnittlichen täglichen PM2,5-Wert anhand des zuvor generierten df_cleaned-DataFrames zu prognostizieren.

9. Bewegen Sie den Mauszeiger im Abschnitt Daten mit Python visualisieren auf die Codezelle und klicken Sie dann auf  Zelle ausführen.

10. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem Diagramm angezeigt.

    

    Der Python-Code führt Folgendes aus:

    • Importieren Sie das Modul datetime.
    • Stellen Sie zuerst die Verlaufsdaten dar und rufen Sie die Achsen ab.
    • Prognostizierte Daten auf denselben Achsen darstellen
    • Konfidenzintervall darstellen

    Diese Visualisierung ähnelt dem Standard-Python-Plotting, aber df_cleaned.plot ist ein BigQuery DataFrames-Befehl. Mit dem Befehl werden nur die Daten (eine Stichprobe) abgerufen, die zum Rendern des Diagramms erforderlich sind, nicht das gesamte Dataset.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Wenn Sie das Projekt beibehalten und die in dieser Anleitung verwendeten Ressourcen löschen möchten, gehen Sie so vor:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie für das Notebook, das Sie löschen möchten, auf  Aktionen öffnen> Löschen.

4. Klicken Sie im Dialogfeld Notebook löschen zur Bestätigung auf Löschen.

Nächste Schritte

Informationen zum Ausführen anderer Beispiel-Notebookvorlagen in der Notebook-Galerie finden Sie unter:

• Erste Schritte mit Notebooks für SQL-Nutzer
• Erste Schritte mit Notebooks für Python-Nutzer

Weitere Informationen zu DataFrames finden Sie unter:

• Einführung in BigQuery DataFrames
• Referenz zur BigQuery DataFrames API

Weitere Informationen zu generativer KI und ML-Funktionen in BigQuery finden Sie in der Übersicht zu generativer KI.