Notebook mit der Notebook-Galerie erstellen und ausführen

Notebook mit der Notebook-Galerie erstellen und ausführen

Erste Schritte bei der Datenanalyse mit der Notebook-Galerie in BigQuery Studio.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie noch kein Google Cloud-Konto haben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Aktivieren Sie die BigQuery API.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

   API aktivieren

   Bei neuen Projekten ist die BigQuery API ist automatisch aktiviert.

2. Optional: Aktivieren Sie die Abrechnung für das Projekt. Die Abrechnung funktioniert auch dann, wenn Sie die Abrechnung nicht aktivieren oder keine Kreditkarte angeben möchten. BigQuery bietet Ihnen eine Sandbox zum Ausführen dieser Schritte. Weitere Informationen finden Sie unter BigQuery-Sandbox aktivieren.
   Hinweis: Deaktivieren Sie die Abrechnung für Ihr Projekt, wenn Ihr Projekt ein Rechnungskonto hat und Sie die BigQuery-Sandbox verwenden möchten, deaktivieren Sie die Abrechnung für Ihr Projekt.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen von Notebooks benötigen:

• BigQuery Read Session-Nutzer (roles/bigquery.readSessionUser)
• BigQuery Studio User (roles/bigquery.studioUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Wenn Sie noch nicht mit Notebooks in BigQuery vertraut sind, finden Sie auf der Seite Notebooks erstellen Informationen zu den erforderlichen Berechtigungen.

Notebook-Galerie

Die Notebook-Galerie ist ein zentraler Hub zum Suchen und Verwenden von vorgefertigten Notebook-Vorlagen. Mit diesen Vorlagen können Sie häufige Aufgaben wie Datenvorbereitung, Datenanalyse und Visualisierung ausführen. Notebook-Vorlagen helfen Ihnen auch, BigQuery Studio-Funktionen zu erkunden, Workflows zu verwalten und Best Practices zu fördern.

Mit Notebook-Galerievorlagen können Sie den gesamten Workflow von der Absicht bis zur Erkenntnis in jeder Phase des Datenlebenszyklus optimieren – von der Aufnahme und Erkundung bis hin zu erweiterten Analysen und BigQuery ML.

Die Notebook-Galerie bietet Vorlagen für alle Kenntnisstufen. Die Galerie enthält grundlegende Vorlagen für SQL, Python, Apache Spark und DataFrames. Sie können auch Themen wie generative KI und multimodale Datenanalyse in BigQuery erkunden.

Weitere Informationen zur Verwendung von Notebook-Galerievorlagen finden Sie unter Notebook mit der Notebook-Galerie erstellen.

Notebook aus einer Notebook-Galerievorlage erstellen

Im folgenden Beispiel wird die Vorlage Einführung in Notebooks in BigQuery Studio verwendet. In diesem Notebook wird gezeigt, wie Sie die folgenden Aufgaben ausführen:

• Daten abfragen: Führen Sie Abfragen mit SQL-Zellen aus.
• Abfrageergebnisse visualisieren: Erstellen Sie Visualisierungen ohne Code mit Visualisierungszellen.
• Daten bereinigen und transformieren: Sortieren, deduplizieren und filtern Sie Ihre Daten mit der BigQuery DataFrames (pandas) API.
• KI-Vorhersagen ausführen: Generieren Sie Vorhersagen mit der (AI.FORECAST Funktion) in BigQuery DataFrames. Die Funktion AI.FORECAST verwendet das TimesFM-Foundation Model, um Vorhersagen direkt aus einem Dataset zu generieren, ohne dass ein Modelltraining erforderlich ist.
• Daten grafisch darstellen: Stellen Sie Daten mit den integrierten Visualisierungsbibliotheken von Python grafisch dar. Sie stellen die Daten mit der BigQuery DataFrames-Visualisierungsbibliothek dar, die auf Matplotlib und Pandas basiert.

Um das Notebook zu verwenden, öffnen Sie die Vorlage, konvertieren sie in ein ausführbares Notebook, stellen eine Verbindung zur Laufzeitumgebung des Notebooks her und führen das Notebook dann aus.

Vorlage öffnen und in ein ausführbares Notebook konvertieren

Bevor Sie ein Notebook verwenden können, das aus einer Notebook-Galerievorlage erstellt wurde, müssen Sie die Vorlage in ein ausführbares Notebook konvertieren.

So öffnen Sie die Vorlage Einführung in Notebooks in BigQuery Studio in der Notebook-Galerie und konvertieren sie in ein ausführbares Notebook:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Klicken Sie auf den Pfeil drop-down und wählen Sie dann Notebook > Alle Vorlagen aus.

3. Alternativ können Sie auf der BigQuery Studio-Startseite auf Notebook-Galerie ansehen klicken.

   

4. Klicken Sie auf die Karte Einführung in Notebooks in BigQuery Studio oder suchen Sie in der Galerie danach.

5. Nachdem die Vorlage geöffnet wurde, klicken Sie auf Diese Vorlage verwenden , um die Vorlage in ein ausführbares Notebook zu konvertieren.

Verbindung zur Standardlaufzeit herstellen

Bevor Sie das Notebook ausführen können, müssen Sie es mit einer Vertex AI-Laufzeit verbinden. Eine Laufzeit ist eine Computing-Ressource, die den Code in Ihrem Notebook ausführt. Die Laufzeit muss sich in derselben Region wie Ihr Notebook befinden.

Weitere Informationen zu Laufzeiten finden Sie unter Laufzeiten und Laufzeitvorlagen. Weitere Informationen zum Konfigurieren regionaler Einstellungen finden Sie unter Standardregion für Code Assets festlegen.

Hinweis: Wenn Sie VPC Service Controls verwenden, müssen Sie privater Google-Zugriff mit VPC Service Controls konfigurieren, bevor Sie eine Verbindung zu einer Laufzeit herstellen. Andernfalls gibt der Dienst den Fehler Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

zurück.

In dieser Anleitung verwenden Sie die Standardlaufzeit. Die Standardlaufzeit ist eine voreingestellte Laufzeit, die nur minimale Einrichtung erfordert. So stellen Sie eine Verbindung zur Standardlaufzeit her:

1. Klicken Sie bei geöffnetem Notebook auf Verbinden.

   Es kann einige Minuten dauern, bis eine Verbindung zur Standardlaufzeit hergestellt wird, wenn Sie noch keine aktive Laufzeit haben.

2. Wenn die Laufzeit bereit ist, wird ein Häkchen mit RAM- und Festplattendiagrammen angezeigt. Wenn Sie den Mauszeiger auf die Diagramme bewegen, sehen Sie den Laufzeittyp und die Konfiguration der Laufzeit.

   

Notebook ausführen

Einführung in Notebooks in BigQuery Studio enthält Text-, SQL-, Visualisierungs- und Code Zellen. Andere Zellen als Textzellen können einzeln ausgeführt werden. Sie können aber auch alle Zellen in der Reihenfolge von der ersten bis zur letzten ausführen.

In dieser Anleitung führen Sie die Zellen im Notebook einzeln aus, damit Sie die Ergebnisse in Phasen sehen können. So führen Sie das Notebook aus:

1. Bewegen Sie den Mauszeiger im Abschnitt Daten mit SQL-Zellen abfragen auf die SQL-Zelle, und klicken Sie dann auf Zelle ausführen.

   

   Diese SQL-Zelle fragt die bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary Tabelle im öffentlichen Dataset „Historical Air Quality“ ab und gibt den täglichen Durchschnittswert für PM2.5 (ein häufig verwendeter Messwert für die Luftqualität) für San Francisco in den letzten Jahren zurück.

2. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   Hinweis: Wenn Sie die Ergebnisse löschen oder kopieren möchten, klicken Sie auf Aktionen für die Ausgabe von Codezellen.

3. Bewegen Sie im Abschnitt Daten visualisieren den Mauszeiger auf die Visualisierungszelle und klicken Sie dann auf Zelle ausführen.

4. Sehen Sie sich die generierte Visualisierung an.

   

   Das Ergebnis zeigt ein Zeitreihendiagramm mit den täglichen Durchschnittswerten für PM2.5 im zuvor generierten DataFrame df. Dieses Diagramm zeigt den Trend der PM2.5-Werte im Zeitverlauf.

5. Bewegen Sie im Abschnitt Daten bereinigen den Mauszeiger auf die Codezelle und klicken Sie dann auf Zelle ausführen.

6. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem DataFrame angezeigt.

   

   Der Code führt Folgendes aus:

   • Importieren Sie die Bibliothek bigframes.pandas.
   • Prüfen Sie, ob das Feld date_local ein Zeitstempel ist.
   • Sortieren Sie die Ergebnisse nach Datum. Dies ist für die Prognose erforderlich.
   • Entfernen Sie doppelte Zeilen.
   • Entfernen Sie Zeilen, in denen avg_pm25 den Wert null hat.
   • Filtern Sie Ausreißer heraus.
   • Zeigen Sie die Ergebnisse in einem BigQuery DataFrames mit dem Namen df_cleaned an.

7. Bewegen Sie im Abschnitt Werte mit AI.FORECAST vorhersagen den Mauszeiger auf die SQL Zelle und klicken Sie dann auf Zelle ausführen.

8. Rufen Sie die Ergebnisse auf. Die Abfrageergebnisse werden in einem DataFrame angezeigt.

   

   Diese SQL-Zelle führt eine Abfrage aus, die die Funktion AI.FORECAST verwendet, um zukünftige durchschnittliche tägliche PM2.5-Werte mit dem zuvor generierten DataFrame df_cleaned vorherzusagen.

9. Bewegen Sie im Abschnitt Daten mit Python visualisieren den Mauszeiger auf die Codezelle, und klicken Sie dann auf Zelle ausführen.

10. Rufen Sie die Ergebnisse auf. Die Ergebnisse werden in einem Diagramm angezeigt.

    

    Der Python-Code führt Folgendes aus:

    • Importieren Sie das Modul datetime.
    • Stellen Sie zuerst die Verlaufsdaten grafisch dar und rufen Sie die Achsen ab.
    • Stellen Sie die prognostizierten Daten auf denselben Achsen grafisch dar.
    • Stellen Sie das Konfidenzintervall grafisch dar.

    Diese Visualisierung ähnelt der Standarddarstellung in Python, aber df_cleaned.plot ist ein BigQuery DataFrames-Befehl. Mit dem Befehl werden nur die Daten abgerufen, die zum Rendern des Diagramms erforderlich sind (eine Stichprobe), nicht das gesamte Dataset.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Herunterfahren), um das Projekt zu löschen.

Wenn Sie das Projekt beibehalten und die in dieser Anleitung verwendeten Ressourcen löschen möchten, gehen Sie so vor:

1. Rufen Sie die Seite Studio auf.

   Zu Studio

2. Maximieren Sie im linken Bereich Ihr Projekt und klicken Sie dann auf Notebooks.

3. Klicken Sie für das Notebook, das Sie löschen möchten, auf Aktionen öffnen > Löschen.

4. Klicken Sie im Dialogfeld Notebook löschen zur Bestätigung auf Löschen.

Nächste Schritte

Weitere Beispiel-Notebook-Vorlagen in der Notebook-Galerie finden Sie unter:

• Erste Schritte mit Notebooks für SQL-Nutzer
• Erste Schritte mit Notebooks für Python-Nutzer

Weitere Informationen zu DataFrames finden Sie unter:

• Einführung in BigQuery DataFrames
• Referenz zur BigQuery DataFrames API

Weitere Informationen zu generativer KI und ML-Funktionen in BigQuery, finden Sie in der Übersicht zu generativer KI.