Daten transformieren

Mit dem Google Cloud Data Agent Kit können Sie Notebooks für die Datenbereinigung, das Feature Engineering und die detaillierte Analyse verwenden.Es stehen drei Arten von Notebooks zur Auswahl.

  • BigQuery DataFrames-Notebooks Das sind Python-Notebooks, mit denen Sie umfangreiche Datensätze in BigQuery mithilfe der bekannten pandas- und scikit-learn-APIs verarbeiten können. Sie unterstützen neben Python auch das Schreiben von Code in GoogleSQL für BigQuery.

  • Verwaltete Apache Spark-Notebooks mit lokalem Kernel Das sind Python-Notebooks, mit denen Sie Jobs in Managed Service for Apache Spark erstellen und ausführen können. Dazu wird die Spark Connect-Bibliothek verwendet.

  • Verwaltete Apache Spark-Notebooks mit Remote-Kernel Mit diesen Notebooks können Sie Ihr Notebook auf einem Remote-Kernel ausführen, der vollständig in Managed Service for Apache Spark ausgeführt wird. Kein Teil Ihres Codes wird lokal auf Ihrem Computer ausgeführt. Neben PySpark können Sie Ihren Code mit dem Zellbefehl %%sparksql auch in Spark SQL schreiben.

Hinweis

Für BigQuery-Notebooks muss die bigframes-Bibliothek in derselben virtuellen Python-Umgebung installiert sein, in der Sie Ihr Notebook ausführen. Wenn Sie ein neues Notebook erstellen, enthält die Initialisierungszelle die folgende auskommentierte Zeile:

#%pip install --upgrade bigframes

  1. Optional: Wenn die bigframes-Bibliothek nicht in Ihrer virtuellen Python-Umgebung installiert ist, entfernen Sie den Kommentar.

  2. Optional: Wenn Sie SQL-Code in Ihrem Notebook schreiben möchten, installieren Sie bigquery-magics:

pip install --upgrade bigquery-magics

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die Rolle „BigQuery Studio Nutzer (roles/bigquery.studioUser)“ für das Projekt zuzuweisen, das Sie in der Erweiterung ausgewählt haben, um die Berechtigungen zu erhalten, die Sie zum Ausführen von BigQuery Notebooks benötigen.

Bitten Sie Ihren Administrator, Ihnen die folgenden Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie für Managed Service for Apache Spark-Notebooks benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen. Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Daten transformieren

Für Daten in einer BigLake- oder BigQuery-Tabelle bietet die Erweiterung Notebookvorlagen, die Ihnen den Einstieg erleichtern.

So wechseln Sie zu einer BigQuery- oder BigLake-Tabelle:

  1. Öffnen Sie die Befehlspalette, indem Sie Ctrl/Cmd-Shift-P drücken.
  2. Maximieren Sie den Katalog-Explorer und suchen Sie nach Ihrer BigQuery- oder BigLake-Tabelle.
  3. Klicken Sie mit der rechten Maustaste auf die Tabellen-ID.

  4. Wählen Sie im schwebenden Menü In Spark DataFrame laden oder In BigQuery DataFrame laden aus. In einem neuen Editor werden Informationen zur Tabelle angezeigt.

    Sie können die Tabelle auch über die universelle Suche finden. Klicken Sie auf die Tabellen-ID, um einen neuen Editor zu öffnen, klicken Sie auf den Tab Daten und wählen Sie dann In Spark DataFrame laden oder In BigQuery DataFrame laden aus.

Notebook initialisieren

Nachdem Sie die Tabelle geladen haben, wird in einem Editor-Tab ein neues Jupyter-Notebook mit dem erforderlichen Code geöffnet, um die Tabelle in den von Ihnen ausgewählten DataFrame-Typ zu laden.

  1. Wenn die erforderliche Bibliothek nicht in Ihrer virtuellen Python-Umgebung installiert ist, entfernen Sie die Auskommentierung der pip-Installationszeile.

  2. Klicken Sie auf Kernel auswählen und wählen Sie einen Python-Kernel aus.

    Für verwaltete Spark-Notebooks mit Remote-Kerneln müssen Sie einen Remote-Spark-Kernel auswählen.

  3. Führen Sie die Zelle aus, indem Sie unten in der Zelle auf ▷ Alle ausführen klicken oder Shift+Enter drücken.

  4. Wenn Sie aufgefordert werden, fehlende Software zu installieren, klicken Sie auf Installieren.

Die Zelle erstellt ein DataFrame mit den Daten in der ausgewählten Tabelle.

Datentransformationen auf das DataFrame anwenden

Fügen Sie dem Notebook weitere Zellen hinzu und schreiben Sie den Code, um Ihre Daten zu transformieren. Für BigQuery DataFrames können Sie das DataFrame mit der pandas-kompatiblen API transformieren, die von BigQuery DataFrames bereitgestellt wird.

Alternativ bietet BigQuery DataFrames einen magischen Befehl, mit dem Sie ein DataFrame mithilfe von SQL in einem Jupyter-Notebook transformieren können. So transformieren Sie Ihre Daten mit SQL:

  1. Erstellen und führen Sie eine Zelle aus, um die Jupyter-Befehle zu aktivieren.

    %load_ext bigframes

  2. Erstellen Sie eine SQL-Zelle mit dem Befehl %%bqsql.

Ergebnisse speichern

Verwenden Sie eine der vielen Ausgabemethoden, die von Ihrem DataFrame-Typ bereitgestellt werden, um die transformierten Daten in BigQuery oder Cloud Storage zu speichern. Für BigQuery DataFrames sind unter anderem die folgenden Ausgabemethoden verfügbar:

Bei kleinen Datenmengen können Sie die Daten zur weiteren lokalen Bearbeitung und Visualisierung in Arrow oder Pandas exportieren.

Bereinigen

Löschen Sie alle Ressourcen, die Sie erstellt haben und nicht mehr benötigen, um Gebühren für Ihr Google Cloud Konto zu vermeiden.

Nächste Schritte