Einführung in BigQuery DataFrames

BigQuery DataFrames besteht aus einer Reihe von Open-Source-Python-Bibliotheken, mit denen Sie die BigQuery-Datenverarbeitung mithilfe vertrauter Python APIs nutzen können. BigQuery DataFrames bietet einen Pythonic DataFrame, der von der BigQuery-Engine unterstützt wird. Die pandas- und scikit-learn-APIs werden implementiert, indem die Verarbeitung durch SQL-Konvertierung an BigQuery übertragen wird. So können Sie BigQuery verwenden, um Terabyte an Daten zu untersuchen und zu verarbeiten und um ML-Modelle zu trainieren – alles mit Python APIs.

Wenn Sie mit pandas vertraut sind, können Sie BigQuery DataFrames verwenden, um mit BigQuery-Daten zu arbeiten. Dazu sind nur minimale Änderungen an Ihrem Code erforderlich. Sie können beispielsweise vertraute pandas-Methoden verwenden, um Daten aus einer BigQuery-Tabelle zu analysieren:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Vorteile von BigQuery DataFrames

BigQuery DataFrames bietet folgende Funktionen:

  • Mehr als 750 pandas- und scikit-learn-APIs, die durch eine transparente SQL-Konvertierung in BigQuery- und BigQuery ML-APIs implementiert werden.
  • Verzögerte Ausführung von Abfragen für verbesserte Leistung.
  • Datentransformationen mit benutzerdefinierten Python-Funktionen erweitern, um Daten in Google Cloudzu verarbeiten. Diese Funktionen werden automatisch als BigQuery Remote-Funktionen bereitgestellt.
  • Einbindung in die Gemini Enterprise Agent Platform, damit Sie Gemini-Modelle für die Textgenerierung verwenden können.

Lizenzierung

BigQuery DataFrames wird mit der Apache-2.0-Lizenz vertrieben.

BigQuery DataFrames enthält auch Code, der von den folgenden Drittanbieterpaketen abgeleitet wurde:

Weitere Informationen finden Sie im third_party/bigframes_vendored Verzeichnis im BigQuery DataFrames-GitHub-Repository.

Kontingente und Limits

  • Für BigQuery-Kontingente gelten für BigQuery DataFrames, einschließlich Hardware-, Software- und Netzwerk Komponenten.
  • Eine Teilmenge der pandas- und scikit-learn-APIs wird unterstützt. Weitere Informationen finden Sie unter Unterstützte pandas APIs.
  • Sie müssen alle automatisch erstellten Cloud Run-Funktionen im Rahmen der Sitzungsbereinigung explizit bereinigen. Weitere Informationen finden Sie unter Unterstützte pandas APIs.

Preise

  • BigQuery DataFrames besteht aus einer Reihe von Open-Source-Python-Bibliotheken, die kostenlos heruntergeladen werden können.
  • BigQuery DataFrames verwendet BigQuery, Cloud Run-Funktionen, die Agent Platform und andere Google Cloud Dienste, für die eigene Kosten anfallen.
  • Bei normaler Verwendung speichert BigQuery DataFrames temporäre Daten wie Zwischenergebnisse in BigQuery-Tabellen. Diese Tabellen sind standardmäßig sieben Tage lang verfügbar. Ihnen werden die darin gespeicherten Daten in Rechnung gestellt. Die Tabellen werden im _anonymous_ Dataset in dem Google Cloud Projekt erstellt, das Sie in der bf.options.bigquery.project Option angeben.

Nächste Schritte