Einführung in BigQuery DataFrames

Mit der Open-Source-Bibliothek BigQuery DataFrames können Sie Terabyte an Daten verarbeiten und KI- und Modelle für maschinelles Lernen mit vertrauten Python-APIs trainieren. Sie können pandas- und scikit-learn-APIs verwenden, um Datenpipelines zu erstellen und riesige Datasets direkt in BigQuery zu analysieren, ohne Daten auf Ihren Clientcomputer zu verschieben.

Vorteile von BigQuery DataFrames

BigQuery DataFrames führt die folgenden Schritte aus:

  • Bietet mehr als 750 Pandas- und Scikit-Learn-APIs, die durch eine SQL-Konvertierung in BigQuery- und BigQuery ML-APIs implementiert werden.
  • Verzögert die Ausführung von Abfragen für eine bessere Leistung.
  • Erweitert Datentransformationen mit benutzerdefinierten Python-Funktionen, um Daten in Google Cloudzu verarbeiten. Diese Funktionen werden automatisch als BigQuery-Remote-Funktionen bereitgestellt.
  • Einbindung in die Gemini Enterprise Agent Platform, damit Sie Gemini-Modelle für die Textgenerierung verwenden können.

Lizenzierung

BigQuery DataFrames wird mit der Apache-2.0-Lizenz vertrieben.

BigQuery DataFrames enthält auch Code, der von den folgenden Drittanbieterpaketen abgeleitet wurde:

Weitere Informationen finden Sie im Verzeichnis third_party/bigframes_vendored im GitHub-Repository für BigQuery DataFrames.

Kontingente und Limits

  • BigQuery-Kontingente gelten für BigQuery DataFrames, einschließlich Hardware-, Software- und Netzwerkkomponenten.
  • Eine Teilmenge der Pandas- und Scikit-Learn-APIs wird unterstützt. Weitere Informationen finden Sie unter Unterstützte pandas APIs.
  • Sie müssen alle automatisch erstellten Cloud Run Functions-Funktionen im Rahmen der Sitzungsbereinigung explizit bereinigen. Weitere Informationen finden Sie unter Unterstützte pandas APIs.

Preise

  • BigQuery DataFrames besteht aus einer Reihe von Open-Source-Python-Bibliotheken, die ohne Aufpreis heruntergeladen werden können.
  • BigQuery DataFrames verwendet BigQuery, Cloud Run Functions, Agent Platform und andereGoogle Cloud -Dienste, für die eigene Kosten anfallen.
  • Während der normalen Nutzung speichert BigQuery DataFrames temporäre Daten wie Zwischenergebnisse in BigQuery-Tabellen. Diese Tabellen bleiben standardmäßig sieben Tage lang erhalten und die darin gespeicherten Daten werden Ihnen in Rechnung gestellt. Die Tabellen werden im Dataset _anonymous_ im Projekt Google Cloud erstellt, das Sie in der Option bf.options.bigquery.project angeben.

Anwendungsfälle

Wenn Sie mit pandas vertraut sind, können Sie BigQuery DataFrames verwenden, um mit BigQuery-Daten zu arbeiten, ohne Ihren Code großartig ändern zu müssen. Sie können beispielsweise vertraute Pandas-Methoden verwenden, um Daten aus einer BigQuery-Tabelle zu analysieren:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Sie können BigQuery DataFrames für die folgenden Analyse- und ML-Anwendungsfälle verwenden:

Codebeispiele und Referenzdokumentation

Codebeispiele, Notebooks und Referenzdokumentation für BigQuery DataFrames:

Nächste Schritte