Introduzione a BigQuery DataFrames

BigQuery DataFrames è un insieme di librerie Python open source che ti consentono di sfruttare l'elaborazione dei dati di BigQuery utilizzando le API Python che già conosci. BigQuery DataFrames fornisce un DataFrame Pythonic basato sul motore BigQuery e implementa le API pandas e scikit-learn eseguendo l'elaborazione in BigQuery tramite la conversione SQL. In questo modo, puoi utilizzare BigQuery per esplorare ed elaborare terabyte di dati, nonché addestrare modelli di machine learning (ML), il tutto con le API Python.

Se hai familiarità con pandas, puoi utilizzare BigQuery DataFrames per lavorare con i dati BigQuery apportando modifiche minime al codice. Ad esempio, puoi utilizzare i metodi pandas che già conosci per analizzare i dati di una tabella BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Vantaggi di BigQuery DataFrames

BigQuery DataFrames:

  • Offre più di 750 API pandas e scikit-learn implementate tramite la conversione SQL trasparente alle API BigQuery e BigQuery ML.
  • Rimanda l'esecuzione delle query per migliorare le prestazioni.
  • Estende le trasformazioni dei dati con funzioni Python definite dall'utente per consentire di elaborare i dati in Google Cloud. Queste funzioni vengono implementate automaticamente come funzioni remote di BigQuery .
  • Si integra con Vertex AI per consentirti di utilizzare i modelli Gemini per la generazione di testo.

Licenze

BigQuery DataFrames viene distribuito con la licenza Apache-2.0.

BigQuery DataFrames contiene anche codice derivato dai seguenti pacchetti di terze parti:

Per maggiori dettagli, consulta la third_party/bigframes_vendored directory nel repository GitHub di BigQuery DataFrames.

Quote e limiti

  • Le quote di BigQuery si applicano a BigQuery DataFrames, inclusi i componenti hardware, software e di rete.
  • È supportato un sottoinsieme di API pandas e scikit-learn. Per saperne di più, consulta API pandas supportate.
  • Devi liberare spazio esplicitamente per tutte le funzioni Cloud Run create automaticamente nell'ambito della pulizia della sessione. Per saperne di più, consulta API pandas supportate.

Prezzi

  • BigQuery DataFrames è un insieme di librerie Python open source disponibili per il download senza costi aggiuntivi.
  • BigQuery DataFrames utilizza BigQuery, Cloud Run Functions, Vertex AI e altri Google Cloud servizi, che comportano costi propri.
  • Durante l'utilizzo normale, BigQuery DataFrames archivia i dati temporanei, ad esempio i risultati intermedi, nelle tabelle BigQuery. Per impostazione predefinita, queste tabelle vengono conservate per sette giorni e ti vengono addebitati i dati archiviati. Le tabelle vengono create nel set di dati _anonymous_ nel Google Cloud progetto specificato nell' bf.options.bigquery.project opzione.

Passaggi successivi