Introducción a BigQuery DataFrames

BigQuery DataFrames es una biblioteca de Python de código abierto que te permite aprovechar el procesamiento de datos de BigQuery con APIs de Python conocidas. BigQuery DataFrames proporciona un DataFrame de Python con la tecnología del motor de BigQuery y, además, implementa las APIs de Pandas y scikit-learn enviando el procesamiento de datos a BigQuery a través de la conversión de SQL. Esto te permite usar BigQuery para explorar y procesar terabytes de datos, crear canalizaciones de datos y entrenar modelos de aprendizaje automático (AA), todo con las APIs de Python y sin mover datos a tu máquina cliente.

Si conoces pandas, puedes usar BigQuery DataFrames para trabajar con datos de BigQuery con cambios mínimos en tu código. Por ejemplo, puedes usar métodos conocidos de pandas para analizar datos de una tabla de BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Beneficios de BigQuery DataFrames

BigQuery DataFrames hace lo siguiente:

  • Ofrece más de 750 APIs de Pandas y scikit-learn implementadas a través de la conversión de SQL a las APIs de BigQuery y BigQuery ML.
  • Aplazamiento de la ejecución de las consultas para mejorar el rendimiento
  • Extiende las transformaciones de datos con funciones de Python definidas por el usuario para que puedas procesar datos en Google Cloud. Estas funciones se implementan de forma automática como funciones remotas de BigQuery.
  • Se integra con Gemini Enterprise Agent Platform para permitirte usar modelos de Gemini para la generación de texto.

Licencias

BigQuery DataFrames se distribuye con la licencia de Apache 2.0.

BigQuery DataFrames también contiene código derivado de los siguientes paquetes de terceros:

Para obtener más detalles, consulta el directorio third_party/bigframes_vendored en el repositorio de GitHub de BigQuery DataFrames.

Cuotas y límites

  • Las cuotas de BigQuery se aplican a BigQuery DataFrames, incluidos los componentes de hardware, software y red.
  • Se admite un subconjunto de las APIs de Pandas y scikit-learn. Para obtener más información, consulta APIs de Pandas compatibles.
  • Debes limpiar de manera explícita cualquier función de Cloud Run Functions creada de forma automática como parte de la limpieza de la sesión. Para obtener más información, consulta APIs de Pandas compatibles.

Precios

  • BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto disponibles para descargar sin costo adicional.
  • BigQuery DataFrames utiliza BigQuery, Cloud Run Functions, Agent Platform y otrosGoogle Cloud servicios, que generan sus propios costos.
  • Durante el uso regular, BigQuery DataFrames almacena datos temporales, como resultados intermedios, en tablas de BigQuery. Estas tablas persisten durante siete días de forma predeterminada, y se te cobra por los datos almacenados en ellas. Las tablas se crean en el conjunto de datos _anonymous_ del proyecto Google Cloud que especificas en la opción bf.options.bigquery.project.

Casos de uso

Puedes usar BigQuery DataFrames para los siguientes casos de uso de análisis y aprendizaje automático:

Muestras de código y documentación de referencia

Explora muestras de código, notebooks y documentación de referencia para BigQuery DataFrames:

¿Qué sigue?