Introducción a BigQuery DataFrames

La biblioteca de código abierto de BigQuery DataFrames te permite procesar terabytes de datos y entrenar modelos de IA y aprendizaje automático (AA) con las APIs de Python conocidas. Puedes usar las APIs de pandas y scikit-learn para compilar canalizaciones de datos y analizar conjuntos de datos masivos directamente en BigQuery sin mover los datos a tu máquina cliente.

Beneficios de BigQuery DataFrames

BigQuery DataFrames hace lo siguiente:

  • Ofrece más de 750 APIs de Pandas y scikit-learn implementadas a través de la conversión de SQL a las APIs de BigQuery y BigQuery ML.
  • Aplaza la ejecución de las consultas para mejorar el rendimiento.
  • Extiende las transformaciones de datos con funciones de Python definidas por el usuario para que puedas procesar datos en Google Cloud. Estas funciones se implementan de forma automática como funciones remotas de BigQuery.
  • Se integra en Gemini Enterprise Agent Platform para permitirte usar modelos de Gemini para la generación de texto.

Licencias

BigQuery DataFrames se distribuye con la licencia de Apache 2.0.

BigQuery DataFrames también contiene código derivado de los siguientes paquetes de terceros:

Para obtener más detalles, consulta el directorio third_party/bigframes_vendored en el repositorio de GitHub de BigQuery DataFrames.

Cuotas y límites

  • Las cuotas de BigQuery se aplican a BigQuery DataFrames, incluidos los componentes de hardware, software y red.
  • Se admite un subconjunto de las APIs de Pandas y scikit-learn. Para obtener más información, consulta APIs de Pandas compatibles.
  • Debes limpiar de manera explícita cualquier función de Cloud Run Functions creada de forma automática como parte de la limpieza de la sesión. Para obtener más información, consulta APIs de Pandas compatibles.

Precios

  • BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto disponibles para descargar sin costo adicional.
  • BigQuery DataFrames utiliza BigQuery, Cloud Run Functions, Agent Platform y otros servicios deGoogle Cloud , que generan sus propios costos.
  • Durante el uso regular, BigQuery DataFrames almacena datos temporales, como resultados intermedios, en tablas de BigQuery. Estas tablas persisten durante siete días de forma predeterminada, y se te cobra por los datos almacenados en ellas. Las tablas se crean en el conjunto de datos _anonymous_ del proyecto Google Cloud que especificas en la opción bf.options.bigquery.project.

Casos de uso

Si conoces pandas, puedes usar BigQuery DataFrames para trabajar con datos de BigQuery con cambios mínimos en tu código. Por ejemplo, puedes usar métodos conocidos de pandas para analizar datos de una tabla de BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Puedes usar BigQuery DataFrames para los siguientes casos de uso de análisis y aprendizaje automático:

Muestras de código y documentación de referencia

Explora muestras de código, notebooks y documentación de referencia para BigQuery DataFrames:

¿Qué sigue?