Introdução aos BigQuery DataFrames

A biblioteca de código aberto BigQuery DataFrames permite processar terabytes de dados e treinar modelos de IA e machine learning (ML) usando APIs Python conhecidas. É possível usar as APIs pandas e scikit-learn para criar pipelines de dados e analisar conjuntos de dados massivos diretamente no BigQuery sem mover os dados para a máquina cliente.

Benefícios dos BigQuery DataFrames

O BigQuery DataFrames faz o seguinte:

  • Oferece mais de 750 APIs pandas e scikit-learn implementadas por meio da conversão SQL para APIs do BigQuery e do BigQuery ML.
  • Adia a execução de consultas para melhorar o desempenho.
  • Amplia as transformações de dados com funções Python definidas pelo usuário para permitir o processamento de dados no Google Cloud. Elas são implantadas automaticamente como funções remotas do BigQuery.
  • Integração com a Gemini Enterprise Agent Platform para permitir o uso de modelos do Gemini para geração de texto.

Licenciamento

O DataFrames do BigQuery é distribuído com a licença Apache-2.0.

O BigQuery DataFrames também contém código derivado dos seguintes pacotes de terceiros:

Para mais detalhes, consulte o diretório third_party/bigframes_vendored no repositório GitHub do BigQuery DataFrames.

Cotas e limites

  • As cotas do BigQuery se aplicam aos DataFrames do BigQuery, incluindo hardware, software e componentes de rede.
  • Há suporte para um subconjunto de pandas e APIs do scikit-learn. Para mais informações, consulte APIs pamdas compatíveis.
  • É necessário limpar explicitamente qualquer função do Cloud Run criada automaticamente como parte da limpeza da sessão. Para mais informações, consulte APIs pandas compatíveis.

Preços

  • O BigQuery DataFrames é um conjunto de bibliotecas Python de código aberto disponíveis para download sem custo financeiro adicional.
  • O BigQuery DataFrames usa o BigQuery, as funções do Cloud Run, a plataforma de agentes e outros serviços doGoogle Cloud , que têm custos próprios.
  • Durante o uso regular, o DataFrames do BigQuery armazena dados temporários, como resultados intermediários, nas tabelas do BigQuery. Por padrão, elas são mantidas por sete dias e você é cobrado pelos dados armazenados nelas. As tabelas são criadas no conjunto de dados _anonymous_ do projeto do Google Cloud especificado na opção bf.options.bigquery.project.

Casos de uso

Se você já conhece o pandas, use o BigQuery DataFrames para trabalhar com dados do BigQuery com alterações mínimas no código. Por exemplo, é possível usar métodos conhecidos do pandas para analisar dados de uma tabela do BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

É possível usar os BigQuery DataFrames para os seguintes casos de uso de análise e machine learning:

Exemplos de código e documentação de referência

Confira exemplos de código, notebooks e documentação de referência do BigQuery DataFrames:

A seguir