Notebooks e ferramentas de análise programática

Embora o SQL seja uma linguagem de consulta poderosa, linguagens de programação como Python, Java ou R fornecem sintaxes e funções estatísticas que podem ser mais expressivas para tarefas de análise de dados. Os ambientes de notebook oferecem uma alternativa altamente flexível às planilhas para exploração de dados complexos e fluxos de trabalho de machine learning (ML).

O BigQuery oferece integração integrada de notebooks, além de suporte para várias outras soluções de análise programática.

Notebooks do Colab Enterprise

É possível usar os notebooks do Colab Enterprise no BigQuery para realizar fluxos de trabalho completos de ciência de dados e ML em uma única interface integrada. Ao contrário dos editores SQL padrão, os notebooks permitem combinar consultas SQL com código Python, rich text e visualizações para contar uma história abrangente com seus dados. Os notebooks do Colab Enterprise são ideais para os seguintes casos de uso:

  • Fluxos de trabalho de ML completos:crie, avalie e implante modelos do BigQuery ML em uma única interface.
  • Análise de dados:limpe e analise grandes conjuntos de dados usando o BigQuery DataFrames.
  • Pesquisa colaborativa:acompanhe o histórico de versões e compartilhe notebooks com colegas usando o Identity and Access Management (IAM).

Os notebooks do Colab Enterprise oferecem os seguintes benefícios:

  • Desenvolvimento com tecnologia de IA:use a Gemini Enterprise Agent Platform para o desenvolvimento de código assistido.
  • Integração perfeita com o Python:use a API BigQuery DataFrames sem nenhuma configuração adicional.
  • Recursos de editor conhecidos:aproveite o preenchimento automático de SQL semelhante ao editor de SQL do BigQuery.
  • Visualizações integradas:use visualizações interativas de DataFrame ou bibliotecas como matplotlib e seaborn diretamente no seu fluxo de trabalho.
  • Interoperabilidade SQL-Python:execute SQL em células que fazem referência a variáveis Python.

Noções básicas sobre células

Um notebook é composto por células que podem ser editadas. Os seguintes tipos de células são compatíveis com os notebooks do Colab Enterprise:

  • Célula de texto: use uma célula de texto para adicionar explicações e imagens ao notebook no Markdown.

  • Célula de código: use uma célula de código para adicionar Python ao notebook. É possível executar cada célula de código individualmente. Uma célula de código pode referenciar qualquer variável criada em outra célula que você já tenha executado.

  • Célula SQL: use uma célula SQL para executar consultas do GoogleSQL. A saída da consulta é salva automaticamente como um DataFrame com o mesmo nome do título da célula. É possível executar várias instruções SQL em uma única célula SQL, mas apenas os resultados da última instrução são salvos em um DataFrame.

    É possível consultar variáveis do Python em expressões ou usar BigQuery DataFrames como tabelas na consulta, colocando o nome da variável entre chaves ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};

# Reference previous query results to iterate on your queries.
SELECT * FROM {df};

  • Célula de visualização: use uma célula de visualização para gerar automaticamente uma visualização de qualquer DataFrame no notebook. É possível modificar as colunas exibidas e selecionar entre vários tipos de gráficos e agregações. Também é possível escolher cores personalizadas, rótulos de dados e títulos.

A galeria de notebooks é um hub central para descobrir e usar modelos de notebook pré-criados. Ele inclui modelos fundamentais para SQL, Python, Apache Spark e DataFrames para ajudar você a realizar tarefas comuns, como preparação, análise e visualização de dados.

Gerenciamento e segurança do ambiente de execução

Os notebooks usam ambientes de execução do Colab Enterprise, que são máquinas virtuais do Compute Engine alocadas a um usuário específico para permitir a execução de código. O acesso aos notebooks é controlado usando papéis do IAM. Para detectar vulnerabilidades nos pacotes Python usados nos notebooks, instale e use o Notebook Security Scanner.

Monitoramento e regiões

Todos os recursos de código no BigQuery Studio são armazenados em uma região padrão, e atualizar essa configuração muda a região de todos os recursos de código recém-criados. Os notebooks do Colab Enterprise estão disponíveis em todas as regiões em que o BigQuery Studio está disponível.

Para monitorar o uso de slots de notebook, acesse o relatório de faturamento do Cloud Billing e aplique um filtro para o rótulo goog-bq-feature-type com o valor BQ_STUDIO_NOTEBOOK.

Os recursos do notebook estão disponíveis apenas no console do Google Cloud .

Preços

Para informações sobre os preços dos notebooks do Colab Enterprise, consulte Preços do ambiente de execução de notebooks.

BigQuery DataFrames

O BigQuery DataFrames é um conjunto de bibliotecas Python de código aberto que permite aproveitar o tratamento de dados do BigQuery usando APIs Python conhecidas. O BigQuery DataFrames implementa as APIs pandas e scikit-learn enviando o processamento para o BigQuery por meio da conversão de SQL. Esse design permite que você use o BigQuery para analisar e processar terabytes de dados e treinar modelos de ML, tudo com APIs Python.

O BigQuery DataFrames oferece os seguintes benefícios:

  • Mais de 750 APIs pandas e scikit-learn implementadas por meio da conversão SQL transparente para APIs do BigQuery e do BigQuery ML.
  • Execução adiada de consultas para melhorar o desempenho.
  • Ampliação de transformações de dados com funções Python definidas pelo usuário para permitir processar dados na nuvem. Elas são implantadas automaticamente como funções remotas do BigQuery.
  • Integração com a Gemini Enterprise Agent Platform que permite usar modelos do Gemini para geração de texto.

Outras soluções de análise programática

Além do Colab Enterprise e do BigQuery DataFrames, o BigQuery se integra a várias outras soluções programáticas:

Outros recursos

O BigQuery oferece várias bibliotecas de cliente em linguagens como Java, Go, Python, JavaScript, PHP e Ruby. Alguns frameworks de análise de dados, como o pandas, fornecem plug-ins para interagir diretamente com o BigQuery. Para quem prefere ambientes shell, a ferramenta de linha de comando bq está disponível.