Notebooks e ferramentas de análise programática

Embora o SQL seja uma linguagem de consulta poderosa, linguagens de programação como Python, Java ou R oferecem sintaxes e funções estatísticas que podem ser mais expressivas para tarefas de análise de dados. Os ambientes de notebook oferecem uma alternativa altamente flexível às planilhas para fluxos de trabalho complexos de análise de dados e machine learning (ML).

O BigQuery oferece integração de notebook integrada e suporte para várias outras soluções de análise programática.

Notebooks do Colab Enterprise

É possível usar os notebooks do Colab Enterprise no BigQuery para realizar fluxos de trabalho de ciência de dados e ML de ponta a ponta em uma única interface integrada. Ao contrário dos editores SQL padrão, os notebooks permitem combinar consultas SQL com código Python, texto formatado e visualizações para contar uma história abrangente com seus dados. Os notebooks do Colab Enterprise são ideais para os seguintes casos de uso:

  • Fluxos de trabalho de ML de ponta a ponta:crie, avalie e implante modelos do BigQuery ML em uma única interface.
  • Exploração de dados:limpe e analise grandes conjuntos de dados usando os BigQuery DataFrames.
  • Pesquisa colaborativa:acompanhe o histórico de versões e compartilhe notebooks com colegas usando o Identity and Access Management (IAM).

Os notebooks do Colab Enterprise oferecem os seguintes benefícios:

  • Desenvolvimento com tecnologia de IA:use a Gemini Enterprise Agent Platform para o desenvolvimento de código assistido.
  • Integração perfeita com Python:use a API BigQuery DataFrames sem configuração adicional.
  • Recursos conhecidos do editor:aproveite o preenchimento automático de SQL semelhante ao editor de SQL do BigQuery.
  • Visualizações integradas:use visualizações interativas de DataFrame ou bibliotecas como matplotlib e seaborn diretamente no seu fluxo de trabalho.
  • Interoperabilidade SQL-Python:execute SQL em células que referenciam variáveis Python.

A galeria de notebooks é um hub central para descobrir e usar modelos de notebooks predefinidos. Ele inclui modelos fundamentais para SQL, Python, Apache Spark e DataFrames para ajudar você a realizar tarefas comuns, como preparação, análise e visualização de dados.

Gerenciamento e segurança do ambiente de execução

Os notebooks usam ambientes de execução do Colab Enterprise, que são máquinas virtuais do Compute Engine alocadas a um usuário específico para permitir a execução de código. O acesso aos notebooks é controlado usando papéis do IAM. Para detectar vulnerabilidades nos pacotes Python usados nos seus notebooks, instale e use o Notebook Security Scanner.

Monitoramento e regiões

Todos os recursos de código no BigQuery Studio são armazenados em uma região padrão, e a atualização dessa configuração muda a região de todos os recursos de código recém-criados. Os notebooks do Colab Enterprise estão disponíveis em todas as regiões em que o BigQuery Studio está disponível.

Para monitorar o uso de slots de notebook, consulte o relatório de faturamento do Cloud Billing e aplique um filtro ao rótulo goog-bq-feature-type com o valor BQ_STUDIO_NOTEBOOK.

Os recursos do notebook estão disponíveis apenas no console do Google Cloud .

Preços

Para informações sobre preços dos notebooks do Colab Enterprise, consulte Preços de ambiente de execução de notebook.

BigQuery DataFrames

O BigQuery DataFrames é um conjunto de bibliotecas Python de código aberto que permite aproveitar o processamento de dados do BigQuery usando APIs conhecidas do Python. O BigQuery DataFrames implementa as APIs pandas e scikit-learn enviando o processamento para o BigQuery por meio da conversão de SQL. Esse design permite que você use o BigQuery para analisar e processar terabytes de dados e treinar modelos de ML, tudo com APIs Python.

O BigQuery DataFrames oferece os seguintes benefícios:

  • Mais de 750 APIs pandas e scikit-learn implementadas por meio da conversão SQL transparente para APIs do BigQuery e do BigQuery ML.
  • Execução adiada de consultas para melhorar o desempenho.
  • Ampliação de transformações de dados com funções Python definidas pelo usuário para permitir processar dados na nuvem. Elas são implantadas automaticamente como funções remotas do BigQuery.
  • Integração com a Gemini Enterprise Agent Platform para usar modelos do Gemini na geração de texto.

Outras soluções de análise programática

Além do Colab Enterprise e do BigQuery DataFrames, o BigQuery se integra a várias outras soluções programáticas:

Outros recursos

O BigQuery oferece várias bibliotecas de cliente em linguagens como Java, Go, Python, JavaScript, PHP e Ruby. Alguns frameworks de análise de dados, como o pandas, oferecem plug-ins para interagir diretamente com o BigQuery. Para quem prefere ambientes de shell, a ferramenta de linha de comando bq está disponível.