Introdução às ferramentas para desenvolvedores

O BigQuery oferece um conjunto de ferramentas para desenvolvedores que podem ser usadas para acessar o BigQuery no seu ambiente de desenvolvimento, conectar o BigQuery a aplicativos externos e desenvolver soluções de ponta a ponta. Antes de usar essas ferramentas, você precisa conhecer os conceitos padrão do BigQuery, como análise e organização de recursos.

Ferramentas para acessar o BigQuery no seu ambiente de desenvolvimento

As APIs e bibliotecas de cliente do BigQuery são as principais ferramentas de desenvolvedor para fazer solicitações do BigQuery fora do consoleGoogle Cloud e da ferramenta de linha de comando bq. Ao acessar o BigQuery dessa maneira, você também precisa fornecer alguma forma de autenticação.

APIs

O BigQuery oferece APIs REST e gRPC para interagir de forma programática com os vários serviços. As seguintes APIs estão disponíveis:

Bibliotecas de cliente

Embora seja possível usar as APIs do BigQuery diretamente fazendo solicitações ao servidor, usar as bibliotecas de cliente do BigQuery pode reduzir significativamente a quantidade de código que você precisa escrever, oferecendo simplificações nas chamadas da API BigQuery. As linguagens compatíveis com o BigQuery são C#, Go, Java, Node.js, PHP, Python e Ruby. Para testar um guia de início rápido das bibliotecas de cliente do BigQuery, consulte Consultar um conjunto de dados público com as bibliotecas de cliente do BigQuery.

Autenticação

A autenticação é o processo de confirmação da identidade por meio do uso de credenciais. Quando você acessa o BigQuery no ambiente de desenvolvimento, sempre é necessária uma forma de autenticação. O método de autenticação mais comum para desenvolvedores do BigQuery é o Application Default Credentials, que encontra credenciais automaticamente com base no seu ambiente. Para mais informações sobre princípios gerais de autenticação e outros métodos, consulte Autenticar no BigQuery.

Ferramentas para conectar o BigQuery a aplicativos externos

Várias ferramentas de conexão personalizadas estão disponíveis para ajudar você a incorporar recursos do BigQuery com aplicativos de terceiros.

MCP Toolbox para bancos de dados

O Protocolo de Contexto de Modelo (MCP) é um protocolo aberto para conectar modelos de linguagem grandes (LLMs) a fontes de dados como o BigQuery. A MCP Toolbox para bancos de dados conecta seu projeto do BigQuery a vários ambientes de desenvolvimento integrado (IDEs) e ferramentas para desenvolvedores, permitindo que você crie agentes de IA mais eficientes com seus dados do BigQuery.

drivers ODBC e JDBC

Os drivers Open Database Connectivity (ODBC) e Java Database Connectivity (JDBC) conectam aplicativos a bancos de dados. O Google fez uma parceria com a Simba para fornecer drivers ODBC e JDBC para o BigQuery, que podem ser usados para criar aplicativos de software neutros em bancos de dados com as ferramentas e a infraestrutura de sua preferência. O driver JDBC para BigQuery desenvolvido pelo Google também está disponível em prévia.

Google Cloud para a extensão do Visual Studio Code

Se você usa o Visual Studio Code (VS Code), pode usar a extensão do VS CodeGoogle Cloud para executar notebooks do BigQuery e visualizar conjuntos de dados do BigQuery no seu ambiente atual do VS Code.

Ferramentas para desenvolver soluções completas

Ao criar soluções complexas com o BigQuery, o Google oferece muitos caminhos para ajudar você, principalmente com exemplos de código, recursos de repositório e espaço de trabalho e uma grande variedade de integrações do BigQuery.

Amostras de código

Os exemplos de código do BigQuery fornecem snippets para realizar tarefas comuns no BigQuery, como criar tabelas, listar conexões, ver compromissos de capacidade e reservas e carregar dados. Use esses exemplos de código para começar a criar soluções mais complexas.

Repositórios e espaços de trabalho

É possível usar repositórios para controlar a versão dos arquivos usados no BigQuery e espaços de trabalho nesses repositórios para editar o código. O BigQuery usa o Git para registrar mudanças e gerenciar versões de arquivos. É possível usar os recursos do Git integrados ao BigQuery ou se conectar a um repositório Git de terceiros.

Serviços e ferramentas integrados

Os seguintes serviços e ferramentas do Google se integram ao BigQuery e oferecem recursos extras para criar soluções:

  • Dataproc. Um serviço totalmente gerenciado para executar jobs do Apache Hadoop e do Apache Spark. O Dataproc fornece o conector do BigQuery, que permite que o Hadoop e o Spark processem dados diretamente do BigQuery.
  • Dataflow. Um serviço totalmente gerenciado para executar jobs do Apache Beam em escala. Com o conector de E/S do BigQuery para Beam os pipelines do Beam leem e gravam dados a partir do BigQuery.
  • Cloud Composer. Um serviço de programação de fluxos de trabalho totalmente gerenciado criado no Apache Airflow. Os operadores do BigQuery permitem que os fluxos de trabalho do Airflow gerenciem conjuntos de dados e tabelas, executem consultas e validem dados.
  • Pub/Sub. Um serviço de mensagens assíncrono e escalonável. O Pub/Sub oferece assinaturas do BigQuery, que podem ser usadas para gravar mensagens em uma tabela do BigQuery conforme elas são recebidas.
  • Dataform. Um serviço para analistas de dados desenvolverem, testarem, controlarem versões e programarem fluxos de trabalho SQL complexos para transformação de dados no BigQuery.
  • Módulo do BigQuery Terraform. Um módulo para automatizar a instanciação e a implantação de conjuntos de dados e tabelas do BigQuery.
  • Ferramenta de linha de comando bq. Uma ferramenta de linha de comando baseada em Python para o BigQuery.

O Google também valida dezenas de soluções e integrações de parceiros para o BigQuery pelo programa Google Cloud Ready – BigQuery. Esses parceiros reconhecidos atendem a um conjunto de requisitos essenciais para garantir a compatibilidade com o BigQuery.

A seguir