Introdução às ferramentas para desenvolvedores

O BigQuery oferece um conjunto de ferramentas para desenvolvedores que podem ser usadas para acessar o BigQuery no ambiente de desenvolvimento, conectar o BigQuery a aplicativos externos e desenvolver soluções de ponta a ponta. Antes de usar essas ferramentas, você precisa conhecer os conceitos padrão do BigQuery, como análise e organização de recursos.

Ferramentas para acessar o BigQuery no ambiente de desenvolvimento

As APIs e bibliotecas de cliente do BigQuery são as principais ferramentas para desenvolvedores que fazem solicitações do BigQuery fora do Google Cloud console e da ferramenta de linha de comando bq. Ao acessar o BigQuery dessa forma, você também precisa fornecer alguma forma de autenticação.

APIs

O BigQuery oferece APIs REST e gRPC para interagir programaticamente com os vários serviços. As seguintes APIs estão disponíveis:

Bibliotecas de cliente

Embora seja possível usar as APIs BigQuery diretamente fazendo solicitações ao servidor, o uso das bibliotecas de cliente do BigQuery pode reduzir significativamente a quantidade de código que você precisa escrever, fornecendo simplificações nas chamadas de API BigQuery. As linguagens compatíveis com o BigQuery são C#, Go, Java, Node.js, PHP, Python e Ruby. Para testar um guia de início rápido das bibliotecas de cliente do BigQuery, consulte Consultar um conjunto de dados público com as bibliotecas de cliente do BigQuery.

Autenticação

A autenticação é o processo de confirmação da identidade usando credenciais. Ao acessar o BigQuery no ambiente de desenvolvimento, uma forma de autenticação é sempre necessária. O método de autenticação mais comum para desenvolvedores do BigQuery é Application Default Credentials, que encontra credenciais automaticamente com base no seu ambiente. Para mais informações sobre princípios gerais de autenticação e outros métodos de autenticação, consulte Autenticar no BigQuery.

Ferramentas para conectar o BigQuery a aplicativos externos

Várias ferramentas de conexão personalizadas estão disponíveis para ajudar você a incorporar os recursos do BigQuery a aplicativos de terceiros.

MCP Toolbox for Databases

O Protocolo de Contexto de Modelo (MCP, na sigla em inglês) é um protocolo aberto para conectar modelos de linguagem grandes (LLMs, na sigla em inglês) a fontes de dados como o BigQuery. A MCP Toolbox for Databases conecta seu projeto do BigQuery a vários ambientes de desenvolvimento integrado (IDEs, na sigla em inglês) e ferramentas para desenvolvedores, permitindo que você crie agentes de IA mais poderosos com seus dados do BigQuery.

Análise de agentes do BigQuery

A análise de agentes do BigQuery é uma solução de código aberto própria que captura, analisa e visualiza dados de interação de agentes multimodais em escala. Essa solução permite que os desenvolvedores transmitam interações de agentes brutos, como solicitações, respostas, chamadas de ferramentas e erros diretamente para o BigQuery.

Para saber mais sobre essa solução, consulte Usar a análise de agentes do BigQuery.

drivers ODBC e JDBC

Os drivers Open Database Connectivity (ODBC) e Java Database Connectivity (JDBC) conectam aplicativos a bancos de dados. O Google fez uma parceria com a Simba para fornecer drivers ODBC e JDBC para o BigQuery, que podem ser usados para ajudar a criar aplicativos de software neutros de banco de dados usando as ferramentas e a infraestrutura preferidas. O driver JDBC desenvolvido pelo Google para o BigQuery também está disponível na versão prévia.

Google Cloud Extensão do Visual Studio Code

Se você usa o Visual Studio Code (VS Code), pode usar a Google Cloud extensão do VS Code para executar notebooks do BigQuery e visualizar conjuntos de dados do BigQuery no ambiente do VS Code.

Ferramentas para desenvolver soluções de ponta a ponta

Ao criar soluções complexas com o BigQuery, o Google oferece muitas maneiras de ajudar você, principalmente por meio de exemplos de código, recursos de repositório e espaço de trabalho e uma grande variedade de integrações do BigQuery.

Amostras de código

Os exemplos de código do BigQuery fornecem snippets para realizar tarefas comuns no BigQuery, como criar tabelas, listar conexões, visualizar compromissos de capacidade e reservas e carregar dados. Você pode usar esses exemplos de código para começar a criar soluções mais complexas.

Repositórios e espaços de trabalho

Você pode usar repositórios para controle de versões dos arquivos usados no BigQuery e usar espaços de trabalho nesses repositórios para editar o código. O BigQuery usa o Git para registrar mudanças e gerenciar versões de arquivos. Você pode usar os recursos do Git integrados ao BigQuery ou se conectar a um repositório Git de terceiros.

Serviços e ferramentas integrados

Os serviços e ferramentas do Google a seguir são integrados ao BigQuery e oferecem recursos adicionais para a criação de soluções:

  • Serviço Gerenciado para Apache Spark. Um serviço totalmente gerenciado para executar jobs do Apache Hadoop e do Apache Spark. O Serviço Gerenciado para Apache Spark fornece o conector do BigQuery, que permite que o Hadoop e o Spark processem dados diretamente do BigQuery.
  • Dataflow. Um serviço totalmente gerenciado para executar jobs do Apache Beam em escala. Com o conector de E/S do BigQuery para Beam (em inglês), os canais do Beam leem e gravam dados a partir do BigQuery.
  • Serviço Gerenciado para Apache Airflow. Um serviço de programação de fluxo de trabalho totalmente gerenciado criado no Apache Airflow. Os operadores do BigQuery permitem que os fluxos de trabalho do Airflow gerenciem conjuntos de dados e tabelas, executem consultas e validem dados.
  • Pub/Sub. Um serviço de mensagens assíncrono e escalonável. O Pub/Sub fornece assinaturas do BigQuery, que podem ser usadas para gravar mensagens em uma tabela atual do BigQuery à medida que elas são recebidas.
  • Dataform. Um serviço para analistas de dados desenvolverem, testarem, controlarem versões e programarem fluxos de trabalho SQL complexos para transformação de dados no BigQuery.
  • Módulo do BigQuery Terraform. Um módulo para automatizar a instanciação e a implantação de conjuntos de dados e tabelas do BigQuery.
  • Ferramenta de linha de comando bq. Uma ferramenta de linha de comando baseada em Python para o BigQuery.

O Google também valida dezenas de soluções e integrações de parceiros para o BigQuery pelo Google Cloud programa Ready - BigQuery. Esses parceiros reconhecidos atendem a um conjunto básico de requisitos para garantir a compatibilidade com o BigQuery.

A seguir

  • Para informações sobre recursos e próximos eventos para Google Cloud desenvolvedores, acesse a Central do desenvolvedor.
  • Para informações sobre como outras empresas usam Google Cloud, consulte Data Cloud para ISVs.