Introdução ao carregamento de dados

Neste documento, explicamos como carregar dados no BigQuery. As duas abordagens comuns para a integração de dados são extrair, carregar e transformar (ELT) ou extrair, transformar e carregar (ETL) dados.

Para uma visão geral das abordagens de ELT e ETL, consulte Introdução ao carregamento, transformação e exportação de dados.

Métodos de carregamento ou acesso a dados externos

Na página do BigQuery, na caixa de diálogo Adicionar dados, é possível conferir todos os métodos disponíveis para carregar dados no BigQuery ou acessar dados do BigQuery. Escolha uma das seguintes opções com base no seu caso de uso e nas fontes de dados:

Método de carregamento Descrição
Carregamento em lote Esse método é adequado para o carregamento em lote de grandes volumes de dados de várias fontes.

Para o carregamento em lote ou incremental de dados do Cloud Storage e de outras fontes de dados compatíveis, recomendamos o uso do serviço de transferência de dados do BigQuery.

Com o serviço de transferência de dados do BigQuery, para automatizar pipelines de carregamento de dados no BigQuery, é possível programar jobs de carregamento. É possível programar transferências de dados únicas ou em lote em intervalos regulares (por exemplo, diariamente ou mensalmente). Para garantir que os dados do BigQuery estejam sempre atualizados, monitore e registre as transferências.

Para uma lista de fontes de dados compatíveis com o serviço de transferência de dados do BigQuery, consulte Fontes de dados compatíveis.
Carregamento de streaming Esse método permite carregar dados quase em tempo real de sistemas de mensagens.

Para transmitir dados para o BigQuery, use uma assinatura do BigQuery no Pub/Sub. O Pub/Sub pode lidar com alta capacidade de processamento de carregamentos de dados no BigQuery. Ele é compatível com streaming de dados em tempo real, carregando dados à medida que são gerados. Para mais informações, consulte Assinaturas do BigQuery.
Captura de dados alterados (CDC) Esse método permite replicar dados de bancos de dados para o BigQuery quase em tempo real.

O Datastream pode transmitir dados de bancos de dados para o BigQuery com replicação quase em tempo real. O Datastream usa recursos de CDC para rastrear e replicar alterações no nível da linha das fontes de dados.

Para uma lista de fontes de dados compatíveis com o Datastream, consulte Fontes.
Federação para fontes de dados externas Esse método permite acessar dados externos sem carregá-los no BigQuery.

O BigQuery permite acessar algumas fontes de dados externas pelo Cloud Storage e por consultas federadas. A vantagem desse método é que você não precisa carregar os dados antes de transformá-los para uso posterior. Para realizar a transformação, execute instruções SELECT nos dados externos.

Também é possível usar os seguintes métodos programáticos para carregar os dados:

Método de carregamento Descrição
Carregamento em lote É possível carregar dados do Cloud Storage ou de um arquivo local criando um job de carregamento.

Se os dados de origem não mudam com frequência ou se você não precisa de resultados atualizados continuamente, os jobs de carregamento podem ser uma maneira mais barata e menos intensiva de carregar os dados no BigQuery.

Os dados carregados podem estar nos formatos Avro, CSV, JSON, ORC ou Parquet. Para criar o job de carregamento, use também a instrução SQL LOAD DATA.

Sistemas de código aberto conhecidos, como o Spark e vários parceiros de ETL, também são compatíveis com o carregamento em lote de dados no BigQuery.

Para otimizar o carregamento em lote em tabelas e evitar atingir o limite diário de carregamento, consulte Otimizar jobs de carregamento.
Carregamento de streaming Se você precisar oferecer suporte a fontes de dados de streaming personalizadas ou pré-processar dados antes de transmiti-los com grande capacidade de processamento para o BigQuery, use o Dataflow.

Para mais informações sobre como carregar do Dataflow para o BigQuery, consulte Gravar do Dataflow para o BigQuery.

Também é possível usar diretamente a API BigQuery Storage Write (gRPC).

Para otimizar o streaming em tabelas e evitar atingir o limite de carregamento diário, consulte Otimizar jobs de carregamento.

O Cloud Data Fusion pode ajudar a facilitar o processo de ETL. O BigQuery também trabalha com parceiros terceirizados que transformam e carregam dados no BigQuery.

O BigQuery permite criar conexões externas para consultar dados armazenados fora do BigQuery em serviços do Google Cloud , como o Cloud Storage ou o Spanner, ou em fontes de terceiros, como o Amazon Web Services (AWS) ou o Microsoft Azure. Essas conexões externas usam a API BigQuery Connection. Para mais informações, consulte Introdução às conexões.

Outras maneiras de adquirir dados

É possível executar consultas em dados sem carregá-los no BigQuery. As seções a seguir descrevem algumas alternativas.

A lista a seguir descreve algumas das alternativas:

Executar consultas em dados públicos

Conjuntos de dados públicos são conjuntos de dados armazenados no BigQuery e compartilhados publicamente. Para mais informações, veja Conjuntos de dados públicos do BigQuery.

Executar consultas em dados compartilhados

Para executar consultas em um conjunto de dados do BigQuery que alguém compartilhou com você, consulte Introdução ao BigQuery Sharing (antigo Analytics Hub). O Sharing é uma plataforma de troca de dados que permite o compartilhamento de dados.

Executar consultas com dados de registro

É possível executar consultas em registros sem criar outros jobs de carregamento:

A seguir