Introdução à exportação de dados

Este documento descreve as diferentes maneiras de exportar dados do BigQuery.

Para mais informações sobre integrações de dados, consulte Introdução ao carregamento, transformação e exportação de dados.

Exportar resultados da consulta

É possível exportar os resultados da consulta para um arquivo local (como CSV ou JSON), o Google Drive ou as Planilhas Google. Para mais informações, consulte Exportar resultados de consulta para um arquivo.

Exportar tabelas

É possível exportar suas tabelas do BigQuery nos seguintes formatos de dados:

Formato de dados Tipos de compactação compatíveis Métodos de exportação compatíveis
CSV GZIP Exportar para o Cloud Storage
JSON GZIP Exportar para o Cloud Storage
Ler do BigQuery usando o Dataflow
Avro DEFLATE, SNAPPY Exportar para o Cloud Storage
Ler do BigQuery usando o Dataflow
Parquet GZIP, SNAPPY e ZSTD Exportar para o Cloud Storage

Também é possível exportar suas tabelas do BigQuery como colunas Protobuf ao trabalhar com estruturas de dados aninhadas que exigem segurança de tipo de objeto ou se você precisar de um suporte de linguagem mais amplo.

Considerações sobre a exportação de tabelas grandes

Ao exportar dados substanciais do BigQuery, considere o seguinte:

  • Volume e formato de dados:
    • Calcule o volume de dados a serem exportados. As exportações podem gerar custos substanciais com base no tamanho, formato, método e localização geográfica dos dados. Alguns recursos são cobrados por GiB, enquanto outros são cobrados por TiB.
    • Escolha um formato compatível com as ferramentas de análise e a estrutura dos seus dados. Por exemplo, o CSV não processa campos aninhados ou repetidos. Verifique a compatibilidade dos tipos de dados.
    • Considere formatos de compactação para reduzir o tamanho e os custos.
  • Custo de exportação:
    • Alguns métodos de exportação são sem custo financeiro até um limite, enquanto outros sempre geram custos. Para mais informações, consulte Preços de extração de dados.
    • Custos podem ser aplicados se a tabela do BigQuery e o destino, como um bucket do Cloud Storage, estiverem em locais diferentes.
  • Cotas: alguns métodos de exportação têm limites diários. Para mais informações, consulte Extrair jobs.
  • Vários arquivos: exportações grandes divididas em vários arquivos. Considere como você vai gerenciar esses arquivos posteriormente.
  • Automação: para exportações recorrentes, use as consultas programadas do BigQuery ou o Dataflow.
  • Políticas de retenção: determine os períodos de retenção no conjunto de dados de destino e implemente regras de ciclo de vida para otimizar os custos de armazenamento.
  • Segurança e controle de acesso: implemente permissões e criptografia adequadas do IAM.

Ao considerar esses fatores, recomendamos fazer um teste de exportação em um subconjunto de dados para avaliar custos, tamanhos de arquivos, contagens e tempo. É possível usar uma cláusula WHERE na instrução SQL EXPORT DATA para limitar a exportação de teste.

Exportar recursos de código do BigQuery

É possível fazer o download de recursos de código do BigQuery Studio, como consultas salvas ou notebooks, para manter uma cópia local dos seus recursos. Para mais informações sobre como fazer o download dos seus recursos de código do BigQuery, consulte:

Exportar usando ETL reverso

É possível configurar fluxos de trabalho de ETL reverso (RETL) para mover dados do BigQuery para os seguintes bancos de dados:

A seguir