Importar e exportar dados

Esta página lista os métodos disponíveis para importar e exportar dados para e do Bigtable.

Importar dados para o Bigtable

É possível importar dados para o Bigtable de uma das seguintes maneiras:

BigQuery
Para importar dados do BigQuery para o Bigtable, consulte Exportar dados para o Bigtable (ETL reverso) na documentação do BigQuery.
É possível executar consultas contínuas nos dados do BigQuery e exportar os resultados para o Bigtable em tempo real usando o ETL reverso. Para mais informações, consulte Introdução às consultas contínuas na documentação do BigQuery.
Pub/Sub
É possível transmitir mensagens do Pub/Sub diretamente para uma tabela do Bigtable usando assinaturas do Pub/Sub Bigtable (visualização). Esse método permite gravar mensagens de streaming no Bigtable sem precisar de um assinante separado, como o Dataflow.

Migração ou cópia de dados com um modelo

É possível usar os modelos do Dataflow a seguir para migrar ou copiar dados entre o Bigtable e outras fontes ou destinos.

BigQuery

O modelo do Dataflow a seguir permite exportar dados do BigQuery para o Bigtable.

Apache Cassandra para Bigtable

O modelo do Dataflow a seguir permite exportar dados do Apache Cassandra para o Bigtable.

Arquivos Avro

Os modelos do Dataflow a seguir permitem exportar dados do Bigtable como arquivos Avro e depois importá-los novamente para o Bigtable. É possível executar os modelos usando a Google Cloud CLI ou o Google Cloud console. O código-fonte está no GitHub.

Arquivos Parquet

Os modelos do Dataflow a seguir permitem exportar dados do Bigtable como arquivos Parquet e depois importá-los novamente para o Bigtable. É possível executar os modelos usando a CLI gcloud ou o Google Cloud console. O código-fonte está no GitHub.

SequenceFiles

Os modelos do Dataflow a seguir permitem exportar dados do Bigtable como SequenceFiles e depois importá-los novamente para o Bigtable. É possível executar os modelos usando a Google Cloud CLI ou o Google Cloud console.

Importar na página "Tabelas"

É possível executar muitos dos métodos de importação descritos nesta página usando o Google Cloud console. Importe os seguintes tipos de dados da página Tabelas:

  • Dados CSV
  • Dados do BigQuery
  • Dados que podem ser importados com o criador de jobs do Dataflow. Isso inclui os seguintes tipos de dados:
    • Mensagens do Pub/Sub
    • Dados da tabela do BigQuery
    • Arquivos CSV, JSON e arquivos de texto no Cloud Storage
    • Dados de tabelas do PostgreSQL, MySQL, Oracle e SQL Server

  • Dados que podem ser importados com o modelo do Dataflow. Isso inclui os seguintes tipos de dados:

    • Arquivos Avro
    • Espaços de chaves e tabelas do Cassandra
    • Arquivos Parquet
    • Arquivos SequenceFile

Console

  1. Abra a lista de instâncias do Bigtable no Google Cloud console.

    Abrir a lista de instâncias

  2. Clique na instância onde está tabela que você quer importar.

  3. Clique em Tabelas no painel esquerdo.

    A página Tabelas exibe uma lista de tabelas na instância.

  4. Ao lado do nome da tabela em que você quer importar dados, clique no Ação da tabela menu.

  5. Clique em Importar dados e selecione o tipo de dados que você quer importar:

    • Se você selecionar CSV, a cbt CLI janela do terminal será aberta. Para mais informações, consulte a seção Importar dados CSV deste documento.
    • Se você selecionar BigQuery, o BigQuery Studio será aberto. Preencha a consulta de ETL reverso e execute-a.
    • Se você selecionar o criador de jobs do Dataflow, ele será aberto. Para mais informações, consulte Visão UI do criador de jobs.
    • Se você selecionar Avro, Parquet, SequenceFile ou Cassandra, o console vai mostrar um modelo do Dataflow parcialmente concluído. Preencha o modelo de job e clique em Executar job.

Exportar na página "Tabelas"

É possível executar alguns dos métodos de exportação descritos nesta página usando o Google Cloud console. Exporte os seguintes tipos de dados da página Tabelas:

  • Arquivos Avro
  • Arquivos Parquet

  • Arquivos SequenceFile

Console

  1. Abra a lista de instâncias do Bigtable no Google Cloud console.

    Abrir a lista de instâncias

  2. Clique na instância onde está tabela que você quer exportar.

  3. Clique em Tabelas, no painel à esquerda.

    A página Tabelas exibe uma lista de tabelas na instância.

  4. Ao lado do nome da tabela, clique no menu Ação da tabela.

  5. Clique em Exportar dados e selecione o tipo de arquivo que você quer exportar.

    O console exibe um modelo do Dataflow parcialmente concluído.

  6. Preencha o modelo de job e clique em Executar job.

Importar dados CSV

É possível importar dados de um arquivo CSV para uma tabela do Bigtable usando a cbt CLI . Para fazer isso, verifique se o ambiente, como o Cloud Shell, pode acessar o arquivo CSV. É possível inserir o arquivo CSV no Cloud Shell de uma das seguintes maneiras:

Fazer upload de um arquivo CSV local:

  1. No Cloud Shell, clique no Mais menu e selecione Fazer upload.
  2. Selecione o arquivo CSV na máquina local.
  3. Depois de fazer upload do arquivo, consulte-o pelo nome no cbt CLI comando.

Copiar um arquivo CSV do Cloud Storage:

A CLI cbt não oferece suporte direto à importação de um bucket do Cloud Storage. Primeiro, copie o arquivo CSV do Cloud Storage para o ambiente shell do Cloud Shell. Para mais informações, consulte Fazer upload de um objeto para um bucket.

Depois que o arquivo CSV estiver disponível no ambiente, use o cbt comando da CLI para importar os dados. Para um comando de exemplo, consulte Gravar em lote muitas linhas com base no arquivo de entrada.

A seguir