Integrações com o Bigtable

Esta página descreve as integrações entre o Bigtable e outros produtos e serviços.

Google Cloud serviços

Esta seção descreve os Google Cloud serviços que se integram ao Bigtable.

BigQuery

BigQuery é o data warehouse de análise de baixo custo, totalmente gerenciado e com escala em petabyte, desenvolvido pelo Google. É possível usar o BigQuery com o Bigtable para as seguintes finalidades:

  • Criar uma tabela externa do BigQuery e usá-la para consultar a tabela do Bigtable e unir os dados a outras tabelas do BigQuery. Para mais informações, consulte Consultar dados do Bigtable.

  • Exportar os dados do BigQuery para uma tabela do Bigtable usando o ETL reverso (RETL) do BigQuery para o Bigtable. Para mais informações, consulte Exportar dados para o Bigtable.

Inventário de recursos do Cloud

O Cloud Asset Inventory, que fornece serviços de inventário com base em um banco de dados de séries temporais, é compatível e retorna tipos de recursos do Bigtable. Para ver uma lista completa, consulte Tipos de recursos compatíveis.

Knowledge Catalog

O Knowledge Catalog e o Data Catalog (descontinuado) catalogam automaticamente os metadados sobre os recursos do Bigtable. As informações catalogadas sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados. Para mais informações, consulte Gerenciar recursos de dados usando o Data Catalog.

Dataflow

O Dataflow é um serviço em nuvem e um modelo de programação para processamento de Big Data. O Dataflow é compatível com processamento em lote e de stream. Use o Dataflow para processar dados armazenados no Bigtable ou armazenar a saída do pipeline do Dataflow. Também é possível usar modelos do Dataflow para exportar e importar seus dados como Avro, Parquet ou SequenceFiles.

Para começar, consulte Conector Beam do Bigtable.

Também é possível usar o Bigtable como uma pesquisa de chave-valor para enriquecer os dados em um pipeline. Para uma visão geral, consulte Enriquecer dados de streaming. Para um tutorial, consulte Usar o Apache Beam e o Bigtable para enriquecer dados.

Managed Service for Apache Spark

O Managed Service for Apache Spark fornece o Apache Hadoop e produtos relacionados como um serviço gerenciado na nuvem. Com o Managed Service for Apache Spark, é possível executar jobs do Hadoop que leem e gravam no Bigtable.

Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no diretório /java/dataproc-wordcount do repositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.

A Pesquisa vetorial da Vertex AI é uma tecnologia que pode pesquisar em bilhões de itens semanticamente parecidos ou relacionados. Ela é útil para implementar mecanismos de recomendação, bots de chat e classificação de texto.

É possível usar o Bigtable para armazenar embeddings de vetor, exportá-los para um índice de pesquisa de vetor e consultar o índice de itens semelhantes. Para um tutorial que demonstra um fluxo de trabalho de amostra, consulte Exportação do Bigtable para a Pesquisa vetorial da Vertex AI no workflows-demos repositório do GitHub.

Também é possível enviar atualizações de streaming para manter o índice de pesquisa de vetor sincronizado com o Bigtable em tempo real. Para mais informações, consulte o modelo de fluxo de alterações do Bigtable para a Pesquisa vetorial.

Big Data

Nesta seção, descrevemos os produtos do Big Data que estão integrados ao Bigtable.

Apache Beam

O Apache Beam é um modelo unificado para definir pipelines de processamento paralelo de dados em lote e streaming. O conector de Beam do Bigtable (BigtableIO) ajuda a realizar operações em lote e de streaming nos dados do Bigtable em um pipeline.

Para um tutorial que mostra como usar o conector de Beam do Bigtable para implantar um pipeline de dados no Dataflow, consulte Processar um fluxo de alterações do Bigtable.

Apache Hadoop

O Apache Hadoop é uma biblioteca que permite o processamento distribuído de grandes conjuntos de dados em clusters de computadores. É possível usar Managed Service for Apache Spark para criar um cluster do Hadoop e executar jobs MapReduce que leem e gravam no Bigtable.

Veja um exemplo de job de MapReduce do Hadoop que usa o Bigtable no diretório /java/dataproc-wordcount do repositório do GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

O StreamSets Data Collector é um aplicativo de streaming de dados que pode ser configurado para gravar dados no Bigtable. O StreamSets disponibiliza uma biblioteca do Bigtable no próprio repositório do GitHub em streamsets/datacollector.

Bancos de dados de gráficos

Nesta seção, descrevemos os bancos de dados de gráficos que se integram ao Bigtable.

HGraphDB

HGraphDB é uma camada do cliente para usar o Apache HBase ou o Bigtable como banco de dados de gráficos. Ele implementa as interfaces do Apache TinkerPop 3 (em inglês).

Para mais informações sobre como executar o HGraphDB de maneira compatível com o Bigtable, consulte a documentação do HGraphDB.

JanusGraph

JanusGraph é um banco de dados de gráficos escalonável. Ele é otimizado para armazenar e consultar gráficos que contêm centenas de bilhões de vértices e bordas.

Para mais informações sobre como executar o JanusGraph de maneira compatível com o Bigtable, consulte Como executar o JanusGraph com o Bigtable ou a documentação do JanusGraph.

Gerenciamento de infraestrutura

Nesta seção, descrevemos as ferramentas de gerenciamento de infraestrutura que se integram ao Bigtable.

Pivotal Cloud Foundry

O Pivotal Cloud Foundry é uma plataforma de desenvolvimento e implantação de aplicativos que oferece a capacidade de vincular um aplicativo ao Bigtable.

Terraform

O Terraform é uma ferramenta de código aberto que codifica as APIs em arquivos de configuração declarativos. Esses arquivos podem ser compartilhados entre os membros da equipe, tratados como código, revisados e ter a versão controlada.

Para mais informações sobre como usar o Bigtable com o Terraform, consulte Instância do Bigtable e Tabela do Bigtable na documentação do Terraform.

Monitoramento e bancos de dados de séries temporais

Esta seção descreve ferramentas de monitoramento e bancos de dados de séries temporais com as quais o Bigtable se integra.

OpenTSDB

OpenTSDB é um banco de dados de série temporal que pode usar o Bigtable para armazenamento. A documentação do OpenTSDB fornece informações para ajudar você a começar.