Integraciones con Bigtable

En esta página, se describen las integraciones entre Bigtable y otros productos y servicios.

Google Cloud servicios

En esta sección, se describen los Google Cloud servicios con los que se integra Bigtable.

BigQuery

BigQuery es el almacén de datos de estadísticas completamente administrado, de bajo costo, con escala de petabytes de Google. Puedes usar BigQuery con Bigtable para los siguientes propósitos:

  • Puedes crear una tabla externa de BigQuery y, luego, usarla para consultar tu tabla de Bigtable y unir los datos a otras tablas de BigQuery. Para obtener más información, visita Consulta datos de Bigtable.

  • Puedes exportar tus datos de BigQuery a una tabla de Bigtable con ETL inverso (RETL) de BigQuery a Bigtable. Para obtener más información, consulta Exporta datos a Bigtable.

Cloud Asset Inventory

Cloud Asset Inventory, que proporciona servicios de inventario basados en una base de datos de series temporales, admite y muestra tipos de recursos de Bigtable. Para obtener una lista completa, consulta Tipos de recursos admitidos.

Knowledge Catalog

Knowledge Catalog y Data Catalog (obsoleto) catalogan automáticamente los metadatos sobre los recursos de Bigtable. La información catalogada sobre tus datos puede ayudar a facilitar el análisis, la reutilización de datos, el desarrollo de aplicaciones y la administración de datos. Para obtener más información, consulta Administra recursos de datos con Data Catalog.

Dataflow

Dataflow es un servicio de nube y modelo de programación para el procesamiento de macrodatos. Es compatible con el procesamiento de transmisión y por lotes. Puedes usar Dataflow para procesar los datos almacenados en Bigtable o almacenar el resultado de tu canalización de Dataflow. También puedes usar plantillas de Dataflow para exportar e importar los datos como Avro, Parquet o SequenceFiles.

Para comenzar, consulta Conector de Bigtable Beam.

También puedes usar Bigtable como una búsqueda de clave-valor para enriquecer los datos en una canalización. Para obtener una descripción general, consulta Enriquecer datos de transmisión. Para obtener un instructivo, consulta Usa Apache Beam y Bigtable para enriquecer los datos.

Servicio administrado para Apache Spark

El Servicio administrado para Apache Spark proporciona Apache Hadoop y productos relacionados como servicios administrados en la nube. Con el Servicio administrado para Apache Spark, puedes ejecutar trabajos de Hadoop capaces de leer y escribir en Bigtable.

Si quieres ver un ejemplo de un trabajo de Hadoop MapReduce que usa Bigtable, consulta el directorio /java/dataproc-wordcount en el repositorio de GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Vector Search de Vertex AI es una tecnología que puede buscar entre miles de millones de elementos similares o relacionados de manera semántica. Es útil para implementar motores de recomendaciones, chatbots y clasificación de texto.

Puedes usar Bigtable para almacenar embeddings de vectores, exportarlos a un índice de Vector Search y, luego, consultar el índice para obtener elementos similares. Para obtener un instructivo que demuestre un flujo de trabajo de muestra, consulta Exportación de Bigtable a Vector Search de Vertex AI en el workflows-demos repositorio de GitHub.

También puedes enviar actualizaciones de transmisión para mantener el índice de búsqueda de vectores sincronizado con Bigtable en tiempo real. Para obtener más información, consulta la plantilla de flujos de cambios de Bigtable a la búsqueda de vectores.

Macrodatos

En esta sección, se describen los productos de macrodatos con los que se integra Bigtable.

Apache Beam

Apache Beam es un modelo unificado para definir canalizaciones de procesamiento paralelo de datos de transmisión y por lotes. El conector de Bigtable Beam (BigtableIO) te ayuda a realizar operaciones por lotes y de transmisión en datos de Bigtable en una canalización.

Para obtener un instructivo que muestre cómo usar el conector de Bigtable Beam para implementar una canalización de datos en Dataflow, consulta Procesa un flujo de cambios de Bigtable.

Apache Hadoop

Apache Hadoop es un framework que permite realizar un procesamiento distribuido de conjuntos de datos grandes entre clústeres de computadoras. Puedes usar el Servicio administrado para Apache Spark para crear un clúster de Hadoop y, luego, ejecutar trabajos de MapReduce capaces de leer y escribir en Bigtable.

Si quieres ver un ejemplo de un trabajo de Hadoop MapReduce que usa Bigtable, consulta el directorio /java/dataproc-wordcount en el repositorio de GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector es una aplicación de transmisión de datos que puedes configurar para escribir datos en Bigtable. Ofrece una biblioteca de Bigtable en su repositorio de GitHub, en streamsets/datacollector.

Bases de datos de grafos

En esta sección, se describen las bases de datos de grafos con las que se integra Bigtable.

HGraphDB

HGraphDB es una capa de cliente para usar Apache HBase o Bigtable como una base de datos de grafos. Además, implementa las interfaces de Apache TinkerPop 3.

Para obtener más información sobre cómo ejecutar HGraphDB con compatibilidad con Bigtable, consulta la documentación de HGraphDB.

JanusGraph

JanusGraph es una base de datos de gráficos escalable. Está optimizada para almacenar y consultar grafos que contienen cientos de miles de millones de vértices y bordes.

Para obtener más información sobre cómo ejecutar JanusGraph con compatibilidad con Bigtable, consulta Ejecuta JanusGraph con Bigtable o la documentación de JanusGraph.

Administración de la infraestructura

En esta sección, se describen las herramientas de administración de la infraestructura con las que se integra Bigtable.

Pivotal Cloud Foundry

Pivotal Cloud Foundry es una plataforma de desarrollo y de implementación de aplicaciones que ofrece la capacidad de vincular una aplicación a Bigtable.

Terraform

Terraform es una herramienta de código abierto que codifica las API en archivos de configuración declarativos. Estos archivos se pueden compartir entre los miembros del equipo, se pueden tratar como código, se pueden editar, revisar, o se puede crear versiones nuevas de ellos.

Si quieres obtener más información sobre cómo usar Bigtable con Terraform, consulta Instancia de Bigtable y Tabla de Bigtable en la documentación de Terraform.

Supervisión y bases de datos de series temporales

En esta sección, se describen las herramientas de supervisión y bases de datos de series temporales con las que se integra Bigtable.

OpenTSDB

OpenTSDB es una base de datos de series temporales que puede usar Bigtable para almacenamiento. La documentación de OpenTSDB proporciona información para ayudarte a comenzar.