Integrationen in Bigtable
Wenn Sie Bigtable mit anderen Google Cloud Diensten und Open-Source-Tools verbinden, können Sie Daten in Ihren Anwendungen verarbeiten, analysieren und synchronisieren. Diese Integrationen helfen Ihnen, skalierbare Datenpipelines zu erstellen, Analysen auszuführen und die Datenbankinfrastruktur zu verwalten.
Google Cloud Dienste
In diesem Abschnitt werden die Google Cloud Dienste beschrieben, die sich in Bigtable integrieren lassen.
BigQuery
BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google. Sie können BigQuery mit Bigtable für folgende Zwecke verwenden:
Sie können eine externe BigQuery-Tabelle erstellen und dann damit Ihre Bigtable-Tabelle abfragen und die Daten mit anderen BigQuery-Tabellen verknüpfen. Weitere Informationen finden Sie unter Daten in Bigtable abfragen.
Sie können Ihre BigQuery-Daten mithilfe von umgekehrtem ETL (RETL) von BigQuery nach Bigtable in eine Bigtable-Tabelle exportieren. Weitere Informationen finden Sie unter Daten nach Bigtable exportieren.
Cloud Asset Inventory
Cloud Asset Inventory, das Inventardienste auf Basis einer Zeitreihen-Datenbank bietet, unterstützt Bigtable-Ressourcentypen und gibt diese aus. Eine vollständige Liste finden Sie unter Unterstützte Ressourcentypen.
Knowledge Catalog
Knowledge Catalog katalogisiert automatisch Metadaten zu Bigtable-Ressourcen. Katalogisierte Informationen zu Ihren Daten können die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und das Datenmanagement erleichtern. Weitere Informationen finden Sie unter Daten-Assets mit Knowledge Catalog verwalten.
Dataflow
Dataflow ist ein Clouddienst und ein Programmiermodell für die Datenverarbeitung von Big Data. Dataflow unterstützt sowohl Batch- als auch Streamingverarbeitung. Sie können mit Dataflow Daten verarbeiten, die in Bigtable gespeichert sind, oder die Ausgabe Ihrer Dataflow-Pipeline speichern. Sie können auch Dataflow-Vorlagen verwenden, um Ihre Daten als Avro-, Parquet- oder SequenceFiles zu exportieren und zu importieren.
Eine Einführung finden Sie unter Bigtable Beam-Connector.
Sie können Bigtable auch als Schlüssel/Wert-Lookup verwenden, um die Daten in einer Pipeline anzureichern. Eine Übersicht finden Sie unter Streamingdaten anreichern. Eine Anleitung finden Sie unter Daten mit Apache Beam und Bigtable anreichern.
Managed Service for Apache Spark
Managed Service for Apache Spark bietet Apache Hadoop und zugehörige Produkte als verwalteten Dienst in der Cloud. Mit Managed Service for Apache Spark können Sie Hadoop-Jobs ausführen, die Daten aus Bigtable lesen und in Bigtable schreiben.
Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie unter
dem Verzeichnis /java/dataproc-wordcount im GitHub-Repository
GoogleCloudPlatform/cloud-bigtable-examples.
Pub/Sub
Bigtable unterstützt die Aufnahme aus Pub/Sub-Abos. Sie können ein Pub/Sub-Abo so konfigurieren, dass Nachrichten an eine Bigtable-Tabelle gesendet werden. Pub/Sub schreibt diese Nachrichten als neue Zeilen in Bigtable. Weitere Informationen finden Sie unter Bigtable-Abos.
Vektorsuche auf der Agent Platform
Die Vektorsuche auf der Gemini Enterprise Agent Platform ist eine Technologie, mit der in Milliarden von semantisch ähnlichen oder semantisch verwandten Artikeln gesucht werden kann. Sie ist nützlich für die Implementierung von Empfehlungssystemen, Chatbots und die Textklassifizierung.
Sie können Bigtable verwenden, um Vektoreinbettungen zu speichern, sie in einen Vektorsuche-Index zu exportieren und dann den Index nach ähnlichen Artikeln zu durchsuchen. Ein Beispielworkflow finden Sie im
Tutorial zum Exportieren von Bigtable in die Vektorsuche
im workflows-demos GitHub-Repository.
Sie können auch Streaming-Updates senden, um den Vektorsuche-Index in Echtzeit mit Bigtable zu synchronisieren. Weitere Informationen finden Sie unter siehe die Bigtable-Änderungsstreams zur Vorlage für die Vektorsuche.
Big Data
In diesem Abschnitt werden Big Data-Produkte beschrieben, die sich in Bigtable integrieren lassen.
Apache Beam
Apache Beam ist ein einheitliches Modell zum Definieren von Batch- und Streamingpipelines zur parallelen Datenverarbeitung. Mit dem
Bigtable Beam-Connector (BigtableIO)
können Sie Batch- und Streamingvorgänge für Bigtable
Daten in einer Pipeline ausführen.
Eine Anleitung zur Verwendung des Bigtable Beam-Connectors zum Bereitstellen einer Datenpipeline in Dataflow finden Sie unter Bigtable Änderungsstream verarbeiten.
Apache Hadoop
Apache Hadoop ist ein Framework, das die verteilte Verarbeitung von großen Datenmengen auf Clustern von Computern ermöglicht. Mit Managed Service for Apache Spark können Sie einen Hadoop-Cluster erstellen und dann MapReduce-Jobs ausführen, die Daten aus Bigtable lesen und in Bigtable schreiben.
Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie unter
dem Verzeichnis /java/dataproc-wordcount im GitHub-Repository
GoogleCloudPlatform/cloud-bigtable-examples.
StreamSets Data Collector
StreamSets Data Collector ist eine Datenstreaminganwendung, die Sie für das Schreiben von Daten in Bigtable konfigurieren können. StreamSets bietet in seinem GitHub-Repository unter streamsets/datacollector eine Bigtable-Bibliothek.
Graphdatenbanken
In diesem Abschnitt werden Graphdatenbanken beschrieben, die sich in Bigtable integrieren lassen.
HGraphDB
HGraphDB ist eine Clientschicht für die Verwendung von Apache HBase oder Bigtable als Graphdatenbank. Sie implementiert die Apache TinkerPop3-Oberflächen.
Weitere Informationen zum Verwenden von HGraphDB mit Unterstützung für Bigtable finden Sie in der HGraphDB-Dokumentation.
JanusGraph
JanusGraph ist eine skalierbare Graphdatenbank. Sie ist für die Speicherung und Abfrage von Grafiken mit Hunderten von Milliarden Kanten und Eckpunkten optimiert.
Weitere Informationen zur Verwendung von JanusGraph mit Bigtable-Unterstützung finden Sie unter JanusGraph mit Bigtable ausführen oder in der JanusGraph-Dokumentation.
Infrastrukturverwaltung
In diesem Abschnitt werden Managementtools für die Infrastruktur beschrieben, die sich in Bigtable integrieren lassen.
Pivotal Cloud Foundry
Pivotal Cloud Foundry ist eine Plattform für die Anwendungsentwicklung und -bereitstellung, mit der Sie eine Anwendung an Bigtable binden können.
Terraform
Terraform ist ein Open-Source-Tool, das APIs in deklarative Konfigurationsdateien codiert. Diese Dateien können für Teammitglieder freigegeben, als Code behandelt, bearbeitet, überprüft und versioniert werden.
Weitere Informationen zur Verwendung von Bigtable mit Terraform finden Sie in der Terraform-Dokumentation unter Bigtable-Instanz und Bigtable-Tabelle.
Zeitachsen-Datenbanken und -Monitoring
In diesem Abschnitt werden Zeitachsen-Datenbanken und -Überwachungstools beschrieben, die sich in Bigtable integrieren lassen.
OpenTSDB
OpenTSDB ist eine Zeitachsen-Datenbank, die Bigtable zum Speichern verwenden kann. Die OpenTSDB-Dokumentation enthält Informationen für den Einstieg.