Daten importieren und exportieren

Auf dieser Seite werden die verfügbaren Methoden zum Importieren und Exportieren von Daten in und aus Bigtable aufgeführt.

Daten in Bigtable importieren

Sie können Daten auf eine der folgenden Arten in Bigtable importieren:

BigQuery
Informationen zum Importieren von BigQuery-Daten in Bigtable finden Sie in der BigQuery-Dokumentation unter Daten nach Bigtable exportieren (Reverse-ETL).
Sie können kontinuierliche Abfragen für Ihre BigQuery-Daten ausführen und die Ergebnisse in Echtzeit mit Reverse-ETL nach Bigtable exportieren. Weitere Informationen finden Sie in der BigQuery-Dokumentation unter Einführung in kontinuierliche Abfragen.
Pub/Sub
Sie können Nachrichten mit Pub/Sub-Bigtable-Abos (Vorschau) direkt von Pub/Sub in eine Bigtable-Tabelle streamen. Mit dieser Methode können Sie Streamingnachrichten in Bigtable schreiben, ohne einen separaten Abonnenten wie Dataflow zu benötigen.

Daten mit einer Vorlage verschieben oder kopieren

Mit den folgenden Dataflow-Vorlagen können Sie Daten zwischen Bigtable und anderen Quellen oder Zielen verschieben oder kopieren.

BigQuery

Mit der folgenden Dataflow-Vorlage können Sie Daten aus BigQuery nach Bigtable exportieren.

Apache Cassandra für Bigtable

Mit der folgenden Dataflow-Vorlage können Sie Daten aus Apache Cassandra nach Bigtable exportieren.

Avro-Dateien

Mit den folgenden Dataflow-Vorlagen können Sie Daten aus Bigtable als Avro-Dateien exportieren und anschließend wieder in Bigtable importieren. Sie können die Vorlagen mit der Google Cloud CLI oder der Google Cloud Console ausführen. Der Quellcode ist auf GitHub verfügbar.

Parquet-Dateien

Mit den folgenden Dataflow-Vorlagen können Sie Daten aus Bigtable als Parquet-Dateien exportieren und anschließend wieder in Bigtable importieren. Sie können die Vorlagen mit der gcloud CLI oder der Google Cloud Console ausführen. Der Quellcode ist auf GitHub verfügbar.

SequenceFiles

Mit den folgenden Dataflow-Vorlagen können Sie Daten aus Bigtable als SequenceFiles exportieren und anschließend wieder in Bigtable importieren. Sie können die Vorlagen mit der Google Cloud CLI oder der Google Cloud Console ausführen.

Von der Seite „Tabellen“ importieren

Viele der auf dieser Seite beschriebenen Importmethoden können Sie über die Google Cloud Console ausführen. Importieren Sie die folgenden Datentypen von der Seite Tabellen:

  • CSV-Daten
  • BigQuery-Daten
  • Daten, die Sie mit dem Dataflow-Job-Builder importieren können. Dazu gehören die folgenden Datentypen:
    • Pub/Sub-Nachrichten
    • BigQuery-Tabellendaten
    • CSV-Dateien, JSON-Dateien und Textdateien in Cloud Storage
    • PostgreSQL-, MySQL-, Oracle- und SQL Server-Tabellendaten

  • Daten, die Sie mit der Dataflow-Vorlage importieren können. Dazu gehören die folgenden Datentypen:

    • Avro-Dateien
    • Cassandra-Schlüsselbereiche und -Tabellen
    • Parquet-Dateien
    • SequenceFile-Dateien

Console

  1. Öffnen Sie in der Google Cloud Console die Liste der Bigtable-Instanzen.

    Liste der Instanzen öffnen

  2. Klicken Sie auf die Instanz, die die Tabelle enthält, die Sie importieren möchten.

  3. Klicken Sie im linken Bereich auf Tabellen.

    Die Seite Tabellen enthält eine Liste der in der Instanz vorhandenen Tabellen.

  4. Klicken Sie neben dem Namen der Tabelle, in die Sie Daten importieren möchten, auf das Tabellenaktion-Menü.

  5. Klicken Sie auf Daten importieren und wählen Sie dann den Datentyp aus, den Sie importieren möchten:

    • Wenn Sie „CSV“ auswählen, wird das cbt CLI -Terminalfenster geöffnet. Weitere Informationen finden Sie im Abschnitt CSV-Daten importieren in diesem Dokument.
    • Wenn Sie „BigQuery“ auswählen, wird BigQuery Studio geöffnet. Füllen Sie die Reverse-ETL-Abfrage aus und führen Sie sie aus.
    • Wenn Sie den Dataflow-Job-Builder auswählen, wird der Job-Builder geöffnet. Weitere Informationen finden Sie unter Übersicht über die Job-Builder-UI.
    • Wenn Sie „Avro“, „Parquet“, „SequenceFile“ oder „Cassandra“ auswählen, wird in der Console eine unvollständige Dataflow-Vorlage angezeigt. Füllen Sie die Jobvorlage aus und klicken Sie auf Job ausführen.

Von der Seite „Tabellen“ exportieren

Einige der auf dieser Seite beschriebenen Exportmethoden können Sie über die Google Cloud Console ausführen. Exportieren Sie die folgenden Datentypen von der Seite Tabellen:

  • Avro-Dateien
  • Parquet-Dateien

  • SequenceFile-Dateien

Console

  1. Öffnen Sie in der Google Cloud Console die Liste der Bigtable-Instanzen.

    Liste der Instanzen öffnen

  2. Klicken Sie auf die Instanz, die die Tabelle enthält, die Sie exportieren möchten.

  3. Klicken Sie im linken Bereich auf Tabellen.

    Die Seite Tabellen enthält eine Liste der in der Instanz vorhandenen Tabellen.

  4. Klicken Sie neben dem Namen der Tabelle auf das Tabellenaktion-Menü.

  5. Klicken Sie auf Daten exportieren und wählen Sie dann den Dateityp aus, den Sie exportieren möchten.

    In der Konsole ist eine unvollständige Dataflow-Vorlage zu sehen.

  6. Füllen Sie die Jobvorlage aus und klicken Sie auf Job ausführen.

CSV-Daten importieren

Sie können Daten aus einer CSV-Datei mit der cbt CLI in eine Bigtable-Tabelle importieren. Dazu muss Ihre Umgebung, z. B. Cloud Shell, auf die CSV-Datei zugreifen können. Sie können Ihre CSV-Datei auf eine der folgenden Arten in Cloud Shell abrufen:

Lokale CSV-Datei hochladen:

  1. Klicken Sie in Cloud Shell auf das Dreipunkt-Menü und wählen Sie Hochladen aus.
  2. Wählen Sie die CSV-Datei auf Ihrem lokalen Computer aus.
  3. Nachdem Sie die Datei hochgeladen haben, verweisen Sie im cbt CLI Befehl mit dem Namen auf die Datei.

CSV-Datei aus Cloud Storage kopieren:

Die cbt CLI unterstützt das Importieren aus einem Cloud Storage Bucket nicht direkt. Sie müssen die CSV-Datei zuerst aus Cloud Storage in Ihre Cloud Shell-Umgebung kopieren. Weitere Informationen finden Sie unter Objekt in einen Bucket hochladen.

Nachdem die CSV-Datei in Ihrer Umgebung verfügbar ist, verwenden Sie den cbt CLI Befehl, um die Daten zu importieren. Ein Beispielbefehl finden Sie unter Viele Zeilen basierend auf der Eingabedatei im Batch-Modus schreiben.

Nächste Schritte