Beispieldaten laden

In diesem Dokument wird beschrieben, wie Sie eine kleine Datenmenge im CSV-Dateiformat in Spanner laden. Sie können Beispieldaten laden, bevor Sie eine Migration von Produktionsdaten durchführen, um Schemas, Abfragen und Anwendungen zu testen.

Hinweis

  1. Installieren Sie die Google Cloud CLI oder verwenden Sie Cloud Shell, in der alle erforderlichen Tools vorinstalliert sind.

  2. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren von BigQuery-Daten nach Spanner benötigen:

    • Daten aus einer BigQuery-Tabelle exportieren: BigQuery-Datenbetrachter (roles/bigquery.dataViewer)
    • Exportjob ausführen: BigQuery-Nutzer (roles/bigquery.user)
    • Daten in eine Spanner-Tabelle schreiben: Spanner-Datenbanknutzer (roles/spanner.databaseUser)

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Beispieldaten in Spanner laden

Die folgenden Anleitungen werden mit dem BigQuery-Workflow für Reverse-ETL und der Google Cloud CLIausgeführt.

  1. Legen Sie mit dem folgenden Befehl ein Standardprojekt in der gcloud CLI fest:

     gcloud config set project PROJECT_ID

  2. Exportieren Sie die Quelldaten im CSV-Dateiformat. Verwenden Sie pg_dump für PostgreSQL-Datenbanken oder mysqldump für MySQL-Datenbanken, um Ihre Beispieldaten in das CSV Dateiformat zu konvertieren.

  3. Laden Sie die Daten mit den folgenden bq-Befehlen in BigQuery:

    1. BigQuery-Dataset erstellen

      bq mk BQ_DATASET

    2. Daten im Batch-Modus in eine neue BigQuery-Tabelle laden

      bq load \
--source_format=CSV \
--autodetect \
--allow_quoted_newlines \
BQ_DATASET.BQ_TABLE /path/to/file

      Alternativ können Sie die Daten im Batch-Modus aus einer Cloud Storage-Datei laden.

      bq load \
--source_format=CSV \
--autodetect \
--allow_quoted_newlines \
BQ_DATASET.BQ_TABLE gs://BUCKET/FILE

  4. Erstellen Sie mit dem folgenden Befehl ein Spanner-Schema, das der importierten BQ_TABLE entspricht:

     gcloud spanner databases ddl update SPANNER_DATABASE \
 --instance=SPANNER_INSTANCE \
 --ddl="CREATE TABLE SPANNER_TABLE ..."

    Weitere Informationen finden Sie unter Spanner-Schema aktualisieren.

  5. Exportieren Sie Daten mit dem folgenden Befehl aus BigQuery nach Spanner:

       bq --use_legacy_sql=false 'EXPORT DATA OPTIONS(
     uri="https://spanner.googleapis.com/projects/PROJECT_ID/instances/SPANNER_INSTANCE/databases/SPANNER_DATABASE"
     format='CLOUD_SPANNER'
     spanner_options="""{ "table": "SPANNER_TABLE" }"""
     ) AS
     SELECT *
     FROM BQ_DATASET.BQ_TABLE;'

Nächste Schritte