BigQuery-Ziel

Auf dieser Seite erhalten Sie einen Überblick über das BigQuery-Ziel. Darin werden das Schreibverhalten und bekannte Einschränkungen von Datastream beschrieben, wenn Sie Daten in BigQuery replizieren.

Schreibverhalten

  • Die maximale Ereignisgröße beim Streamen von Daten in BigQuery beträgt 20 MB.

  • Wenn Sie Ihren Stream konfigurieren, können Sie auswählen, wie Datastream Ihre Änderungsdaten in BigQuery schreibt. Weitere Informationen finden Sie unter Schreibmodus konfigurieren.

Tabellenmetadaten

Datastream fügt jeder Tabelle, die in das BigQuery-Ziel geschrieben wird, eine STRUCT-Spalte mit dem Namen datastream_metadata hinzu.

Zusammenführungsmodus

Wenn eine Tabelle in der Quelle einen Primärschlüssel hat, enthält die Spalte die folgenden Felder:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.

Wenn eine Tabelle keinen Primärschlüssel hat, enthält die Spalte ein zusätzliches Feld: IS_DELETED. Dieses Feld hat den Datentyp BOOLEAN und gibt an, ob die Daten, die von Datastream an das Ziel gestreamt werden, mit einem DELETE-Vorgang an der Quelle verknüpft sind. Tabellen ohne Primärschlüssel sind nur zum Anhängen von Daten geeignet.

Schreibmodus „Nur anhängen“

Die Spalte datastream_metadata enthält dieselben Felder für Tabellen mit und ohne Primärschlüssel:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Dieses Feld hat den Datentyp STRING. Dies ist eine interne Sequenznummer, die von Datastream für jedes Änderungsereignis verwendet wird.
  • CHANGE_TYPE: Dieses Feld hat den Datentyp STRING. Gibt den Typ des Änderungsereignisses an: INSERT, UPDATE-INSERT, UPDATE-DELETE oder DELETE.
  • SORT_KEYS: Dieses Feld enthält ein Array von STRING-Werten. Sie können die Werte verwenden, um die Änderungsereignisse zu sortieren.

BigQuery-Kosten kontrollieren

BigQuery-Kosten werden separat von Datastream in Rechnung gestellt. Informationen zur Kostenkontrolle in BigQuery finden Sie unter BigQuery CDC-Preise.

Best Practices für die Kostenverwaltung

Wenn Sie Datastream mit BigQuery als Ziel verwenden, sollten Sie die folgenden Best Practices für die Kostenverwaltung beachten:

  • BigQuery CDC-Kosten verstehen: Wenn Sie Datastream mit BigQuery als Ziel verwenden, sind für die Erfassung von Änderungsdaten (Change Data Capture, CDC) Hintergrundzusammenführungsvorgänge erforderlich, die als Nutzung der Analyse-SKU abgerechnet werden.
  • BigQuery-Reservierungen verwenden: Um die Kosten für CDC-Merge-Jobs zu verwalten und zu begrenzen, empfehlen wir, eine BigQuery-Slot-Reservierung zu erwerben. Sie erhalten eine feste Kapazität zu einem festen Preis, sodass Ihre Kosten besser vorhersehbar sind.
  • max_staleness optimieren: Der Parameter max_staleness in BigQuery ist ein direkter Kompromiss zwischen Datenaktualität und Kosten. Ein niedrigerer Wert bedeutet häufigere Zusammenführungen und höhere Kosten, aber auch aktuellere Daten. Passen Sie diesen Parameter an ein Niveau an, das Ihren Geschäftsanforderungen für die Aktualität der Daten entspricht, ohne Ihr Budget zu überschreiten. Weitere Informationen finden Sie unter Tabellenaktualität verwalten.

Bekannte Einschränkungen

Bekannte Einschränkungen bei Verwendung von BigQuery als Ziel:

  • Standardmäßig unterstützt Datastream das Hinzufügen eines Primärschlüssels zu einer Tabelle, die bereits ohne Primärschlüssel in BigQuery repliziert wurde, oder das Entfernen eines Primärschlüssels aus einer Tabelle, die mit einem Primärschlüssel in BigQuery repliziert wurde, nicht. Wenn Sie solche Änderungen vornehmen müssen, wenden Sie sich an den Google-Support. Informationen zum Ändern der Primärschlüsseldefinition für eine Quelltabelle, die bereits einen Primärschlüssel hat, finden Sie unter Probleme diagnostizieren.

  • Primärschlüssel in BigQuery müssen die folgenden Datentypen haben:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Tabellen, die Primärschlüssel mit nicht unterstützten Datentypen enthalten, werden von Datastream nicht repliziert.

  • BigQuery unterstützt keine Tabellennamen mit den Zeichen ., $, /, @ oder +. In Datastreams werden solche Zeichen beim Erstellen von Zieltabelle durch Unterstriche ersetzt.

    Beispiel: table.name in der Quelldatenbank wird zu table_name in BigQuery.

    Weitere Informationen zu Tabellennamen in BigQuery finden Sie unter Tabellennamen.

  • BigQuery unterstützt nicht mehr als vier Clustering-Spalten. Wenn Sie eine Tabelle mit mehr als vier Primärschlüsselspalten replizieren, verwendet Datastream vier Primärschlüsselspalten als Clustering-Spalten.

  • In Datastreams werden Datums- und Uhrzeitliterale außerhalb des gültigen Bereichs, z. B. PostgreSQL-Datentypen vom Typ „infinity“, den folgenden Werten zugeordnet:

    • Positiver DATE-Wert für 9999-12-31
    • Negativer DATE-Wert für 0001-01-01
    • Positiver TIMESTAMP-Wert für 9999-12-31 23:59:59.999000 UTC
    • Negativer TIMESTAMP-Wert für 0001-01-01 00:00:00 UTC

  • BigQuery unterstützt keine Streamingtabellen mit Primärschlüsseln vom Datentyp FLOAT oder REAL. Solche Tabellen werden nicht repliziert. Weitere Informationen zu BigQuery-Datentypen und ‑bereichen finden Sie unter Datentypen.

  • Wenn Ihre Quelle Salesforce ist, wird die Konfigurationsoption Dataset für jedes Schema nicht unterstützt.

Nächste Schritte