Stream erstellen

Mit einem Stream in Datastream können Sie Daten- und Schemaänderungen aus einer Datenquelle in BigQuery, Apache Iceberg-Tabellen oder einen Cloud Storage-Bucket replizieren. Im Google Cloud Console-Assistenten wählen Sie Verbindungsprofile und die zu replizierenden Schemas, Tabellen oder Objekte aus. Außerdem konfigurieren Sie den Backfill von Verlaufsdaten zusammen mit der laufenden Replikation.

Bevor Sie mit der Replikation beginnen, können Sie den Stream validieren, um die Quelleinstellungen zu prüfen, die Netzwerkverbindung zum Ziel zu bestätigen und die End-to-End-Konfiguration zu prüfen.

Hinweis

• Achten Sie darauf, dass Sie Ihre Quelldatenbank für die Replikation eingerichtet haben. Informationen zu den Schritten, die für jeden unterstützten Quelltyp erforderlich sind, finden Sie unter Quellen konfigurieren.
• Hier erfahren Sie, welche Schritte für die Einrichtung des ausgewählten Ziels erforderlich sein können. Weitere Informationen finden Sie unter Ziele konfigurieren.

Einstellungen für den Stream festlegen

1. Rufen Sie in der Google Cloud Console die Seite Streams auf.

   Zur Seite „Streams“

2. Klicken Sie auf STREAM ERSTELLEN.

3. Verwenden Sie die folgende Tabelle, um die Felder im Bereich Streamdetails definieren der Seite Stream erstellen auszufüllen:

   Feld	Beschreibung
   Name des Streams	Geben Sie den Anzeigenamen des Streams ein.
   Stream-ID	Datastream füllt dieses Feld automatisch basierend auf dem von Ihnen eingegebenen Stream-Namen aus. Sie können die automatisch generierte ID beibehalten oder ändern.
   Region	Wählen Sie die Region aus, in der der Stream gespeichert ist. Streams werden wie alle Ressourcen in einer Region gespeichert. Die Regionsauswahl hat keinen Einfluss darauf, ob Ihr Stream eine Verbindung zur Quelldatenbank oder zum Ziel herstellen kann. Sie kann sich jedoch auf die Verfügbarkeit auswirken, wenn es in der Region zu Ausfällen kommt. Wir empfehlen, alle Ressourcen für den Stream in derselben Region wie Ihre Quelldaten zu speichern, um Kosten und Leistung zu optimieren.
   Quelltyp	Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für Ihre Quelle angegeben haben. Wenn Sie noch kein Verbindungsprofil für die Quelldatenbank erstellt haben, können Sie jetzt eins erstellen.
   Zieltyp	Wählen Sie den Profiltyp aus, den Sie beim Erstellen eines Verbindungsprofils für ein BigQuery- oder Cloud Storage-Ziel angegeben haben. Wenn Sie noch kein Verbindungsprofil für das Ziel erstellt haben, können Sie jetzt eins erstellen.
   Verschlüsselung	Standardmäßig werden Ihre Daten mit einem von Google Cloudverwalteten Schlüssel verschlüsselt. Wenn Sie Ihre Verschlüsselung verwalten möchten, können Sie einen kundenverwalteten Verschlüsselungsschlüssel (CMEK) verwenden: Klicken Sie das Kästchen Cloud KMS-Schlüssel an. Wählen Sie im Drop-down-Menü Schlüsseltyp die Option Cloud KMS und dann Ihren CMEK aus. Wenn Sie Ihren Schlüssel nicht sehen, klicken Sie auf RESSOURCENNAMEN DES SCHLÜSSELS EINGEBEN, um den Ressourcennamen des Schlüssels anzugeben, den Sie verwenden möchten. Sie können beispielsweise projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key in das Feld Ressourcenname des Schlüssels eingeben und dann auf SPEICHERN klicken. Im Rahmen der Erstellung des Streams prüft Datastream, ob der CMEK vorhanden ist und ob Datastream berechtigt ist, den Schlüssel zu verwenden. Weitere Informationen zum Erstellen eines CMEK oder zum Erteilen von Datastream-Berechtigungen für den Schlüssel finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK) verwenden.

4. Optional können Sie Labels verwenden, um Ihre Datastream-Ressourcen zu organisieren.

   1. Zum Erstellen eines Labels klicken Sie auf LABEL HINZUFÜGEN und geben dann das Schlüssel/Wert-Paar für das Label ein.
   2. Zum Entfernen des Labels klicken Sie auf das Papierkorbsymbol rechts neben der Zeile, die das Label enthält.
   Hinweis: Wenn Ihre Quelle SQL Server ist, können Sie Ihren Stream so konfigurieren, dass Spalten repliziert werden, die dem Quellschema nach dem Erstellen des Streams hinzugefügt wurden. Fügen Sie dazu das Label enable_ddl_support_for_ct hinzu. Weitere Informationen finden Sie unter So verarbeitet Datastream DDL-Änderungen am Quellschema.

5. Optional können Sie Benachrichtigungsrichtlinien für Ihren Stream hinzufügen. In Benachrichtigungsrichtlinien wird festgelegt, wann und wie Sie über Streamfehler benachrichtigt werden möchten.

   1. Klicken Sie auf Benachrichtigungsrichtlinie hinzufügen, um eine Benachrichtigungsrichtlinie zu erstellen.
   2. In Cloud Monitoring wird die Seite Benachrichtigungsrichtlinie erstellen angezeigt. Auf dieser Seite definieren Sie die Benachrichtigungsrichtlinie für den Fall, dass Ihr Stream fehlschlägt.

   Weitere Informationen zu Benachrichtigungsrichtlinien finden Sie unter Messwertbasierte Benachrichtigungsrichtlinien verwalten.

6. Prüfen Sie die erforderlichen Voraussetzungen, die automatisch generiert werden, um zu sehen, wie die Umgebung für einen Stream vorbereitet werden muss. Diese Voraussetzungen können beispielsweise das Konfigurieren der Quelldatenbank und das Verbinden mit dem Ziel umfassen. Es ist am besten, diese Voraussetzungen in diesem Schritt abzuschließen. Sie können sie aber auch jederzeit abschließen, bevor Sie den Stream testen oder starten. Weitere Informationen zu diesen Voraussetzungen finden Sie unter Quellen.

7. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Quelldatenbanktyp angezeigt.

   Hinweis: Wenn Ihr Quelldatenbanktyp Oracle ist, lautet der Feldname Oracle-Verbindungsprofil definieren. Wenn Sie eine andere Quelldatenbank auswählen, wird der Name dieser Datenbank im Bereichsnamen angezeigt.

Informationen zum Quellverbindungsprofil angeben

1. Wenn Sie ein Quellverbindungsprofil erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.

   Wenn Sie noch kein Quellverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.

2. Klicken Sie auf TESTEN, um zu prüfen, ob die Quelldatenbank und Datastream miteinander kommunizieren können.

   Wenn der Test fehlschlägt, wird das mit dem Verbindungsprofil verknüpfte Problem angezeigt. Schritte zur Fehlerbehebung finden Sie auf der Seite Probleme diagnostizieren. Nehmen Sie die erforderlichen Änderungen vor, um das Problem zu beheben, und führen Sie den Test noch einmal durch.

3. Klicken Sie auf WEITER. Der Bereich Stream-Quelle konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zur Quelldatenbank für den Stream konfigurieren

PostgreSQL-Quelldatenbank konfigurieren

1. Definieren Sie Replikationseigenschaften für Ihre PostgreSQL-Quelldatenbank. Geben Sie im Abschnitt Replikationsattribute die folgenden Attribute an:
1. Geben Sie im Feld Name des Replikationsslots den Namen des Slots ein, den Sie speziell für diesen Stream erstellt haben. Der Datenbankserver verwendet diesen Slot, um Ereignisse an Datastream zu senden.
2. Geben Sie im Feld Publikationsname den Namen der Publikation ein, die Sie in der Datenbank erstellt haben. Eine Publikation ist eine Gruppe aller Tabellen, aus denen Sie Änderungen mit diesem Stream replizieren möchten.
2. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Schemas in der Quelldatenbank an, die Datastream an das Ziel übertragen kann.
Wenn Ihre Datenbank mehr als 5.000 Objekte enthält,kann die Liste der Tabellen und Schemas nicht geladen werden.
• Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
• Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und setzen Sie dann ein Häkchen bei den Schemas und Tabellen, die Datastream abrufen soll.

Für jedes ausgewählte Schema gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Tabellen für das Schema, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch in das Ziel übertragen.
• Wenn dieses Kästchen nicht angekreuzt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Tabellen für das Schema von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Schema ausgewählt.

Für jede ausgewählte Schematabelle wird der Button SPALTEN AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Spalten der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Spalten der Tabelle ausgewählt.

• Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Übereinstimmungskriterien für Objekte die Schemas und Tabellen ein, die von Datastream abgerufen werden sollen. Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.

  Geben Sie Schemas und Tabellen als eine durch Kommas getrennte Liste im Format [schema].[table] ein, wobei sowohl das Schema als auch die Tabelle ein Platzhalter (Sternchen) sein können. Sie können keine teilweisen Platzhalter verwenden.

3. Wenn Ihr Ziel BigQuery ist, können Sie Partitionierung und Clustering für Ihre Tabellen konfigurieren:
   1. Klicken Sie für jede Tabelle, für die Sie Partitionierung oder Clustering festlegen möchten, auf Spalten auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus, um die Partitionierung zu konfigurieren:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Tabellen angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.
      • Nach Feld partitionieren: Wenn Sie diese Option auswählen, müssen Sie die Quellspalte, nach der Sie die Tabelle partitionieren möchten, und den Partitionstyp auswählen. Es können nur Quellspalten mit unterstützten Datentypen ausgewählt werden. Informationen zu unterstützten Quelldatentypen und verfügbaren Partitionierungstypen finden Sie unter Partitionierung und Clustering für ein BigQuery-Ziel konfigurieren.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für diese Tabelle ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   3. Wenn Sie das Clustering konfigurieren möchten, wählen Sie im Abschnitt Clustering die Felder aus, nach denen Sie die Tabelle clustern möchten. Sie können bis zu vier Felder auswählen. Die Reihenfolge, in der Sie die Clustering-Felder hinzufügen, bestimmt die Sortierreihenfolge der Daten. Wenn Sie keine Clustering-Einstellungen für eine Tabelle angeben, verwendet Datastream standardmäßig bis zu vier Primärschlüssel aus der Quelltabelle als Clustering-Schlüssel in BigQuery.
   Partitionierung und Clustering werden nur auf neue Tabellen in BigQuery angewendet. Wenn Sie Partitionierungs- und Clustering-Einstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   4. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter Partitionierung und Clustering konfigurieren.

4. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Schemas und Tabellen mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Schemas und Tabellen angeben, die von Datastream abgerufen werden sollen.
5. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

MySQL-Quelldatenbank konfigurieren

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Schemas in der Quelldatenbank an, die Datastream an das Ziel übertragen kann.
Wenn Ihre Datenbank mehr als 5.000 Objekte enthält,kann die Liste der Tabellen und Schemas nicht geladen werden.
• Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
• Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und setzen Sie dann ein Häkchen bei den Schemas und Tabellen, die Datastream abrufen soll.

Für jedes ausgewählte Schema gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Tabellen für das Schema, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch in das Ziel übertragen.
• Wenn dieses Kästchen nicht angekreuzt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Tabellen für das Schema von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Schema ausgewählt.

Für jede ausgewählte Schematabelle wird der Button SPALTEN AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Spalten der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Spalten der Tabelle ausgewählt.

• Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Übereinstimmungskriterien für Objekte die Schemas und Tabellen ein, die von Datastream abgerufen werden sollen. Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.

  Geben Sie Schemas und Tabellen als eine durch Kommas getrennte Liste im Format [schema].[table] ein, wobei sowohl das Schema als auch die Tabelle ein Platzhalter (Sternchen) sein können. Sie können keine teilweisen Platzhalter verwenden.

2. Wenn Ihr Ziel BigQuery ist, können Sie Partitionierung und Clustering für Ihre Tabellen konfigurieren:
   1. Klicken Sie für jede Tabelle, für die Sie Partitionierung oder Clustering festlegen möchten, auf Spalten auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus, um die Partitionierung zu konfigurieren:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Tabellen angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.
      • Nach Feld partitionieren: Wenn Sie diese Option auswählen, müssen Sie die Quellspalte, nach der Sie die Tabelle partitionieren möchten, und den Partitionstyp auswählen. Es können nur Quellspalten mit unterstützten Datentypen ausgewählt werden. Informationen zu unterstützten Quelldatentypen und verfügbaren Partitionierungstypen finden Sie unter Partitionierung und Clustering für ein BigQuery-Ziel konfigurieren.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für diese Tabelle ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   3. Wenn Sie das Clustering konfigurieren möchten, wählen Sie im Abschnitt Clustering die Felder aus, nach denen Sie die Tabelle clustern möchten. Sie können bis zu vier Felder auswählen. Die Reihenfolge, in der Sie die Clustering-Felder hinzufügen, bestimmt die Sortierreihenfolge der Daten. Wenn Sie keine Clustering-Einstellungen für eine Tabelle angeben, verwendet Datastream standardmäßig bis zu vier Primärschlüssel aus der Quelltabelle als Clustering-Schlüssel in BigQuery.
   Partitionierung und Clustering werden nur auf neue Tabellen in BigQuery angewendet. Wenn Sie Partitionierungs- und Clustering-Einstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   4. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter Partitionierung und Clustering konfigurieren.

3. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Schemas und Tabellen mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Schemas und Tabellen angeben, die von Datastream abgerufen werden sollen.
4. Geben Sie die CDC-Methode für Ihren Stream an:
• GTID-basierte Replikation (Global Transaction IDs): Wählen Sie diese Methode aus, wenn Datastream Failover unterstützen und eine nahtlose Replikation unabhängig von den Änderungen in Ihrem Datenbankcluster bereitstellen soll.
• Binlog-basierte Replikation: Wählen Sie diese Methode aus, um Änderungen direkt aus den Binärlogdateien einer ausgewählten Datenbankinstanz zu lesen und zu replizieren. Sie können einen laufenden Stream nicht mit dieser CDC-Methode auf eine andere Quellinstanz oder ein anderes Replikat umstellen.
5. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Oracle-Quelldatenbank konfigurieren

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Schemas in der Quelldatenbank an, die Datastream an das Ziel übertragen kann.
Wenn Ihre Datenbank mehr als 5.000 Objekte enthält,kann die Liste der Tabellen und Schemas nicht geladen werden.
• Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
• Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und setzen Sie dann ein Häkchen bei den Schemas und Tabellen, die Datastream abrufen soll.

Für jedes ausgewählte Schema gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Tabellen für das Schema, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch in das Ziel übertragen.
• Wenn dieses Kästchen nicht angekreuzt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Tabellen für das Schema von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Schema ausgewählt.

Für jede ausgewählte Schematabelle wird der Button SPALTEN AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Spalten der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Spalten der Tabelle ausgewählt.

• Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Übereinstimmungskriterien für Objekte die Schemas und Tabellen ein, die von Datastream abgerufen werden sollen. Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.

  Geben Sie Schemas und Tabellen als eine durch Kommas getrennte Liste im Format [schema].[table] ein, wobei sowohl das Schema als auch die Tabelle ein Platzhalter (Sternchen) sein können. Sie können keine teilweisen Platzhalter verwenden. Sofern nicht explizit angegeben, werden die vordefinierten Oracle-Schemas und -Tabellen nicht in das Ziel übernommen.

2. Wenn Ihr Ziel BigQuery ist, können Sie Partitionierung und Clustering für Ihre Tabellen konfigurieren:
   1. Klicken Sie für jede Tabelle, für die Sie Partitionierung oder Clustering festlegen möchten, auf Spalten auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus, um die Partitionierung zu konfigurieren:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Tabellen angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.
      • Nach Feld partitionieren: Wenn Sie diese Option auswählen, müssen Sie die Quellspalte, nach der Sie die Tabelle partitionieren möchten, und den Partitionstyp auswählen. Es können nur Quellspalten mit unterstützten Datentypen ausgewählt werden. Informationen zu unterstützten Quelldatentypen und verfügbaren Partitionierungstypen finden Sie unter Partitionierung und Clustering für ein BigQuery-Ziel konfigurieren.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für diese Tabelle ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   3. Wenn Sie das Clustering konfigurieren möchten, wählen Sie im Abschnitt Clustering die Felder aus, nach denen Sie die Tabelle clustern möchten. Sie können bis zu vier Felder auswählen. Die Reihenfolge, in der Sie die Clustering-Felder hinzufügen, bestimmt die Sortierreihenfolge der Daten. Wenn Sie keine Clustering-Einstellungen für eine Tabelle angeben, verwendet Datastream standardmäßig bis zu vier Primärschlüssel aus der Quelltabelle als Clustering-Schlüssel in BigQuery.
   Partitionierung und Clustering werden nur auf neue Tabellen in BigQuery angewendet. Wenn Sie Partitionierungs- und Clustering-Einstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   4. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter Partitionierung und Clustering konfigurieren.

3. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Schemas und Tabellen mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Schemas und Tabellen angeben, die von Datastream abgerufen werden sollen.
4. Geben Sie die CDC-Methode für den Stream an:
• LogMiner: Wählen Sie diese Methode aus, um archivierte Redo-Logs mit der LogMiner API abzufragen. LogMiner unterstützt die meisten für Oracle verfügbaren Optionen, z. B. Verschlüsselungs- und Komprimierungsoptionen.
• Binärleser (Vorabversion): Wählen Sie diese Methode aus, um Änderungen direkt aus Oracle-Logs zu extrahieren. Dies ermöglicht eine schnellere Replikation großer Oracle-Datenbanken und reduziert die Latenz und den Overhead. Wenn Sie diese Option auswählen, wird ein zusätzliches Drop-down-Menü angezeigt. Wählen Sie aus, wie Sie auf Ihre Oracle-Logdateien zugreifen möchten:
• Automatische Speicherverwaltung (ASM): Wählen Sie diese Option aus, wenn Ihre Datenbank ASM verwendet. Achten Sie darauf, dass Sie das Kästchen ASM-Zugriff für binären Reader aktivieren angekreuzt und die Details Ihrer ASM-Instanz in Ihrem Quellverbindungsprofil angegeben haben.
• Datenbankverzeichnisse: Wählen Sie diese Option aus, wenn Sie ASM nicht zum Speichern Ihrer Logdateien verwenden. Wenn Sie Datenbankverzeichnisse auswählen, müssen Sie die Namen der Verzeichnisse für Redo-Logs und archivierte Logs angeben.
5. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

SQL Server-Quelldatenbank konfigurieren

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Schemas in der Quelldatenbank an, die Datastream an das Ziel übertragen kann.
Wenn Ihre Datenbank mehr als 5.000 Objekte enthält,kann die Liste der Tabellen und Schemas nicht geladen werden.
• Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
• Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und setzen Sie dann ein Häkchen bei den Schemas und Tabellen, die Datastream abrufen soll.

Für jedes ausgewählte Schema gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Tabellen für das Schema, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch in das Ziel übertragen.
• Wenn dieses Kästchen nicht angekreuzt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Tabellen für das Schema von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Schema ausgewählt.

Für jede ausgewählte Schematabelle wird der Button SPALTEN AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Spalten der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Spalten der Tabelle ausgewählt.

• Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Übereinstimmungskriterien für Objekte die Schemas und Tabellen ein, die von Datastream abgerufen werden sollen. Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.

  Geben Sie Schemas und Tabellen als eine durch Kommas getrennte Liste im Format [schema].[table] ein, wobei sowohl das Schema als auch die Tabelle ein Platzhalter (Sternchen) sein können. Sie können keine teilweisen Platzhalter verwenden.

2. Wenn Ihr Ziel BigQuery ist, können Sie Partitionierung und Clustering für Ihre Tabellen konfigurieren:
   1. Klicken Sie für jede Tabelle, für die Sie Partitionierung oder Clustering festlegen möchten, auf Spalten auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus, um die Partitionierung zu konfigurieren:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Tabellen angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.
      • Nach Feld partitionieren: Wenn Sie diese Option auswählen, müssen Sie die Quellspalte, nach der Sie die Tabelle partitionieren möchten, und den Partitionstyp auswählen. Es können nur Quellspalten mit unterstützten Datentypen ausgewählt werden. Informationen zu unterstützten Quelldatentypen und verfügbaren Partitionierungstypen finden Sie unter Partitionierung und Clustering für ein BigQuery-Ziel konfigurieren.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für diese Tabelle ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   3. Wenn Sie das Clustering konfigurieren möchten, wählen Sie im Abschnitt Clustering die Felder aus, nach denen Sie die Tabelle clustern möchten. Sie können bis zu vier Felder auswählen. Die Reihenfolge, in der Sie die Clustering-Felder hinzufügen, bestimmt die Sortierreihenfolge der Daten. Wenn Sie keine Clustering-Einstellungen für eine Tabelle angeben, verwendet Datastream standardmäßig bis zu vier Primärschlüssel aus der Quelltabelle als Clustering-Schlüssel in BigQuery.
   Partitionierung und Clustering werden nur auf neue Tabellen in BigQuery angewendet. Wenn Sie Partitionierungs- und Clustering-Einstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   4. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter Partitionierung und Clustering konfigurieren.

3. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Schemas und Tabellen mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Schemas und Tabellen angeben, die von Datastream abgerufen werden sollen.
4. Geben Sie die CDC-Methode für Ihren Stream an:
• Transaktionslogs: Wählen Sie diese Methode aus, um Änderungen direkt aus den Datenbanklogs zu verarbeiten. Diese Methode bietet die beste Leistung und ist effizienter, erfordert aber zusätzliche Konfigurationsschritte.
• Änderungstabellen: Wählen Sie diese Methode aus, um Änderungen aus dedizierten Änderungstabellen zu verarbeiten. Diese Methode ist einfacher zu konfigurieren und hat weniger Einschränkungen, unterstützt aber einen geringeren Durchsatz und erzeugt eine höhere Last in Ihrer Datenbank als die Methode mit Transaktionslogs.
5. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Salesforce-Quellorganisation konfigurieren

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Objekte und Felder in Ihrer Organisation an, die Datastream an das Ziel übertragen soll.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Objekte übertragen soll, wählen Sie Alle Objekte aus.
• Wenn Datastream nur bestimmte Objekte übertragen soll, wählen Sie Bestimmte Objekte aus und klicken Sie dann die Kästchen für die Objekte an, die Datastream abrufen soll.

Für jedes ausgewählte Objekt wird der Button Felder auswählen angezeigt. Klicken Sie auf diesen Button, um alle Felder des Objekts zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Felder, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Felder des Objekts ausgewählt.

• Wenn Sie eine textuelle Definition der Objekte angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Objekte ein, die von Datastream abgerufen werden sollen. Geben Sie die Objekte als durch Kommas getrennte Liste im Format [object].[field] ein. Wenn Ihre Datenbank eine große Anzahl von Objekten enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.
2. Legen Sie den Wert für das Abfrageintervall in Minuten fest. Datastream verwendet diesen Wert, um Ihre Salesforce-Organisation auf Datenänderungen zu prüfen. Je höher der Wert, desto geringer sind die Kosten und die Belastung für Ihre Organisation. Je niedriger der Wert, desto aktueller sind die Daten im Ziel.
3. Wenn Ihr Ziel BigQuery ist, können Sie Partitionierung und Clustering für Ihre Objekte konfigurieren:
   1. Klicken Sie für jedes Objekt, für das Sie Partitionierung oder Clustering festlegen möchten, auf Felder auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus, um die Partitionierung zu konfigurieren:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Objekte angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.
      • Partitionierung nach Feld: Wenn Sie diese Option auswählen, müssen Sie das Quellfeld, nach dem Sie das Objekt partitionieren möchten, und den Partitionierungstyp auswählen. Es können nur Felder mit unterstützten Datentypen ausgewählt werden. Informationen zu unterstützten Quelldatentypen und verfügbaren Partitionierungstypen finden Sie unter BigQuery-Tabellen partitionieren und clustern.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für dieses Objekt ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   3. Wählen Sie im Bereich Clustering die Felder aus, nach denen Sie Ihr Objekt clustern möchten. Sie können bis zu vier Felder auswählen. Die Reihenfolge, in der Sie die Clustering-Felder hinzufügen, bestimmt die Sortierreihenfolge der Daten. Wenn Sie keine Clustering-Einstellungen für ein Objekt angeben, verwendet Datastream standardmäßig bis zu vier Primärschlüssel aus dem Quellobjekt als Clustering-Schlüssel in BigQuery.
   Partitionierung und Clustering werden nur auf neue Tabellen in BigQuery angewendet. Wenn Sie die Partitionierungs- und Clustering-Einstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   4. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter BigQuery-Tabellen partitionieren und clustern.

4. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Objekte und Felder in der Quellorganisation ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Objekte und Felder mit derselben kommagetrennten Logik, die Sie auch für das Einschließen von Objekten verwenden.
5. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten und Änderungen an den Daten von der Quelle in das Ziel zu replizieren. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Objekte in der Quellorganisation ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten im Ziel zu replizieren.
6. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Salesforce Marketing Cloud-Quellinstanz konfigurieren (Vorabversion)

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Objekte in Ihrer Instanz an, die Datastream an das Ziel übertragen soll.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Objekte übertragen soll, wählen Sie Alle Objekte aus.
• Wenn Datastream nur bestimmte Objekte übertragen soll, wählen Sie Bestimmte Objekte aus und klicken Sie dann die Kästchen für die Objekte an, die Datastream abrufen soll.
• Wenn Sie eine textuelle Definition der Objekte angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Objekte ein, die von Datastream abgerufen werden sollen. Geben Sie die Objekte als durch Kommas getrennte Liste ein. Wenn Ihre Datenbank eine große Anzahl von Objekten enthält, empfehlen wir die Option Benutzerdefiniert, da einige Objekte möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.
2. Legen Sie den Wert für das Abfrageintervall in Minuten fest. Datastream verwendet diesen Wert, um Ihre Salesforce Marketing Cloud-Instanz auf Datenänderungen für Objekte zu prüfen, die die inkrementelle Synchronisierung unterstützen. Sie können einen Wert im Bereich von 5 bis 1440 verwenden.
3. Legen Sie den Wert für das Abfrageintervall für die vollständige Aktualisierung in Minuten fest. Datastream verwendet diesen Wert, um eine regelmäßige vollständige Aktualisierung für Objekte durchzuführen, die keine inkrementelle Synchronisierung unterstützen, z. B. Datenerweiterungen. Sie können einen Wert im Bereich von 60 bis 1440 verwenden.
4. Optional: Maximieren Sie den Knoten Erweiterte Optionen einblenden.
5. Geben Sie im Feld Auszuschließende Objekte die Objekte in der Quellinstanz ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Objekte mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Objekte angeben, die Datastream abrufen soll.
6. Wählen Sie im Bereich Backfill-Modus für Verlaufsdaten auswählen den Backfill-Modus aus:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Objekte in der Quelldatenbank ein, die Datastream nicht im Ziel-Backfill berücksichtigen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
7. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

ServiceNow-Quellinstanz konfigurieren (Vorschau)

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Felder in Ihrer ServiceNow-Instanz an, die Datastream an das Ziel übertragen soll.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Tabellen übertragen soll, wählen Sie Alle Objekte aus.
• Wenn Datastream nur bestimmte Tabellen übertragen soll, wählen Sie Bestimmte Objekte aus und setzen Sie dann ein Häkchen bei den Tabellen, die Datastream abrufen soll.

Für jede ausgewählte Tabelle wird der Button Felder auswählen angezeigt. Klicken Sie auf diesen Button, um alle Felder der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Datastream schließt alle Felder, die Sie löschen, aus dem Stream aus.

Standardmäßig sind in Datastream die Kästchen für alle Felder der Tabelle ausgewählt.

• Wenn Sie eine textuelle Definition der Tabellen angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Tabellen ein, die von Datastream abgerufen werden sollen. Geben Sie die Tabellen als durch Kommas getrennte Liste im Format [table].[field] ein.
2. Legen Sie den Wert für das Abfrageintervall in Minuten fest. Datastream verwendet diesen Wert, um Ihre ServiceNow-Instanz auf Datenänderungen zu prüfen. Je höher der Wert, desto geringer sind die Kosten und die Last auf Ihrer Instanz. Je niedriger der Wert, desto aktueller sind die Daten im Ziel.
3. Geben Sie optional im Feld Auszuschließende Objekte die Tabellen und Felder in der Quellinstanz ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, schließt Datastream das Objekt aus dem Stream aus.
   Diese Tabellen und Felder werden mit derselben kommagetrennten Logik definiert, die Sie auch zum Einbeziehen von Tabellen verwenden.
4. Optional können Sie im Bereich Backfill-Modus für Verlaufsdaten auswählen eine der folgenden Optionen auswählen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten und Änderungen an den Daten von der Quelle in das Ziel zu replizieren. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen in der Quellinstanz ein, die Datastream nicht in das Ziel einfügen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten im Ziel zu replizieren.
5. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

MongoDB-Quelldatenbank konfigurieren

1. Geben Sie im Abschnitt Einzuschließende Objekte auswählen im Drop-down-Menü Einzuschließende Objekte die Datenbanken und Sammlungen an, die Datastream an das Ziel übertragen soll.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Sammlungen übertragen soll, wählen Sie Alle Datenbanken und Sammlungen aus.
• Wenn Datastream nur bestimmte Sammlungen übertragen soll, wählen Sie Bestimmte Datenbanken und Sammlungen aus und setzen Sie dann ein Häkchen bei den Sammlungen, die Datastream abrufen soll.

Für jede ausgewählte Sammlung wird der Button Felder auswählen angezeigt. Klicken Sie auf diesen Button, um alle Felder des Objekts zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Felder, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Felder des Objekts ausgewählt.

• Wenn Sie eine textuelle Definition der Sammlungen angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Sammlungen ein, die von Datastream abgerufen werden sollen. Geben Sie die Objekte als durch Kommas getrennte Liste im Format [collection].[field] ein. Wenn Ihre Datenbank eine große Anzahl von Objekten enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.
2. Wenn Ihr Ziel BigQuery ist, können Sie die Partitionierung für Ihre Sammlungen konfigurieren:
   1. Klicken Sie für jede Sammlung, für die Sie die Partitionierung festlegen möchten, auf Felder auswählen.
   2. Wählen Sie im Bereich Partitionierung eine der folgenden Optionen aus:
      • Keine Partitionierung: Wenn Sie diese Option auswählen, wird keine Partitionierung auf Ihre Sammlungen angewendet.
      • Partitionierung nach Aufnahmezeit: Wenn Sie diese Option auswählen, werden die Daten in zeitbasierte Partitionen organisiert. Wählen Sie einen Wert aus der Liste Partitionierungstyp aus, um die Partitionierungsgranularität zu konfigurieren. Die verfügbaren Optionen sind stündlich, täglich, monatlich oder jährlich. „Täglich“ ist der Standard-Detaillierungsgrad.

      Wählen Sie optional die Option Partitionierungsfilter aus. Wenn Sie diese Option auswählen, ist für alle Abfragen für diese Sammlung ein Partitionsfilter erforderlich. Ein Partitionsfilter kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Anforderungen an Partitionsfilter festlegen.

      Sie können Partitionierungsfilter nur im Nur-Anhängen-Schreibmodus verwenden.
   Die Partitionierung wird nur auf neue Tabellen in BigQuery angewendet. Wenn Sie Partitionierungseinstellungen für eine bereits vorhandene Tabelle konfigurieren oder ändern möchten, löschen Sie sie zuerst aus BigQuery und konfigurieren oder ändern Sie dann die Einstellungen in Datastream.
   3. Klicken Sie auf Speichern, um die Einstellungen zu speichern.

   Weitere Informationen zur Partitionierung und zum Clustering finden Sie unter BigQuery-Tabellen partitionieren und clustern.

3. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten und Änderungen an den Daten von der Quelle in das Ziel zu replizieren. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Objekte in der Quellorganisation ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten im Ziel zu replizieren.
4. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Spanner-Quelldatenbank konfigurieren

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Tabellen und Schemas in der Quelldatenbank an, die Datastream an das Ziel übertragen kann.
Wenn Ihre Datenbank mehr als 5.000 Objekte enthält,kann die Liste der Tabellen und Schemas nicht geladen werden.
• Wenn Datastream alle Tabellen und Schemas übertragen soll, wählen Sie Alle Tabellen aus allen Schemas aus.
• Wenn Datastream nur bestimmte Tabellen und Schemas übertragen soll, wählen Sie Bestimmte Schemas und Tabellen aus und setzen Sie dann ein Häkchen bei den Schemas und Tabellen, die Datastream abrufen soll.

Für jedes ausgewählte Schema gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Tabellen für das Schema, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch in das Ziel übertragen.
• Wenn dieses Kästchen nicht angekreuzt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Tabellen für das Schema von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Schema ausgewählt.

Für jede ausgewählte Schematabelle wird der Button SPALTEN AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Spalten der Tabelle zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Spalten der Tabelle ausgewählt.

• Wenn Sie eine Textdefinition der Tabellen und Schemas angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Übereinstimmungskriterien für Objekte die Schemas und Tabellen ein, die von Datastream abgerufen werden sollen. Wenn Ihre Datenbank eine große Anzahl von Tabellen und Schemas enthält, empfehlen wir die Option Benutzerdefiniert, da einige Tabellen und Schemas möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.

  Geben Sie Schemas und Tabellen als eine durch Kommas getrennte Liste im Format [schema].[table] ein, wobei sowohl das Schema als auch die Tabelle ein Platzhalter (Sternchen) sein können. Sie können keine teilweisen Platzhalter verwenden.

2. Geben Sie im Feld Name des Änderungsstreams den Namen des von Ihnen erstellten Spanner-Änderungsstreams ein. Datastream liest diesen Änderungsstream, um Änderungen aus Ihrer Quelldatenbank zu replizieren.
3. Optional können Sie im Feld Auszuschließende Objekte die Tabellen und Schemas in der Quelldatenbank eingeben, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Schemas und Tabellen mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Schemas und Tabellen angeben, die von Datastream abgerufen werden sollen.
4. Wählen Sie im Bereich Backfill-Modus für Verlaufsdaten auswählen den Backfill-Modus aus:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen und Schemas in der Quelldatenbank ein, die Datastream nicht im Ziel füllen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
5. Optional können Sie die maximale Anzahl gleichzeitiger CDC- und Backfill-Aufgaben in den entsprechenden Feldern angeben.
   Wenn Sie die maximale Anzahl gleichzeitiger Lesevorgänge für Änderungsstreamabfragen (das CDC-Nebenläufigkeitslimit) festlegen, kann sich die Streaming-Latenz erhöhen. Das liegt daran, dass Änderungsstreams in Partitionen unterteilt sind. Durch die Begrenzung der Nebenläufigkeit wird verhindert, dass Datastream mehrere Partitionen gleichzeitig liest. Wir empfehlen, diesen Wert nur festzulegen, wenn Sie eine erhebliche CPU-Auslastung festgestellt haben.
6. Wählen Sie im Drop-down-Menü RPC-Priorität die Priorität für Remote-Prozeduraufrufe für Ihre Spanner-Anfragen aus:
   • Niedrig
   • Mittel
   • Hoch
7. Geben Sie im Feld FGAC-Rolle die Rolle für die detaillierte Zugriffssteuerung für Ihre Spanner-Anfragen an.
8. Klicken Sie das Kästchen Backfill-Data Boost aktiviert an, wenn Sie Data Boost für Backfill-Jobs verwenden möchten. Wenn Sie diese Option verwenden möchten, muss Data Boost für Ihre Datenbank aktiviert sein. Weitere Informationen finden Sie unter Data Boost-Übersicht.
9. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Dataverse-Quellumgebung konfigurieren (Vorabversion)

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Objekte in Ihrer Dataverse-Umgebung an, die Datastream an das Ziel übertragen kann.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Standardobjekte übertragen soll, wählen Sie Alle Objekte aus.
• Wenn Datastream nur bestimmte Standardobjekte übertragen soll, wählen Sie Bestimmte Objekte aus und setzen Sie dann die Häkchen für die Objekte, die Datastream abrufen soll.

Für jedes ausgewählte Objekt gibt es das Kästchen Zukünftige Tabellen.

• Wenn dieses Kästchen angeklickt ist, werden alle Objekte, die Sie nach dem Erstellen des Streams zur Quelle hinzufügen, automatisch an das Ziel übertragen.
• Wenn dieses Kästchen nicht angeklickt ist, überträgt Datastream nach dem Erstellen des Streams keine neuen Objekte von der Quelle zum Ziel.

Standardmäßig ist das Kästchen Zukünftige Tabellen für jedes Objekt ausgewählt.

Für jedes ausgewählte Objekt wird der Button FELDER AUSWÄHLEN angezeigt. Klicken Sie auf diesen Button, um alle Felder der Objekte zu filtern, die Sie vom Streamen von der Quelle in das Ziel ausschließen möchten. Alle Felder, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.

Standardmäßig sind die Kästchen für alle Felder des Objekts ausgewählt.

• Wenn Sie eine textuelle Definition der Objekte angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Objekte ein, die von Datastream abgerufen werden sollen. Geben Sie die Objekte als durch Kommas getrennte Liste im Format [OBJECT_NAME] ein. Platzhalter werden nicht unterstützt.
2. Legen Sie im Abschnitt Abfrageintervall definieren fest, wie oft Datastream nach Änderungen an Dataverse-Daten suchen soll. Erfüllen Sie Ihren Bedarf an Daten nahezu in Echtzeit mit einer effizienten API-Nutzung, um die Kosten zu minimieren und Leistungsprobleme zu vermeiden. Der eingegebene Wert muss zwischen 5 und 1440 Minuten liegen.
3. Maximieren Sie optional den Knoten Auszuschließende Objekte auswählen. Geben Sie im Feld Auszuschließende Objekte die Objekte in der Dataverse-Quellumgebung ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
4. Optional: Maximieren Sie den Knoten Backfill-Modus für Verlaufsdaten auswählen und treffen Sie dann eine der folgenden Auswahlen:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Tabellen in der Dataverse-Quellumgebung ein, die Datastream nicht im Ziel-Backfill berücksichtigen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
5. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Workday-Quellinstanz konfigurieren (Vorabversion)

1. Geben Sie im Abschnitt Objekte zum Einschließen auswählen im Drop-down-Menü Objekte zum Einschließen die Objekte in Ihrer Instanz an, die Datastream an das Ziel übertragen soll.
Wenn mehr als 5.000 Objekte vorhanden sind,kann die Liste nicht geladen werden.
• Wenn Datastream alle Objekte übertragen soll, wählen Sie Alle Objekte aus.
• Wenn Datastream nur bestimmte Objekte übertragen soll, wählen Sie Bestimmte Objekte aus und klicken Sie dann die Kästchen für die Objekte an, die Datastream abrufen soll. Wenn Sie nur bestimmte Spalten für ein Objekt einbeziehen möchten, klicken Sie neben dem Objekt auf Einstellungen konfigurieren. Spalten, deren Häkchen Sie entfernen, werden vom Stream ausgeschlossen.
• Wenn Sie eine textuelle Definition der Objekte angeben möchten, die von Datastream übertragen werden sollen, wählen Sie Benutzerdefiniert aus und geben Sie dann im Feld Objektübereinstimmungskriterien die Objekte ein, die von Datastream abgerufen werden sollen. Geben Sie die Objekte als durch Kommas getrennte Liste ein. Wenn Ihre Instanz eine große Anzahl von Objekten enthält, empfehlen wir die Option Benutzerdefiniert, da einige Objekte möglicherweise nicht in der Liste der abzurufenden Objekte enthalten sind.
2. Legen Sie den Wert für das Abfrageintervall in Minuten fest. Datastream verwendet diesen Wert, um Ihre Workday-Instanz auf Datenänderungen zu prüfen. Sie können einen Wert im Bereich von 5 bis 1440 verwenden .
3. Legen Sie den Wert für das Abfrageintervall für die vollständige Aktualisierung in Minuten fest. Datastream verwendet diesen Wert, um eine regelmäßige vollständige Aktualisierung für Objekte durchzuführen, die keine inkrementelle Synchronisierung unterstützen, z. B. Datenerweiterungen. Sie können einen Wert im Bereich von 60 bis 1440 Minuten verwenden.
4. Optional: Maximieren Sie den Knoten Erweiterte Optionen einblenden.
5. Geben Sie im Feld Auszuschließende Objekte die Objekte in der Quellinstanz ein, die Datastream nicht abrufen soll. Die Liste Auszuschließende Objekte hat Vorrang vor der Liste Einzuschließende Objekte. Wenn ein Objekt die Kriterien sowohl in der Einschluss- als auch in der Ausschlussliste erfüllt, wird es aus dem Stream ausgeschlossen.
   Sie definieren diese Objekte mit derselben kommagetrennten Logik, die Sie verwenden, wenn Sie Objekte angeben, die Datastream abrufen soll.
6. Wählen Sie im Bereich Backfill-Modus für Verlaufsdaten auswählen den Backfill-Modus aus:
• Wählen Sie die Option Automatisch aus, um alle vorhandenen Daten sowie Änderungen an den Daten von der Quelle in das Ziel zu streamen. Geben Sie im Feld Vom automatischen Backfill ausgeschlossene Objekte die Objekte in der Quellinstanz ein, die Datastream nicht im Ziel-Backfill berücksichtigen soll.
• Wählen Sie die Option Manuell aus, um nur Änderungen an den Daten in das Ziel zu streamen.
7. Klicken Sie auf WEITER. Der Bereich Verbindungsprofil definieren der Seite Stream erstellen wird für Ihren Zieltyp angezeigt.

Zielverbindungsprofil auswählen

1. Wenn Sie ein Zielverbindungsprofil erstellt haben, wählen Sie es aus der Liste der Verbindungsprofile aus.

   Wenn Sie noch kein Zielverbindungsprofil erstellt haben, klicken Sie unten in der Drop-down-Liste auf VERBINDUNGSPROFIL ERSTELLEN und führen Sie dann die gleichen Schritte wie unter Verbindungsprofile erstellen aus.

   Hinweis: Verwenden oder erstellen Sie für Apache Iceberg-Tabellen als Ziel ein BigQuery-Verbindungsprofil.

2. Klicken Sie auf WEITER. Der Bereich Stream-Ziel konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zum Ziel für den Stream konfigurieren

In diesem Abschnitt wird beschrieben, welche Informationen Sie angeben müssen, um Ihr BigQuery- oder Cloud Storage-Ziel zu konfigurieren.

BigQuery-Ziel

1. Wählen Sie im Abschnitt Festlegen, wie Datastream in ein BigQuery-Dataset streamen soll eine der folgenden Optionen aus dem Drop-down-Menü Schemagruppierung aus:

   • Dataset für jedes Schema: Datastream erstellt für jedes Quellschema ein BigQuery-Dataset, das auf dem Schemanamen basiert.

     Wenn Sie diese Option auswählen, erstellt Datastream für jedes Schema in der Quelldatenbank ein Dataset in dem Projekt, das den Stream enthält.

     Wenn Sie die Option Dataset für jedes Schema auswählen, müssen Sie außerdem Folgendes angeben:

     1. Geben Sie im Abschnitt Standorttyp an, wo Sie Ihre Daten in BigQuery speichern möchten. Wählen Sie Region aus, um einen einzelnen geografischen Standort anzugeben, oder Multiregional, um ein größeres Gebiet mit zwei oder mehr Regionen anzugeben. Wenn Sie Kosten und Leistung optimieren möchten, wählen Sie Region aus und speichern Sie Ihre Datasets zusammen mit anderen von Ihnen verwalteten Google Cloud -Ressourcen. Wenn Sie höhere Kontingentlimits erreichen möchten, wählen Sie Multiregional aus, damit BigQuery mehrere Regionen innerhalb einer Gruppe verwenden kann. Wenn Sie Region auswählen, wird standardmäßig die Region verwendet, die Sie für den Stream ausgewählt haben.
     2. Optional: Definieren Sie im Feld Dataset-Präfix ein Präfix für das vom Stream erstellte Dataset. Der von Ihnen angegebene String wird dem Namen des Quellschemas hinzugefügt. Wenn das Schema beispielsweise <mySchema> heißt und Sie das Dataset-Präfix als <myPrefix> definieren, erstellt Datastream ein Dataset mit dem Namen <myPrefix><mySchema>.
     3. Maximieren Sie den Bereich Erweiterte Verschlüsselungsoptionen anzeigen.

     4. Legen Sie fest, wie Ihre Daten in BigQuery verschlüsselt werden sollen, indem Sie einen von Google verwalteten oder einen kundenverwalteten Verschlüsselungsschlüssel auswählen.

        Hinweis: Die Option Dataset für jedes Schema wird für Salesforce-Quellen nicht unterstützt.

   • Einzelnes Dataset für alle Schemas: Datastream erstellt alle Tabellen im vorhandenen BigQuery-Dataset, das Sie angeben. Jede von Datastream erstellte Tabelle wird mit einer Kombination aus dem Namen des Quellschemas und dem Tabellennamen benannt, getrennt durch einen Unterstrich (z. B. <mySchemaName>_<myTableName>). Die verfügbaren Datasets sind nach Region gruppiert. Sie können auch ein neues Dataset erstellen.

2. Geben Sie den Streamschreibmodus an. Wählen Sie den Schreibmodus aus, um festzulegen, wie Daten in BigQuery geschrieben und verarbeitet werden:

   • Zusammenführen: Wählen Sie diese Option aus, wenn Ihre Daten mit der Quelle synchronisiert werden sollen.
   • Nur anhängen: Wählen Sie diese Option aus, wenn Sie alle Verlaufsdaten für Ihre Änderungsereignisse beibehalten möchten.

3. Limit für veraltete Daten festlegen Nur verfügbar, wenn im vorherigen Schritt der Modus Zusammenführen ausgewählt wurde. Wählen Sie ein Limit aus, um ein Gleichgewicht zwischen Leistung und Kosten von BigQuery-Abfragen und der Datenaktualität herzustellen. Je nach Limit für die Veralterung wendet BigQuery die Änderungen laufend im Hintergrund oder bei der Abfrageausführung an. Ein geringerer Wert (jüngere Daten) kann die BigQuery-Verarbeitungskosten erhöhen.

   Wenn Sie 0 Minuten auswählen, gibt BigQuery immer die Abfrageergebnisse basierend auf den neuesten Daten zurück. Dies führt zu den höchsten Kosten für die Abfrage.

4. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Ziel für Apache Iceberg-Tabellen

1. Wählen Sie im Abschnitt Festlegen, wie Datastream in ein BigQuery-Dataset streamen soll im Drop-down-Menü Schemagruppierung aus, wie Datastream neue Schemas und Tabellen erstellen soll:

   • Dataset für jedes Schema: Datastream erstellt für jedes Quellschema ein BigQuery-Dataset, das auf dem Schemanamen basiert.

     Wenn Sie diese Option auswählen, erstellt Datastream für jedes Schema in der Quelldatenbank ein Dataset in dem Projekt, das den Stream enthält.

     Wenn Sie die Option Dataset für jedes Schema auswählen, müssen Sie außerdem Folgendes angeben:

     1. Geben Sie im Abschnitt Standorttyp an, wo Sie Ihre Daten in BigQuery speichern möchten. Wählen Sie Region aus, um einen einzelnen geografischen Standort anzugeben, oder Multiregional, um ein größeres Gebiet mit zwei oder mehr Regionen anzugeben. Wenn Sie Kosten und Leistung optimieren möchten, wählen Sie Region aus und speichern Sie Ihre Datasets zusammen mit anderen von Ihnen verwalteten Google Cloud -Ressourcen. Wenn Sie höhere Kontingentlimits erreichen möchten, wählen Sie Multiregional aus, damit BigQuery mehrere Regionen innerhalb einer Gruppe verwenden kann. Wenn Sie Region auswählen, wird standardmäßig die Region verwendet, die Sie für den Stream ausgewählt haben.
     2. Optional: Definieren Sie im Feld Dataset-Präfix ein Präfix für das vom Stream erstellte Dataset. Der von Ihnen angegebene String wird dem Namen des Quellschemas hinzugefügt. Wenn das Schema beispielsweise <mySchema> heißt und Sie das Dataset-Präfix als <myPrefix> definieren, erstellt Datastream ein Dataset mit dem Namen <myPrefix><mySchema>.
     3. Maximieren Sie den Bereich Erweiterte Verschlüsselungsoptionen anzeigen.

     4. Legen Sie fest, wie Ihre Daten in BigQuery verschlüsselt werden sollen, indem Sie einen von Google verwalteten oder einen kundenverwalteten Verschlüsselungsschlüssel auswählen.

        Hinweis: Die Option Dataset für jedes Schema wird für Salesforce-Quellen nicht unterstützt.

   • Einzelnes Dataset für alle Schemas: Datastream erstellt alle Tabellen im vorhandenen BigQuery-Dataset, das Sie angeben. Jede von Datastream erstellte Tabelle wird mit einer Kombination aus dem Namen des Quellschemas und dem Tabellennamen benannt, getrennt durch einen Unterstrich (z. B. <mySchemaName>_<myTableName>). Die verfügbaren Datasets sind nach Region gruppiert. Sie können auch ein neues Dataset erstellen.

2. Geben Sie im Abschnitt Datastream-Verbindung zu Apache Iceberg-Tabellen definieren die folgenden Informationen an:

   • Wählen Sie im Drop-down-Menü Verbindungs-ID die Kennung der BigQuery-Verbindung aus, die Sie erstellt haben und für Ihren Stream verwenden möchten. Informationen zum Erstellen einer Cloud-Ressourcenverbindung in BigQuery finden Sie unter Apache Iceberg-Tabellen in BigQuery konfigurieren.

     Hinweis: Damit der Stream nicht fehlschlägt, muss die Verbindungs-ID Schreibberechtigungen für den zugrunde liegenden Cloud Storage-Bucket haben.

   • Geben Sie die URI-Adresse des Buckets ein, den Sie in Cloud Storage erstellt haben, oder wählen Sie sie aus. Informationen zum Erstellen eines Cloud Storage-Bucket finden Sie unter Bucket erstellen.

3. Prüfen Sie das Dateiformat und das Tabellenformat. Datastream unterstützt das Dateiformat Parquet und das Tabellenformat Iceberg.

4. Prüfen Sie den Streamschreibmodus. Datastream unterstützt beim Streaming in Apache Iceberg-Tabellen nur den Schreibmodus Nur anhängen.

5. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Cloud Storage-Ziel

1. Geben Sie optional in das Feld Stream-Pfadpräfix den Ordner des Ziel-Buckets ein, in den Datastream Schemas, Tabellen und Daten aus einer Quelldatenbank übertragen soll.

   Wenn Sie beispielsweise möchten, dass Datastream Daten aus der Quelldatenbank in den Ordner /root/example im Ziel-Bucket überträgt, geben Sie /root/example in das Feld Stream-Pfadpräfix ein.

2. Wählen Sie im Feld Ausgabeformat das Format der in Cloud Storage geschriebenen Dateien aus.

   Datastream unterstützt zwei Ausgabeformate: Avro und JSON.

3. Optional. Wenn Sie das JSON-Format auswählen, werden zwei Kästchen angezeigt:

   1. Schemadatei für einheitliche Typen in den Dateipfad einfügen: Wenn Sie dieses Kästchen aktivieren, schreibt Datastream zwei Dateien in Cloud Storage: eine JSON-Datendatei und eine Avro-Schemadatei. Die Schemadatei hat denselben Namen wie die Datendatei, aber mit der Erweiterung .schema. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream nur die JSON-Datendatei in Cloud Storage. Dieses Kästchen ist standardmäßig nicht ausgewählt.
   2. gzip-Komprimierung aktivieren: Wenn Sie dieses Kästchen anklicken, verwendet Datastream das Dienstprogramm gzip, um die Dateien zu komprimieren, die Datastream in Cloud Storage schreibt. Wenn Sie dieses Kästchen nicht anklicken, schreibt Datastream die Dateien in Cloud Storage, ohne sie zu komprimieren. Dieses Kästchen ist standardmäßig aktiviert.

4. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Stream erstellen

1. Prüfen Sie die Details zum Stream sowie die Quell- und Zielverbindungsprofile, die der Stream zum Übertragen von Daten aus einer Quelldatenbank in ein Ziel verwendet.

2. Klicken Sie auf VALIDIERUNG AUSFÜHREN, um den Stream zu validieren. Bei der Validierung eines Streams prüft Datastream, ob die Quelle richtig konfiguriert ist, ob der Stream eine Verbindung zur Quelle und zum Ziel herstellen kann und ob die End-to-End-Konfiguration des Streams stimmt.

   1. Wenn Ihre Quelldatenbank Oracle ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Gültigkeit der Objektliste	Datastream kontrolliert, dass die Ausschlussliste nicht die Einschlussliste umfasst.
      Verbindung für Weiterleitungs-SSH-Tunnel	Datastream kontrolliert, dass es über einen Weiterleitungs-SSH-Tunnel eine Verbindung zu einem Bastion Host herstellen kann.
      Verbindung zur Oracle-Datenbank	Datastream kontrolliert, dass eine Verbindung zur Oracle-Quelldatenbank hergestellt werden kann.
      Oracle-Nutzerberechtigungen	Datastream kontrolliert, dass der Nutzer, der zum Herstellen einer Verbindung zur Quelldatenbank verwendet wird, alle erforderlichen Berechtigungen zum Abrufen von Schemas, Tabellen und Daten aus der Datenbank hat, damit Datastream diese Informationen in das Ziel streamen kann.
      Konfiguration des Logging-Modus	Datastream kontrolliert, dass der Logging-Modus für die Oracle-Datenbank auf ARCHIVELOG gesetzt ist.
      Zusätzliche Logging-Konfiguration	Datastream kontrolliert, dass das zusätzliche Logging für die Datenbanktabellen aktiviert ist, die von der Quelle in das Ziel gestreamt werden.
      Oracle-CDC-Konfiguration	Datastream prüft, ob die von Ihnen ausgewählte CDC-Methode Ihrer Datenbankkonfiguration entspricht.
      Konfiguration der Archivlogdateien	Datastream kontrolliert, dass das Archiv-Logging in der Quelle konfiguriert ist und dass Archivlogdateien vorhanden sind.
      Cloud Storage-Berechtigungen (für Cloud Storage-Ziele)	Datastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat.

   2. Wenn Ihre Quelldatenbank MySQL ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Replikationsberechtigungen	Datastream kontrolliert, dass es berechtigt ist, eine MySQL-Datenbank zu replizieren.
      Datenbankversion	Datastream prüft, ob die MySQL-Datenbankversion unterstützt wird. Informationen zu unterstützten Versionen finden Sie unter Versionen.
      Konfiguration des Binärlogformats	Datastream kontrolliert, dass das Binärlogformat der MySQL-Datenbank auf ROW gesetzt ist.
      Binäres Logging aktiviert	Datastream kontrolliert, dass die Binärlogdateien ordnungsgemäß konfiguriert sind und dass Logdateien vorhanden sind.
      Konfiguration des Binärlogzeilen-Images	Datastream prüft, ob das Binlog-Zeilen-Image auf FULL festgelegt ist.
      Binlog-Komprimierung deaktiviert	Datastream prüft, ob die binlog-Komprimierung deaktiviert ist.
      Aktualisierungen von Logreplikaten oder Slaves aktiviert	Datastream prüft, ob die Aktualisierungen des Log-Replikats oder Slaves aktiviert sind.
      Konfiguration des GTID-Modus (applies only to GTID-based CDC)	Datastream prüft, ob der GTID-Modus auf ON gesetzt ist, wenn die GTID-basierte Replikation verwendet wird.
      GtidSet enthält keine getaggten GTIDs (applies only to GTID-based CDC)	Datastream prüft, ob der GTID-Satz getaggte GTIDs enthält.
      Cloud Storage-Berechtigungen (für Cloud Storage-Ziele)	Datastream kontrolliert, dass es die erforderlichen Berechtigungen zum Schreiben in den Ziel-Bucket in Cloud Storage hat.

      Warnungen prüfen	Beschreibung
      Konfiguration von „expire_logs_days“, „expire_logs_seconds“ oder „binlog retention hours“	Datastream prüft, ob expire_logs_days, binlog_expire_logs_seconds und binlog retention hours auf Werte konfiguriert sind, die größer als 7, 604800 bzw. 168 sind.
      Konfiguration für maximal zulässige Paketgröße	Datastream prüft, ob max_allowed_packet auf 1 GB festgelegt ist.
      GTID-Konsistenz oder strikten GTID-Modus erzwingen (applies only to GTID-based CDC)	Datastream prüft, ob die GTID-Konsistenz oder der strikte GTID-Modus aktiviert ist.

   3. Wenn Ihre Quelldatenbank PostgreSQL ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Verbindung zur PostgreSQL-Datenbank	Datastream prüft, ob eine Verbindung zur PostgreSQL-Quelldatenbank hergestellt werden kann.
      Logische Decodierung ist aktiviert	Datastream prüft, ob der Parameter wal_level der PostgreSQL-Datenbank auf logical festgelegt ist.
      Konfiguration des Replikationsslots	Datastream prüft, ob der PostgreSQL-Replikationsslot vorhanden und aktiv ist, ob Datastream die erforderlichen Berechtigungen für den Zugriff darauf hat und ob er richtig konfiguriert ist.
      Publikationskonfiguration	Datastream prüft, ob die Publikation vorhanden ist und ob die zu replizierenden Tabellen für den Stream in der Publikation enthalten sind.
      Backfill-Berechtigungen	Datastream prüft, ob die Tabellen vorhanden sind, die für den Backfill von Verlaufsdaten erforderlich sind, und ob die erforderlichen Berechtigungen zum Lesen der Tabellen vorhanden sind.

   4. Wenn Ihre Quelldatenbank SQL Server ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      SQL Server-Edition	Datastream prüft, ob die SQL Server-Quelldatenbankversion unterstützt wird. Informationen zu unterstützten Versionen finden Sie unter Versionen.
      SQL Server-Nutzerberechtigungen	Datastream prüft, ob der Nutzer die erforderlichen Berechtigungen für den Zugriff auf die SQL Server-Quelldatenbank hat.
      SQL Server-CDC ist aktiviert	Datastream prüft, ob CDC für die Datenbank und alle im Stream enthaltenen Tabellen aktiviert ist.
      SQL Server-Datenbankvalidierungen	Datastream prüft, ob die Quelldatenbank richtig konfiguriert ist, ob alle Replikationsanforderungen erfüllt sind und ob in den Spalten keine nicht unterstützten Datentypen vorhanden sind.
      Cloud Storage- oder BigQuery-Berechtigungen	Datastream prüft, ob der Nutzer die erforderlichen Berechtigungen zum Schreiben in das Ziel hat.

   5. Wenn Ihre Quelldatenbank Salesforce ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Anmeldung mit Anmeldedaten	Datastream prüft, ob die Authentifizierung bei der Salesforce-Organisation des Kunden mit den angegebenen Anmeldedaten erfolgreich ist.
      Bulk API	Datastream prüft, ob die erforderlichen Berechtigungen für den Zugriff auf die Salesforce Bulk API 2.0 vorhanden sind. Die Bulk API 2.0 ist erforderlich, um große Datenmengen zu lesen.

      Warnungen prüfen	Beschreibung
      API-Limits	Datastream berechnet eine Schätzung der erwarteten API-Nutzung basierend auf der Anzahl der Objekte und dem ausgewählten Abrufintervall. Wenn die erwartete tägliche Anzahl von Anfragen höher ist als das von Salesforce festgelegte Limit, gibt Datastream eine Warnung aus. Sie können den Stream auch dann erstellen und ausführen, wenn die Validierungsprüfung nicht erfolgreich ist.

   6. Wenn Ihre Quelldatenbank MongoDB ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Nutzerberechtigungen	Datastream prüft, ob dem Nutzer die Rolle readAnyDatabase zugewiesen ist.
      Verbindungskonfigurationen	Datastream verwendet den Befehl hello, um zu prüfen, ob die Verbindungskonfigurationen gültig sind.
      MongoDB-Version	Datastream prüft, ob die MongoDB-Version 5.0 oder höher ist.
      Cloud Storage- oder BigQuery-Berechtigungen	Datastream prüft, ob der Nutzer die erforderlichen Berechtigungen zum Schreiben in das Ziel hat.

   7. Wenn Ihre Quelldatenbank Spanner ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Spanner API aktiviert	Datastream prüft, ob die Spanner API aktiviert ist.
      Datenbank ist vorhanden	Datastream prüft, ob die Spanner-Quelldatenbank vorhanden ist.
      IAM-Berechtigungen	Datastream prüft, ob der Dienst-Agent die erforderlichen IAM-Berechtigungen für die Quelldatenbank hat.
      Änderungsstream ist vorhanden	Datastream prüft, ob der angegebene Änderungsstream in der Datenbank vorhanden ist.
      Werterfassungstyp	Datastream prüft, ob der Änderungsstream mit dem Werterfassungstyp NEW_ROW konfiguriert ist.

   8. Wenn Ihre Quelle Dataverse ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Verbindung zur Dataverse-Umgebung	Datastream prüft, ob eine Verbindung zur Dataverse-Quellumgebung hergestellt werden kann.
      Dataverse-Nutzerberechtigungen	Datastream prüft, ob der Anwendungsnutzer, den es für die Verbindung mit der Quellumgebung verwendet, alle erforderlichen Leseberechtigungen hat. Die Leseberechtigungen sind erforderlich, um Tabellen und Daten aus der Umgebung abzurufen, damit Datastream diese Informationen in das Ziel streamen kann.
      IP-Einschränkungen	Datastream prüft, ob die öffentlichen IP-Adressen eine Verbindung zum Endpunkt Ihrer Dataverse-Instanz herstellen dürfen.
      Vorhandensein des Felds „modifiedon“	Datastream prüft, ob das Feld „modifiedon“ in den Tabellen vorhanden und zuverlässig ist, die für die inkrementelle Synchronisierung repliziert werden.
      Cloud Storage- oder BigQuery-Berechtigungen	Datastream prüft, ob die erforderlichen Berechtigungen zum Schreiben in das Ziel vorhanden sind.

   9. Wenn Ihre Quellinstanz Workday ist, führt Datastream die folgenden Prüfungen durch:

      Häkchen	Beschreibung
      Anmeldung mit Anmeldedaten	Datastream überprüft die OAuth 2.0-Authentifizierung mit Workday.
      ISU-Berechtigungen	Datastream prüft, ob der Nutzer des Integrationssystems die erforderlichen Berechtigungen für die Domainsicherheitsrichtlinie hat.
      Gültigkeit des Berichts	Datastream sorgt dafür, dass die ausgewählten Objekte vorhanden sind und über die RaaS-Lösung (Report as a Service) darauf zugegriffen werden kann.

   Wenn eine Validierungsprüfung erfolgreich war, wird links neben der Validierungsprüfung ein Häkchen angezeigt.

   Wenn eine Validierungsprüfung nicht bestanden wird, erscheint ein Ausrufezeichen links neben der Prüfung und der Button FEHLERDETAILS AUFRUFEN unterhalb der Prüfung. Klicken Sie auf den Button. Es wird ein Dialogfeld angezeigt, in dem erläutert wird, warum die Prüfung nicht bestanden wurde. Außerdem erfahren Sie, wie Sie das Problem beheben können. Nachdem Sie die entsprechenden Korrekturen vorgenommen haben, klicken Sie auf ERNEUT PRÜFEN.

   Weitere Informationen zur Fehlerbehebung bei nicht bestandenen Validierungsprüfungen finden Sie unter Probleme diagnostizieren.

3. Nachdem alle Validierungsprüfungen erfolgreich abgeschlossen wurden, klicken Sie auf ERSTELLEN UND STARTEN, um den Stream zu erstellen und sofort zu starten, oder auf ERSTELLEN, um den Stream zu erstellen, ohne ihn sofort zu starten.

   Wenn Sie den Stream jetzt nicht starten, können Sie ihn über die Seite Streams starten, indem Sie auf STARTEN klicken.

   Hinweis: Die Erstellung des Streams kann zu einer erhöhten Last für die Quelldatenbank führen. Um diese Last zu verschieben, erstellen Sie den Stream, ohne ihn zu starten, und starten Sie ihn wieder, wenn die Last verarbeitet werden kann.

Nachdem Sie einen Stream erstellt haben, können Sie allgemeine und detaillierte Informationen zu diesem Stream aufrufen.

Stream mit dem automatisierten Ablauf erstellen

Mit der automatisierten Stream-Einrichtung können Sie Streams direkt über die Cloud SQL-Übersichtsseite in Google Clouderstellen. Der automatisierte Ablauf vereinfacht die Erstellung von Streams und kann verwendet werden, wenn Sie Daten aus einer Cloud SQL for PostgreSQL-, Cloud SQL for MySQL- oder Cloud SQL for SQL Server-Instanz nach BigQuery replizieren.

Informationen zur Verwendung des automatisierten Ablaufs für die Streameinrichtung finden Sie unter Stream mit dem automatisierten Ablauf erstellen.

Nächste Schritte

• Weitere Informationen zu Streams finden Sie unter Stream-Lebenszyklus.
• Informationen zum Ausführen eines Streams finden Sie unter Stream ausführen.
• Informationen zum Ändern von Streams finden Sie unter Stream ändern.
• Informationen zum Wiederherstellen eines Streams finden Sie unter Stream wiederherstellen.