Änderungen an Daten mit Datastream nahezu in Echtzeit streamen

Änderungen an Daten mit Datastream nahezu in Echtzeit streamen

Hier erfahren Sie, wie Sie Daten aus einer Oracle-Quelldatenbank mit Datastream in einen Cloud Storage-Bucket replizieren.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die Datastream API, falls sie noch nicht aktiviert ist.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

   API aktivieren

2. Achten Sie darauf, dass Ihrem Nutzerkonto die Rolle „Datastream-Administrator“ zugewiesen ist.

   Zur IAM-Seite

Wenn Sie eine Konfiguration für private Verbindungen für ein Standard- oder gemeinsam genutztes VPC-Netzwerk erstellen möchten, müssen Sie zusätzliche Voraussetzungen erfüllen. Weitere Informationen finden Sie unter Konfiguration für private Verbindungen erstellen.

Voraussetzungen

Datastream bietet eine Vielzahl von Quellen- und Zieloptionen sowie Methoden für die Netzwerkverbindung.

In dieser Kurzanleitung wird davon ausgegangen, dass Sie eine eigenständige Oracle-Datenbank und einen Cloud Storage-Zieldienst verwenden. Für die Quelldatenbank sollten Sie Ihr Netzwerk so konfigurieren können, dass eine eingehende Firewallregel hinzugefügt wird. Die Quelldatenbank kann lokal oder bei einem Cloud-Anbieter bereitgestellt werden. Da das Ziel Cloud Storage ist, sollte es sich im Cloud-Anbieter von Google befinden.

Da wir die Besonderheiten Ihrer Umgebung nicht kennen, können wir keine detaillierten Schritte in Bezug auf Ihre Netzwerkkonfiguration anbieten.

In dieser Kurzanleitung wählen Sie Zulassen von IP-Adressen als Verbindungsmethode aus. Die IP-Zulassungsliste ist eine Sicherheitsfunktion, mit der der Zugriff auf die Daten in Ihrer Quelldatenbank häufig nur auf vertrauenswürdige Nutzer beschränkt und gesteuert wird. Sie können IP-Zulassungslisten verwenden, um Listen mit vertrauenswürdigen IP-Adressen oder IP-Bereichen zu erstellen, von denen Ihre Nutzer und andere Cloud-Dienste wie Datastream auf diese Daten zugreifen können. Wenn Sie IP-Zulassungslisten verwenden möchten, müssen Sie die Quelldatenbank oder Firewall für eingehende Verbindungen von Datastream öffnen.

Verbindungsprofile erstellen

Wenn Sie Verbindungsprofile für eine Quelldatenbank und ein Ziel erstellen, erstellen Sie Datensätze, die Informationen zur Quelle und zum Ziel enthalten.

In dieser Kurzanleitung wählen Sie Oracle als Profiltyp für Ihr Quellverbindungsprofil und Cloud Storage als Profiltyp für Ihr Zielverbindungsprofil aus. Datastream verwendet die Informationen in den Verbindungsprofilen, um Daten aus der Oracle-Quelldatenbank in einen Ziel-Bucket in Cloud Storage zu migrieren.

Quellverbindungsprofil für Oracle-Datenbank erstellen

1. Rufen Sie in derGoogle Cloud Console die Seite Verbindungsprofile für Datastream auf.

   Zur Seite „Verbindungsprofile“

2. Klicken Sie auf PROFIL ERSTELLEN.

3. Klicken Sie auf der Seite Verbindungsprofil erstellen auf den Profiltyp Oracle, da Sie ein Quellverbindungsprofil für die Oracle-Datenbank erstellen möchten.

4. Geben Sie im Abschnitt Verbindungseinstellungen definieren auf der Seite Oracle-Profil erstellen die folgenden Informationen an:

   • Geben Sie My Source Connection Profile als Name des Verbindungsprofils für Ihre Quelldatenbank ein.
   • Behalten Sie die automatisch generierte Verbindungsprofil-ID bei.
   • Wählen Sie die Region aus, in der das Verbindungsprofil gespeichert werden soll.
   Verbindungsprofile werden wie alle Ressourcen in einer Region gespeichert. Ein Stream kann nur Verbindungsprofile verwenden, die in derselben Region wie der Stream gespeichert sind. Die Auswahl einer Region hat keinen Einfluss darauf, ob Datastream eine Verbindung zur Quelle oder dem Ziel herstellen kann. Die Auswahl kann jedoch die Verfügbarkeit beeinflussen, wenn die Region ausfällt.
   • Geben Sie Verbindungsdetails ein:
   • Geben Sie im Feld Hostname oder IP-Adresse einen Hostnamen oder eine öffentliche IP-Adresse ein, über die Datastream eine Verbindung zur Oracle-Quelldatenbank herstellen kann. Sie geben eine öffentliche IP-Adresse an, da IP-Zulassungsliste in dieser Kurzanleitung als Methode für die Netzwerkverbindung verwendet wird.
   • Geben Sie im Feld Port die Portnummer ein, die für die Quelldatenbank reserviert ist. Bei einer Oracle-Datenbank ist der Standardport normalerweise 1521.
   • Geben Sie einen Nutzernamen und ein Passwort ein, um sich bei Ihrer Quelldatenbank zu authentifizieren.
   • Geben Sie im Feld System-ID (SID) die SID oder den Dienstnamen ein, mit dem die Datenbankinstanz identifiziert wird. Bei Oracle-Datenbanken ist das normalerweise ORCL.

5. Klicken Sie im Abschnitt Verbindungseinstellungen definieren auf WEITER. Der Abschnitt Verbindungsmethode festlegen auf der Seite Oracle-Profil erstellen ist aktiv.

6. Wählen Sie die Netzwerkverbindungsmethode aus, die Sie verwenden möchten, um eine Verbindung zwischen Datastream und der Quelldatenbank herzustellen. Wählen Sie für diesen Schnellstart im Drop-down-Menü Verbindungsmethode die Option IP-Zulassungsliste als Netzwerkverfahren aus.

7. Konfigurieren Sie Ihre Quelldatenbank so, dass eingehende Verbindungen von den öffentlichen Datastream-IP-Adressen zugelassen werden, die angezeigt werden.

8. Klicken Sie im Abschnitt Verbindungsmethode festlegen auf WEITER. Der Abschnitt Verbindungsprofil testen auf der Seite Oracle-Profil erstellen ist aktiv.

Datastream bietet einen Assistenten, der Sie beim Erstellen eines Streams unterstützt. Der Assistent besteht aus sechs Bereichen: erste Schritte, Quelle definieren und testen, Quelle konfigurieren, Ziel definieren, Ziel konfigurieren sowie Prüfen und Erstellen. Informationen zu den einzelnen Bereichen finden Sie in den verschiedenen Abschnitten dieser Seite.

Einstellungen für den Stream festlegen

1. Rufen Sie in der Google CloudConsole die Seite Streams für Datastream auf.

   Zur Seite „Streams“

2. Klicken Sie auf STREAM ERSTELLEN.

3. Geben Sie im Bereich Streamdetails definieren der Seite Stream erstellen die folgenden Informationen an:

   • Geben Sie My Stream als Streamname ein.
   • Behalten Sie die automatisch generierte Stream-ID bei.
   • Wählen Sie im Menü Region die Region aus, in der Sie Ihr Quellverbindungsprofil erstellt haben.
   • Wählen Sie im Menü Quelltyp den Profiltyp Oracle aus.
   • Wählen Sie im Menü Zieltyp den Profiltyp Cloud Storage aus.

4. Prüfen Sie die erforderlichen Voraussetzungen, die automatisch generiert werden, um zu sehen, wie Ihre Umgebung für einen Stream vorbereitet werden muss. Zu diesen Voraussetzungen können beispielsweise die Konfiguration der Quelldatenbank und die Art der Verbindung von Datastream mit dem Ziel-Bucket in Cloud Storage gehören.

   Weitere Informationen zu diesen Voraussetzungen finden Sie unter Oracle-Quelldatenbank konfigurieren.

5. Klicken Sie auf WEITER. Der Bereich Oracle-Verbindungsprofil definieren der Seite Stream erstellen wird angezeigt.

Informationen zum Quellverbindungsprofil angeben

1. Wählen Sie im Menü Quellverbindungsprofil Ihr Quellverbindungsprofil für die Oracle-Datenbank aus.

2. Klicken Sie auf TESTEN, um zu prüfen, ob die Quelldatenbank und Datastream miteinander kommunizieren können.

   Wenn der Test fehlschlägt, wird das mit dem Verbindungsprofil verknüpfte Problem angezeigt. Schritte zur Fehlerbehebung finden Sie auf der Seite Fehlerdiagnose. Nehmen Sie die erforderlichen Änderungen vor, um das Problem zu beheben, und führen Sie den Test noch einmal durch.

3. Klicken Sie auf WEITER. Der Bereich Stream-Quelle konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zur Quelldatenbank für den Stream konfigurieren

1. Verwenden Sie das Menü Aufzunehmende Objekte, um die Tabellen und Schemas in Ihrer Quelldatenbank anzugeben, die Datastream in einen Ordner im Ziel-Bucket in Cloud Storage übertragen kann. Das Menü wird nur geladen,wenn Ihre Datenbank bis zu 5.000 Objekte enthält.

   In dieser Kurzanleitung soll Datastream alle Tabellen und Schemas übertragen. Wählen Sie daher im Menü die Option Alle Tabellen aus allen Schemas aus.

   Achten Sie für diese Kurzanleitung darauf, dass der Bereich Auszuschließende Objekte auswählen auf „Keine“ gesetzt ist. Sie möchten Datastream nicht daran hindern, Tabellen und Schemata aus Ihrer Quelldatenbank nach Cloud Storage zu übertragen.

   Achten Sie außerdem darauf, dass der Bereich Backfill-Modus für Verlaufsdaten auswählen auf „Automatisch“ eingestellt ist. Neben den Änderungen an den Daten streamt Datastream alle vorhandenen Daten von der Quelle in das Ziel.

2. Geben Sie die CDC-Methode an. Wählen Sie für diese Anleitung Logminer aus.

3. Klicken Sie auf WEITER. Der Bereich Cloud Storage-Verbindungsprofil definieren der Seite Stream erstellen wird angezeigt.

Zielverbindungsprofil auswählen

1. Wählen Sie im Menü Zielverbindungsprofil Ihr Zielverbindungsprofil für Cloud Storage aus.

2. Klicken Sie auf WEITER. Der Bereich Stream-Ziel konfigurieren der Seite Stream erstellen wird angezeigt.

Informationen zum Ziel für den Stream konfigurieren

1. Geben Sie im Feld Stream-Pfadpräfix den Ordner des Ziel-Buckets ein, in den Datastream Schemas, Tabellen und Daten aus einer Oracle-Quelldatenbank überträgt.

   In dieser Kurzanleitung soll Datastream Daten aus der Quelldatenbank in den Ordner /root/tutorial im Ziel-Bucket von Cloud Storage übertragen. Geben Sie daher /root/tutorial in das Feld Stream path prefix (Pfadpräfix für Stream) ein.

2. Wählen Sie im Feld Ausgabeformat das Format der Dateien aus, die in Cloud Storage geschrieben werden. In dieser Kurzanleitung ist Avro das Dateiformat.

3. Klicken Sie auf WEITER. Der Bereich Stream-Details prüfen und erstellen der Seite Stream erstellen wird angezeigt.

Stream erstellen

1. Prüfen Sie die Details zum Stream sowie die Quell- und Zielverbindungsprofile, die der Stream zum Übertragen von Daten aus einer Oracle-Quelldatenbank in einen Ziel-Bucket in Cloud Storage verwendet.

2. Klicken Sie auf VALIDIERUNG AUSFÜHREN, um den Stream zu validieren. Wenn Sie einen Stream validieren, prüft Datastream, ob die Quelle richtig konfiguriert ist, ob der Stream eine Verbindung zur Quelle und zum Ziel herstellen kann und ob die End-to-End-Konfiguration des Streams korrekt ist.

   Wenn eine Validierungsprüfung erfolgreich war, wird links neben der Validierungsprüfung ein Häkchen angezeigt.

   Wenn eine Validierungsprüfung nicht bestanden wird, erscheint ein Ausrufezeichen links neben der Prüfung und der Button FEHLERDETAILS AUFRUFEN unterhalb der Prüfung. Klicken Sie auf den Button. Es wird eine Meldung angezeigt, in der erläutert wird, warum die Prüfung nicht bestanden wurde. Außerdem erfahren Sie, wie Sie das Problem beheben können. Nachdem Sie die entsprechenden Korrekturen vorgenommen haben, klicken Sie auf ERNEUT PRÜFEN.

   Weitere Informationen zur Fehlerbehebung bei nicht bestandenen Validierungsprüfungen finden Sie unter Probleme diagnostizieren.

3. Wenn alle Validierungsprüfungen erfolgreich waren, klicken Sie auf ERSTELLEN.

4. Klicken Sie im Dialogfeld Stream erstellen? auf ERSTELLEN.

Nachdem Sie einen Stream erstellt haben, können Sie ihn starten.

Stream starten

Im vorherigen Abschnitt der Kurzanleitung haben Sie einen Stream erstellt, aber nicht gestartet. Das können Sie jetzt tun.

In dieser Kurzanleitung erstellen und starten Sie einen Stream separat, falls beim Erstellen des Streams eine erhöhte Last auf Ihre Quelldatenbank entsteht. Um diese Last zu verschieben, erstellen Sie den Stream, ohne ihn zu starten, und starten Sie ihn dann, wenn die Last verarbeitet werden kann.

Wenn Sie den Stream starten, kann Datastream Daten, Schemas und Tabellen aus der Quelldatenbank in das Ziel übertragen.

1. Rufen Sie in der Google CloudConsole die Seite Streams für Datastream auf.

   Zur Seite „Streams“

2. Klicken Sie das Kästchen links neben dem Stream an, den Sie starten möchten. In dieser Kurzanleitung ist das Mein Stream.

3. Klicken Sie auf START (Starten).

4. Klicken Sie im Dialogfeld auf START. Der Status des Streams ändert sich von Not started in Starting und dann in Running.

   Es dauert etwa 30 Sekunden, bis der Stream ausgeführt wird. Hintergrundressourcen müssen gestartet werden, damit der Stream gestartet werden kann.

Nachdem Sie einen Stream gestartet haben, können Sie prüfen, ob Datastream Daten aus der Quelldatenbank in das Ziel übertragen hat.

Stream prüfen

In diesem Abschnitt prüfen Sie, ob Datastream die Daten aus allen Tabellen Ihrer Oracle-Quelldatenbank in den Ordner /root/tutorial Ihres Cloud Storage-Ziel-Buckets überträgt.

1. Rufen Sie in der Google CloudConsole die Seite Streams für Datastream auf.

   Zur Seite „Streams“

2. Klicken Sie auf den Stream, den Sie erstellt haben. In dieser Kurzanleitung ist das MyStream.

3. Klicken Sie auf der Seite Streamdetails auf den Link, der unter dem Feld Zielschreibpfad angezeigt wird. Die Seite Bucket-Details von Cloud Storage wird in einem separaten Tab geöffnet.

   Hinweis :Der Link, den Sie anklicken, besteht aus dem Namen Ihres Buckets und dem Ordner Ihres Buckets, in den Datastream Schemas, Tabellen und Daten aus Ihrer Oracle-Quelldatenbank überträgt. Sie haben diesen Ordner als /root/tutorial angegeben, als Sie Informationen zum Zielverbindungsprofil für Ihren Stream konfiguriert haben. Der Link sollte also so aussehen: BUCKET-NAME/root/tutorial**.

4. Prüfen Sie, ob die Ordner angezeigt werden, die Tabellen Ihrer Oracle-Quelldatenbank darstellen.

5. Klicken Sie auf einen der Tabellenordner und führen Sie einen Drilldown durch, bis Sie Daten sehen, die mit der Tabelle verknüpft sind.

   Der erste Ordner ist [schema]_[table], gefolgt von Ordnern, die das Jahr, den Monat, den Tag, die Stunde und die Minute darstellen, in denen Datastream Daten aus der Oracle-Quelldatenbank in einen Ziel-Bucket in Cloud Storage übertragen hat.

   Ein Ordner wird jede Minute erstellt, wenn neue Daten zum Schreiben vorhanden sind.

   Eine neue Datei wird erstellt, wenn die Datei 250 MB erreicht oder sich ein Schema ändert. Wenn die Tabellen partitioniert sind, werden für jede Partition Dateien erstellt.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

1. Löschen Sie Ihr Projekt, den Datastream-Stream und die Verbindungsprofile sowie den Cloud Storage-Ziel-Bucket über die Google Cloud Console.

Wenn Sie die Ressourcen bereinigen, die Sie in Datastream erstellt haben, verbrauchen sie keine kostenpflichtigen Kontingente und werden Ihnen nicht in Rechnung gestellt. In den folgenden Abschnitten wird beschrieben, wie Sie diese Ressourcen löschen oder deaktivieren.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten, wenn Sie das für diesen Schnellstart erstellte Projekt löschen.

Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für diese Kurzanleitung ein bereits bestehendes Projekt verwendet haben, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID verwenden, z. B. appspot.com, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, wenn Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite "Ressourcen verwalten"

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.

3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Herunterfahren, um das Projekt zu löschen.

Stream löschen

1. Rufen Sie in der Google CloudConsole die Seite Streams für Datastream auf.

   Zur Seite „Streams“

2. Klicken Sie auf den Stream, den Sie löschen möchten. In dieser Kurzanleitung ist das MyStream.

3. Klicken Sie auf PAUSIEREN.

4. Klicken Sie im Dialogfeld auf PAUSE (PAUSIEREN).

5. Prüfen Sie auf der Seite Streamdetails im Bereich Streamstatus, ob der Status des Streams Paused lautet.

   Hinweis :Pausieren Sie den Stream, bevor Sie ihn löschen, damit alle Daten, die sich gerade in der Übertragung befinden, sauber von der Quelldatenbank in das Ziel übertragen werden.

6. Klicken Sie auf Delete.

7. Geben Sie im Dialogfeld Delete in das Textfeld ein und klicken Sie dann auf LÖSCHEN.

Verbindungsprofile löschen

1. Rufen Sie in derGoogle Cloud Console die Seite Verbindungsprofile für Datastream auf.

   Zur Seite „Verbindungsprofile“

2. Klicken Sie das Kästchen für jedes Verbindungsprofil an, das Sie löschen möchten. Wählen Sie für diese Kurzanleitung die Kästchen für Mein Quellverbindungsprofil und Mein Zielverbindungsprofil aus.

3. Klicken Sie auf Delete.

4. Klicken Sie im Dialogfeld auf LÖSCHEN.

Cloud Storage-Ziel-Bucket löschen

1. Rufen Sie in der Google CloudConsole die Seite Browser für Cloud Storage auf.

   Zur Seite "Browser"

2. Klicken Sie das Kästchen links neben Ihrem Bucket an und dann auf LÖSCHEN.

3. Geben Sie im Dialogfeld DELETE in das Textfeld ein und klicken Sie dann auf LÖSCHEN.

Nächste Schritte

• Weitere Informationen zu Datastream