Auf dieser Seite wird die Architektur von Dual Run für den Batchvergleich und die zugehörigen Komponenten beschrieben.
Dual Run-Architektur – Übersicht
Dual Run wird in Ihrem eigenen privaten Google Cloud Projekt bereitgestellt und als eine Reihe von Mikrodiensten auf Google Kubernetes Engine (GKE) ausgeführt, wobei die Interaktion mit anderen Google Cloud Produkten erfolgt.
Das folgende Diagramm zeigt die Dual Run-Architektur für den Batchdatei-Vergleich, wie in den folgenden Abschnitten genauer beschrieben.
Dual Run-Architektur mit einem Dateivergleichsjob zwischen dem Mainframe und Google Cloud.
Komponenten der dualen Ausführung
Der Dual Run besteht aus den folgenden Komponenten:
- Dateivergleich
- Config Manager: Benutzeroberfläche und Dashboards
- Env Checker
Dateivergleich
Der Dateivergleich ist eine Dual Run-Komponente, mit der Sie die erwarteten und tatsächlichen Dateiausgaben Ihres Dual Run-Setups vergleichen können. Beim Vergleich können Sie die Toleranz festlegen, um die Ergebnisse als gleichwertig zu kennzeichnen.
Für den Dateivergleich wird Dataproc verwendet, ein vollständig verwalteter Apache Spark-Cluster, der auf Google Cloudausgeführt wird. Dataproc kann auf zwei Arten konfiguriert werden, je nach Größe der Daten, die Sie vergleichen möchten, und je nach Ihren Infrastrukturanforderungen:
- Eine verwaltete serverlose Spark-basierte Umgebung, die auf Google CloudDataproc ausgeführt wird und als Teil der Dual Run-Bereitstellung erstellt wird. Es wird eine feste Konfiguration verwendet, mit der Sie Dateien mit einer Größe von bis zu mehreren Gigabyte vergleichen können.
- Ein Spark-Cluster in Dataproc, das Sie nach dem Dual Run-Deployment erstellen und konfigurieren. Das ist in folgenden Fällen nützlich:
- Sie möchten spezielle VMs oder Laufwerkskonfigurationen verwenden.
- Sie müssen Dateien vergleichen, die mehrere Gigabyte groß sind.
- Sie möchten mehrere Vergleichsjobs gleichzeitig ausführen.
Config Manager
Config Manager ist das Dual Run-Frontend. Mit dieser Komponente können Sie den Nutzerzugriff und die Berechtigungen mithilfe von Google Cloud Identity and Access Management konfigurieren.
Config Manager bietet auch die Dashboard-Umgebung, in der Sie die Ergebnisse der Dateivergleichs-Jobs einsehen können. Im Dashboard können Sie eine Zusammenfassung der Vergleichsergebnisse auf Grundlage der angewendeten Filter aufrufen und die Details der Ergebnisse für jeden einzelnen Datensatz ansehen. Außerdem können Sie benutzerdefinierte Berichte und Abfragen erstellen.
Env Checker
Env Checker ist die Dual Run-Komponente, die prüft, ob die Installation und Bereitstellung von Dual Run erfolgreich abgeschlossen wurden. Es wird geprüft, ob alle erforderlichen Dual Run-Komponenten richtig konfiguriert sind und ausgeführt werden. Andernfalls werden Fehler oder Falschkonfigurationen gemeldet.
Google Cloud dependencies
Dual Run basiert intern auf mehreren Google Cloud -Diensten. Sie werden während der Dual Run-Bereitstellung automatisch aktiviert und konfiguriert. Sie müssen sie nicht manuell konfigurieren.
- Google Kubernetes Engine (GKE): Dual Run verwendet GKE, um seine Mikrodienste in Pods auszuführen.
- Cloud Storage: Bei Dual Run werden Storage-Buckets zum Speichern der Konfigurationsdateien der Umgebung und der Artefakte verwendet, die Sie vergleichen möchten.
- BigQuery: Bei Dual Run werden die Ergebnisse der Dateivergleichsausgaben in BigQuery gespeichert.
- Pub/Sub: Dual Run verwendet Pub/Sub als internes Nachrichtensystem, um Konfigurationsänderungen zwischen den verschiedenen Pods zu übergeben.
- Dataproc: Bei Dual Run wird Dataproc verwendet, um einen serverlosen Spark-Cluster zu erstellen, mit dem Sie den Dateivergleich ausführen können.
- Workflows und Cloud Functions: Dual Run verwendet Workflows, um die Cloud Functions zu verwalten, die die Dateivergleichsjobs ausführen.
- Identity Platform: Dual Run nutzt Identity Platform als Authentifizierungsdienst, der Funktionen zur Identitäts- und Zugriffsverwaltung bietet. Mit Identity Platform können Sie Google- oder SAML-Identitätsanbieter verwenden, um Nutzer zu authentifizieren und Rollen zu autorisieren.
- Cloud SQL: Mit Dual Run wird eine Instanz einer Cloud SQL-Datenbank erstellt, um die Kompatibilität mit zukünftigen Updates zu gewährleisten.
Nächste Schritte
Weitere Informationen zum Dateivergleich in Dual Run, der für den Vergleich der vom Mainframe und von der modernen Google Cloud Anwendung generierten Daten verantwortlich ist.