バッチ アーキテクチャ

このページでは、バッチ比較用のデュアル実行のアーキテクチャとそのコンポーネントについて説明します。

Dual Run アーキテクチャの概要

デュアル実行は独自のプライベート Google Cloud プロジェクトにデプロイされ、Google Kubernetes Engine（GKE）上で一連のマイクロサービスとして実行され、他の Google Cloud プロダクトとやり取りします。

次の図は、バッチファイルの比較のデュアル実行アーキテクチャを示しています。詳細については、次のセクションをご覧ください。

バッチ比較ジョブのデュアル実行アーキテクチャ

メインフレームと Google Cloudの間でファイル比較ジョブを実行する Dual Run アーキテクチャ。

Dual Run コンポーネント

Dual Run には次のコンポーネントがあります。

  • ファイルの比較
  • Config Manager: ユーザー インターフェースとダッシュボード
  • Env Checker

ファイルの比較

ファイル比較は、デュアル実行の設定で想定されるファイル出力と実際のファイル出力を比較できるデュアル実行コンポーネントです。比較を行う際に、結果を同等とマークする許容レベルを設定できます。

ファイル比較では、 Google Cloudで実行されるフルマネージド Apache Spark クラスタである Dataproc を使用して比較を行います。Dataproc は、比較するデータのサイズとインフラストラクチャの要件に応じて、次の 2 つの方法で構成できます。

  • Dual Run デプロイの一部として作成される、 Google CloudDataproc で実行されるマネージド サーバーレス Spark ベースの環境。固定構成を使用しているため、数 GB までのファイルを比較できます。
  • デュアル実行のデプロイ後に作成して構成する Dataproc 上の Spark クラスタ。これは次のような場合に役立ちます。
    • 特別な VM またはディスク構成を使用する予定がある。
    • 数 GB を超えるファイルを比較する必要がある。
    • 複数の比較ジョブを同時に実行する。

Config Manager

Config Manager は Dual Run のフロントエンドです。このコンポーネントを使用すると、 Google Cloud Identity and Access Management を使用してユーザーのアクセスと権限を構成できます。

Config Manager には、ファイル比較ジョブの結果を確認できるダッシュボード環境も用意されています。ダッシュボードでは、適用したフィルタに基づいて比較結果の概要を表示し、個々のレコードの結果の詳細を確認できます。また、カスタマイズされたレポートやクエリを作成することもできます。

Env Checker

Env Checker は、デュアル実行のインストールとデプロイが正常に完了したことを検証するデュアル実行コンポーネントです。必要な Dual Run コンポーネントがすべて正しく構成され、実行されていることを確認し、それ以外の場合はエラーまたは構成ミスを報告します。

Google Cloud の依存関係

Dual Run は、内部で複数の Google Cloud サービスに依存しています。これらは、Dual Run のデプロイ時に自動的に有効になり、構成されるため、手動で構成する必要はありません。

  • Google Kubernetes Engine（GKE）: Dual Run は GKE を使用して、Pod でマイクロサービスを実行します。
  • Cloud Storage: デュアル実行では、Storage バケットを使用して、環境の構成ファイルと比較するアーティファクトを保存します。
  • BigQuery: デュアル実行では、BigQuery を使用してファイル比較の出力結果を保存します。
  • Pub/Sub: デュアル実行では、Pub/Sub を内部メッセージング システムとして使用して、異なる Pod 間で構成の変更を渡します。
  • Dataproc: デュアル実行では、Dataproc を使用して、ファイル比較の実行に使用できるサーバーレス Spark クラスタを作成します。
  • Workflows と Cloud Functions: Dual Run は Workflows を使用して、ファイル比較ジョブを実行する Cloud Functions を管理します。
  • Identity Platform: Dual Run は、認証サービスとして Identity Platform を使用します。これにより、ID とアクセス管理機能が提供されます。Identity Platform を使用すると、Google または SAML ID プロバイダを使用してユーザーを認証し、ロールを認可できます。
  • Cloud SQL: Dual Run は、将来のアップデートとの互換性を確保するために、Cloud SQL データベースのインスタンスを作成します。

次のステップ

メインフレームと最新の Google Cloud アプリケーションで生成されたデータを比較するコンポーネントである Dual Run ファイル比較の詳細を確認する。