ファイル比較の概要

このページでは、バッチ ワークロードの出力を比較するのに役立つように設計されたデュアル実行ファイル比較について説明します。この機能を使用すると、メインフレームと Google Cloud で実行されているバッチジョブが、同じ入力に対して同じ出力を生成することを確認できます。

ファイル比較の仕組み

Dual Run のファイル比較機能を使用すると、まず比較設定を構成し、次にプロセスを開始するトリガーを設定して、最後に結果を確認することで、ファイルを分析できます。

ファイル比較の仕組みについては、以下のセクションをご覧ください。

バッチ比較図

メインフレームからのファイル転送

ファイル比較を実行する前に、まずメインフレームから Google Cloudの Cloud Storage バケットにファイルを転送する必要があります。

メインフレームからファイルを転送する方法は 2 つあります。

どちらの場合も、Dual Run は EBCDIC 形式を読み取ることができ、追加の変換を必要とせずに UNLOAD 出力をサポートします。

比較構成

Dual Run では、メインフレーム ファイルとモダナイズされたファイルを比較する方法を柔軟に選択できます。ファイルごとに、比較するフィールドとその想定される形式を指定します。

デュアル実行ファイル比較では、データ難読化、許容範囲の設定、フィールドの統合、カスタムラベル、フィルタリングなどの高度な構成可能なオプションがサポートされており、正確で柔軟なファイル分析が可能です。

  • ファイル比較の実行時に特定のフィールドを難読化する。これは、レポートやダッシュボードに明確に表示されるコンテンツとして表示すべきでない機密データを非表示にする場合に便利です。
  • 特定のフィールドの数値を比較する際に許容範囲を考慮する。これは、異なるシステムから取得した浮動小数点数を比較する場合に便利です。
  • 特定のフィールドのタイムスタンプ値を比較する際の許容範囲を許可します。これは、異なるシステムから取得したタイムスタンプを比較する場合に便利です。
  • 複数のフィールドを結合文字列（省略可）で結合し、比較時に 1 つのフィールドとして扱います。
  • カスタムラベルを構成して、比較ジョブを分類します。ラベルは、比較ジョブにタグ付けし、さまざまな機能目標やビジネス目標を区別するために使用できる Key-Value ペアです。
  • 特定のフィールドの先頭と末尾の空白文字を無視します。
  • 文字列の大文字と小文字を区別しない。
  • 比較中にレコードを無視するフィルタを適用する: 複数のフィルタを同時に適用できます。

自動構成生成

Dual Run には、ファイル比較の構成に役立つ自動化ツールが用意されています。これらのツールは、メインフレームのコピーブック、またはユーザーが提供する JSON ファイルと CSV ファイルのサンプルに基づいて、必要な構成ファイルを作成します。

比較結果

2 つのファイルを比較すると、デュアル実行は次の 3 つの結果を返します。

  • 完全一致: レコードが両方のファイルに存在し、フィールドの内容が指定された制約内で一致します。
  • 部分一致: レコードは両方のファイルに存在しますが、一部のフィールドが一致しません。結果の出力の違いを確認できます。
  • レコードの欠落: レコードが実際のファイルまたは予想ファイルにのみ存在します。

比較したファイル間に不一致がある場合は、不一致のレコードだけでなく、ファイル内の比較したすべてのレコードを表示するようにデュアル実行を構成して、トラブルシューティングを容易にすることができます。

デュアル実行には、データが一時的に欠落する可能性のある状況に対処するための遅延比較という機能があります。これは、毎日のデータベース スナップショットで実行されるような、反復比較に特に役立ちます。あるイテレーションでフィールドが存在せず、次のイテレーションで存在する場合は、Dual Run はそのフィールドを保存して後で比較し、データ不整合が発生しないようにします。これにより、特に動的データセットの場合に、より堅牢で正確な比較プロセスが実現します。

サポートされているファイル

デュアル ランでは、比較用に次のファイルがサポートされています。

  • z/OS 固定ブロック シーケンシャル ファイル
  • JSON 配列ファイル
  • JSON Lines（JSONL）ファイル
  • CSV ファイル

サポートされている z/OS データ型

Dual Run は、EBCDIC と ASCII の両方で次の z/OS データ型をサポートしています。

  • COMP1
  • COMP2
  • PACKED_DECIMAL
  • COMP4
  • COMP5
  • ZONED_DECIMAL
  • ALPHANUMERIC

サポートされている JSON ファイル

デュアル実行は、次の JSON 形式をサポートしています。

  • JSONL: このファイルでは、各行に 1 つの JSON オブジェクトが含まれています。オブジェクト内に改行はありません。
  • JSON 配列: このファイルでは、次の 2 種類のファイルがサポートされています。
    • 配列全体と要素が 1 行に収まっている JSON 配列。このファイルには改行がまったくありません。
    • 配列内の要素が改行で区切られた JSON 配列。各 JSON オブジェクトには改行を含めることもできます。

サポートされている CSV ファイル

デュアル実行は、RFC 4180 標準に準拠した CSV ファイルをサポートしています。区切り文字、ヘッダー、エスケープ文字、複数行など、Dual Run がファイルを解析する方法を構成できます。

次のステップ

デュアル ランをインストールして使い始める方法をご確認ください。