ファイル比較の概要

このページでは、バッチワークロードの出力を比較できるように設計された Dual Run ファイル比較について説明します。この機能を使用すると、メインフレームと で実行されるバッチジョブが、同じ入力に対して同一の出力を生成することを保証できます。 Google Cloud

ファイル比較の仕組み

Dual Run のファイル比較機能を使用すると、比較設定を構成し、プロセスを開始するトリガーを設定して、結果を確認することで、ファイルを分析できます。

ファイル比較の仕組みについては、次のセクションをご覧ください。

バッチ比較図

メインフレームからのファイル転送

ファイル比較を実行する前に、まずメインフレームから の Cloud Storage バケットにファイルを転送する必要があります Google Cloud。

メインフレームからファイルを転送する方法は 2 つあります。

どちらの場合でも、Dual Run は EBCDIC 形式を読み取ることができ、追加の変換を行わずに UNLOAD 出力をサポートします。

比較構成

Dual Run では、メインフレーム ファイルとモダナイズされたファイルを比較する方法を柔軟に選択できます。ファイルごとに、比較するフィールドとその想定される形式を指定します。

Dual Run のファイル比較では、データ難読化、許容値設定、フィールドのマージ、カスタムラベル、フィルタリングなど、高度な構成可能なオプションをサポートしており、正確で柔軟なファイル分析が可能です。

  • ファイル比較を実行するときに、特定のフィールドを難読化する 。 これは、レポートやダッシュボードに明確なコンテンツとして表示すべきでないセンシティブ データを非表示にする場合に便利です。
  • 特定のフィールドの数値の比較時に許容値を設定する 。これは、異なるシステムから取得した浮動小数点数を比較する場合に便利です。
  • 特定のフィールドのタイムスタンプ値の比較時に許容値を設定する 。これは、異なるシステムから取得したタイムスタンプを比較する場合に便利です。
  • 複数のフィールドを結合文字列（省略可）で結合し、 比較時に 1 つのフィールドとして扱います。
  • カスタムラベルを構成して、比較ジョブを分類する 。ラベルは Key-Value ペアで、比較ジョブにタグを付けたり、機能やビジネス目標ごとに区別したりするために使用できます。
  • 特定のフィールドの先頭と末尾の空白を無視する 。
  • 文字列の大文字と小文字を区別しない 。
  • フィルタを適用して、比較中にレコードを無視する。 複数のフィルタを同時に適用できます。

構成の自動生成

Dual Run には、ファイル比較の構成に役立つ自動化ツールが用意されています。これらのツールは、メインフレームのコピーブック、または指定したサンプル JSON ファイルと CSV ファイルに基づいて、必要な構成ファイルを作成します。

比較結果

2 つのファイルを比較すると、Dual Run は次の 3 つの結果を返します。

  • 完全一致: レコードが両方のファイルに存在し、フィールドの内容が指定した制約内で一致します。
  • 部分一致: レコードは両方のファイルに存在しますが、一部のフィールドが一致しません。結果の出力で違いを確認できます。
  • レコードが見つからない: レコードは実際のファイルまたは想定されるファイルにのみ存在します。

比較したファイルが一致しない場合は、Dual Run を構成して、不一致のレコードだけでなく、ファイル内のすべての比較レコードを表示し、トラブルシューティングを容易にすることができます。

Dual Run には、データが一時的に欠落している可能性がある状況に対応するための遅延比較 という機能があります。これは、毎日のデータベース スナップショットで実行される反復比較に特に便利です。あるイテレーションでフィールドが存在しないが、次のイテレーションで表示される場合、Dual Run はそのフィールドを保存して後で比較し、データの不一致が発生しないようにします。これにより、特に動的データセットの場合に、より堅牢で正確な比較プロセスが実現します。

サポートされているファイル

Dual Run は、比較用に次のファイルをサポートしています。

  • z/OS 固定ブロック順次ファイル
  • JSON 配列ファイル
  • JSON Lines（JSONL）ファイル
  • CSV ファイル

サポートされている z/OS データ型

Dual Run は、EBCDIC と ASCII の両方で、次の z/OS データ型をサポートしています。

  • COMP1
  • COMP2
  • PACKED_DECIMAL
  • COMP4
  • COMP5
  • ZONED_DECIMAL
  • ALPHANUMERIC

サポートされている JSON ファイル

Dual Run は次の JSON 形式をサポートしています。

  • JSONL: このファイルでは、各行に 1 つの JSON オブジェクトが含まれています。オブジェクト内に改行はありません。
  • JSON 配列: このファイルでは、次の 2 種類のファイルがサポートされています。
    • 配列全体と要素が 1 行にある JSON 配列。このファイルには改行はありません。
    • 配列内の要素を改行で区切った JSON 配列。各 JSON オブジェクトに改行を含めることもできます。

サポートされている CSV ファイル

Dual Run は、 RFC 4180 標準に準拠した CSV ファイルをサポートしています。 区切り文字、ヘッダー、エスケープ文字、複数行など、Dual Run がファイルを解析する方法を構成できます。

次のステップ

オンライン比較について学習する。