Dataflow ストリーミング パイプラインでは、遅延レコードや順序が不適切なレコードによって、パイプラインのウォーターマークが停止することがあります。これらのタイプのレコードは、オフライン デバイスからのイベントやクロック スキューのあるクライアントなど、時間の不一致が発生するインスタンスから生成されます。ウォーターマークが停滞すると、時間どおりの時間枠処理の結果とイベント時間タイマーが遅延し、遅延したデータが最終的にクリアされたときにワーカーの使用率が急増する可能性があります。
Streaming Engine ジョブでウォーターマークの積極的な進捗を有効にすると、遅延レコードがパイプラインを妨げないようにできます。この機能を有効にすると、Dataflow は遅延レコードの処理を継続しますが、これらのレコードはウォーターマークを停止しないため、ウィンドウとタイマーをスケジュールどおりに実行できます。
積極的なウォーターマークの進捗を有効にすると、次のことを達成できます。
- 予測可能なレイテンシ: 遅延レコードの処理が完了するのを待たずに、ウィンドウ集計を時間どおりに出力し、スケジュールどおりにイベント時間タイマーを実行します。
- ワーカー使用率の平滑化: オンタイム データがウォーターマークを進めるにつれて、ウィンドウを閉じ、タイマーを安定して実行します。これにより、バックログされたウィンドウが一度に閉じることによるワーカー使用率の急増を回避します。
概要
ストリーミング パイプラインでは、ウォーターマークは、Dataflow がこの時点までのデータが処理されたことを追跡したことを示すしきい値です。ウィンドウ集計はオンタイムの結果を出力し、イベント時間タイマーは、ウォーターマークがウィンドウの終了またはタイマーのタイムスタンプを通過した後にのみ実行されます。
デフォルトでは、ウォーターマークは未処理の最小イベント タイムスタンプに基づいており、後戻りすることはありません。イベント タイムスタンプが現在のウォーターマークより遅れているレコードが到着すると、そのレコードの処理が完了するまでウォーターマークは停止します。ダウンストリームのウォーターマークはアップストリームのウォーターマークを超えて進むことができないため、アップストリームのウォーターマークが停止すると、それ以降のすべてのステージが停止します。遅延レコードがパイプラインを移動すると、そのステージでレコードの処理が完了するまで、各ステージのウォーターマークは停止したままになります。パイプラインが正常な場合でも、このカスケードにより、すべてのダウンストリーム ステージでオンタイム データのウィンドウ処理結果とイベント時間タイマーが遅延します。遅延したレコードが最終的にクリアされると、ウォーターマークが急速に前進し、ウィンドウのクローズが急増してワーカーの使用率が急上昇することがよくあります。
積極的なウォーターマークの進行では、遅延レコードをウォーターマークの進行から切り離すことで、Streaming Engine ジョブのこの動作を変更します。現在のウォーターマークより前のイベント タイムスタンプを持つレコードが到着すると、Dataflow はステージのウォーターマークを保持せずにレコードを処理します。ウォーターマークはオンタイム データに基づいて進み、遅延レコードはパイプラインの許容される遅延構成に従って処理され、出力されます。
積極的なウォーターマークの進展を使用するタイミング
ウォーターマークの積極的な進捗は、現在のウォーターマークより後に到着したレコードによってウォーターマークの進捗が停止する次のシナリオで効果的です。
- 遅延データのバースト: モバイル デバイス、IoT センサー、ネットワーク機器が数時間または数日間オフラインになり、イベントをローカルにバッファリングし、再接続時に過去のデータをバースト出力するシナリオ。
- Pub/Sub での順序が不適切なイベント時間: ソース ウォーターマークよりも古いイベント タイムスタンプでメッセージが到着する Pub/Sub トピック、またはアイドル状態のサブスクリプションのウォーターマークがメッセージ間の実時間に進行する、まばらに配置されたトピック。
- Kafka パーティションの復元: イベント時間または
CreateTimeで構成された Kafka ソース。パーティションがアイドル状態のときにパーティションのウォーターマークが進み、パーティションが古いレコードのバックログを受け取ります。 - カスタムの過去のタイムスタンプ: ユーザー変換。
outputWithTimestampを使用して、過去のタイムスタンプを持つレコードを出力します。
ウィンドウ集計を使用した遅延データ
ウォーターマークの積極的な進行がない場合、停止したウォーターマークはウィンドウを開いたままにします。ウォーターマークが十分に長い時間停止したままになると、後で到着する遅延レコードが時間どおりにカウントされるため、遅延データに対して意図しない保護が提供されます。ウォーターマークを積極的に進めることで、遅延レコードがウォーターマークを停止させることがなくなり、より多くのレコードが遅延として正しく分類されます。許容される遅延内の遅延レコードは遅延ペインに出力され、それ以降の遅延レコードはウィンドウの結果から除外されます。
ウォーターマークの積極的な進捗が適用されない場合
ウォーターマークの積極的な進展では、オンタイム データの処理が遅いことが原因で発生するウォーターマークのラグは解決されません。コンピューティング負荷の高いオペレーション、低速な外部 RPC、ワーカーの CPU とメモリのボトルネックが原因で、変換でオンタイム レコードの処理に時間がかかる場合、ウォーターマークはそれらの低速な要素によって保留されます。積極的なウォーターマークの進捗は、すでにウォーターマークより遅れているデータのみを分離します。低速なオンタイム処理を高速化することはありません。
サポートと制限事項
Streaming Engine(Java、Python、Go)で実行されるすべての Apache Beam SDK バージョンは、ウォーターマークの積極的な進捗をサポートしています。SDK のアップグレードは必要ありません。
ウォーターマークの積極的な進展には、次の要件と制限事項があります。
- Streaming Engine が必要: パイプラインで Streaming Engine を使用する必要があります。
- ストリーミング ジョブのみ: ウォーターマークの積極的な進捗は、ストリーミング パイプラインでのみ有効にできます。
- 許容遅延: ウィンドウ集計またはステートフル処理で遅延レコードを処理するには、積極的なウォーターマークの進捗を有効にする前に、予想される遅延をカバーするように許容遅延を設定します。許容される遅延よりも遅いレコードは破棄されます。詳細については、遅延データをご覧ください。
- 有界ソース: ストリーミング ジョブのすべてのソースが有界の場合、入力が終了してもジョブは自動的に終了しません。ジョブを停止するには、ジョブをドレインします。
- 新規ジョブまたは置換ジョブのみ: 実行中のジョブで積極的なウォーターマークの進行を変更することはできません。既存のパイプラインでこの機能を有効または無効にするには、パイプラインの更新オプションを使用して置換ジョブをデプロイする必要があります。
始める前に
積極的なウォーターマークの進展を有効にする前に、次の操作を行います。
- 予想される遅延をカバーするように許容遅延を構成します。
- パイプラインのトリガー、累積モード、
PaneInfoの処理が、遅延ペインで機能することを確認します。
ウォーターマークの積極的な進展を有効にした後、 Google Cloud コンソールの [ジョブ情報] パネルの [カスタム カウンタ] で droppedDueToLateness カウンタをモニタリングして、破棄された遅延データがユースケースで許容可能なレートに維持されていることを確認します。
ウォーターマークの積極的な進展を有効にする
ウォーターマークの積極的な進展を有効にするには、パイプラインの起動時に enable_eager_watermark_advancement サービス オプションを設定します。
Java
--dataflowServiceOptions=enable_eager_watermark_advancement
Python
--dataflow_service_options=enable_eager_watermark_advancement
Go
--dataflow_service_options=enable_eager_watermark_advancement
gcloud
gcloud dataflow jobs run コマンドを使用してテンプレートを実行する場合、または gcloud dataflow flex-template run コマンドを使用して Flex テンプレートを実行する場合は、--enable-streaming-engine フラグと --additional-experiments フラグを指定します。
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_LOCATION \
--region=REGION \
--enable-streaming-engine \
--additional-experiments=enable_eager_watermark_advancement
次の値を置き換えます。
JOB_NAME: Dataflow ジョブの名前TEMPLATE_LOCATION: Flex テンプレート仕様ファイルの Cloud Storage パスREGION: ジョブが実行されるリージョン
Terraform
google_dataflow_flex_template_job リソースまたは google_dataflow_job リソースに additional_experiments を設定します。
resource "google_dataflow_flex_template_job" "pipeline" {
# ...
enable_streaming_engine = true
additional_experiments = ["enable_eager_watermark_advancement"]
}
REST
Flex テンプレートを起動するときに、RuntimeEnvironment オブジェクトまたは FlexTemplateRuntimeEnvironment オブジェクトの additionalExperiments フィールドを使用します。
{
"additionalExperiments": ["enable_eager_watermark_advancement"]
}
コンソール
Google Cloud コンソールで、Dataflow の [ジョブ] ページに移動します。
[テンプレートからジョブを作成] をクリックします。
[Dataflow テンプレート] メニューからテンプレートを選択します。
[オプション パラメータ] を開きます。
[Additional experiments] フィールドに「
enable_eager_watermark_advancement」と入力します。[ジョブを実行] をクリックします。
eager ウォーターマーク アドバンスが有効になっていることを確認する
eager ウォーターマーク アドバンスメントを有効にしてジョブが開始または更新されると、ジョブログに次のメッセージが記録されます。
Eager watermark advancement is enabled for this job.
更新によってウォーターマークの積極的な進捗がオンまたはオフになると、ジョブログに次のようなメッセージが記録されます。
Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true
[ジョブ情報] パネルの [パイプライン オプション] セクションを確認することもできます。enable_eager_watermark_advancement オプションは、dataflowServiceOptions 行に表示されます。テストとして設定した場合は、experiments 行に表示されます。
ウォーターマークの積極的な進展を無効にする
アクティブに実行されているジョブで、積極的なウォーターマークの進捗を無効にすることはできません。既存のパイプラインでこの機能を無効にするには、--update パイプライン オプションを使用して置換ジョブを起動し、置換オプションから enable_eager_watermark_advancement を省略します。詳細については、ストリーミング パイプラインを更新するをご覧ください。ウォーターマークが後退することはないため、置換ジョブのウォーターマークは前のジョブのウォーターマークから継続し、デフォルトの進行動作を再開します。
積極的なウォーターマークの進行状況をモニタリングする
積極的なウォーターマークの進捗が有効になっているジョブの場合、Dataflow は次のステージごとの指標を Cloud Monitoring に報告します。これらの指標を標準の dataflow.googleapis.com/job/per_stage_data_watermark_age(データの更新速度)指標とともに使用して、遅延データとウォーターマークのレイテンシを評価します。
dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: 積極的なウォーターマークの進行が無効になっている場合の、ステージのデータ ウォーターマークの経過時間。この指標とper_stage_data_watermark_ageの差は、積極的なウォーターマークの進行によって削除されるウォーターマークのレイテンシです。dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: ステージまたはその上流にある最も古い保留中の要素の経過時間(遅延レコードを含む)。ウィンドウ集計を使用するパイプラインの場合、この指標とper_stage_data_watermark_ageの差は、最も古い遅延レコードがウォーターマークからどれだけ遅れているかを示します。この差が許容される遅延に近づくと、遅延レコードが破棄されるリスクがあります。遅延レコードがドロップされたかどうかを確認するには、Google Cloud コンソールの [カスタム カウンタ] でdroppedDueToLatenessカウンタを確認します(始める前にをご覧ください)。
どちらの指標も秒単位で報告され、stage ラベルが含まれます。詳細については、Monitoring を使用するをご覧ください。
次のステップ
- ウォーターマークと遅延データの詳細を確認する。
- ストリーミング パイプラインを更新する方法を学習する。
- ストリーミング ジョブの処理速度が遅い場合や停止している場合のトラブルシューティング。