적극적인 워터마크 전진 사용

Dataflow 스트리밍 파이프라인에서 지연되거나 순서가 잘못된 레코드는 파이프라인의 워터마크를 지연시킬 수 있습니다. 이러한 유형의 레코드는 오프라인 기기의 이벤트 또는 클럭 스큐가 있는 클라이언트와 같이 시간 불일치가 발생하는 인스턴스에서 발생합니다. 워터마크가 지연되면 정시 윈도우 결과와 이벤트 시간 타이머가 지연되고, 지연된 데이터가 마침내 지워질 때 작업자 사용률이 갑자기 급증할 수 있습니다.

Streaming Engine 작업에 대해 적극적인 워터마크 진행을 사용 설정하면 지연된 레코드가 파이프라인을 지연시키지 않도록 방지할 수 있습니다. 이 기능을 사용 설정하면 Dataflow는 지연된 레코드를 계속 처리하지만 이러한 레코드는 워터마크를 지연시키지 않으므로 기간과 타이머가 예약된 대로 실행될 수 있습니다.

적극적인 워터마크 진행을 사용 설정하면 다음을 달성할 수 있습니다.

  • 예측 가능한 지연 시간: 지연된 레코드의 처리가 완료될 때까지 기다리지 않고 제시간에 윈도우 집계를 출력하고 일정에 따라 이벤트 시간 타이머를 실행합니다.
  • 더 원활한 작업자 사용률: 정시 데이터가 워터마크를 진행함에 따라 윈도우를 닫고 타이머를 꾸준히 실행하여 백로그된 윈도우가 한 번에 모두 닫히는 것으로 인한 작업자 사용률 급증을 방지합니다.

개요

스트리밍 파이프라인에서 워터마크는 Dataflow가 이 시점까지의 데이터가 처리되었음을 추적했음을 나타내는 기준점입니다. 윈도우 집계는 정시 결과를 출력하고 이벤트 시간 타이머는 워터마크가 윈도우의 끝 또는 타이머 타임스탬프를 통과한 후에만 실행됩니다.

기본적으로 워터마크는 처리되지 않은 최소 이벤트 타임스탬프를 기반으로 하며 뒤로 이동하지 않습니다. 현재 워터마크보다 이전의 이벤트 타임스탬프가 있는 레코드가 도착하면 해당 레코드의 처리가 완료될 때까지 워터마크가 중단됩니다. 다운스트림 워터마크는 업스트림 워터마크를 지나 진행할 수 없으므로 중단된 업스트림 워터마크는 그 이후의 모든 단계를 중단시킵니다. 지연된 레코드가 파이프라인을 통해 이동할 때 각 단계의 워터마크는 해당 단계에서 레코드 처리가 완료될 때까지 정지된 상태로 유지됩니다. 파이프라인이 정상인 경우에도 이 연쇄 효과로 인해 모든 다운스트림 단계에서 정시 데이터의 기간이 지정된 결과와 이벤트 시간 타이머가 지연됩니다. 지연된 레코드가 마침내 지워지면 워터마크가 빠르게 앞으로 이동하여 작업자 사용률을 급증시키는 창 닫기 버스트를 트리거하는 경우가 많습니다.

적극적인 워터마크 진행은 지연된 레코드를 워터마크 진행에서 분리하여 Streaming Engine 작업의 이 동작을 변경합니다. 현재 워터마크보다 뒤에 있는 이벤트 타임스탬프가 있는 레코드가 도착하면 Dataflow는 스테이지의 워터마크를 보류하지 않고 레코드를 처리합니다. 워터마크는 정시 데이터를 기반으로 계속 진행되며, 지연된 레코드는 파이프라인의 허용된 지연 시간 구성에 따라 처리되고 출력됩니다.

적극적인 워터마크 진행을 사용해야 하는 경우

적극적인 워터마크 전진은 현재 워터마크 뒤에 도착하는 레코드로 인해 워터마크 진행이 지연되는 다음 시나리오에서 효과적입니다.

  • 지연된 데이터 버스트: 휴대기기, IoT 센서 또는 네트워크 장비가 몇 시간 또는 며칠 동안 오프라인 상태가 되고, 이벤트를 로컬에서 버퍼링하고, 다시 연결할 때 이전 데이터 버스트를 출력하는 시나리오입니다.
  • Pub/Sub의 순서가 잘못된 이벤트 시간: 소스 워터마크보다 오래된 이벤트 타임스탬프가 있는 메시지가 도착하는 Pub/Sub 주제 또는 유휴 구독의 워터마크가 메시지 간의 실제 시간으로 진행되는 드물게 채워진 주제입니다.
  • Kafka 파티션 복구: 이벤트 시간 또는 CreateTime로 구성된 Kafka 소스. 파티션이 유휴 상태인 동안 파티션의 워터마크가 진행되고 파티션이 이전 레코드의 백로그를 수신합니다.
  • 커스텀 과거 타임스탬프: outputWithTimestamp를 사용하여 이전 타임스탬프가 있는 레코드를 출력하는 사용자 변환입니다.

기간 집계가 있는 지연 데이터

적극적인 워터마크 진행이 없으면 정체된 워터마크로 인해 윈도우가 열린 상태로 유지됩니다. 워터마크가 충분히 오랫동안 정지된 상태로 유지되면 나중에 도착하는 지연된 레코드가 정시에 도착한 것으로 간주되어 지연 데이터에 대한 의도하지 않은 보호가 제공될 수 있습니다. 적극적인 워터마크 진행을 사용하면 지연 레코드가 더 이상 워터마크를 지연시키지 않으므로 더 많은 레코드가 지연으로 올바르게 분류됩니다. 허용된 지연 시간 내의 지연 레코드는 지연 창에 출력되고, 그 이후의 지연 레코드는 기간 결과에서 제외됩니다.

적극적인 워터마크 전진이 적용되지 않는 경우

적극적인 워터마크 진행은 정시 데이터의 느린 처리로 인한 워터마크 지연을 해결하지 않습니다. 컴퓨팅 집약적인 작업, 느린 외부 RPC 또는 작업자 CPU 및 메모리 병목 현상으로 인해 변환에서 정시 레코드를 처리하는 데 시간이 오래 걸리는 경우 워터마크는 이러한 느린 요소에 의해 보류됩니다. 적극적인 워터마크 진행은 이미 워터마크 뒤에 있는 데이터만 분리합니다. 느린 정시 처리를 가속화하지 않습니다.

지원 및 제한 사항

Streaming Engine(Java, Python, Go)에서 실행되는 모든 Apache Beam SDK 버전은 빠른 워터마크 진행을 지원합니다. SDK 업그레이드가 필요하지 않습니다.

적극적인 워터마크 진행에는 다음과 같은 요구사항 및 제한사항이 있습니다.

  • Streaming Engine 필요: 파이프라인은 Streaming Engine을 사용해야 합니다.
  • 스트리밍 작업만 해당: 스트리밍 파이프라인에 대해서만 빠른 워터마크 진행을 사용 설정할 수 있습니다.
  • 허용 지연 시간: 기간 집계 또는 스테이트풀(Stateful) 처리에서 지연 레코드를 처리하려면 빠른 워터마크 진행을 사용 설정하기 전에 예상 지연 시간을 포함하도록 허용 지연 시간을 설정합니다. 허용된 지연 시간보다 늦은 레코드는 삭제됩니다. 자세한 내용은 지연 데이터를 참조하세요.
  • 제한된 소스: 스트리밍 작업의 모든 소스가 제한된 경우 입력이 종료되어도 작업이 자체적으로 완료되지 않습니다. 작업을 중지하려면 드레이닝합니다.
  • 새 작업 또는 교체 작업만 해당: 활성 상태로 실행 중인 작업에서는 빠른 워터마크 진행을 변경할 수 없습니다. 기존 파이프라인에 이 기능을 사용 설정하거나 중지하려면 파이프라인 업데이트 옵션을 사용하여 교체 작업을 배포해야 합니다.

시작하기 전에

적극적인 워터마크 진행을 사용 설정하기 전에 다음을 수행합니다.

  1. 예상 지연을 포함하도록 허용된 지연 시간을 구성합니다.
  2. 파이프라인의 트리거, 누적 모드, PaneInfo 처리가 지연된 창에서 작동하는지 확인합니다.

적극적인 워터마크 진행을 사용 설정한 후 Google Cloud 콘솔의 작업 정보 패널에 있는 커스텀 카운터에서 droppedDueToLateness 카운터를 모니터링하여 삭제된 지연 데이터가 사용 사례에 허용되는 비율로 유지되는지 확인합니다.

적극적인 워터마크 전진 사용 설정

적극적인 워터마크 진행을 사용 설정하려면 파이프라인을 실행할 때 enable_eager_watermark_advancement 서비스 옵션을 설정합니다.

자바

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

Go

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

gcloud dataflow jobs run 명령어를 사용하여 템플릿을 실행하거나 gcloud dataflow flex-template run 명령어를 사용하여 Flex 템플릿을 실행할 때 --enable-streaming-engine 및 --additional-experiments 플래그를 포함합니다.

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

다음 값을 바꿉니다.

  • JOB_NAME: Dataflow 작업의 이름
  • TEMPLATE_LOCATION: Flex 템플릿 사양 파일의 Cloud Storage 경로
  • REGION: 작업이 실행되는 리전

Terraform

google_dataflow_flex_template_job 또는 google_dataflow_job 리소스에서 additional_experiments를 설정합니다.

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

Flex 템플릿을 실행할 때 RuntimeEnvironment 객체 또는 FlexTemplateRuntimeEnvironment 객체에서 additionalExperiments 필드를 사용합니다.

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

콘솔

  1. Google Cloud 콘솔에서 Dataflow 작업 페이지로 이동합니다.

    작업으로 이동

  2. 템플릿에서 작업 만들기를 클릭합니다.

  3. Dataflow 템플릿 메뉴에서 템플릿을 선택합니다.

  4. 선택적 매개변수를 펼칩니다.

  5. 추가 실험 필드에 enable_eager_watermark_advancement을 입력합니다.

  6. 작업 실행을 클릭합니다.

적극적인 워터마크 진행이 사용 설정되어 있는지 확인

작업이 시작되거나 빠른 워터마크 진행이 사용 설정된 상태로 업데이트되면 작업 로그에 다음 메시지가 포함됩니다.

Eager watermark advancement is enabled for this job.

업데이트로 빠른 워터마크 진행이 사용 설정되거나 중지되면 작업 로그에 다음과 같은 메시지가 포함됩니다.

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

작업 정보 패널의 파이프라인 옵션 섹션을 확인할 수도 있습니다. enable_eager_watermark_advancement 옵션은 dataflowServiceOptions 행에 표시되거나 실험으로 설정한 경우 experiments 행에 표시됩니다.

적극적인 워터마크 진행 사용 중지

활발하게 실행 중인 작업에서는 빠른 워터마크 진행을 사용 중지할 수 없습니다. 기존 파이프라인에 이 기능을 사용 중지하려면 --update 파이프라인 옵션을 사용하여 교체 작업을 실행하고 교체 옵션에서 enable_eager_watermark_advancement를 생략합니다. 자세한 내용은 스트리밍 파이프라인 업데이트를 참조하세요. 워터마크는 뒤로 이동하지 않으므로 교체 작업의 워터마크는 이전 작업의 워터마크에서 계속되고 기본 진행 동작을 재개합니다.

적극적인 워터마크 전진 모니터링

적극적인 워터마크 진행이 사용 설정된 작업의 경우 Dataflow는 다음 단계별 측정항목을 Cloud Monitoring에 보고합니다. 이러한 측정항목을 표준 dataflow.googleapis.com/job/per_stage_data_watermark_age(데이터 기록 빈도) 측정항목과 함께 사용하여 지연된 데이터 및 워터마크 지연 시간을 평가합니다.

  • dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: 적극적인 워터마크 진행이 사용 중지된 경우 단계의 데이터 워터마크 기간입니다. 이 측정항목과 per_stage_data_watermark_age의 차이는 빠른 워터마크 진행으로 삭제되는 워터마크 지연 시간입니다.
  • dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: 지연된 레코드를 포함하여 단계 또는 업스트림에서 가장 오래된 대기 중인 요소의 기간입니다. 기간 집계가 있는 파이프라인의 경우 이 측정항목과 per_stage_data_watermark_age의 차이는 가장 오래된 지연 레코드가 워터마크보다 얼마나 뒤처져 있는지를 대략적으로 나타냅니다. 이 차이가 허용된 지연 시간에 가까워지면 지연된 레코드가 삭제될 위험이 있습니다. 지연된 레코드가 삭제되었는지 확인하려면Google Cloud 콘솔의 커스텀 카운터에서 droppedDueToLateness 카운터를 확인합니다(시작하기 전에 참고).

두 측정항목 모두 초 단위로 보고되며 stage 라벨을 포함합니다. 자세한 내용은 Monitoring 사용을 참조하세요.

다음 단계