스트리밍 파이프라인에서 느린 단계 또는 변환은 처리량을 제한하고 백로그 전파를 일으켜 전체 작업 지연 시간을 늘릴 수 있습니다. Dataflow 병목 현상 감지기는 Google Cloud 콘솔에서 백로그를 일으키는 특정 단계를 자동으로 식별하고 강조 표시하므로 시행착오 디버깅 없이 실행 지연을 빠르게 진단하고 해결할 수 있습니다.
Dataflow가 병목 현상을 식별하고 백로그를 전파하는 방법에 대한 개념적 개요는 Dataflow 병목 현상 감지기 정보를 참조하세요.
시작하기 전에
문제 해결을 위해 병목 현상 감지기를 사용하기 전에 작업 및 프로젝트가 다음 요구사항을 충족하는지 확인하세요.
- 실행 중인 스트리밍 Dataflow 작업이 있습니다.
- 작업이 Streaming Engine 을 사용하여 실행됩니다. Streaming Engine에서 실행되지 않는 작업에는 병목 현상 감지가 지원되지 않습니다.
- Dataflow 작업을 보는 데 필요한 Identity and Access Management (IAM) 권한이 있습니다. 자세한 내용은 Dataflow IAM 역할을 참조하세요.
Google Cloud 콘솔에서 활성 병목 현상 보기
Dataflow 모니터링 인터페이스에서 직접 활성 병목 현상 알림 및 경고를 볼 수 있습니다.
Google Cloud 콘솔에서 Dataflow 페이지로 이동합니다.
작업 목록에서 스트리밍 작업을 선택하여 작업 세부정보 페이지를 엽니다.
작업 그래프 탭에서 실행 그래프를 검토합니다.
- 활성 병목 현상이 발생하는 단계에는 색상이 지정된 경고 또는 알림 아이콘이 표시됩니다.
- 알림은 이 단계에서 5분 넘게 처리 지연이 발생했음을 나타냅니다.
경고 아이콘이 표시되는 단계를 클릭합니다.
화면 오른쪽에 있는 단계 정보 패널에서 병목 현상 섹션을 찾습니다. 이 섹션에는 다음이 표시됩니다.
- 병목 현상의 종류입니다. 예를 들어 뒤처짐, 백로그가 일정함 또는 멈춤 등이 있습니다.
- 진단 엔진에서 식별한 경우 예상 원인입니다.
- 기간 및 관련 진단 세부정보입니다.
병목 현상 원인 해결
병목 현상을 해결하려면 단계 정보 패널에서 예상 원인을 식별하고 병목 현상 문제 해결의 원인에 대한 단계별 안내를 따르세요.
Monitoring으로 병목 현상 모니터링
프로그래매틱 알림을 설정하거나 시간 경과에 따른 병목 현상 활동을 보려면 Monitoring을 사용하세요. 병목 현상 감지기는 다음 측정항목을 내보냅니다.
dataflow.googleapis.com/job/is_bottleneck: 단계가 활성 병목 현상인지 여부를 나타내는 불리언 값과 병목 현상의 종류 및 예상 원인을 지정하는 라벨이 포함됩니다.dataflow.googleapis.com/job/backlogged_keys: 병목 현상이 발생한 단계에서 백업된 키의 수입니다.dataflow.googleapis.com/job/recommended_parallelism: 영향을 받는 단계에서 병목 현상을 완화하기 위해 권장되는 병렬 처리 값입니다.
이러한 측정항목을 사용하여 차트와 알림을 만드는 방법은 Dataflow에 Monitoring 사용을 참조하세요.
다음 단계
- Dataflow 병목 현상 감지기 개념에 대해 자세히 알아보세요.
- Dataflow 파이프라인 문제 해결 및 디버깅에 대한 일반 가이드를 따르세요.