이 섹션에서는 워크플로를 예약하는 데 사용할 수 있는 Google Cloud 옵션을 설명합니다.
Dataproc 워크플로 템플릿
Dataproc 워크플로 템플릿은 워크플로 관리와 실행을 위한 간편하고 유연한 메커니즘을 제공합니다. 워크플로 템플릿은 재사용 가능한 워크플로 구성입니다. 해당 작업을 실행할 위치에 대한 정보로 작업 그래프를 정의합니다.
Cloud Scheduler
Cloud Scheduler는 엔터프라이즈 수준의 완전 관리형 크론 작업 스케줄러로서 일괄, 빅데이터 작업, 클라우드 인프라 작업을 포함한 사실상 모든 작업을 예약할 수 있습니다. 코드를 작성할 필요 없이 매일 또는 매시간 등 간단한 시간 기반 일정을 제공합니다.
장점:
익숙한 크론 표현식을 기반으로 워크플로 템플릿의 시간 기반 인스턴스화 사용 설정
작성할 코드 없음
튜토리얼: Cloud Scheduler를 사용한 워크플로
Cloud Functions
Cloud Run Functions는 경량형 컴퓨팅 솔루션으로, 개발자가 서버 또는 런타임 환경을 관리할 필요 없이 Cloud 이벤트에 응답하는 단일 목적의 독립형 함수를 만들기 위해 사용할 수 있습니다. Cloud Run Functions를 사용하여 Cloud Storage의 Pub/Sub 이벤트 또는 파일 변경사항에 대한 응답으로 워크플로를 시작할 수 있습니다. 시간 기반 파라미터 계산이 필요한 워크플로에 Cloud Scheduler와 함께 Cloud Run Functions를 사용할 수 있습니다.
장점:
Cloud Storage 또는 Pub/Sub 이벤트의 새 파일과 같은 데이터 이벤트에 대한 응답으로 워크플로 인스턴스화 사용 설정
워크플로 및 워크플로 파라미터를 동적으로 생성
튜토리얼: Cloud Run Functions를 사용한 워크플로
Cloud Composer
Cloud Composer는 워크플로를 생성, 예약, 모니터링, 관리하는 데 사용할 수 있는 관리형 Apache Airflow 서비스입니다.
장점:
시간 및 이벤트 기반 예약 지원
연산자를 사용한 Dataproc에 대한 간단한 호출
워크플로 및 워크플로 파라미터를 동적으로 생성
여러 Google Cloud 제품을 포괄하는 데이터 흐름 빌드
튜토리얼: Cloud Composer를 사용한 워크플로