이 섹션에서는 워크플로를 예약하는 데 사용할 수 있는 Google Cloud 옵션을 설명합니다.
Dataproc 워크플로 템플릿
Managed Service for Apache Spark 워크플로 템플릿 은 워크플로 관리와 실행을 위한 간편하고 유연한 메커니즘을 제공합니다. 워크플로 템플릿은 재사용 가능한 워크플로 구성입니다. 해당 작업을 실행할 위치에 대한 정보로 작업 그래프를 정의합니다.
Cloud Scheduler
Cloud Scheduler는 엔터프라이즈 수준의 완전 관리형 크론 작업 스케줄러로서 일괄, 빅데이터 작업, 클라우드 인프라 작업을 포함한 사실상 모든 작업을 예약할 수 있습니다. 코드를 작성할 필요 없이 매일 또는 매시간 등 간단한 시간 기반 일정을 제공합니다.
장점:
익숙한 크론 표현식을 기반으로 워크플로 템플릿의 시간 기반 인스턴스화 사용 설정
작성할 코드 없음
튜토리얼: Cloud Scheduler를 사용한 워크플로
Cloud Functions
Cloud Run Functions는 경량형 컴퓨팅 솔루션으로, 개발자가 서버 또는 런타임 환경을 관리할 필요 없이 Cloud 이벤트에 응답하는 단일 목적의 독립형 함수를 만들기 위해 사용할 수 있습니다. Cloud Run Functions를 사용하여 Cloud Storage의 Pub/Sub 이벤트 또는 파일 변경사항에 대한 응답으로 워크플로를 시작할 수 있습니다. 시간 기반 파라미터 계산이 필요한 워크플로에 Cloud Scheduler와 함께 Cloud Run Functions를 사용할 수 있습니다.
장점:
Cloud Storage 또는 Pub/Sub 이벤트의 새 파일과 같은 데이터 이벤트에 대한 응답으로 워크플로 인스턴스화를 사용합니다.
Managed Service for Apache Spark Go, Node.js 또는 Python 클라이언트 라이브러리를 사용한 최소 코딩 필요
워크플로 및 워크플로 매개변수를 동적으로 생성
튜토리얼: Cloud Run Functions를 사용한 워크플로
Cloud Composer
Managed Airflow는 워크플로를 생성, 예약, 모니터링, 관리하는 데 사용할 수 있는 관리형 Apache Airflow 서비스입니다.
장점:
시간 및 이벤트 기반 예약 지원
연산자를 사용하여 Managed Service for Apache Spark에 대한 호출 간소화
워크플로 및 워크플로 매개변수를 동적으로 생성
여러 제품을 포괄하는 데이터 흐름 빌드 Google Cloud
튜토리얼: Managed Service for Apache Airflow를 사용한 워크플로