오케스트레이션 파이프라인으로 데이터 및 AI 파이프라인을 실행하고 리소스 프로비저닝

Managed Airflow (3세대) | Managed Airflow (2세대) | Managed Airflow (기존 1세대)

이 페이지에서는 오케스트레이션 파이프라인과 Managed Airflow 간의 관계를 설명합니다.

오케스트레이션 파이프라인 정보

오케스트레이션 파이프라인은 데이터 및 AI 파이프라인을 원활하게 관리하도록 최적화된 통합 선언적 오케스트레이션 및 자동 배포 프레임워크입니다 Google Cloud.

오케스트레이션 파이프라인을 사용하면 선언적 YAML 기반 도메인별 언어 (DSL)를 사용하여 파이프라인과 배포 구성을 정의할 수 있습니다. 이 프레임워크는 기본 인프라를 추상화하므로 오케스트레이션 파이프라인이 배포, 버전 관리, 오케스트레이션을 처리하는 동안 데이터 및 AI 워크플로의 로직에 집중할 수 있습니다.

오케스트레이션 파이프라인의 Managed Airflow 환경 정보

Managed Airflow는 배포된 후 파이프라인을 실행하는 오케스트레이션 엔진입니다. 파이프라인 정의의 일부로 Managed Airflow 환경을 할당합니다. 이 환경은 오케스트레이션 파이프라인에서 실행기 환경 이라고 합니다.

오케스트레이션 파이프라인의 이점은 다음과 같습니다.

  1. Airflow 전문가가 아닌 조직의 팀이 DAG를 작성하거나 Airflow를 구성하지 않고도 워크플로를 만들고 실행할 수 있습니다. 예를 들어 임시 Managed Service for Apache Spark 클러스터에서 노트북을 실행하고 DAG 코드를 작성하지 않고도 YAML에서 실행을 위한 모든 일정, 리소스, 구성 매개변수를 지정할 수 있습니다.

  2. 오케스트레이션 파이프라인의 모든 구성 및 배포는 YAML 및 gcloud CLI 명령어를 기반으로 합니다. 모든 Airflow DAG는 자동 생성되며 Airflow, Managed Airflow 환경 또는 환경 버킷과 상호작용할 필요가 없습니다. 애셋 파일이 있는 일반 Git 저장소에서 워크플로를 개발하고 배포할 수 있습니다.

  3. YAML 정의는 모든 버전의 Airflow에서 작동합니다. Airflow 버전 간의 변경사항 또는 설치된 패키지의 차이점에 맞게 코드를 조정할 필요가 없습니다. 예를 들어 Airflow 2에서 Airflow 3으로 이동하는 경우 파이프라인을 이전할 필요가 없습니다.

  4. 오케스트레이션 파이프라인은 Google Cloud Data Agent Kit 확장 프로그램과 통합되어 있으므로 에이전트 기반 작성 및 문제 해결을 사용할 수 있습니다. 에이전트를 사용하여 파이프라인을 작성하고, 배포를 간소화하고, 동일한 확장 프로그램을 통해 파이프라인 상태를 관찰할 수 있습니다.

오케스트레이션 파이프라인 작동 방식

오케스트레이션 파이프라인은 다음과 같은 다양한 작업 및 Google Cloud 서비스를 지원합니다.

  • Managed Service for Apache Spark에서 PySpark 스크립트 실행
  • Managed Service for Apache Spark에서 노트북 파일 실행
  • BigQuery 또는 Managed Service for Apache Spark에서 SQL 쿼리 실행
  • Dataform 또는 dbt 프레임워크에서 데이터 처리 파이프라인 실행
  • Python 스크립트 실행

오케스트레이션 파이프라인의 일반적인 워크플로는 다음과 같습니다.

  1. 서비스 중 하나를 사용하여 실행해야 하는 일련의 작업으로 파이프라인을 정의합니다. Google Cloud
  2. 파이프라인 작업의 리소스 구성을 정의합니다. 예를 들어 특정 구성이 있는 임시 Managed Service for Apache Spark 클러스터에서 특정 작업을 실행해야 한다고 지정할 수 있습니다.
  3. (선택사항) 프로비저닝된 리소스 메커니즘을 통해 아직 존재하지 않는 경우 자동으로 프로비저닝해야 하는 리소스를 정의합니다. 예를 들어 특정 구성의 정적 Managed Service for Apache Spark 클러스터를 만들어야 한다고 지정할 수 있습니다.
  4. 실행할 작업이 포함된 파이프라인 정의 파일을 Git 저장소에 추가합니다.
  5. 개별 파이프라인 작업의 애셋(예: 스크립트 또는 노트북 파일)을 Git 저장소에 추가합니다.

  6. gcloud CLI 명령어를 사용하여 파이프라인을 Managed Airflow 환경에 배포합니다. 오케스트레이션 파이프라인은 파이프라인을 실행하는 몇 개의 DAG 파일을 자동으로 만듭니다.

    독립형 Airflow DAG와 비교할 때 이러한 DAG는 자동으로 생성되며 어떤 방식으로든 관리할 필요가 없습니다. gcloud CLI 명령어를 사용하여 파이프라인 실행 상태를 확인하고 파이프라인을 관리할 수 있습니다.

  7. 환경은 일정에 따라 파이프라인을 실행합니다.

다음 단계