환경 확장 정보

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

이 페이지에서는 환경 확장의 작동 방식을 설명합니다.

확장 관련 다른 페이지:

환경 자동 확장

Cloud Composer 환경은 실행된 DAG 및 태스크의 요구에 따라 자동으로 확장됩니다.

  • 환경에 과부하가 발생하는 경우 Cloud Composer는 환경의 작업자 수를 자동으로 늘립니다.
  • 환경에서 일부 작업자를 사용하지 않는 경우 환경 리소스와 비용을 절약하기 위해 이러한 작업자가 삭제됩니다.
  • 환경의 최소 및 최대 작업자 수를 설정할 수 있습니다. Cloud Composer는 설정된 한도 내에서 환경을 자동으로 확장합니다. 이 한도는 언제든지 조정할 수 있습니다.

작업자 수는 배율 목표 측정항목을 기준으로 조정됩니다. 이 측정항목은 다음을 기준으로 계산됩니다.

  • 현재 작업자 수
  • 작업자에게 할당되지 않은 Celery 큐의 Celery 태스크 수
  • 유휴 작업자 수
  • celery.worker_concurrency Airflow 구성 옵션

Cloud Composer 자동 확장은 GKE에서 제공하는 다음 세 가지 자동 확장 처리를 사용합니다.

Cloud Composer는 환경의 클러스터에서 이러한 자동 확장 처리를 구성합니다. 이렇게 하면 클러스터의 노드 수, 머신 유형, 작업자 수가 자동으로 확장됩니다.

확장 및 성능 매개변수

자동 확장 외에도 작업자, 스케줄러, DAG 프로세서, 트리거, 웹 서버의 CPU, 메모리, 디스크 한도를 조정하여 환경의 확장 및 성능 매개변수를 제어할 수 있습니다. 이렇게 하면 자동 확장 기능에서 제공하는 수평 확장 외에도 환경을 수직으로 확장할 수 있습니다. 언제든지 확장 및 성능 매개변수를 조정할 수 있습니다.

환경의 환경 크기 성능 매개변수는 Airflow 데이터베이스가 포함된 관리형 Cloud Composer 인프라의 성능 매개변수를 제어합니다. 인프라 성능이 우수한 DAG 및 태스크를 대량으로 실행하려는 경우에는 더 큰 환경 크기를 선택하는 것이 좋습니다. 예를 들어 환경 크기가 클수록 환경에서 최소 지연으로 처리할 수 있는 Airflow 태스크 로그 항목 양이 증가합니다.

여러 스케줄러

환경에서 동시에 2개 이상의 Airflow 스케줄러와 DAG 프로세서를 실행할 수 있습니다.

  • 환경의 스케줄러 수와 DAG 프로세서 수를 설정하고 언제든지 조정할 수 있습니다.
  • Cloud Composer는 환경의 스케줄러 또는 DAG 프로세서 수를 자동으로 확장하지 않습니다.

환경의 스케줄러 및 DAG 프로세서 수를 구성하는 방법에 대한 자세한 내용은 환경 확장을 참고하세요.

데이터베이스 디스크 공간

Airflow 데이터베이스의 디스크 공간은 수요에 맞게 자동으로 증가합니다.

다음 단계