Managed Airflow 보안 개요

관리형 Airflow (3세대) | 관리형 Airflow (2세대) | 관리형 Airflow (기존 1세대)

관리형 Airflow는 보다 엄격한 보안 요구사항을 충족해야 하는 기업에게 유용한 보안 기능과 규정 준수를 제공합니다.

다음 세 개의 섹션을 통해 관리형 Airflow 보안 기능에 대한 정보를 제공합니다.

  • 기본 보안 기능. 관리형 Airflow 환경에서 기본적으로 사용 가능한 기능을 설명합니다.
  • 고급 보안 기능. 관리형 Airflow를 보안 요구사항에 맞게 수정하는 데 사용할 수 있는 기능을 설명합니다.
  • 표준 준수. 관리형 Airflow에서 준수하는 표준 목록을 제공합니다.

기본 보안 기능

이 섹션에서는 각 관리형 Airflow 환경에 기본적으로 제공되는 보안 관련 기능을 설명합니다.

저장 데이터 암호화

관리형 Airflow는 의 저장 데이터 암호화를 활용합니다. Google Cloud.

관리형 Airflow는 다양한 서비스에 데이터를 저장합니다. 예를 들어 Airflow 메타데이터 DB는 Cloud SQL 데이터베이스를 사용하고 DAG는 Cloud Storage 버킷에 저장됩니다.

기본적으로 데이터는를 사용하여 암호화됩니다 Google-owned and Google-managed encryption keys.

필요에 따라 고객 관리 암호화 키로 암호화되도록 관리형 Airflow 환경을 구성할 수 있습니다.

균일한 버킷 수준 액세스

균일한 버킷 수준 액세스를 사용하면 Cloud Storage 리소스에 대한 액세스를 균일하게 제어할 수 있습니다. 이 메커니즘은 DAG와 플러그인을 저장하는 환경의 버킷에도 적용됩니다.

사용자 권한

관리형 Airflow에는 사용자 권한을 관리할 수 있는 몇 가지 기능이 있습니다.

비공개 IP 환경

비공개 IP 네트워킹 구성으로 관리형 Airflow 환경을 만들 수 있습니다. 기존 환경을 비공개 IP 네트워킹 구성으로 전환할 수도 있습니다.

비공개 IP 모드에서는 환경의 Airflow 구성요소(및 DAG)가 공개 인터넷에 액세스할 수 없습니다. VPC 네트워크 구성 방법에 따라 비공개 IP 환경은 VPC 네트워크를 통해 인터넷에 액세스할 수 있습니다.

사용자 환경의 클러스터에서 보안 VM 사용

보안 VM 은 Google Cloud 루트킷과 부트킷으로부터 보호하는 데 도움이 되는 보안 제어로 강화된의 가상 머신 (VM)입니다.

관리형 Airflow 환경은 보안 VM을 사용하여 환경 클러스터의 노드를 실행합니다.

고급 보안 기능

이 섹션에서는 관리형 Airflow 환경의 고급 보안 관련 기능을 설명합니다.

고객 관리 암호화 키 (CMEK)

관리형 Airflow는 고객 관리 암호화 키 (CMEK)를 지원합니다. CMEK를 사용하면 프로젝트 내에서 저장 데이터를 암호화하는 데 사용되는 키를 보다 세부적으로 제어할 수 있습니다 a Google Cloud .

관리형 Airflow에서 CMEK를 사용하여 관리형 Airflow 환경에서 생성되는 데이터를 암호화 및 복호화할 수 있습니다.

VPC 서비스 제어 (VPC SC) 지원

VPC 서비스 제어는 데이터 무단 반출 위험을 완화할 수 있는 메커니즘입니다.

관리형 Airflow를 VPC 서비스 제어 경계에 있는 보안 서비스로 선택할 수 있습니다. 관리형 Airflow에서 사용하는 모든 기본 리소스는 VPC 서비스 제어 아키텍처를 지원하고 해당 규칙을 따르도록 구성됩니다. VPC SC 경계에서는 비공개 IP 환경 만 만들 수 있습니다.

VPC 서비스 제어를 사용하여 관리형 Airflow 환경을 배포하면 다음 이점을 얻을 수 있습니다.

  • 데이터 무단 반출 위험 감소

  • 잘못 구성된 액세스 제어로 인한 데이터 노출 방지

  • 악의적인 사용자가 승인되지 않은 Google Cloud 리소스에 데이터를 복사하거나 인터넷에서 리소스에 액세스하는 외부 공격자의 위험을 줄입니다.Google Cloud

웹 서버 네트워크 액세스 제어 수준 (ACL)

관리형 Airflow의 Airflow 웹 서버는 항상 외부에서 액세스 가능한 IP 주소로 프로비저닝됩니다. Airflow UI에 액세스할 수 있는 IP 주소를 제어할 수 있습니다. 관리형 Airflow는 IPv4 및 IPv6 범위를 지원합니다.

콘솔, gcloud, API, Terraform에서 웹 서버 액세스 제한을 구성 할 수 있습니다. Google Cloud

민감한 구성 데이터의 스토리지인 Secret Manager

관리형 Airflow에서는 Airflow 연결 변수가 저장되는 백엔드로 Secret Manager를 사용하도록 Airflow를 구성할 수 있습니다.

DAG 개발자는 DAG 코드에서 Secret Manager에 저장된 변수와 연결을 읽을 수도 있습니다.

표준 준수

관리형 Airflow가 다양한 표준을 준수하는지 확인하려면 아래 링크를 참조하세요.

추가 정보

이 문서에 언급된 일부 보안 기능을 Airflow Summit 2020 프레젠테이션 Airflow DAG를 안전한 방식으로 실행에서 다룹니다.

다음 단계