엔드포인트 사용 정책으로 환경 구성

Managed Airflow (3세대) | Managed Airflow (2세대) | Managed Airflow (기존 1세대)

이 페이지에서는 엔드포인트 사용 제한 조직 정책이 적용될 때 Managed Airflow 환경을 만드는 방법을 설명합니다.

constraints/gcp.restrictEndpointUsage 조직 정책은 리소스에 액세스하는 데 사용할 수 있는 Google API 엔드포인트를 제한합니다. 이를 통해 조직은 특정 지리적 영역 내에 데이터를 유지하기 위한 요구사항을 충족하기 위해 위치 또는 리전 엔드포인트 사용을 적용할 수 있습니다.

Managed Airflow의 엔드포인트 사용 정책 정보

엔드포인트 사용 제한 정책이 Cloud Storage API, Cloud Logging API, Pub/Sub API 또는 Data Lineage API와 같은 서비스의 전역 엔드포인트에 대한 액세스를 거부하는 프로젝트에서 관리형 Airflow 환경을 만들면 관리형 Airflow는 이러한 서비스에 해당하는 리전 엔드포인트(REP)를 사용하도록 환경의 내부 구성요소를 구성합니다.

환경에서 사용하는 특정 엔드포인트는 환경을 만드는 동안에만 엔드포인트 사용 정책에 따라 결정됩니다. 이러한 엔드포인트는 나중에 정책이 재구성되더라도 변경되지 않습니다.

Managed Airflow 환경에 필요한 서비스 제한

엔드포인트 사용 제한 정책이 관리형 Airflow에 필요한 일부 서비스를 제한하는 경우 다음과 같은 제한사항이 적용됩니다.

  • Airflow UI의 Airflow 태스크 로그

    Airflow UI는 전역 Cloud Logging 엔드포인트(logging.googleapis.com)를 사용하여 태스크 로그를 표시합니다. 엔드포인트 사용 제한 정책에서 logging.googleapis.com을 거부하면 Airflow UI에서 태스크 로그를 사용할 수 없습니다.

    이 제한사항은 Airflow UI에만 적용됩니다. DAG UI에서 작업 로그를 보고 콘솔 및 Cloud Logging에서 Airflow 작업자 로그를 계속 볼 수 있습니다. Google Cloud

  • 환경 측정항목

    일부 Monitoring API는 리전 엔드포인트를 완전히 지원하지 않으므로 Managed Airflow는 Cloud Monitoring의 전역 엔드포인트(monitoring.googleapis.com)를 사용합니다. monitoring.googleapis.com을 제한하면 일부 환경 측정항목에 영향을 미칠 수 있습니다.

  • DAG의 Airflow 연산자

    엔드포인트 사용 제한 정책에서 거부한 전역 엔드포인트에 연결하는 Airflow 연산자는 실패합니다. DAG의 Airflow 연산자가 리전 엔드포인트를 사용하도록 구성되어 있는지 확인합니다(연산자가 지원하는 경우).

시작하기 전에

  • 엔드포인트 사용 제한 정책이 있는 환경은 관리형 Airflow (2세대) 버전 2.16.7 이상에서 지원됩니다.

엔드포인트 사용 정책 구성

특정 전역 엔드포인트에 대한 액세스를 거부하도록 엔드포인트 사용 제한 정책을 구성하는 방법과 그 예시에 대한 자세한 내용은 엔드포인트 사용 제한을 참고하세요.

엔드포인트 사용 정책 제한으로 공개 IP 환경 만들기

공개 IP Managed Airflow 환경에는 추가 설정이 필요하지 않습니다. 다음 단계를 따르세요.

  1. 리전화하려는 서비스에 선택한 리전에서 사용할 수 있는 리전 엔드포인트가 있는지 확인합니다.

  2. 엔드포인트 사용 제한 정책이 이미 구성되어 있고 리전화하려는 서비스의 전역 엔드포인트를 거부하는지 확인합니다.

  3. 새 Managed Airflow 환경을 만듭니다.

    환경은 엔드포인트 사용 제한 정책에 따라 리전 엔드포인트를 사용합니다.

엔드포인트 사용 제한 정책으로 비공개 IP 환경 만들기

비공개 IP 구성에서 엔드포인트 사용 제한 정책이 있는 환경을 만들려면 Private Service Connect 및 Cloud DNS를 사용하여 필요한 리전 엔드포인트 (REP)로 트래픽을 확인하고 라우팅하도록 VPC 네트워크를 구성해야 합니다.

엔드포인트 사용 정책 제한으로 비공개 IP 환경을 만들려면 다음 단계를 따르세요.

  1. 리전화하려는 서비스에 선택한 리전에서 사용할 수 있는 리전 엔드포인트가 있는지 확인합니다.

  2. 엔드포인트 사용 제한 정책이 이미 구성되어 있고 리전화하려는 서비스의 전역 엔드포인트를 거부하는지 확인합니다.

  3. 비공개 IP 환경에 사용할 VPC 네트워크 및 서브네트워크가 이미 있는지 확인합니다.

  4. 엔드포인트 사용 정책에 의해 제한되는 다음 각 서비스에 대해 네트워킹 구성 단계를 반복합니다.

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • DAG에서 사용되는 다른 모든 서비스의 Google API 엔드포인트

정책으로 제한된 서비스의 비공개 IP 네트워킹 구성

전역 엔드포인트에 대한 액세스가 제한된 프로젝트의 Google 서비스에 해당하는 리전 엔드포인트 (REP)에 다음 단계를 적용합니다.

관리형 Airflow 환경의 리전을 지정하여 이러한 서비스의 리전 변형을 타겟팅하는 Private Service Connect 엔드포인트를 만들어야 합니다. 예를 들어 환경이 us-central1에 있는 경우 Cloud Storage의 storage.us-central1.rep.googleapis.com REP를 타겟팅합니다.

Private Service Connect 엔드포인트를 사용하여 지원되는 Google API의 리전 엔드포인트에 연결하는 방법에 대한 자세한 내용은 엔드포인트를 통해 리전 Google API 액세스를 참고하세요.

Private Service Connect 엔드포인트 만들기

  1. 콘솔에서 Private Service Connect 페이지로 이동합니다. Google Cloud

    Private Service Connect로 이동

  2. 엔드포인트 연결 을 클릭합니다.

  3. 다음과 같이 Private Service Connect 엔드포인트를 구성합니다.

    • 대상: Google API 를 선택합니다.

    • 대상 세부정보:

      1. 범위: Regional을 선택합니다.
      2. 리전: Managed Airflow 환경의 리전을 선택합니다.
      3. 대상 서비스: 구성 중인 서비스를 선택합니다. 이렇게 하면 선택한 리전에서 REP가 선택됩니다.

      예:

      환경이 us-central1에 있고 Cloud Storage를 구성하는 경우 Iowa (us-central1) 및 Cloud Storage (storage.us-central1.rep.googleapis.com)를 선택합니다.

    • 엔드포인트 세부정보:

      1. 엔드포인트 이름: 엔드포인트의 이름입니다.

        예: psc-storage-endpoint-us-central1

      2. 네트워크 및 서브네트워크: 관리형 Airflow 환경의 VPC 네트워크 및 서브네트워크를 선택합니다.

      3. IP 주소: 기존 IP 주소를 선택하거나 IP 주소 만들기 를 클릭하여 선택한 서브네트워크에서 새 고정 내부 IP 주소를 예약합니다.

        이 IP 주소에 설명이 포함된 이름을 지정합니다. 이 IP 주소는 나중에 DNS 레코드를 구성하는 데 사용됩니다.

        예: psc-storage-us-central1

  4. 엔드포인트 추가 를 클릭합니다.

비공개 DNS 영역 만들기

  1. 콘솔에서 Cloud DNS 페이지로 이동합니다. Google Cloud

    Cloud DNS로 이동

  2. 영역 만들기 를 클릭합니다.

  3. 영역 유형에서 Private를 선택합니다.

  4. 다음 구성을 지정합니다.

    • 영역 이름: 영역의 이름입니다.

      예: storage-us-central1

    • DNS 이름: DNS 이름입니다. 후행 점을 포함합니다.

      예: storage.us-central1.rep.googleapis.com.

    • 네트워크: Managed Airflow 환경의 VPC 네트워크를 선택합니다.

  5. 만들기 를 클릭합니다.

만든 DNS 영역에 DNS 레코드 추가

  1. 콘솔에서 Cloud DNS 페이지로 이동합니다. Google Cloud

    Cloud DNS로 이동

  2. 만든 영역의 이름을 클릭합니다.

  3. 표준 추가 를 클릭합니다.

  4. 다음과 같이 DNS 레코드를 구성합니다.

  5. 만들기 를 클릭합니다.

비공개 IP Managed Airflow 환경 만들기

환경에서 사용할 모든 서비스를 구성한 후, 선택한 VPC 네트워크 및 서브네트워크에서 비공개 IP 환경을 만듭니다.

다음 단계