Mengonfigurasi lingkungan dengan kebijakan penggunaan endpoint yang dibatasi

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara membuat lingkungan Managed Airflow saat kebijakan organisasi Batasi Penggunaan Endpoint diterapkan.

Kebijakan organisasi constraints/gcp.restrictEndpointUsage membatasi endpoint Google API yang dapat digunakan untuk mengakses resource. Hal ini memungkinkan organisasi menerapkan penggunaan endpoint lokasi atau regional, misalnya, untuk memenuhi persyaratan agar data tetap berada dalam area geografis tertentu.

Tentang kebijakan Batasi Penggunaan Endpoint di Managed Airflow

Saat Anda membuat lingkungan Managed Airflow di project tempat kebijakan Batasi Penggunaan Endpoint menolak akses ke endpoint global untuk layanan seperti Cloud Storage API, Cloud Logging API, Pub/Sub API, atau Data Lineage API, Managed Airflow akan mengonfigurasi komponen internal lingkungan untuk menggunakan Endpoint Regional (REP) yang sesuai untuk layanan ini.

Endpoint tertentu yang digunakan lingkungan ditentukan oleh kebijakan Batasi Penggunaan Endpoint hanya selama pembuatan lingkungan. Endpoint ini tidak berubah meskipun kebijakan dikonfigurasi ulang nanti.

Membatasi layanan yang diperlukan oleh lingkungan Managed Airflow

Jika kebijakan Batasi Penggunaan Endpoint membatasi beberapa layanan yang diperlukan oleh Managed Airflow, batasan berikut akan berlaku:

  • Log tugas Airflow di UI Airflow

    UI Airflow mengandalkan endpoint Cloud Logging global (logging.googleapis.com) untuk menampilkan log tugas. Jika Anda menolak logging.googleapis.com dalam kebijakan Batasi Penggunaan Endpoint, log tugas tidak akan tersedia di UI Airflow.

    Batasan ini hanya berlaku untuk UI Airflow. Anda tetap dapat melihat log tugas di UI DAG dan log pekerja Airflow di Google Cloud konsol dan Cloud Logging.

  • Metrik lingkungan

    Managed Airflow menggunakan endpoint global untuk Cloud Monitoring (monitoring.googleapis.com) karena beberapa Monitoring API tidak sepenuhnya mendukung endpoint regional. Membatasi monitoring.googleapis.com dapat memengaruhi beberapa metrik lingkungan.

  • Operator Airflow di DAG

    Operator Airflow yang terhubung ke endpoint global yang ditolak oleh kebijakan Batasi Penggunaan Endpoint akan gagal. Pastikan operator Airflow di DAG Anda dikonfigurasi untuk menggunakan endpoint regional, jika operator mendukungnya.

Sebelum memulai

  • Lingkungan dengan kebijakan Batasi Penggunaan Endpoint didukung di Managed Airflow (Gen 2) versi 2.16.7 dan yang lebih baru.

Mengonfigurasi kebijakan penggunaan endpoint yang dibatasi

Untuk mengetahui informasi selengkapnya dan contoh cara mengonfigurasi kebijakan Batasi Penggunaan Endpoint untuk menolak akses ke endpoint global tertentu, lihat Membatasi Penggunaan Endpoint.

Membuat lingkungan IP Publik dengan kebijakan Batasi Penggunaan Endpoint

Lingkungan Managed Airflow IP Publik tidak memerlukan penyiapan tambahan. Lakukan tindakan berikut:

  1. Pastikan layanan yang ingin Anda regionalisasi memiliki endpoint regional yang tersedia di region yang dipilih.

  2. Pastikan kebijakan Batasi Penggunaan Endpoint sudah dikonfigurasi dan menolak endpoint global untuk layanan yang ingin Anda regionalisasi.

  3. Buat lingkungan Managed Airflow baru.

    Lingkungan akan menggunakan endpoint regional sesuai dengan kebijakan Batasi Penggunaan Endpoint.

Membuat lingkungan IP Pribadi dengan kebijakan Batasi Penggunaan Endpoint

Untuk membuat lingkungan dengan kebijakan Batasi Penggunaan Endpoint dalam konfigurasi IP Pribadi, Anda harus mengonfigurasi jaringan VPC untuk me-resolve dan merutekan traffic ke Endpoint Regional (REP) yang diperlukan menggunakan Private Service Connect dan Cloud DNS.

Untuk membuat lingkungan IP Pribadi dengan kebijakan Batasi Penggunaan Endpoint:

  1. Pastikan layanan yang ingin Anda regionalisasi memiliki endpoint regional yang tersedia di region yang dipilih.

  2. Pastikan kebijakan Batasi Penggunaan Endpoint sudah dikonfigurasi dan menolak endpoint global untuk layanan yang ingin Anda regionalisasi.

  3. Pastikan Anda sudah memiliki jaringan VPC dan subnetwork yang ingin digunakan untuk lingkungan IP Pribadi.

  4. Ulangi langkah-langkah konfigurasi jaringan untuk setiap layanan berikut yang dibatasi oleh kebijakan Batasi Penggunaan Endpoint:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Endpoint Google API untuk semua layanan lain yang digunakan di DAG Anda.

Mengonfigurasi jaringan IP Pribadi untuk layanan yang dibatasi dengan kebijakan

Terapkan langkah-langkah berikut ke Endpoint Regional (REP) yang sesuai untuk layanan Google apa pun di project Anda yang akses ke Endpoint Globalnya dibatasi.

Anda harus membuat endpoint Private Service Connect untuk menargetkan variasi regional dari layanan ini, dengan menentukan region untuk lingkungan Managed Airflow Anda. Misalnya, jika lingkungan Anda berada di us-central1, Anda menargetkan storage.us-central1.rep.googleapis.com REP untuk Cloud Storage.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan endpoint Private Service Connect untuk terhubung ke endpoint regional Google API yang didukung, lihat Mengakses Google API regional melalui endpoint.

Membuat endpoint Private Service Connect

  1. Di Google Cloud konsol, buka halaman Private Service Connect.

    Buka Private Service Connect

  2. Klik Connect endpoint.

  3. Konfigurasi endpoint Private Service Connect sebagai berikut:

    • Target: Pilih Google API.

    • Detail Target:

      1. Cakupan: Pilih Regional.
      2. Region: Pilih region lingkungan Managed Airflow Anda.
      3. Layanan target: Pilih layanan yang Anda konfigurasi. Tindakan ini akan memilih REP di region yang dipilih.

      Contoh:

      Jika lingkungan Anda berada di us-central1 dan Anda mengonfigurasi Cloud Storage, pilih Iowa (us-central1), dan Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Detail Endpoint:

      1. Endpoint name: Nama untuk endpoint.

        Contoh: psc-storage-endpoint-us-central1.

      2. Jaringan dan Subnetwork: Pilih jaringan VPC dan subnetwork lingkungan Managed Airflow Anda.

      3. Alamat IP: Pilih alamat IP yang ada, atau klik Buat alamat IP untuk mencadangkan alamat IP internal statis baru dari subnetwork yang dipilih.

        Beri nama deskriptif untuk alamat IP ini. Anda akan menggunakan alamat IP ini nanti untuk mengonfigurasi data DNS.

        Contoh: psc-storage-us-central1.

  4. Klik Add endpoint.

Membuat zona DNS pribadi

  1. Di Google Cloud konsol, buka halaman Cloud DNS.

    Buka Cloud DNS

  2. Klik Create zone.

  3. Di Zone type, pilih Private.

  4. Tentukan konfigurasi berikut:

    • Zone name: Nama untuk zona.

      Contoh: storage-us-central1

    • DNS name: Nama DNS. Sertakan titik di akhir.

      Contoh: storage.us-central1.rep.googleapis.com.

    • Jaringan: Pilih jaringan VPC untuk lingkungan Managed Airflow Anda.

  5. Klik Buat.

Menambahkan data DNS di zona DNS yang dibuat

  1. Di Google Cloud konsol, buka halaman Cloud DNS.

    Buka Cloud DNS

  2. Klik nama zona yang telah Anda buat.

  3. Klik Add standard.

  4. Konfigurasi data DNS sebagai berikut:

    • DNS name: Tentukan subdomain zona DNS.

      Contoh: storage.us-central1.rep.googleapis.com

    • Jenis data resource: Pilih A.

    • Alamat IPv4: Pilih alamat IP yang Anda tetapkan ke endpoint Private Service Connect.

  5. Klik Buat.

Membuat lingkungan Managed Airflow IP Pribadi

Setelah mengonfigurasi semua layanan yang akan digunakan oleh lingkungan Anda, lanjutkan untuk membuat lingkungan IP Pribadi di jaringan VPC dan subnetwork yang dipilih.

Langkah berikutnya