Mengonfigurasi lingkungan dengan kebijakan penggunaan endpoint yang dibatasi

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara membuat lingkungan Managed Airflow saat kebijakan organisasi Membatasi Penggunaan Endpoint diterapkan.

Kebijakan organisasi constraints/gcp.restrictEndpointUsage membatasi endpoint Google API yang dapat digunakan untuk mengakses resource. Hal ini memungkinkan organisasi menerapkan penggunaan endpoint lokasi atau regional, misalnya, untuk memenuhi persyaratan agar data tetap berada dalam area geografis tertentu.

Tentang kebijakan Batasi Penggunaan Endpoint di Managed Airflow

Saat Anda membuat lingkungan Managed Airflow dalam project yang kebijakan Restrict Endpoint Usage-nya menolak akses ke endpoint global untuk layanan seperti Cloud Storage API, Cloud Logging API, Pub/Sub API, atau Data Lineage API, Managed Airflow akan mengonfigurasi komponen internal lingkungan untuk menggunakan Endpoint Regional (REP) yang sesuai untuk layanan ini.

Endpoint spesifik yang digunakan lingkungan ditentukan oleh kebijakan Batasi Penggunaan Endpoint hanya selama pembuatan lingkungan. Endpoint ini tidak berubah meskipun kebijakan dikonfigurasi ulang nanti.

Membatasi layanan yang diperlukan oleh lingkungan Managed Airflow

Jika kebijakan Batasi Penggunaan Endpoint membatasi beberapa layanan yang diperlukan oleh Managed Airflow, batasan berikut berlaku:

  • Log tugas Airflow di UI Airflow

    UI Airflow mengandalkan endpoint Cloud Logging global (logging.googleapis.com) untuk menampilkan log tugas. Jika Anda menolak logging.googleapis.com dalam kebijakan Restrict Endpoint Usage, log tugas tidak akan tersedia di UI Airflow.

    Batasan ini hanya berlaku untuk UI Airflow. Anda tetap dapat melihat log tugas di UI DAG dan log pekerja Airflow di konsol Google Cloud dan Cloud Logging.

  • Metrik lingkungan

    Managed Airflow menggunakan endpoint global untuk Cloud Monitoring (monitoring.googleapis.com) karena beberapa API Monitoring tidak sepenuhnya mendukung endpoint regional. Membatasi monitoring.googleapis.com dapat memengaruhi beberapa metrik lingkungan.

  • Operator Airflow di DAG Anda

    Operator Airflow yang terhubung ke endpoint global yang ditolak oleh kebijakan Batasi Penggunaan Endpoint akan gagal. Pastikan semua operator Airflow di DAG Anda dikonfigurasi untuk menggunakan endpoint regional, jika operator mendukungnya.

  • Kunci Enkripsi yang Dikelola Pelanggan (CMEK)

    Penggunaan Kunci Enkripsi yang Dikelola Pelanggan tidak didukung bersama dengan kebijakan Batasi Penggunaan Endpoint.

Sebelum memulai

  • Lingkungan dengan kebijakan penggunaan endpoint yang dibatasi didukung di Managed Airflow (Gen 2) versi 2.16.7 dan yang lebih baru.

Mengonfigurasi kebijakan penggunaan endpoint yang dibatasi

Untuk mengetahui informasi selengkapnya dan contoh cara mengonfigurasi kebijakan Batasi Penggunaan Endpoint untuk menolak akses ke endpoint global tertentu, lihat Membatasi Penggunaan Endpoint.

Membuat lingkungan IP Publik dengan kebijakan Batasi Penggunaan Endpoint

Lingkungan Managed Airflow dengan IP Publik tidak memerlukan penyiapan tambahan. Lakukan tindakan berikut:

  1. Pastikan layanan yang ingin Anda regionalisasi memiliki endpoint regional yang tersedia di wilayah yang dipilih.

  2. Pastikan kebijakan Restrict Endpoint Usage sudah dikonfigurasi dan menolak endpoint global untuk layanan yang ingin Anda regionalisasi.

  3. Buat lingkungan Managed Airflow baru.

    Lingkungan akan menggunakan endpoint regional sesuai dengan kebijakan Batasi Penggunaan Endpoint.

Membuat lingkungan IP Pribadi dengan kebijakan Batasi Penggunaan Endpoint

Untuk membuat lingkungan dengan kebijakan penggunaan Endpoint Terbatas dalam konfigurasi IP Pribadi, Anda harus mengonfigurasi Jaringan VPC untuk menyelesaikan dan merutekan traffic ke Endpoint Regional (REP) yang diperlukan menggunakan Private Service Connect dan Cloud DNS.

Untuk membuat lingkungan IP Pribadi dengan kebijakan Batasi Penggunaan Endpoint:

  1. Pastikan layanan yang ingin Anda regionalisasi memiliki endpoint regional yang tersedia di wilayah yang dipilih.

  2. Pastikan kebijakan Restrict Endpoint Usage sudah dikonfigurasi dan menolak endpoint global untuk layanan yang ingin Anda regionalisasi.

  3. Pastikan Anda sudah memiliki jaringan dan subnetwork VPC yang ingin digunakan untuk lingkungan IP Pribadi Anda.

  4. Ulangi langkah-langkah konfigurasi jaringan untuk setiap layanan berikut yang dibatasi oleh kebijakan Batasi Penggunaan Endpoint:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Endpoint Google API untuk semua layanan lain yang digunakan dalam DAG Anda.

Mengonfigurasi jaringan IP Pribadi untuk layanan yang dibatasi dengan kebijakan

Terapkan langkah-langkah berikut ke Endpoint Regional (REP) yang sesuai untuk layanan Google apa pun di project Anda yang akses ke Endpoint Globalnya dibatasi.

Anda harus membuat endpoint Private Service Connect untuk menargetkan variasi regional dari layanan ini, dengan menentukan region untuk lingkungan Managed Airflow Anda. Misalnya, jika lingkungan Anda berada di us-central1, Anda menargetkan REP storage.us-central1.rep.googleapis.com untuk Cloud Storage.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan endpoint Private Service Connect untuk terhubung ke endpoint regional Google API yang didukung, lihat Mengakses Google API regional melalui endpoint.

Membuat endpoint Private Service Connect

  1. Di konsol Google Cloud , buka halaman Private Service Connect.

    Buka Private Service Connect

  2. Klik Connect endpoint.

  3. Konfigurasi endpoint Private Service Connect sebagai berikut:

    • Target: Pilih Google API.

    • Detail Target:

      1. Cakupan: Pilih Regional.
      2. Region: Pilih region lingkungan Managed Airflow Anda.
      3. Layanan target: Pilih layanan yang Anda konfigurasi. Tindakan ini memilih REP di wilayah yang dipilih.

      Contoh:

      Jika lingkungan Anda berada di us-central1 dan Anda mengonfigurasi Cloud Storage, pilih Iowa (us-central1), dan Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Detail Endpoint:

      1. Nama endpoint: Nama untuk endpoint.

        Contoh: psc-storage-endpoint-us-central1.

      2. Jaringan dan Subnetwork: Pilih jaringan VPC dan subnetwork lingkungan Managed Airflow Anda.

      3. Alamat IP: Pilih alamat IP yang ada, atau klik Buat alamat IP untuk mencadangkan alamat IP internal statis baru dari subnetwork yang dipilih.

        Beri nama deskriptif untuk alamat IP ini. Anda akan menggunakan alamat IP ini nanti untuk mengonfigurasi data DNS.

        Contoh: psc-storage-us-central1.

  4. Klik Add endpoint.

Membuat zona DNS pribadi

  1. Di konsol Google Cloud , buka halaman Cloud DNS.

    Buka Cloud DNS

  2. Klik Create zone.

  3. Di Zone type, pilih Private.

  4. Tentukan konfigurasi berikut:

    • Nama zona: Nama untuk zona.

      Contoh: storage-us-central1

    • Nama DNS: Nama DNS. Sertakan titik di akhir.

      Contoh: storage.us-central1.rep.googleapis.com.

    • Jaringan: Pilih jaringan VPC untuk lingkungan Managed Airflow Anda.

  5. Klik Create.

Tambahkan data DNS di zona DNS yang dibuat

  1. Di konsol Google Cloud , buka halaman Cloud DNS.

    Buka Cloud DNS

  2. Klik nama zona yang telah Anda buat.

  3. Klik Add standard.

  4. Konfigurasi data DNS sebagai berikut:

    • Nama DNS: Tentukan subdomain zona DNS.

      Contoh: storage.us-central1.rep.googleapis.com

    • Jenis data resource: Pilih A.

    • Alamat IPv4: Pilih alamat IP yang Anda tetapkan ke endpoint Private Service Connect.

  5. Klik Create.

Membuat lingkungan Managed Airflow IP Pribadi

Setelah mengonfigurasi semua layanan yang akan digunakan oleh lingkungan Anda, lanjutkan dengan membuat lingkungan IP Pribadi di jaringan VPC dan subnetwork yang dipilih.

Langkah berikutnya