Mengaktifkan agen Penyamaran IP di lingkungan Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara mengaktifkan agen Penyamaran IP untuk lingkungan Anda.

Tentang agen Penyamaran IP di Managed Airflow

Managed Airflow mendukung agen Penyamaran IP untuk lingkungan Anda.

Penyamaran IP adalah bentuk penafsiran alamat jaringan (NAT) yang digunakan untuk melakukan penafsiran alamat IP many-to-one. Hal ini memungkinkan beberapa klien mengakses tujuan dari satu alamat IP.

Managed Airflow menjalankan workload Anda di GKE. Agar dapat berfungsi dengan benar, VPC native memerlukan rentang IP untuk node (VM) serta Pod dan Service GKE. Saat DAG dan tugas Airflow berkomunikasi dengan layanan lain, keduanya menggunakan IP Pod dan rentang IP Pod ini harus dapat dirutekan ke dan dari tujuan mana pun yang berinteraksi dengan tugas tersebut.

Dengan agen Penyamaran IP, Anda memiliki opsi untuk menerjemahkan alamat IP Pod ke alamat IP node, sehingga tujuan dan layanan yang ditargetkan dari DAG dan tugas Airflow hanya menerima paket dari alamat IP node, bukan alamat IP Pod. Hal ini berguna di lingkungan yang diperkirakan hanya akan menerima paket dari alamat IP node atau di mana rentang IP Pod tidak dapat dirutekan di luar cluster.

Selain itu, Anda dapat menggunakan agen Penyamaran IP untuk menyimpan rentang jaringan dalam konfigurasi jaringan Anda. Misalnya, Anda dapat menggunakan rentang jaringan terpisah untuk Pod di dalam cluster lingkungan Anda dan menyamarkan traffic ini seolah-olah berasal dari rentang alamat IP node. Dengan cara ini, Anda menghemat ruang alamat IP dalam satu rentang dengan menggunakan alamat IP dari rentang yang berbeda untuk Pod di cluster lingkungan Anda.

Contoh:

  1. Anda menggunakan rentang 10.0.0.0/8 untuk VM dan hanya rentang ini yang diizinkan oleh aturan firewall Anda.

  2. Untuk menghemat rentang jaringan, Anda menggunakan rentang yang berbeda (misalnya, 192.168.0.0/16) untuk Pod di cluster lingkungan Anda.

  3. Agar dapat terhubung ke layanan apa pun dari Pod (worker Airflow), penyamaran IP diperlukan; jika tidak, layanan akan menerima traffic dari 192.168.0.0/16 dan menghapusnya karena aturan firewall. Dengan mengaktifkan dan mengonfigurasi agen Penyamaran IP, layanan akan mendapatkan permintaan dari 10.0.0.0/8, yang diterima.

Sebelum memulai

  • Anda tidak dapat mengaktifkan agen Penyamaran IP di konsol Google Cloud .

  • Untuk menggunakan fitur ini, Anda harus membuat lingkungan dengan GKE versi 1.22.7 atau yang lebih baru.

  • Agen Penyamaran IP tidak tersedia untuk lingkungan yang dibuat di versi GKE sebelumnya, meskipun GKE telah diupgrade ke versi 1.22.7 dan yang lebih baru.

  • Jika Anda mengaktifkan agen Penyamaran IP, EgressNatPolicy GKE default akan diganti dengan definisi Managed Airflow. Jika agen Penyamaran IP tidak diaktifkan, traffic keluar tidak akan disamarkan dan akan menggunakan EgressNatPolicy default GKE.

Mengaktifkan agen Penyamaran IP untuk lingkungan yang ada

Anda tidak dapat mengaktifkan agen penyamaran IP untuk lingkungan yang ada.

Mengaktifkan agen Penyamaran IP saat membuat lingkungan

Anda dapat mengaktifkan agen Penyamaran IP saat membuat lingkungan.

Untuk mengetahui informasi selengkapnya tentang cara membuat lingkungan Managed Airflow, lihat Membuat lingkungan.

Konsol

Anda tidak dapat mengaktifkan agen Penyamaran IP di konsol Google Cloud .

gcloud

Saat Anda membuat lingkungan, argumen --enable-ip-masq-agent akan mengaktifkan agen Penyamaran IP. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --service-account "SERVICE_ACCOUNT" \
    --image-version composer-2.17.16-airflow-2.11.1 \
    --enable-ip-masq-agent

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • SERVICE_ACCOUNT dengan akun layanan untuk lingkungan Anda.

Contoh:

gcloud composer environments create example-environment \
    --location us-central1 \
    --service-account "example-account@example-project.iam.gserviceaccount.com" \
    --image-version composer-2.17.16-airflow-2.11.1 \
    --enable-ip-masq-agent

API

Buat permintaan API environments.create. Tentukan konfigurasi di resource Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-2.17.16-airflow-2.11.1"
    },
    "nodeConfig": {
      "serviceAccount": "SERVICE_ACCOUNT"
      "enableIpMasqAgent": true
    }
  }
}

Ganti:

  • PROJECT_ID dengan Project ID.
  • LOCATION dengan region tempat lingkungan berada.
  • ENVIRONMENT_NAME dengan nama lingkungan.
  • SERVICE_ACCOUNT dengan akun layanan untuk lingkungan Anda.

Contoh:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

  {
    "name": "projects/example-project/locations/us-central1/environments/example-environment",
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.17.16-airflow-2.11.1"
      },
      "nodeConfig": {
        "serviceAccount": "example-account@example-project.iam.gserviceaccount.com"
        "enableIpMasqAgent": true
      }
    }
  }

Terraform

Saat Anda membuat lingkungan, kolom enable_ip_masq_agent di blok node_config akan mengaktifkan agen Penyamaran IP. 

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "composer-2.17.16-airflow-2.11.1"
    }
    node_config {
      service_account = "SERVICE_ACCOUNT"
      enable_ip_masq_agent = true
    }
  }

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • SERVICE_ACCOUNT dengan akun layanan untuk lingkungan Anda.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.17.16-airflow-2.11.1"
    }
    node_config {
      service_account = "example-account@example-project.iam.gserviceaccount.com"
      enable_ip_masq_agent = true
    }
  }
}

Mengonfigurasi agen Penyamaran IP

Untuk mengetahui informasi selengkapnya tentang cara menggunakan dan mengonfigurasi agen Penyamaran IP di Managed Airflow (Gen 2), lihat Menggunakan Kebijakan NAT Egress untuk mengonfigurasi penyamaran IP di cluster Autopilot.

Langkah berikutnya