Mengaktifkan agen Penyamaran IP di lingkungan Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara mengaktifkan agen Penyamaran IP untuk lingkungan Anda.

Tentang agen Penyamaran IP di Managed Airflow

Managed Airflow mendukung agen Penyamaran IP untuk lingkungan Anda.

Penyamaran IP adalah bentuk penafsiran alamat jaringan (NAT) yang digunakan untuk melakukan penafsiran alamat IP many-to-one. Hal ini memungkinkan beberapa klien mengakses tujuan dari satu alamat IP.

Managed Airflow menjalankan workload Anda di GKE. Agar berfungsi dengan benar, Managed Airflow memerlukan rentang IP untuk node (VM) serta Pod dan Layanan GKE. Saat DAG dan tugas Airflow berkomunikasi dengan layanan lain, DAG dan tugas tersebut menggunakan IP Pod dan rentang IP Pod ini harus dapat dirutekan ke dan dari tujuan mana pun yang berinteraksi dengan tugas.

Dengan agen Penyamaran IP, Anda memiliki opsi untuk menerjemahkan alamat IP Pod ke alamat IP node, sehingga tujuan dan layanan yang ditargetkan dari DAG dan tugas Airflow hanya menerima paket dari alamat IP node, bukan alamat IP Pod. Hal ini berguna di lingkungan yang diharapkan hanya menerima paket dari alamat IP node atau tempat rentang IP Pod tidak dapat dirutekan di luar cluster.

Selain itu, Anda dapat menggunakan agen Penyamaran IP untuk menyimpan rentang jaringan dalam konfigurasi jaringan. Misalnya, Anda dapat menggunakan rentang jaringan terpisah untuk Pod di dalam cluster lingkungan dan menyamarkan traffic ini sebagai berasal dari rentang alamat IP node. Dengan cara ini, Anda menghemat ruang alamat IP dalam satu rentang dengan menggunakan alamat IP dari rentang yang berbeda untuk Pod di cluster lingkungan.

Contoh:

  1. Anda menggunakan rentang 10.0.0.0/8 untuk VM dan hanya rentang ini yang diizinkan oleh aturan firewall Anda.

  2. Untuk menyimpan rentang jaringan, Anda menggunakan rentang yang berbeda (misalnya, 192.168.0.0/16) untuk Pod di cluster lingkungan.

  3. Agar dapat terhubung ke layanan apa pun dari Pod (worker Airflow), penyamaran IP diperlukan; jika tidak, layanan akan menerima traffic dari 192.168.0.0/16 dan menghapusnya karena aturan firewall. Dengan agen Penyamaran IP yang diaktifkan dan dikonfigurasi, layanan akan mendapatkan permintaan dari 10.0.0.0/8, yang diterima.

Sebelum memulai

  • Anda tidak dapat mengaktifkan agen Penyamaran IP di Google Cloud konsol.

Mengaktifkan agen Penyamaran IP untuk lingkungan yang ada

Anda tidak dapat mengaktifkan agen Penyamaran IP untuk lingkungan yang ada.

Mengaktifkan agen Penyamaran IP saat membuat lingkungan

Anda dapat mengaktifkan agen Penyamaran IP saat membuat lingkungan.

Untuk mengetahui informasi selengkapnya tentang cara membuat lingkungan Managed Airflow, lihat Membuat lingkungan.

Konsol

Anda tidak dapat mengaktifkan agen Penyamaran IP di Google Cloud konsol.

gcloud

Saat Anda membuat lingkungan, argumen --enable-ip-masq-agent akan mengaktifkan agen Penyamaran IP. Anda juga harus mengaktifkan alias IP dengan argumen --enable-ip-alias. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-1.20.12-airflow-1.10.15 \
    --enable-ip-alias \
    --enable-ip-masq-agent

API

Buat permintaan API environments.create. Tentukan konfigurasi dalam Environment resource.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-1.20.12-airflow-1.10.15"
    },
    "nodeConfig": {
      "ipAllocationPolicy": {
        "useIpAliases": true,
      },
      "enableIpMasqAgent": true
    }
  }
}

Ganti:

  • PROJECT_ID dengan ID Project.
  • LOCATION dengan region tempat lingkungan berada.
  • ENVIRONMENT_NAME dengan nama lingkungan.

Contoh:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

  {
    "name": "projects/example-project/locations/us-central1/environments/example-environment",
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-1.20.12-airflow-1.10.15"
      },
      "nodeConfig": {
        "ipAllocationPolicy": {
          "useIpAliases": true,
        },
        "enableIpMasqAgent": true
      }
    }
  }

Terraform

Saat Anda membuat lingkungan, kolom enable_ip_masq_agent di blok node_config akan mengaktifkan agen Penyamaran IP. Anda juga harus mengaktifkan alias IP dengan kolom use_ip_aliases di blok ip_allocation_policy. 

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-1.20.12-airflow-1.10.15"
    }
    node_config {
      ip_allocation_policy = [{
        use_ip_aliases = true
        // Other networking configuration
      }]
      enable_ip_masq_agent = true
    }
  }
}

Mengonfigurasi agen Penyamaran IP

Untuk mengetahui informasi selengkapnya tentang cara menggunakan dan mengonfigurasi agen Penyamaran IP di Managed Airflow (Legacy Gen 1), lihat Mengonfigurasi agen penyamaran IP di cluster Standard.

Langkah berikutnya