Mengaktifkan agen Penyamaran IP di lingkungan Cloud Composer

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mengaktifkan agen Penyamaran IP untuk lingkungan Anda.

Tentang agen Penyamaran IP di Cloud Composer

Cloud Composer mendukung agen Penyamaran IP untuk lingkungan Anda.

Penyamaran IP adalah bentuk penafsiran alamat jaringan (NAT) yang digunakan untuk melakukan penafsiran alamat IP many-to-one. Hal ini memungkinkan beberapa klien mengakses tujuan dari satu alamat IP.

Cloud Composer menjalankan workload Anda di GKE. Agar berfungsi dengan benar, rentang IP untuk node (VM) serta Pod dan Layanan GKE diperlukan. Saat DAG dan tugas Airflow berkomunikasi dengan layanan lain, DAG dan tugas tersebut menggunakan IP Pod dan rentang IP Pod ini harus dapat dirutekan ke dan dari tujuan mana pun yang berinteraksi dengan tugas.

Dengan agen Penyamaran IP, Anda memiliki opsi untuk menerjemahkan alamat IP Pod ke alamat IP node, sehingga tujuan dan layanan yang ditargetkan dari DAG dan tugas Airflow hanya menerima paket dari alamat IP node, bukan alamat IP Pod. Hal ini berguna di lingkungan yang hanya menerima paket dari alamat IP node atau tempat rentang IP Pod tidak dapat dirutekan di luar cluster.

Selain itu, Anda dapat menggunakan agen Penyamaran IP untuk menyimpan rentang jaringan dalam konfigurasi jaringan Anda. Misalnya, Anda dapat menggunakan rentang jaringan terpisah untuk Pod di dalam cluster lingkungan Anda dan menyamarkan traffic ini agar berasal dari rentang alamat IP node. Dengan cara ini, Anda menghemat ruang alamat IP dalam satu rentang dengan menggunakan alamat IP dari rentang yang berbeda untuk Pod di cluster lingkungan Anda.

Contoh:

  1. Anda menggunakan rentang 10.0.0.0/8 untuk VM dan hanya rentang ini yang diizinkan oleh aturan firewall Anda.

  2. Untuk menyimpan rentang jaringan, Anda menggunakan rentang yang berbeda (misalnya, 192.168.0.0/16) untuk Pod di cluster lingkungan Anda.

  3. Untuk dapat terhubung ke layanan apa pun dari Pod (pekerja Airflow), penyamaran IP diperlukan; jika tidak, layanan akan menerima traffic dari 192.168.0.0/16 dan menghentikannya karena aturan firewall. Dengan agen Penyamaran IP diaktifkan dan dikonfigurasi, layanan akan menerima permintaan dari 10.0.0.0/8, yang akan diterima.

Sebelum memulai

  • Agen Penyamaran IP tidak dapat diaktifkan di konsol Google Cloud .

  • Untuk menggunakan fitur ini, Anda harus membuat lingkungan dengan GKE versi 1.22.7 atau yang lebih baru.

  • Agen IP Masquerade tidak tersedia untuk lingkungan yang dibuat di GKE versi yang lebih lama, meskipun GKE diupgrade ke versi 1.22.7 dan yang lebih baru.

  • Jika Anda mengaktifkan agen Penyamaran IP, EgressNatPolicy GKE default akan digantikan dengan definisi Cloud Composer. Jika agen IP Masquerade tidak diaktifkan, traffic keluar tidak akan di-masquerade dan akan menggunakan EgressNatPolicy GKE default.

Mengaktifkan agen Penyamaran IP untuk lingkungan yang ada

Anda tidak dapat mengaktifkan agen IP Masquerade untuk lingkungan yang sudah ada.

Mengaktifkan agen Penyamaran IP saat membuat lingkungan

Anda dapat mengaktifkan agen Penyamaran IP saat membuat lingkungan.

Untuk mengetahui informasi selengkapnya tentang cara membuat lingkungan Cloud Composer, lihat Membuat lingkungan.

Konsol

Agen Penyamaran IP tidak dapat diaktifkan di konsol Google Cloud .

gcloud

Saat Anda membuat lingkungan, argumen --enable-ip-masq-agent akan mengaktifkan agen IP Masquerade. 

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --image-version composer-2.14.4-airflow-2.10.5 \
    --enable-ip-masq-agent

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

gcloud composer environments create example-environment \
    --location us-central1 \
    --image-version composer-2.14.4-airflow-2.10.5 \
    --enable-ip-masq-agent

API

Buat permintaan API environments.create. Tentukan konfigurasi di resource Environment.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion": "composer-2.14.4-airflow-2.10.5"
    },
    "nodeConfig": {
      "enableIpMasqAgent": true
    }
  }
}

Ganti:

  • PROJECT_ID dengan Project ID.
  • LOCATION dengan region tempat lingkungan berada.
  • ENVIRONMENT_NAME dengan nama lingkungan.

Contoh:

  // POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments

  {
    "name": "projects/example-project/locations/us-central1/environments/example-environment",
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.14.4-airflow-2.10.5"
      },
      "nodeConfig": {
        "enableIpMasqAgent": true
      }
    }
  }

Terraform

Saat Anda membuat lingkungan, kolom enable_ip_masq_agent di blok node_config akan mengaktifkan agen IP Masquerade. 

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "composer-2.14.4-airflow-2.10.5"
    }
    node_config {
      enable_ip_masq_agent = true
    }
  }

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Contoh:

resource "google_composer_environment" "example_environment" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.14.4-airflow-2.10.5"
    }
    node_config {
      enable_ip_masq_agent = true
    }
  }
}

Mengonfigurasi agen Penyamaran IP

Untuk mengetahui informasi selengkapnya tentang cara menggunakan dan mengonfigurasi agen Penyamaran IP di Cloud Composer 2, lihat Menggunakan Kebijakan NAT Keluar untuk mengonfigurasi penyamaran IP di cluster Autopilot.

Langkah berikutnya