Managed Airflow (Generasi ke-3) | Managed Airflow (Generasi ke-2) | Managed Airflow (Generasi ke-1 Lama)
Halaman ini menjelaskan perbedaan antara jenis jaringan lingkungan IP Pribadi dan IP Publik di Managed Airflow (Generasi ke-3) serta memberikan petunjuk untuk mengubah jenis jaringan lingkungan Anda.
Jika Anda hanya ingin menonaktifkan atau mengaktifkan akses internet saat menginstal paket PyPI, lihat Mengonfigurasi akses internet saat menginstal paket PyPI.
Jika Anda ingin mengaktifkan akses ke jaringan VPC dari lingkungan Anda, lihat Menghubungkan lingkungan ke jaringan VPC.
Tentang jenis jaringan lingkungan
Managed Airflow (Generasi ke-3) menggunakan dua jenis jaringan lingkungan:
Jaringan IP Publik:
Komponen Airflow dari lingkungan dapat mengakses internet. Ini adalah jenis jaringan default.
Di lingkungan IP Publik, semua traffic keluar ke rentang IP publik dirutekan melalui gateway internet default. Batasan ini mencakup IP Publik yang Digunakan Secara Pribadi (PUPI) yang digunakan di GKE karena tumpang tindih dengan rentang IP publik. Akibatnya, traffic yang ditujukan untuk alamat PUPI Anda tidak mencapai alamat GKE pribadi Anda, tetapi dirutekan ke internet publik. Untuk mengaktifkan koneksi ke rentang PUPI, sebaiknya alihkan lingkungan Anda ke jaringan IP Pribadi dan hubungkan ke jaringan VPC.
-
Komponen Airflow di lingkungan IP Publik membuat koneksi keluar dari alamat dan port IP publik yang dialokasikan secara otomatis. Jika Anda ingin lingkungan IP Publik menggunakan alamat dan port IP yang telah ditentukan, Anda dapat melakukannya melalui menghubungkan jaringan VPC ke lingkungan Anda dan mengalihkannya ke IP Pribadi. Dalam hal ini, Managed Airflow merutekan semua traffic kecuali traffic ke layanan Google melalui jaringan ini.
Jaringan IP Pribadi:
Jaringan IP Pribadi adalah opsi yang lebih aman dibandingkan jaringan IP Publik.
Komponen Airflow dari lingkungan tidak memiliki akses ke internet. Untuk lingkungan yang terlampir ke jaringan VPC, konfigurasi jaringan mengontrol akses internet.
Lingkungan IP Pribadi mengonfigurasi Akses Google Pribadi melalui rentang
private.googleapis.com, yang memungkinkan akses ke Google API, layanan, dan domain yang didukung oleh rentang ini.Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui
private.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.Lingkungan IP Pribadi dengan Kontrol Layanan VPC mengonfigurasi Akses Google Pribadi melalui
restricted.googleapis.comrentang, yang memungkinkan akses ke Google API, layanan, dan domain yang didukung oleh rentang ini.Untuk mengetahui informasi selengkapnya dan daftar layanan serta domain yang tersedia melalui
restricted.googleapis.com, lihat Konfigurasi jaringan dalam dokumentasi Virtual Private Cloud.Jika lingkungan IP Pribadi terlampir ke jaringan VPC kustom, semua traffic akan dirutekan ke jaringan VPC, kecuali traffic ke Google API, layanan, dan domain yang tersedia untuk lingkungan IP Pribadi melalui Akses Google Pribadi. Pendekatan ini memungkinkan komponen Airflow Anda terhubung ke IP Publik yang Digunakan Secara Pribadi (PUPI) di GKE, karena traffic akan dirutekan melalui jaringan VPC bukan dikirim ke internet publik.
Perbandingan jaringan Managed Airflow (Generasi ke-2) dengan Managed Airflow (Generasi ke-3)
Di Managed Airflow (Generasi ke-3), lingkungan IP Pribadi tidak memerlukan konfigurasi.
Fitur jaringan Managed Airflow (Generasi ke-2) berikut tidak lagi relevan di Managed Airflow (Generasi ke-3):
Mengonfigurasi jaringan IP Pribadi. Anda tidak perlu menentukan rentang IP, jaringan, atau mengonfigurasi konektivitas dan aturan firewall.
Mengonfigurasi Private Service Connect. Anda tidak perlu menetapkan rentang untuk Private Service Connect di Managed Airflow (Generasi ke-3).
Menggunakan rentang IP publik yang digunakan secara pribadi. Fitur ini memberikan opsi untuk memperluas rentang IP yang tersedia, yang tidak diperlukan di Managed Airflow (Generasi ke-3).
Menggunakan agen Penyamaran IP. Anda tidak perlu mengonfigurasi konektivitas cluster di Managed Airflow (Generasi ke-3).
Mengonfigurasi jaringan yang diizinkan. Anda tidak dapat mengakses cluster lingkungan di Managed Airflow (Generasi ke-3).
Konfigurasi DNS berikut tidak didukung di Managed Airflow (Generasi ke-3):
- Managed Airflow (Generasi ke-3) tidak mendukung zona DNS
.internalyang ditentukan pengguna. Jika Anda membuat zona DNS untuk.internal, zona tersebut tidak akan dapat dijangkau.
Mengubah jenis jaringan lingkungan
Konsol
Di Google Cloud konsol, buka halaman Environments.
Dalam daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.
Buka tab Environment configuration.
Di bagian Networking configuration , temukan item Networking type , lalu klik Edit.
Di dialog Networking type, pilih:
- Public IP environment (default) untuk jaringan IP Publik.
- Private IP environment untuk jaringan IP Pribadi.
Klik Save.
gcloud
Argumen Google Cloud CLI berikut mengubah jenis jaringan lingkungan:
--enable-private-environment: mengubah ke jaringan IP Pribadi.--disable-private-environment: mengubah ke jaringan IP Publik (default).
Mengubah ke jaringan IP Pribadi:
gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--enable-private-environment
Mengubah ke jaringan IP Publik:
gcloud beta composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--disable-private-environment
Ganti kode berikut:
ENVIRONMENT_NAME: nama lingkungan.LOCATION: region tempat lingkungan berada.
Contoh (IP Pribadi):
gcloud beta composer environments update example-environment \
--location us-central1 \
--enable-private-environment
Contoh (IP Publik):
gcloud beta composer environments update example-environment \
--location us-central1 \
--disable-private-environment
API
Buat permintaan API
environments.patch.Dalam permintaan ini:
Di parameter
updateMask, tentukan maskconfig.private_environment_config.enable_private_environment.Di isi permintaan, di kolom
enablePrivateEnvironment:- Tentukan
trueuntuk mengubah ke jaringan IP Pribadi. - Tentukan
falseuntuk mengubah ke jaringan IP Publik (default).
- Tentukan
Contoh (IP Pribadi):
// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment
"config": {
"privateEnvironmentConfig": {
"enablePrivateEnvironment": true
}
}
Terraform
Kolom enable_private_environment di blok config menentukan jenis jaringan lingkungan:
true: jaringan IP Pribadi.falseatau dihilangkan: jaringan IP Publik (default).
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
enable_private_environment = PRIVATE_IP_STATUS
}
}
Ganti kode berikut:
ENVIRONMENT_NAME: nama lingkungan Anda.LOCATION: region tempat lingkungan berada.PRIVATE_IP_STATUS:trueuntuk IP Pribadi,falseuntuk IP Publik
Contoh (IP Pribadi):
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
enable_private_environment = true
... other configuration parameters
}
}
Mengonfigurasi variabel server proxy
Anda dapat menetapkan http_proxy dan https_proxy variabel lingkungan
di lingkungan Anda. Variabel Linux standar ini digunakan oleh klien web yang berjalan di container cluster lingkungan Anda untuk merutekan traffic melalui proxy yang ditentukan.
Variabel NO_PROXY secara default ditetapkan ke daftar domain Google, alamat IP server metadata Compute Engine cluster lingkungan, dan localhost sehingga dikecualikan dari proxy:
.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost
Konfigurasi ini memungkinkan pembuatan lingkungan dengan variabel lingkungan http_proxy dan https_proxy yang ditetapkan jika proxy tidak dikonfigurasi untuk menangani traffic ke layanan Google.