Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Gen 1 Lama)
Bagian ini menjelaskan cara mengatur jaringan skala besar untuk lingkungan Managed Airflow.
Kuota untuk VPC, subnet, dan aturan penerusan
Layanan Managed Airflow dan GKE menggunakan peering VPC untuk membuat koneksi antara komponen lingkungan Managed Airflow (Project Pelanggan dan Project Tenant) serta antara cluster GKE dan Bidang Kontrol GKE.
Jika project Anda memiliki konfigurasi jaringan skala besar, seperti yang memiliki ratusan jaringan dan banyak peering VPC yang dikonfigurasi, operasi mungkin akan gagal karena error kuota VPC, subnet, atau aturan penerusan saat Anda mencoba membuat lingkungan Managed Airflow baru.
Error yang mungkin Anda temui adalah:
Jumlah maksimum peering VPC per jaringan VPC tunggal tercapai.
Kuota default untuk jumlah peering VPC dalam satu VPC adalah 25 (kecuali jika Anda meminta peningkatan kuota ini).
Jumlah maksimum rentang IP subnet utama dan sekunder tercapai.
Kuota untuk parameter ini adalah 400.
Jumlah maksimum aturan penerusan dalam grup peering untuk Load Balancing TCP/UDP Internal tercapai.
Kuota untuk parameter ini adalah 175.
Untuk mengetahui informasi selengkapnya tentang kuota default untuk VPC di Google Cloud, lihat Kuota dan batas.
Tentang jaringan skala besar untuk lingkungan Managed Airflow
Untuk mengatasi tantangan terkait batas ini, Anda dapat mengatur lingkungan Managed Airflow ke dalam beberapa jaringan VPC yang terhubung ke VPC utama/backbone seperti yang dijelaskan di bagian berikut.
Solusi ini berlaku untuk skenario VPC Bersama dan non-VPC Bersama.
Penyiapan jaringan skala besar dalam skenario non-VPC Bersama
Untuk membuat penyiapan jaringan skala besar untuk Managed Airflow:
Buat jaringan VPC backbone. Jaringan ini bertindak sebagai hub untuk setiap jaringan VPC yang menghosting lingkungan Managed Airflow.
Buat jaringan VPC khusus untuk lingkungan Managed Airflow. Anda dapat menggabungkan beberapa lingkungan Managed Airflow ke dalam satu jaringan VPC. Misalnya, Anda dapat memberi nama jaringan ini
composer-vpc-1,composer-vpc-2, dan seterusnya.Buat konektivitas antara jaringan VPC lingkungan Managed Airflow dan VPC backbone dengan membuat tunnel HA VPN.
Penyiapan jaringan skala besar dalam skenario VPC Bersama
Untuk mengatasi masalah batas peering jaringan di jaringan VPC Bersama, atur lingkungan Managed Airflow ke dalam beberapa project dan jaringan VPC yang terhubung ke satu VPC backbone.
Untuk membuat penyiapan jaringan VPC Bersama skala besar untuk Managed Airflow:
Di project host, buat jaringan VPC backbone. Jaringan ini menghubungkan setiap jaringan VPC untuk project layanan yang menjalankan lingkungan Managed Airflow.
Di project host, buat jaringan VPC untuk lingkungan Managed Airflow. Misalnya, Anda dapat memberi nama jaringan ini
composer-shared-vpc-1,composer-shared-vpc-2, dan seterusnya.Buat konektivitas antara jaringan VPC ini dan jaringan VPC backbone dengan membuat tunnel HA VPN secara manual.
Konfigurasi lingkungan Managed Airflow dalam penyiapan VPC Bersama.