Tentang penskalaan lingkungan

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara kerja penskalaan lingkungan.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Airflow terkelola diskalakan secara otomatis sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Managed Airflow akan otomatis meningkatkan jumlah worker di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan beberapa worker, worker tersebut akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum pekerja untuk lingkungan Anda. Managed Airflow secara otomatis menskalakan lingkungan Anda dalam batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Target Faktor Penskalaan. Metrik ini dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Celery dalam antrean Celery, yang tidak ditetapkan ke worker
  • Jumlah pekerja yang tidak aktif
  • celery.worker_concurrency Opsi konfigurasi Airflow

Penskalaan otomatis Managed Airflow menggunakan tiga penskala otomatis berbeda yang disediakan oleh GKE:

Managed Airflow mengonfigurasi penskala otomatis ini di cluster lingkungan. Hal ini secara otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah pekerja.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol parameter skala dan performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk pekerja, scheduler, pemicu, dan server web. Dengan melakukannya, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan parameter skala dan performa kapan saja.

Parameter performa ukuran lingkungan di lingkungan Anda mengontrol parameter performa infrastruktur Managed Airflow terkelola yang mencakup database Airflow. Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan sejumlah besar DAG dan tugas dengan performa infrastruktur yang lebih tinggi. Misalnya, ukuran lingkungan yang lebih besar akan meningkatkan jumlah entri log tugas Airflow yang dapat diproses lingkungan Anda dengan penundaan minimal.

Ukuran lingkungan berbeda dengan preset lingkungan. Preset lingkungan, yang dapat Anda pilih saat membuat lingkungan di konsolGoogle Cloud , menentukan batas awal, skala, dan parameter performa lingkungan Anda, termasuk ukuran lingkungan. Ukuran lingkungan hanya menentukan parameter performa infrastruktur Managed Airflow terkelola di lingkungan Anda.

Beberapa penjadwal

Lingkungan Anda dapat menjalankan lebih dari satu scheduler Airflow secara bersamaan:

  • Anda dapat menetapkan jumlah penjadwal untuk lingkungan Anda dan menyesuaikannya kapan saja.
  • Managed Airflow tidak otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal untuk lingkungan Anda, lihat Menskalakan lingkungan.

Ruang disk database

Ruang disk untuk database Airflow akan otomatis bertambah untuk mengakomodasi permintaan.

Langkah berikutnya