Tentang penskalaan lingkungan

Managed Airflow (Generasi 3) | Managed Airflow (Generasi 2) | Managed Airflow (Generasi 1 Lama)

Halaman ini menjelaskan cara kerja penskalaan lingkungan.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Managed Airflow otomatis diskalakan sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Managed Airflow akan otomatis meningkatkan jumlah worker di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan beberapa workernya, worker ini akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum worker untuk lingkungan Anda. Managed Airflow otomatis menskalakan lingkungan Anda dalam batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah worker disesuaikan berdasarkan metrik Target Faktor Penskalaan. Metrik ini dihitung berdasarkan:

  • Jumlah worker saat ini
  • Jumlah tugas Celery dalam antrean Celery, yang tidak ditetapkan ke worker
  • Jumlah worker yang tidak aktif
  • Opsi konfigurasi Airflow celery.worker_concurrency

Penskalaan otomatis Managed Airflow menggunakan tiga autoscaler berbeda yang disediakan oleh GKE:

Managed Airflow mengonfigurasi autoscaler ini di cluster lingkungan. Hal ini otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah worker.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol parameter skala dan performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk worker, penjadwal, pemroses DAG, pemicu, dan server web. Dengan melakukannya, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan parameter skala dan performa kapan saja.

Parameter performa ukuran lingkungan lingkungan Anda mengontrol parameter performa infrastruktur Managed Airflow terkelola yang mencakup database Airflow. Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan sejumlah besar DAG dan tugas dengan performa infrastruktur yang lebih tinggi. Misalnya, ukuran lingkungan yang lebih besar akan meningkatkan jumlah entri log tugas Airflow yang dapat diproses lingkungan Anda dengan penundaan minimal.

Ukuran lingkungan berbeda dengan preset lingkungan. Preset lingkungan, yang dapat Anda pilih saat membuat lingkungan di Google Cloud konsol, menentukan batas awal, skala, dan parameter performa lingkungan Anda, termasuk ukuran lingkungan. Ukuran lingkungan hanya menentukan parameter performa infrastruktur Managed Airflow terkelola di lingkungan Anda.

Beberapa penjadwal

Lingkungan Anda dapat menjalankan lebih dari satu penjadwal Airflow dan pemroses DAG secara bersamaan:

  • Anda dapat menetapkan jumlah penjadwal dan pemroses DAG untuk lingkungan Anda dan menyesuaikannya kapan saja.
  • Managed Airflow tidak otomatis menskalakan jumlah penjadwal atau pemroses DAG di lingkungan Anda.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal dan pemroses DAG untuk lingkungan Anda, lihat Menskalakan lingkungan.

Kapasitas disk database

Kapasitas disk untuk database Airflow otomatis meningkat untuk mengakomodasi permintaan.

Langkah berikutnya