Tentang penskalaan lingkungan

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara kerja penskalaan lingkungan.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Cloud Composer otomatis diskalakan sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Cloud Composer akan otomatis meningkatkan jumlah pekerja di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan beberapa worker, worker ini akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum pekerja untuk lingkungan Anda. Cloud Composer otomatis menskalakan lingkungan Anda dalam batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Target Faktor Penskalaan. Metrik ini dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Celery dalam antrean Celery, yang tidak ditetapkan ke worker
  • Jumlah pekerja yang tidak aktif
  • celery.worker_concurrency Opsi konfigurasi Airflow

Penskalaan otomatis Cloud Composer menggunakan tiga penskala otomatis berbeda yang disediakan oleh GKE:

Cloud Composer mengonfigurasi penskala otomatis ini di cluster lingkungan. Hal ini akan otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah pekerja.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol parameter skala dan performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk pekerja, scheduler, pemicu, dan server web. Dengan melakukannya, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan parameter skala dan performa kapan saja.

Parameter performa ukuran lingkungan di lingkungan Anda mengontrol parameter performa infrastruktur Cloud Composer terkelola yang mencakup database Airflow. Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan sejumlah besar DAG dan tugas dengan performa infrastruktur yang lebih tinggi. Misalnya, ukuran lingkungan yang lebih besar akan meningkatkan jumlah entri log tugas Airflow yang dapat diproses lingkungan Anda dengan penundaan minimal.

Beberapa penjadwal

Lingkungan Anda dapat menjalankan lebih dari satu scheduler Airflow secara bersamaan:

  • Anda dapat menetapkan jumlah penjadwal untuk lingkungan Anda dan menyesuaikannya kapan saja.
  • Cloud Composer tidak otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal untuk lingkungan Anda, lihat Menskalakan lingkungan.

Ruang disk database

Ruang disk untuk database Airflow akan otomatis bertambah untuk mengakomodasi permintaan.

Langkah berikutnya