Pemilihan VM Otomatis

Saat Anda menyematkan tugas ke jenis mesin tertentu menggunakan opsi pipeline workerMachineType, Anda berisiko mengalami penundaan atau kegagalan tugas karena kehabisan stok resource. Pemilihan VM Otomatis mengatasi masalah ini dengan otomatis memilih pekerja dari kumpulan jenis mesin yang kompatibel dan tersedia menggunakan fleksibilitas instance Compute Engine. Hal ini membantu memastikan pipeline Dataflow Anda mendapatkan kapasitas dengan andal, sehingga membantu Anda mempertahankan performa yang konsisten dan menghindari gangguan.

Konfigurasi yang tidak didukung

Pemilihan VM Otomatis dinonaktifkan jika pipeline Anda dikonfigurasi dengan salah satu hal berikut:

  • Dataflow Prime diaktifkan.
  • Opsi pipeline min_cpu_platform ditetapkan.
  • Disk Hyperdisk Balanced atau performa yang disediakan kustom (IOPS dan throughput) digunakan. Tugas yang dimulai dengan konfigurasi ini akan gagal.
  • Confidential VM diaktifkan.
  • Akselerator (GPU atau TPU) diperlukan.

Selain itu, Pemilihan VM Otomatis tidak didukung untuk tugas yang menggunakan Shuffle Appliance atau Streaming Appliance.

Mengaktifkan Pemilihan VM Otomatis

Pemilihan VM Otomatis diaktifkan secara otomatis dalam salah satu skenario berikut:

  • Jika Anda menetapkan min_ram atau cpu_count petunjuk resource untuk langkah pipeline yang tidak memerlukan akselerator (GPU atau TPU). Untuk mengetahui informasi tentang cara menggunakan petunjuk resource dengan tugas berbasis template, lihat Petunjuk resource pipeline.

Perilaku Pemilihan VM Otomatis

Konfigurasi petunjuk resource min_ram dan cpu_count secara terpisah atau gabungan. Contoh:

  1. Tugas yang hanya memiliki cpu_count=2 dapat menyediakan instance dengan n4-standard-2 (2 vCPU, RAM 8 GB), c4-standard-2 (2 vCPU, RAM 7 GB), dan jenis mesin lainnya.
  2. Tugas yang memiliki cpu_count=4 dan min_ram=16GB dapat menyediakan instance dengan n4-standard-4 (4 vCPU, RAM 16 GB), c4-highmem-4 (4 vCPU, RAM 31 GB), dan jenis mesin lainnya.

Pemilihan VM Otomatis mengoptimalkan pemilihan VM untuk kemampuan mendapatkan resource. Artinya, Anda mungkin mengalami penurunan performa saat menggunakan Pemilihan VM Otomatis untuk meningkatkan kemampuan mendapatkan beberapa tugas yang sangat dioptimalkan. Sebaiknya uji Pemilihan VM Otomatis pada subset tugas yang ada sebelum secara bertahap men-deploy-nya secara lebih luas. Untuk mengetahui informasi selengkapnya tentang kemampuan mendapatkan, lihat Meningkatkan kemampuan mendapatkan resource untuk tugas dalam dokumentasi Batch.

Dataflow mencoba menggunakan kelompok mesin generasi ke-4 terlebih dahulu (misalnya, N4 atau C4) untuk menawarkan efisiensi yang lebih baik. Jika mesin generasi ke-4 tidak tersedia di region Anda, tidak memiliki kuota yang cukup, atau tidak kompatibel dengan konfigurasi Anda, Dataflow akan otomatis kembali ke kelompok mesin generasi ke-2 yang tersedia secara luas (misalnya, N2 atau E2) untuk memastikan tugas Anda dapat dimulai tanpa penundaan kapasitas.

Jika Anda menentukan jenis disk seperti pd-ssd atau pd-standard saat mengaktifkan Pemilihan VM Otomatis menggunakan petunjuk resource (sesuai), Dataflow hanya menyediakan kelompok mesin generasi ke-2 yang kompatibel. Untuk memastikan kompatibilitas maksimum dan memungkinkan penggunaan generasi mesin yang lebih baru, jangan tetapkan jenis disk.

Pemesanan Compute Engine

Jika Anda menggunakan pemesanan Compute Engine dengan Pemilihan VM Otomatis, perhatikan hal berikut:

  • Jika Anda memiliki pemesanan yang dikonfigurasi untuk digunakan secara otomatis, pemesanan tersebut mungkin digunakan jika Pemilihan VM Otomatis menyediakan jenis mesin yang cocok dengan pemesanan.
  • Pemilihan VM Otomatis menggunakan instance komputasi saat tersedia. Oleh karena itu, Anda tidak dapat menentukan bahwa layanan menggunakan instance dari pemesanan tertentu.

Masalah umum

Saat menggunakan Pemilihan VM Otomatis, perhatikan masalah umum berikut:

Paralelisme yang tidak terduga

Jika Anda mengamati penggunaan CPU yang rendah atau paralelisme yang tidak terduga pada VM pekerja saat menggunakan Pemilihan VM Otomatis dengan yang sesuai, hal ini mungkin disebabkan oleh masalah umum saat jumlah thread per pekerja tidak otomatis ditetapkan agar sesuai dengan jumlah vCPU jenis mesin yang dipilih.

Untuk mengatasi masalah ini, Anda dapat menetapkan jumlah thread harness pekerja secara eksplisit menggunakan numberOfWorkerHarnessThreads opsi pipeline. Opsi ini berlaku secara global untuk semua kumpulan pekerja dalam pipeline.