Mengintegrasikan IBM Spectrum Symphony dengan Google Cloud

Dokumen ini menjelaskan persyaratan dan batasan yang berlaku saat Anda menggunakan Symphony Connectors for Google Cloud.

IBM Spectrum Symphony Connectors for Google Cloud memungkinkan Anda menambahkan resource komputasi dari ke cluster Symphony. Google Cloud Saat workload komputasi berperforma tinggi (HPC) Anda memerlukan kapasitas lebih besar daripada yang disediakan infrastruktur yang ada, konektor akan memungkinkan layanan host factory Symphony otomatis menyediakan instance virtual machine (VM) Compute Engine atau pod di Google Kubernetes Engine (GKE). Dengan pendekatan ini, Anda dapat menskalakan lingkungan Symphony ke Google Cloud untuk memenuhi permintaan puncak untuk workload HPC.

Kapan menggunakan Symphony Connectors for Google Cloud

Symphony Connectors for Google Cloud mengintegrasikan layanan host factory Symphony dengan Google Cloud, sehingga Anda dapat menggunakan Google Cloud resource di cluster Symphony. Gunakan Symphony Connectors for Google Cloud dalam skenario berikut:

  • Cloud bursting: Jika resource cluster lokal Anda tidak mencukupi, skalakan workload Symphony Anda secara dinamis ke Google Cloud untuk mengakses kapasitas komputasi tambahan. Symphony Connectors formengotomatiskan penyediaan resource sesuai kebutuhan, yang terintegrasi dengan penjadwalan tugas Symphony yang ada. Google Cloud

  • Deployment cloud hybrid: Jika Anda menjalankan workload Symphony di infrastruktur lokal dan, Anda dapat menggunakan solusi ini untuk menyatukan pengelolaan resource melalui framework host factory Symphony. Google Cloud Dengan pendekatan ini, Anda dapat mengelola resource lokal dan Google Cloud dari satu antarmuka, sehingga menyederhanakan pengiriman tugas, pemantauan, dan pengelolaan resource.

  • Pengoptimalan biaya: Gunakan Google Cloud's jenis instance yang fleksibel dan model harga, seperti Spot VM untuk menjalankan workload yang sensitif terhadap biaya.

  • Pengembangan dan pengujian: Untuk menyediakan resource komputasi sementara untuk alur kerja pengembangan atau pengujian, gunakan Symphony Connectors for Google Cloud untuk membuat dan menghapus lingkungan dengan cepat. Biaya dioptimalkan melalui pembersihan resource otomatis.

  • Pengelolaan terpadu: Gunakan host factory untuk membuat antarmuka yang konsisten guna mengelola pod GKE dan instance Compute Engine yang digunakan oleh Symphony.

  • Integrasi perusahaan yang lancar: Gunakan solusi ini untuk memperluas deployment Symphony yang ada ke Google Cloud tanpa memerlukan perubahan arsitektur yang signifikan.

Pelajari cara kerja Symphony Connectors for Google Cloud

Symphony Connectors for Google Cloud menyediakan komponen yang diperlukan untuk membuat Google Cloud penyedia layanan host factory.

Diagram berikut menunjukkan arsitektur Symphony Connectors for Google Cloud:

Diagram arsitektur yang menunjukkan interaksi antara lingkungan IBM Spectrum Symphony, lapisan penyedia factory host Google Cloud , dan layanan Google Cloud seperti Compute Engine dan GKE.

Arsitektur ini berisi tiga grup utama: lingkungan IBM Spectrum Symphony, lapisan penyediahost factory Google Cloud , danlayanan Google Cloud . Lingkungan Symphony berisi skrip host factory dan penyedia. Arsitektur ini menggunakan Google Cloud lapisan alat CLI penyediahost factory untuk menerjemahkan permintaan, sehingga skrip Symphony dapat mengontrol resource Compute Engine dan operator Kubernetes yang berjalan di GKE.

Bagian berikut menjelaskan komponen utama Symphony Connectors for Google Cloud.

Host factory IBM Spectrum Symphony

Layanan IBM Spectrum Symphony yang mengelola siklus proses host komputasi dari berbagai penyedia berdasarkan permintaan workload. Komponen Symphony ini adalah software yang Google Cloud terintegrasi dengan.

Skrip penyedia

Layanan host factory Symphony menggunakan serangkaian skrip shell untuk berintegrasi dengan penyedia cloud. Skrip ini meminta dan menampilkan resource.

Secara default, Symphony tidak menyertakan penyedia host factory untuk Google Cloud.

Penyedia host factory memungkinkan framework host factory Symphony berkomunikasi dengan.Google Cloud Google Cloud

Tabel berikut menunjukkan skrip yang digunakan oleh Symphony Connectors for Google Cloud :

Nama Deskripsi Dokumentasi IBM
getAvailableTemplates.sh Mengambil template resource yang tersedia yang ditentukan dalam konfigurasi penyedia. Host factory memanggil getAvailableTemplates.sh untuk mengetahui jenis resource yang dapat dimintanya. getAvailableTemplates
requestMachines.sh Menyediakan resource komputasi baru dari Google Cloud. Resource ini menerima payload JSON yang menentukan template dan kuantitas. requestMachines
requestReturnMachines.sh Host factory menghentikan penyediaan resource komputasi yang digunakan oleh cluster Symphony. Resource ini menerima payload JSON yang mengidentifikasi mesin yang akan ditampilkan. requestReturnMachines
getRequestStatus.sh Host factory melakukan polling status permintaan penyediaan yang sedang berlangsung yang dimulai oleh requestMachines.sh. Resource ini menerima payload JSON yang berisi ID permintaan. getRequestStatus
getReturnRequests.sh Host factory melakukan polling status permintaan penghentian penyediaan yang sedang berlangsung yang dimulai oleh requestReturnMachines.sh. Resource ini menerima payload JSON yang berisi ID permintaan. getReturnRequests

Google Cloud penyedia host factory

Penyedia Google Cloud host factory menghubungkan framework host factory IBM Spectrum Symphony ke Google Cloud. Plugin ini mencakup alat antarmuka command line (CLI), yang disebut penyedia, yang dipanggil oleh Symphony untuk meminta dan mengelola resource untuk workload berikut:

Karena alat CLI adalah modul Python, Anda juga dapat menjalankannya secara manual menggunakan interpreter Python. Untuk mengetahui informasi selengkapnya, lihat Menjalankan dari Python di GitHub.

Penyedia Compute Engine

Penyedia Compute Engine (hf-gce) adalah alat CLI yang dirancang untuk mengintegrasikan host factory Symphony dengan Compute Engine. Setelah menginstal penyedia Compute Engine, Anda harus mengonfigurasinya di host factory Symphony. Setelah konfigurasi ini selesai, host factory akan otomatis memanggil skrip yang menggunakan CLI hf-gce.

Penyedia Compute Engine berinteraksi langsung dengan Google Compute Engine API untuk mengelola siklus proses instance VM berdasarkan permintaan Symphony dan konfigurasi yang ditentukan dalam instance dan template penyedia. Penyedia membuat, memantau, dan menghentikan VM Compute Engine, yang kemudian bergabung dengan cluster Symphony sebagai node komputasi.

Penyedia GKE

Penyedia GKE (hf-gke) adalah alat CLI yang menghubungkan layanan host factory Symphony dengan GKE. Host factory menggunakan skrip yang memanggil CLI hf-gke.

Penyedia GKE berinteraksi dengan API cluster GKE untuk membuat, mengkueri, dan menghapus resource kustom, khususnya resource GCPSymphonyResource dan MachineReturnRequest.

Operator Kubernetes yang berjalan dalam cluster GKE menangani pengelolaan siklus proses pod berdasarkan resource kustom ini. Penyedia GKE menghubungkan permintaan resource Symphony ke orkestrasi berbasis resource kustom Kubernetes.

Google Cloud integrasi layanan

Anda dapat terhubung ke Compute Engine dan GKE. Tidak ada komponen tambahan untuk koneksi Compute Engine. Untuk koneksi GKE, ada operator Kubernetes.

Operator Kubernetes

Operator ini hanya diperlukan untuk workload GKE yang Anda jalankan menggunakan penyedia GKE. Operator ini berjalan dalam cluster GKE Anda untuk mengelola siklus proses pod komputasi Symphony yang diminta menggunakan penyedia GKE. Operator GKE memiliki fitur berikut:

  • Operasi asinkron: mendukung pemrosesan asinkron berperforma tinggi, yang cocok untuk deployment skala besar.
  • Penanganan preemption: mencakup deteksi dan pengelolaan preemption Spot VM otomatis.
  • Definisi resource kustom: menggunakan resource kustom GCPSymphonyResource dan MachineReturnRequest untuk mengelola resource.
  • Pembersihan resource: mengotomatiskan pembersihan resource yang telah selesai, dengan periode retensi yang dapat dikonfigurasi.
  • Pemantauan kualitas: memantau kualitas integrasi dengan pemeriksaan kualitas dan pelaporan status bawaan.

Batasan

Symphony Connectors for Google Cloud menyediakan dan mengelola infrastruktur komputasi yang mendasarinya (instance VM dan pod GKE) untuk cluster Symphony Anda; konektor ini tidak membuat workload Symphony baru. Anda terus menggunakan software Symphony untuk membuat, mengelola, menjadwalkan, dan menjalankan workload.

Langkah berikutnya