Mengintegrasikan IBM Spectrum Symphony dengan Google Cloud

Dokumen ini menjelaskan persyaratan dan batasan yang berlaku saat Anda menggunakan Symphony Connectors untuk Google Cloud.

Konektor IBM Spectrum Symphony untuk Google Cloud memungkinkan Anda menambahkan sumber daya komputasi dari Google Cloud ke cluster Symphony Anda. Saat workload komputasi berperforma tinggi (HPC) Anda memerlukan kapasitas yang lebih besar daripada yang disediakan infrastruktur yang ada, konektor memungkinkan layanan host factory Symphony secara otomatis menyediakan instance atau pod virtual machine (VM) Compute Engine di Google Kubernetes Engine (GKE). Dengan pendekatan ini, Anda dapat menskalakan lingkungan Symphony menjadi Google Cloud untuk memenuhi permintaan puncak untuk workload HPC Anda.

Kapan harus menggunakan Symphony Connectors untuk Google Cloud

Konektor Symphony untuk Google Cloud mengintegrasikan layanan host factory Symphony dengan Google Cloud, sehingga Anda dapat menggunakan resource Google Cloud di cluster Symphony. Gunakan Symphony Connectors untuk Google Cloud dalam skenario berikut:

  • Cloud bursting: Jika resource cluster lokal Anda tidak mencukupi, skala workload Symphony Anda secara dinamis ke Google Cloud untuk mengakses kapasitas komputasi tambahan. Symphony Connectors for Google Cloud mengotomatiskan penyediaan resource sesuai kebutuhan, yang terintegrasi dengan penjadwalan tugas Symphony yang ada.

  • Deployment cloud hybrid: Jika Anda menjalankan workload Symphony di infrastruktur lokal dan cloud, Anda dapat menggunakan solusi ini untuk menyatukan pengelolaan resource melalui framework factory host Symphony. Google Cloud Pendekatan ini memungkinkan Anda mengelola resource lokal dan Google Cloud dari satu antarmuka, sehingga menyederhanakan pengiriman tugas, pemantauan, dan pengelolaan resource.

  • Pengoptimalan biaya: Gunakan jenis instance dan model harga yang fleksibel dari Google Cloud, seperti Spot VM (preemptible VM), untuk menjalankan workload yang sensitif terhadap biaya.

  • Pengembangan dan pengujian: Untuk menyediakan resource komputasi sementara bagi alur kerja pengembangan atau pengujian, gunakan Symphony Connectors for Google Cloud untuk membuat dan menghapus lingkungan dengan cepat. Biaya dioptimalkan melalui pembersihan resource otomatis.

  • Pengelolaan terpadu: Gunakan host factory untuk membuat antarmuka yang konsisten guna mengelola pod GKE dan instance Compute Engine yang digunakan oleh Symphony.

  • Integrasi perusahaan yang lancar: Gunakan solusi ini untuk memperluas deployment Symphony yang ada ke Google Cloud tanpa memerlukan perubahan arsitektur yang signifikan.

Mempelajari cara kerja Symphony Connectors for Google Cloud

Konektor Symphony untuk Google Cloud menyediakan komponen yang diperlukan untuk menjadikan Google Cloud sebagai penyedia untuk layanan factory host.

Diagram berikut menunjukkan arsitektur Symphony Connectors untuk Google Cloud:

Diagram arsitektur yang menunjukkan interaksi antara lingkungan IBM Spectrum Symphony, lapisan penyedia factory host Google Cloud , dan layanan Google Cloud seperti Compute Engine dan GKE.

Arsitektur ini berisi tiga grup utama: lingkungan IBM Spectrum Symphony, lapisan Google Cloud penyedia host factory, dan Google Cloud layanan. Lingkungan Symphony berisi skrip penyedia dan factory host. Arsitektur ini menggunakan lapisan alat CLI penyedia factory host Google Cloud untuk menerjemahkan permintaan, sehingga skrip Symphony dapat mengontrol resource Compute Engine dan operator Kubernetes yang berjalan di GKE.

Bagian berikut menjelaskan komponen utama Symphony Connectors untuk Google Cloud.

Factory host IBM Spectrum Symphony

Layanan IBM Spectrum Symphony yang mengelola siklus proses host komputasi dari berbagai penyedia berdasarkan permintaan beban kerja. Komponen Symphony ini adalah software yang terintegrasi dengan Google Cloud .

Skrip penyedia

Layanan factory host Symphony menggunakan serangkaian skrip shell untuk berintegrasi dengan penyedia cloud. Skrip ini meminta dan menampilkan resource.

Secara default, Symphony tidak menyertakan penyedia factory host untuk Google Cloud.

Penyedia factory hostGoogle Cloud memungkinkan framework factory host Symphony berkomunikasi dengan Google Cloud.

Tabel berikut menunjukkan skrip yang digunakan Symphony Connectors for Google Cloud :

Nama Deskripsi Dokumentasi IBM
getAvailableTemplates.sh Mengambil template resource yang tersedia yang ditentukan dalam konfigurasi penyedia. Panggilan factory host getAvailableTemplates.sh untuk mengetahui jenis resource yang dapat dimintanya. getAvailableTemplates
requestMachines.sh Menyediakan resource komputasi baru dari Google Cloud. API ini menerima payload JSON yang menentukan template dan jumlah. requestMachines
requestReturnMachines.sh Host factory membatalkan penyediaan resource komputasi yang digunakan oleh cluster Symphony. API ini menerima payload JSON yang mengidentifikasi mesin yang akan dikembalikan. requestReturnMachines
getRequestStatus.sh Factory host melakukan polling status permintaan penyediaan yang sedang berlangsung yang dimulai oleh requestMachines.sh. Fungsi ini menerima payload JSON yang berisi ID permintaan. getRequestStatus
getReturnRequests.sh Factory host melakukan polling status permintaan penghapusan penyediaan yang sedang berlangsung yang dimulai oleh requestReturnMachines.sh. Fungsi ini menerima payload JSON yang berisi ID permintaan. getReturnRequests

Google Cloud penyedia factory host

Penyedia factory host Google Cloud menghubungkan framework factory host IBM Spectrum Symphony ke Google Cloud. Plugin ini mencakup alat antarmuka command line (CLI), yang disebut penyedia, yang dipanggil Symphony untuk meminta dan mengelola resource untuk workload berikut:

  • Untuk Compute Engine, gunakan penyedia Compute Engine.

  • Untuk workload GKE, gunakan penyedia GKE. Untuk workload GKE, Anda harus menginstal operator Kubernetes tambahan. Operator ini berjalan dalam cluster GKE Anda untuk mengelola siklus proses pod komputasi IBM Spectrum Symphony yang diminta menggunakan penyedia GKE.

Karena alat CLI adalah modul Python, Anda juga dapat menjalankannya secara manual dengan menggunakan penafsir Python. Untuk mengetahui informasi selengkapnya, lihat Menjalankan dari Python di GitHub.

Penyedia Compute Engine

Penyedia Compute Engine (hf-gce) adalah alat CLI yang dirancang untuk mengintegrasikan host factory Symphony dengan Compute Engine. Setelah menginstal penyedia Compute Engine, Anda harus mengonfigurasinya di Symphony host factory. Setelah konfigurasi ini selesai, host factory akan otomatis memanggil skrip yang menggunakan hf-gce CLI.

Penyedia Compute Engine berinteraksi langsung dengan Google Compute Engine API untuk mengelola siklus proses instance VM berdasarkan permintaan Symphony dan konfigurasi yang ditentukan dalam instance dan template penyedia. Penyedia membuat, memantau, dan menghentikan VM Compute Engine, yang kemudian bergabung dengan cluster Symphony sebagai node komputasi.

Penyedia GKE

Penyedia GKE (hf-gke) adalah alat CLI yang menghubungkan layanan factory host Symphony dengan GKE. Host factory menggunakan skrip yang memanggil hf-gke CLI.

Penyedia GKE berinteraksi dengan API cluster GKE untuk membuat, membuat kueri, dan menghapus resource kustom, khususnya resource GCPSymphonyResource dan MachineReturnRequest.

Operator Kubernetes yang berjalan dalam cluster GKE menangani pengelolaan siklus proses pod berdasarkan resource kustom ini. Penyedia GKE menghubungkan permintaan resource Symphony ke orkestrasi berbasis resource kustom Kubernetes.

Integrasi layananGoogle Cloud

Anda dapat terhubung ke Compute Engine dan GKE. Tidak ada komponen tambahan untuk koneksi Compute Engine. Untuk koneksi GKE, ada operator Kubernetes.

Operator Kubernetes

Operator ini hanya diperlukan untuk workload GKE yang Anda jalankan menggunakan penyedia GKE. Operator ini berjalan dalam cluster GKE Anda untuk mengelola siklus proses pod komputasi Symphony yang diminta menggunakan penyedia GKE. Operator GKE memiliki fitur berikut:

  • Operasi asinkron: mendukung pemrosesan asinkron berperforma tinggi, cocok untuk deployment skala besar.
  • Penanganan preemption: mencakup deteksi dan pengelolaan preemption Spot VM secara otomatis.
  • Definisi resource kustom: menggunakan resource kustom GCPSymphonyResource dan MachineReturnRequest untuk mengelola resource.
  • Pembersihan resource: mengotomatiskan pembersihan resource yang telah selesai, dengan periode retensi yang dapat dikonfigurasi.
  • Pemantauan kualitas: memantau kualitas integrasi dengan pemeriksaan kualitas bawaan dan pelaporan status.

Batasan

Konektor Symphony untuk Google Cloud menyediakan dan mengelola infrastruktur komputasi yang mendasarinya (instance VM dan pod GKE) untuk cluster Symphony Anda; konektor ini tidak membuat workload Symphony baru. Anda terus menggunakan software Symphony untuk membuat, mengelola, menjadwalkan, dan menjalankan workload.

Langkah berikutnya