Integra IBM Spectrum Symphony con Google Cloud

Questo documento spiega i requisiti e le limitazioni che si applicano quando utilizzi Symphony Connectors per Google Cloud.

I connettori IBM Spectrum Symphony per Google Cloud ti consentono di aggiungere risorse di calcolo da Google Cloud ai tuoi cluster Symphony. Quando i tuoi carichi di lavoro di computing ad alte prestazioni (HPC) richiedono più capacità di quella fornita dalla tua infrastruttura esistente, i connettori consentono al servizio di fabbrica host di Symphony di eseguire il provisioning automatico di istanze di macchine virtuali (VM) o pod di Compute Engine in Google Kubernetes Engine (GKE). Questo approccio ti consente di scalare l'ambiente Symphony in Google Cloud per soddisfare il picco di domanda per i tuoi carichi di lavoro HPC.

Quando utilizzare Symphony Connectors per Google Cloud

Symphony Connectors per Google Cloud integra il servizio di fabbrica host di Symphony con Google Cloud, consentendoti di utilizzare le risorse Google Cloudnel tuo cluster Symphony. Utilizza Symphony Connectors per Google Cloud nei seguenti scenari:

  • Cloud bursting:quando le risorse del cluster on-premise sono insufficienti, scala dinamicamente i tuoi carichi di lavoro Symphony in Google Cloud per accedere a ulteriore capacità di calcolo. Symphony Connectors per Google Cloud automatizza il provisioning delle risorse in base alle necessità, integrato con la pianificazione dei job Symphony esistente.

  • Deployment cloud ibrido:se esegui carichi di lavoro Symphony sia nell'infrastruttura on-premise sia in quella cloud, puoi utilizzare questa soluzione per unificare la gestione delle risorse tramite il framework di fabbrica host di Symphony. Google Cloud Questo approccio ti consente di gestire le risorse on-premise e Google Cloud da una singola interfaccia, semplificando l'invio, il monitoraggio e la gestione delle risorse.

  • Ottimizzazione dei costi: utilizza i tipi di istanza e i modelli di prezzi flessibili di Google Cloud, come le VM spot (VM prerilasciabili), per eseguire carichi di lavoro sensibili ai costi.

  • Sviluppo e test:per eseguire il provisioning di risorse di calcolo temporanee per i flussi di lavoro di sviluppo o test, utilizza Symphony Connectors per Google Cloud per creare ed eliminare rapidamente gli ambienti. I costi vengono ottimizzati tramite la pulizia automatica delle risorse.

  • Gestione unificata:utilizza la fabbrica di host per creare un'interfaccia coerente per gestire sia i pod GKE sia le istanze Compute Engine utilizzate da Symphony.

  • Integrazione aziendale perfetta: utilizza questa soluzione per estendere le implementazioni di Symphony esistenti in Google Cloud senza richiedere modifiche architetturali significative.

Scopri come funzionano i connettori Symphony per Google Cloud

Symphony Connectors per Google Cloud fornisce i componenti necessari per rendere Google Cloud un provider per il servizio host factory.

Il seguente diagramma mostra l'architettura di Symphony Connectors per Google Cloud:

Un diagramma dell'architettura che mostra l'interazione tra l'ambiente IBM Spectrum Symphony, il livello del provider di fabbrica host Google Cloud e i servizi Google Cloud come Compute Engine e GKE.

Questa architettura contiene tre gruppi principali: un ambiente IBM Spectrum Symphony, un livello di Google Cloud provider di fabbrica di host e servizi Google Cloud . L'ambiente Symphony contiene gli script del provider e della fabbrica host. Questa architettura utilizza il livello degli strumenti CLI del provider di fabbrica Google Cloud host per tradurre le richieste, consentendo agli script Symphony di controllare le risorse Compute Engine e un operatore Kubernetes in esecuzione in GKE.

Le sezioni seguenti spiegano i componenti principali di Symphony Connectors per Google Cloud.

IBM Spectrum Symphony host factory

Un servizio IBM Spectrum Symphony che gestisce il ciclo di vita degli host di calcolo di vari provider in base alla domanda di workload. Questo componente di Symphony è il software con cui Google Cloud si integra.

Script del fornitore

Il servizio di fabbrica host Symphony utilizza un insieme di script shell per l'integrazione con un provider di servizi cloud. Questi script richiedono e restituiscono risorse.

Per impostazione predefinita, Symphony non include un fornitore di fabbriche di host per Google Cloud.

Il Google Cloud provider di fabbrica host consente al framework di fabbrica host di Symphony di comunicare con Google Cloud.

La seguente tabella mostra gli script utilizzati da Symphony Connectors per Google Cloud :

Nome Descrizione Documentazione IBM
getAvailableTemplates.sh Recupera i modelli di risorse disponibili definiti nella configurazione del provider. Host factory calls getAvailableTemplates.sh to know what types of resources it can request. getAvailableTemplates
requestMachines.sh Esegue il provisioning di nuove risorse di calcolo da Google Cloud. Riceve un payload JSON che specifica il modello e la quantità. requestMachines
requestReturnMachines.sh L'host factory deprovisioning esegue il deprovisioning delle risorse di calcolo utilizzate dal cluster Symphony. Riceve un payload JSON che identifica le macchine da restituire. requestReturnMachines
getRequestStatus.sh L'host esegue il polling dello stato delle richieste di provisioning in corso avviate da requestMachines.sh. Riceve un payload JSON che contiene gli ID richiesta. getRequestStatus
getReturnRequests.sh Il polling della fabbrica host controlla lo stato delle richieste di deprovisioning in corso avviate da requestReturnMachines.sh. Riceve un payload JSON che contiene gli ID richiesta. getReturnRequests

Google Cloud host factory provider

Il Google Cloud provider di fabbrica host connette il framework di fabbrica host di IBM Spectrum Symphony a Google Cloud. Questo plug-in include strumenti di interfaccia a riga di comando (CLI), chiamati provider, che Symphony chiama per richiedere e gestire le risorse per i seguenti workload:

  • Per Compute Engine, utilizza il provider Compute Engine.

  • Per i workload GKE, utilizza il provider GKE. Per i carichi di lavoro GKE, devi installare un operatore Kubernetes aggiuntivo. Questo operatore viene eseguito all'interno del cluster GKE per gestire il ciclo di vita dei pod di calcolo IBM Spectrum Symphony richiesti utilizzando il provider GKE.

Poiché gli strumenti CLI sono moduli Python, puoi eseguirli manualmente anche utilizzando l'interprete Python. Per maggiori informazioni, vedi Esecuzione da Python in GitHub.

Provider Compute Engine

Il provider Compute Engine (hf-gce) è uno strumento CLI progettato per integrare la fabbrica di host di Symphony con Compute Engine. Dopo aver installato il provider Compute Engine, devi configurarlo nella fabbrica di host Symphony. Una volta completata questa configurazione, host factory richiama automaticamente gli script che utilizzano la CLI hf-gce.

Il provider Compute Engine interagisce direttamente con l'API Google Compute Engine per gestire il ciclo di vita delle istanze VM in base alle richieste di Symphony e alle configurazioni definite nell'istanza e nei modelli del provider. Il provider crea, monitora e termina le VM di Compute Engine, che poi si uniscono al cluster Symphony come nodi di calcolo.

Provider GKE

Il provider GKE (hf-gke) è uno strumento CLI che connette il servizio di fabbrica host di Symphony con GKE. Host factory utilizza script che chiamano l'interfaccia a riga di comando hf-gke.

Il provider GKE interagisce con l'API del cluster GKE per creare, eseguire query ed eliminare risorse personalizzate, in particolare le risorse GCPSymphonyResource e MachineReturnRequest.

L'operatore Kubernetes in esecuzione all'interno del cluster GKE gestisce la gestione del ciclo di vita dei pod in base a queste risorse personalizzate. Il provider GKE collega le richieste di risorse di Symphony all'orchestrazione basata su risorse personalizzate di Kubernetes.

Integrazioni dei serviziGoogle Cloud

Puoi connetterti a Compute Engine e GKE. Non sono presenti componenti aggiuntivi per le connessioni Compute Engine. Per le connessioni GKE, esiste un operatore Kubernetes.

Operatore Kubernetes

Questo operatore è necessario solo per i carichi di lavoro GKE che esegui utilizzando il provider GKE. Questo operatore viene eseguito all'interno del cluster GKE per gestire il ciclo di vita dei pod di calcolo Symphony richiesti utilizzando il provider GKE. L'operatore GKE ha le seguenti funzionalità:

  • Operazioni asincrone:supporta l'elaborazione asincrona ad alte prestazioni, adatta a implementazioni su larga scala.
  • Gestione del prerilascio:include il rilevamento e la gestione automatici dei prerilasci delle VM spot.
  • Definizioni di risorse personalizzate:utilizza risorse personalizzate GCPSymphonyResource e MachineReturnRequest per gestire le risorse.
  • Pulizia delle risorse:automatizza la pulizia delle risorse completate, con periodi di conservazione configurabili.
  • Monitoraggio dell'integrità:monitora l'integrità dell'integrazione con controlli di integrità e report sullo stato integrati.

Limitazioni

Symphony Connectors esegue il provisioning e gestisce l'infrastruttura di calcolo sottostante (istanze VM e pod GKE) per il cluster Symphony; non crea nuovi carichi di lavoro Symphony. Google Cloud Continui a utilizzare il software Symphony per creare, gestire, pianificare ed eseguire i carichi di lavoro.

Passaggi successivi