Intégrer IBM Spectrum Symphony à Google Cloud

Ce document explique les exigences et les limites qui s'appliquent lorsque vous utilisez les connecteurs Symphony pour Google Cloud.

Les connecteurs IBM Spectrum Symphony pour Google Cloud vous permettent d'ajouter des ressources de calcul à partir de Google Cloud à vos clusters Symphony. Lorsque vos charges de travail de calcul hautes performances (HPC) ont besoin de plus de capacité que votre infrastructure existante, les connecteurs permettent au service de fabrique d'hôtes de Symphony de provisionner automatiquement des instances de machines virtuelles (VM) Compute Engine ou des pods dans Google Kubernetes Engine (GKE). Cette approche vous permet de faire évoluer votre environnement Symphony vers Google Cloud pour répondre à la demande de pointe de vos charges de travail HPC.

Quand utiliser les connecteurs Symphony pour Google Cloud

Symphony Connectors pour Google Cloud intègre le service de fabrique d'hôtes de Symphony à Google Cloud, ce qui vous permet d'utiliser les ressources Google Clouddans votre cluster Symphony. Utilisez les connecteurs Symphony pourGoogle Cloud dans les scénarios suivants :

  • Utilisation temporaire du cloud : lorsque les ressources de votre cluster sur site sont insuffisantes, faites évoluer dynamiquement vos charges de travail Symphony vers Google Cloud pour accéder à une capacité de calcul supplémentaire. Les connecteurs Symphony pour Google Cloudautomatisent le provisionnement des ressources selon les besoins, en s'intégrant à la planification des jobs Symphony existante.

  • Déploiements de cloud hybride : si vous exécutez des charges de travail Symphony à la fois dans une infrastructure sur site et dans une infrastructure Google Cloud , vous pouvez utiliser cette solution pour unifier la gestion des ressources à l'aide du framework de fabrique d'hôtes Symphony. Cette approche vous permet de gérer vos ressources Google Cloud sur site et dans le cloud à partir d'une seule interface, ce qui simplifie l'envoi de jobs, la surveillance et la gestion des ressources.

  • Optimisation des coûts : utilisez les types d'instances et les modèles de tarification flexibles de Google Cloud, tels que les VM Spot (VM préemptives), pour exécuter les charges de travail sensibles aux coûts.

  • Développement et tests : pour provisionner des ressources de calcul temporaires pour les workflows de développement ou de test, utilisez les connecteurs Symphony pour Google Cloudafin de créer et de supprimer rapidement des environnements. Les coûts sont optimisés grâce au nettoyage automatique des ressources.

  • Gestion unifiée : utilisez la fabrique d'hôtes pour créer une interface cohérente permettant de gérer à la fois les pods GKE et les instances Compute Engine utilisées par Symphony.

  • Intégration fluide dans l'entreprise : utilisez cette solution pour étendre vos déploiements Symphony existants à Google Cloud sans nécessiter de modifications architecturales importantes.

Découvrez comment fonctionnent les connecteurs Symphony pour Google Cloud

Les connecteurs Symphony pour Google Cloud fournissent les composants nécessaires pour faire deGoogle Cloud un fournisseur pour le service de fabrique d'hôte.

Le schéma suivant illustre l'architecture des connecteurs Symphony pourGoogle Cloud :

Diagramme d'architecture montrant l'interaction entre l'environnement IBM Spectrum Symphony, la couche de fournisseur de fabrique d'hôtes Google Cloud et les services Google Cloud tels que Compute Engine et GKE.

Cette architecture contient trois groupes principaux : un environnement IBM Spectrum Symphony, une couche de Google Cloud fournisseur de fabrique d'hôtes et des services Google Cloud . L'environnement Symphony contient les scripts de fabrique et de fournisseur d'hôte. Cette architecture utilise la couche d'outils CLI du fournisseur de fabrique d'hôtes Google Cloud pour traduire les requêtes, ce qui permet aux scripts Symphony de contrôler les ressources Compute Engine et un opérateur Kubernetes exécuté dans GKE.

Les sections suivantes expliquent les principaux composants des connecteurs Symphony pour Google Cloud.

Fabrique d'hôtes IBM Spectrum Symphony

Service IBM Spectrum Symphony qui gère le cycle de vie des hôtes de calcul de différents fournisseurs en fonction de la demande de charge de travail. Ce composant Symphony est le logiciel avec lequel Google Cloud s'intègre.

Scripts de fournisseur

Le service de fabrique d'hôtes Symphony utilise un ensemble de scripts shell pour s'intégrer à un fournisseur de services cloud. Ces scripts demandent et renvoient des ressources.

Par défaut, Symphony n'inclut pas de fournisseur de fabrique d'hôte pour Google Cloud.

Le fournisseur de fabrique d'hôtesGoogle Cloud permet au framework de fabrique d'hôtes Symphony de communiquer avec Google Cloud.

Le tableau suivant présente les scripts utilisés par les connecteurs Symphony pour Google Cloud  :

Nom Description Documentation IBM
getAvailableTemplates.sh Récupère les modèles de ressources disponibles définis dans la configuration du fournisseur. L'hôte appelle getAvailableTemplates.sh pour connaître les types de ressources qu'il peut demander. getAvailableTemplates
requestMachines.sh Provisionne de nouvelles ressources de calcul à partir de Google Cloud. Il reçoit une charge utile JSON qui spécifie le modèle et la quantité. requestMachines
requestReturnMachines.sh L'usine hôte supprime les ressources de calcul utilisées par le cluster Symphony. Il reçoit une charge utile JSON qui identifie les machines à renvoyer. requestReturnMachines
getRequestStatus.sh La fabrique d'hôtes interroge l'état des demandes de provisionnement en cours initiées par requestMachines.sh. Il reçoit une charge utile JSON contenant des ID de requête. getRequestStatus
getReturnRequests.sh La fabrique d'hôtes interroge l'état des demandes de désactivation en cours initiées par requestReturnMachines.sh. Il reçoit une charge utile JSON contenant des ID de requête. getReturnRequests

Fournisseur de fabrique hôteGoogle Cloud

Le fournisseur de fabrique d'hôtes Google Cloud connecte le framework de fabrique d'hôtes d'IBM Spectrum Symphony à Google Cloud. Ce plug-in inclut des outils d'interface de ligne de commande (CLI), appelés fournisseurs, que Symphony appelle pour demander et gérer des ressources pour les charges de travail suivantes :

  • Pour Compute Engine, utilisez le fournisseur Compute Engine.

  • Pour les charges de travail GKE, utilisez le fournisseur GKE. Pour les charges de travail GKE, vous devez installer un opérateur Kubernetes supplémentaire. Cet opérateur s'exécute dans votre cluster GKE pour gérer le cycle de vie des pods de calcul IBM Spectrum Symphony demandés à l'aide du fournisseur GKE.

Comme les outils CLI sont des modules Python, vous pouvez également les exécuter manuellement à l'aide de l'interpréteur Python. Pour en savoir plus, consultez Exécuter à partir de Python sur GitHub.

Fournisseur Compute Engine

Le fournisseur Compute Engine (hf-gce) est un outil CLI conçu pour intégrer la fabrique d'hôtes de Symphony à Compute Engine. Une fois le fournisseur Compute Engine installé, vous devez le configurer dans la fabrique d'hôtes Symphony. Une fois cette configuration terminée, la fabrique d'hôtes appelle automatiquement les scripts qui utilisent la CLI hf-gce.

Le fournisseur Compute Engine interagit directement avec l'API Google Compute Engine pour gérer le cycle de vie des instances de VM en fonction des exigences de Symphony et des configurations définies dans l'instance et les modèles du fournisseur. Le fournisseur crée, surveille et arrête les VM Compute Engine, qui rejoignent ensuite le cluster Symphony en tant que nœuds de calcul.

Fournisseur GKE

Le fournisseur GKE (hf-gke) est un outil CLI qui connecte le service de fabrique d'hôtes de Symphony à GKE. L'usine d'hôtes utilise des scripts qui appellent la CLI hf-gke.

Le fournisseur GKE interagit avec l'API du cluster GKE pour créer, interroger et supprimer des ressources personnalisées, en particulier les ressources GCPSymphonyResource et MachineReturnRequest.

L'opérateur Kubernetes qui s'exécute dans le cluster GKE gère le cycle de vie des pods en fonction de ces ressources personnalisées. Le fournisseur GKE connecte les demandes de ressources de Symphony à l'orchestration basée sur les ressources personnalisées Kubernetes.

Intégrations de servicesGoogle Cloud

Vous pouvez vous connecter à Compute Engine et à GKE. Aucun composant supplémentaire n'est requis pour les connexions Compute Engine. Pour les connexions GKE, il existe un opérateur Kubernetes.

Opérateur Kubernetes

Cet opérateur n'est requis que pour les charges de travail GKE que vous exécutez à l'aide du fournisseur GKE. Cet opérateur s'exécute dans votre cluster GKE pour gérer le cycle de vie des pods de calcul Symphony demandés à l'aide du fournisseur GKE. L'opérateur GKE présente les caractéristiques suivantes :

  • Opérations asynchrones : permet un traitement asynchrone hautes performances, adapté aux déploiements à grande échelle.
  • Gestion de la préemption : inclut la détection et la gestion automatiques des préemptions de VM Spot.
  • Définitions de ressources personnalisées : utilise les ressources personnalisées GCPSymphonyResource et MachineReturnRequest pour gérer les ressources.
  • Nettoyage des ressources : automatise le nettoyage des ressources terminées, avec des périodes de conservation configurables.
  • Surveillance de l'état : surveille l'état de l'intégration grâce à des vérifications d'état et des rapports d'état intégrés.

Limites

Les connecteurs Symphony pour Google Cloud provisionnent et gèrent l'infrastructure de calcul sous-jacente (instances de VM et pods GKE) pour votre cluster Symphony. Ils ne créent pas de nouvelles charges de travail Symphony. Vous continuez à utiliser le logiciel Symphony pour créer, gérer, planifier et exécuter vos charges de travail.

Étapes suivantes