Déployer des charges de travail IBM Spectrum Symphony

Ce document décrit les connecteurs Symphony pour Google Cloud, qui permettent l'intégration entre IBM Spectrum Symphony et Google Cloud. Cette intégration vous permet d'utiliser les ressources Google Cloud comme capacité de calcul flexible pour vos clusters Symphony. Symphony gère ensuite le cluster à l'aide de host factory. Host Factory est un composant d'IBM Spectrum Symphony qui étend votre cluster avec des hôtes de calcul provenant de fournisseurs de cloud tels que Google Cloud pour répondre à la demande de ressources dans vos clusters Symphony.

Utilisez les connecteurs Symphony pour Google Cloud afin de compléter votre infrastructure cloud existante avec des ressourcesGoogle Cloud flexibles, en particulier pour les charges de travail de calcul hautes performances (HPC). Les connecteurs Symphony pour Google Cloud sont compatibles avec les services Compute Engine et Google Kubernetes Engine.

Quand utiliser les connecteurs Symphony pour Google Cloud

Les connecteurs Symphony pour Google Cloud sont conçus pour combler le fossé entre le service de fabrique hôte de Symphony et Google Cloud. Utilisez les connecteurs Symphony pourGoogle Cloud dans les scénarios suivants :

  • Utilisation temporaire du cloud : lorsque les ressources de votre cluster sur site sont insuffisantes, faites évoluer dynamiquement vos charges de travail Symphony vers Google Cloud pour accéder à une capacité de calcul supplémentaire. Les connecteurs Symphony pour Google Cloudvous permettent de provisionner automatiquement des ressources selon vos besoins, en s'intégrant à la planification des tâches Symphony existante.

  • Déploiements de cloud hybride : si vous exécutez des charges de travail Symphony à la fois dans une infrastructure sur site et dans une infrastructure Google Cloud , vous pouvez utiliser cette solution pour unifier la gestion des ressources à l'aide du framework de fabrique d'hôtes Symphony. Cette approche permet de créer une expérience cohérente pour l'envoi et la surveillance des tâches, ainsi qu'une allocation flexible des ressources.

  • Optimisation des coûts : utilisez les types d'instances et les modèles de tarification flexibles de Google Cloud, tels que les VM Spot (VM préemptives), pour exécuter les charges de travail sensibles aux coûts.

  • Développement et tests : pour provisionner des ressources de calcul temporaires pour les workflows de développement ou de test, utilisez les connecteurs Symphony pour Google Cloudafin de configurer et de supprimer rapidement des environnements. Les coûts sont optimisés grâce au nettoyage automatique des ressources.

  • Gestion unifiée : utilisez la fabrique d'hôtes pour créer une interface cohérente permettant de gérer à la fois les pods GKE et les instances Compute Engine utilisées par Symphony.

  • Intégration fluide dans l'entreprise : utilisez cette solution pour étendre vos déploiements Symphony existants à Google Cloud sans nécessiter de modifications architecturales importantes.

Découvrez comment fonctionnent les connecteurs Symphony pour Google Cloud

Les connecteurs Symphony pour Google Cloud fournissent les composants nécessaires pour faire deGoogle Cloud un fournisseur pour la fabrique d'hôtes.

Le schéma suivant illustre l'architecture des connecteurs Symphony pourGoogle Cloud :

Schéma de l'architecture Symphony.

Comme le montre le schéma précédent, cette architecture contient trois groupes principaux : un environnement IBM Spectrum Symphony, une couche de fournisseur de fabrique d'hôtes Google Cloud et des services Google Cloud . L'environnement Symphony contient les scripts de fabrique et de fournisseur d'hôte. Cette architecture utilise la couche d'outils CLI du fournisseur de fabrique d'hôtes Google Cloud pour traduire les requêtes, ce qui permet aux scripts Symphony de contrôler les ressources Compute Engine et un opérateur Kubernetes exécuté dans GKE.

Les sections suivantes expliquent les principaux composants des connecteurs Symphony pour Google Cloud.

Fabrique d'hôtes IBM Spectrum Symphony

Service IBM Spectrum Symphony qui gère le cycle de vie des hôtes de calcul de différents fournisseurs en fonction de la demande de charge de travail. Ce composant Symphony est le logiciel avec lequel Google Cloud s'intègre.

Scripts de fournisseur

Le service de fabrique d'hôtes Symphony utilise un ensemble de scripts shell pour s'intégrer à un fournisseur de services cloud. Ces scripts effectuent des actions telles que la demande et le renvoi de ressources.

Par défaut, Symphony n'inclut pas de fournisseur de fabrique d'hôte pour Google Cloud.

Le fournisseur de fabrique d'hôteGoogle Cloud permet au framework de fabrique d'hôte Symphony de communiquer avec Google Cloud.

Le tableau suivant présente les scripts utilisés par les connecteurs Symphony pour Google Cloud  :

Nom Description Documentation IBM
getAvailableTemplates.sh Récupère les modèles de ressources disponibles définis dans la configuration du fournisseur. L'hôte appelle getAvailableTemplates.sh pour connaître les types de ressources qu'il peut demander. getAvailableTemplates
requestMachines.sh Provisionne de nouvelles ressources de calcul à partir de Google Cloud. Il reçoit une charge utile JSON spécifiant le modèle et la quantité. requestMachines
requestReturnMachines.sh L'usine hôte supprime les ressources de calcul utilisées par le cluster Symphony. Il reçoit une charge utile JSON qui identifie les machines à renvoyer. requestReturnMachines
getRequestStatus.sh La fabrique d'hôtes interroge l'état des demandes de provisionnement en cours initiées par requestMachines.sh. Il reçoit une charge utile JSON contenant des ID de requête. getRequestStatus
getReturnRequests.sh La fabrique d'hôtes interroge l'état des demandes de désactivation en cours initiées par requestReturnMachines.sh. Il reçoit une charge utile JSON contenant des ID de requête. getReturnRequests

Fournisseur de fabrique hôteGoogle Cloud

Le fournisseur de fabrique d'hôtes est l'interface créée par Google qui s'intègre au framework de fabrique d'hôtes d'IBM Spectrum Symphony. Ce Google Cloud plug-in inclut des outils CLI que Symphony appelle pour demander et gérer des ressources dansGoogle Cloud. Des outils CLI sont disponibles pour les charges de travail Compute Engine et GKE. Les connecteurs Symphony pour Google Cloud font référence à ces outils CLI en tant que fournisseurs :

  • Pour les charges de travail Compute Engine, vous utilisez le fournisseur Compute Engine.
  • Pour les charges de travail GKE, vous utilisez le fournisseur GKE. Pour les charges de travail GKE, vous avez besoin d'un opérateur supplémentaire. Cet opérateur Kubernetes s'exécute dans votre cluster GKE pour gérer le cycle de vie des pods de calcul IBM Spectrum Symphony demandés à l'aide du fournisseur GKE.

Après avoir installé ces outils CLI, vous pouvez également appeler manuellement les outils CLI du fournisseur Compute Engine et GKE à l'aide de Python. Les outils CLI sont des modules Python, ce qui les rend exécutables à l'aide de l'interpréteur Python. Pour en savoir plus, consultez la documentation Exécuter à partir de Python sur GitHub.

Fournisseur Compute Engine

Le fournisseur Compute Engine (hf-gce) est un outil CLI conçu pour intégrer la fabrique d'hôtes de Symphony à Compute Engine. Une fois le fournisseur Compute Engine installé, vous devez le configurer dans la fabrique d'hôtes Symphony. Une fois cette configuration terminée, la fabrique d'hôtes peut appeler automatiquement les scripts qui utilisent la CLI hf-gce.

Le fournisseur Compute Engine interagit directement avec l'API Google Compute Engine pour gérer le cycle de vie des instances de VM en fonction des exigences de Symphony et des configurations définies dans l'instance et les modèles du fournisseur. Il gère la création, la surveillance et l'arrêt des VM Compute Engine, ce qui leur permet de rejoindre le cluster Symphony en tant que nœuds de calcul.

Fournisseur GKE

Le fournisseur GKE (hf-gke) est un outil CLI qui connecte le service de fabrique d'hôtes de Symphony à GKE. L'usine d'hôtes utilise des scripts qui appellent la CLI hf-gke.

Le fournisseur GKE interagit avec l'API du cluster GKE pour créer, interroger et supprimer des définitions de ressources personnalisées (CRD), en particulier GCPSymphonyResource et MachineReturnRequest.

L'opérateur Kubernetes exécuté dans le cluster GKE gère la gestion du cycle de vie des pods en fonction de ces ressources personnalisées. Le fournisseur GKE sert de pont entre les demandes de ressources de Symphony et l'orchestration basée sur les ressources personnalisées Kubernetes.

Google Cloud services

Vous pouvez vous connecter à Compute Engine et Google Kubernetes Engine. Il n'existe aucun composant supplémentaire pour les connexions Compute Engine. Pour les connexions Google Kubernetes Engine, il existe un opérateur Kubernetes.

Opérateur Kubernetes

Vous n'avez besoin de cet opérateur supplémentaire que pour les charges de travail GKE que vous exécutez à l'aide du fournisseur GKE. Cet opérateur s'exécute dans votre cluster GKE pour gérer le cycle de vie des pods de calcul Symphony demandés à l'aide du fournisseur GKE. Le fournisseur GKE présente les caractéristiques suivantes :

  • Opérations asynchrones : permet un traitement asynchrone hautes performances, adapté aux déploiements à grande échelle.
  • Gestion de la préemption : inclut la détection et la gestion automatiques des préemptions de VM Spot.
  • Définitions de ressources personnalisées : utilise les ressources personnalisées GCPSymphonyResource et MachineReturnRequest pour gérer les ressources.
  • Nettoyage des ressources : automatise le nettoyage des ressources terminées, avec des périodes de conservation configurables.
  • Surveillance de l'état : surveille l'intégration du fournisseur GKE avec des vérifications d'état et des rapports d'état intégrés.

Limites

Les connecteurs Symphony pour Google Cloud sont soumis aux limites suivantes :

  • Google Cloud ne crée, ne gère, ne planifie ni n'exécute vos charges de travail IBM Spectrum Symphony. Vous êtes responsable de la gestion de toutes les charges de travail dans le logiciel Symphony.

Étapes suivantes

Consultez la documentation GitHub pour installer et configurer le fournisseur de fabrique d'hôtes Google Cloud  :