En este documento, se explican los requisitos y las limitaciones que se aplican cuando usas los conectores de Symphony para Google Cloud.
Los conectores de IBM Spectrum Symphony para Google Cloud te permiten agregar recursos de procesamiento de Google Cloud a tus clústeres de Symphony. Cuando tus cargas de trabajo de procesamiento de alto rendimiento (HPC) necesitan más capacidad de la que proporciona tu infraestructura existente, los conectores permiten que el servicio de fábrica de hosts de Symphony aprovisione automáticamente instancias de máquinas virtuales (VM) de Compute Engine o pods en Google Kubernetes Engine (GKE). Este enfoque te permite escalar tu entorno de Symphony en Google Cloud para satisfacer la demanda máxima de tus cargas de trabajo de HPC.
Cuándo usar los conectores de Symphony para Google Cloud
Los conectores de Symphony para Google Cloud integran el servicio de fábrica de hosts de Symphony con Google Cloud, lo que te permite usar recursos de Google Clouden tu clúster de Symphony. Usa los conectores de Symphony paraGoogle Cloud en los siguientes casos:
Patrón de aumentos de actividad de nube: Cuando los recursos de tu clúster local son insuficientes, puedes escalar verticalmente de forma dinámica tus cargas de trabajo de Symphony en Google Cloud para acceder a capacidad de procesamiento adicional. Los conectores de Symphony para Google Cloudautomatizan el aprovisionamiento de recursos según sea necesario y se integran con la programación de trabajos existente de Symphony.
Implementaciones de nube híbrida: Si ejecutas cargas de trabajo de Symphony en la infraestructura local y en la de Google Cloud , puedes usar esta solución para unificar la administración de recursos a través del framework de host factory de Symphony. Este enfoque te permite administrar tus recursos locales y de Google Cloud desde una sola interfaz, lo que simplifica el envío de trabajos, la supervisión y la administración de recursos.
Optimización de costos: Usa los tipos de instancias y los modelos de precios flexibles de Google Cloud, como las VMs Spot (VMs interrumpibles), para ejecutar cargas de trabajo sensibles a los costos.
Desarrollo y pruebas: Para aprovisionar recursos de procesamiento temporales para flujos de trabajo de desarrollo o pruebas, usa los conectores de Symphony para Google Cloudpara crear y borrar entornos rápidamente. Los costos se optimizan a través de la limpieza automática de recursos.
Administración unificada: Usa la fábrica de hosts para crear una interfaz coherente que permita administrar los Pods de GKE y las instancias de Compute Engine que usa Symphony.
Integración empresarial sin problemas: Usa esta solución para extender tus implementaciones existentes de Symphony a Google Cloud sin necesidad de realizar cambios arquitectónicos significativos.
Obtén más información sobre cómo funcionan los conectores de Symphony para Google Cloud
Los conectores de Symphony para Google Cloud proporcionan los componentes necesarios para convertirGoogle Cloud en un proveedor del servicio de fábrica del host.
En el siguiente diagrama, se muestra la arquitectura de los conectores de Symphony paraGoogle Cloud:
Esta arquitectura contiene tres grupos principales: un entorno de IBM Spectrum Symphony, una capa de proveedor de fábrica de hosts Google Cloud y servicios Google Cloud . El entorno de Symphony contiene la fábrica de hosts y las secuencias de comandos del proveedor. Esta arquitectura usa la capa de herramientas de la CLI del proveedor de la fábrica de hosts Google Cloud para traducir solicitudes, lo que permite que las secuencias de comandos de Symphony controlen los recursos de Compute Engine y un operador de Kubernetes que se ejecuta en GKE.
En las siguientes secciones, se explican los componentes principales de los conectores de Symphony para Google Cloud.
Fábrica de hosts de IBM Spectrum Symphony
Un servicio de IBM Spectrum Symphony que administra el ciclo de vida de los hosts de procesamiento de varios proveedores según la demanda de la carga de trabajo. Este componente de Symphony es el software con el que se integra Google Cloud .
Secuencias de comandos del proveedor
El servicio de fábrica de hosts de Symphony usa un conjunto de secuencias de comandos para integrarse con un proveedor de servicios en la nube. Estas secuencias de comandos solicitan y devuelven recursos.
De forma predeterminada, Symphony no incluye un proveedor de fábrica de host para Google Cloud.
El proveedor de la fábrica de hosts deGoogle Cloud permite que el marco de trabajo de la fábrica de hosts de Symphony se comunique con Google Cloud.
En la siguiente tabla, se muestran las secuencias de comandos que usan los conectores de Symphony para Google Cloud :
| Nombre | Descripción | Documentación de IBM |
|---|---|---|
getAvailableTemplates.sh |
Recupera las plantillas de recursos disponibles que se definen en la configuración del proveedor. La fábrica de host llama a getAvailableTemplates.sh para saber qué tipos de recursos puede solicitar. |
getAvailableTemplates |
requestMachines.sh |
Aprovisiona recursos de procesamiento nuevos desde Google Cloud. Recibe una carga útil de JSON que especifica la plantilla y la cantidad. | requestMachines |
requestReturnMachines.sh |
La fábrica de hosts desaprovisiona los recursos de procesamiento que usa el clúster de Symphony. Recibe una carga útil de JSON que identifica las máquinas que se devolverán. | requestReturnMachines |
getRequestStatus.sh |
La fábrica de hosts sondea el estado de las solicitudes de aprovisionamiento en curso
que inicia requestMachines.sh. Recibe una carga útil de JSON que contiene IDs de solicitud. |
getRequestStatus |
getReturnRequests.sh |
La fábrica de hosts sondea el estado de las solicitudes de desaprovisionamiento en curso que inicia requestReturnMachines.sh. Recibe una carga útil de JSON que contiene IDs de solicitud. | getReturnRequests |
Google Cloud proveedor de fábrica de host
El proveedor de la fábrica de hosts Google Cloud conecta el framework de la fábrica de hosts de IBM Spectrum Symphony a Google Cloud. Este complemento incluye herramientas de interfaz de línea de comandos (CLI), llamadas proveedores, a las que llama Symphony para solicitar y administrar recursos para las siguientes cargas de trabajo:
En el caso de Compute Engine, usa el proveedor de Compute Engine.
Para las cargas de trabajo de GKE, usa el proveedor de GKE. Para las cargas de trabajo de GKE, debes instalar un operador de Kubernetes adicional. Este operador se ejecuta dentro de tu clúster de GKE para administrar el ciclo de vida de los Pods de procesamiento de IBM Spectrum Symphony que se solicitan con el proveedor de GKE.
Debido a que las herramientas de la CLI son módulos de Python, también puedes ejecutarlas de forma manual con el intérprete de Python. Para obtener más información, consulta Ejecución desde Python en GitHub.
Proveedor de Compute Engine
El proveedor de Compute Engine (hf-gce) es una herramienta de CLI diseñada para integrar la fábrica de hosts de Symphony con Compute Engine. Después de instalar el proveedor de Compute Engine, debes configurarlo en la fábrica de hosts de Symphony. Una vez que se completa esta configuración, la fábrica de hosts invoca automáticamente secuencias de comandos que usan la CLI de hf-gce.
El proveedor de Compute Engine interactúa directamente con la API de Google Compute Engine para administrar el ciclo de vida de las instancias de VM según las demandas de Symphony y las configuraciones definidas en la instancia y las plantillas del proveedor. El proveedor crea, supervisa y finaliza las VMs de Compute Engine, que luego se unen al clúster de Symphony como nodos de procesamiento.
Proveedor de GKE
El proveedor de GKE (hf-gke) es una herramienta de CLI que conecta el servicio de fábrica de hosts de Symphony con GKE. La fábrica de hosts usa secuencias de comandos que llaman a la CLI de hf-gke.
El proveedor de GKE interactúa con la API del clúster de GKE para crear, consultar y borrar recursos personalizados, específicamente los recursos GCPSymphonyResource y MachineReturnRequest.
El operador de Kubernetes que se ejecuta dentro del clúster de GKE controla la administración del ciclo de vida de los Pods según estos recursos personalizados. El proveedor de GKE conecta las solicitudes de recursos de Symphony con la organización basada en recursos personalizados de Kubernetes.
Integraciones de servicios deGoogle Cloud
Puedes conectarte a Compute Engine y GKE. No hay componentes adicionales para las conexiones de Compute Engine. Para las conexiones de GKE, hay un operador de Kubernetes.
Operador de Kubernetes
Este operador solo es necesario para las cargas de trabajo de GKE que ejecutas con el proveedor de GKE. Este operador se ejecuta dentro de tu clúster de GKE para administrar el ciclo de vida de los Pods de procesamiento de Symphony que se solicitan con el proveedor de GKE. El operador de GKE tiene las siguientes características:
- Operaciones asíncronas: Admite el procesamiento asíncrono de alto rendimiento, adecuado para implementaciones a gran escala.
- Manejo de interrupciones: Incluye la detección y la administración automáticas de las interrupciones de las VM Spot.
- Definiciones de recursos personalizados: Usa recursos personalizados
GCPSymphonyResourceyMachineReturnRequestpara administrar recursos. - Limpieza de recursos: Automatiza la limpieza de los recursos completados con períodos de retención configurables.
- Supervisión del estado: Supervisa el estado de la integración con verificaciones de estado y generación de informes de estado integrados.
Limitaciones
Los conectores de Symphony aprovisionan y administran la infraestructura de procesamiento subyacente (instancias de VM y Pods de GKE) para tu clúster de Symphony, pero no crean cargas de trabajo nuevas de Symphony. Google Cloud Seguirás usando el software de Symphony para crear, administrar, programar y ejecutar tus cargas de trabajo.
¿Qué sigue?
- Instala el proveedor de Symphony de Compute Engine
- Instala el proveedor de GKE
- Soluciona problemas de los conectores de IBM Spectrum Symphony