Integrar o IBM Spectrum Symphony ao Google Cloud

Neste documento, explicamos os requisitos e as limitações que se aplicam ao usar Conectores do Symphony para Google Cloud.

Os conectores do IBM Spectrum Symphony para Google Cloud permitem adicionar recursos de computação de Google Cloud aos clusters do Symphony. Quando as cargas de trabalho de computação de alta performance (HPC) precisam de mais capacidade do que a infraestrutura atual oferece, os conectores permitem que o serviço de fábrica de hosts do Symphony provisione automaticamente instâncias de máquinas virtuais (VMs) do Compute Engine ou pods no Google Kubernetes Engine (GKE). Essa abordagem permite escalonar seu ambiente do Symphony para Google Cloud e atender à demanda máxima das cargas de trabalho de HPC.

Quando usar os conectores do Symphony para Google Cloud

Os conectores do Symphony para Google Cloud integram o serviço de fábrica de hosts do Symphony com Google Cloud, permitindo que você use recursos Google Cloud no cluster do Symphony. Use os conectores do Symphony para Google Cloud nos seguintes cenários:

Bursting de nuvem:quando os recursos do cluster local são insuficientes, dimensione dinamicamente as cargas de trabalho do Symphony para Google Cloud e acesse mais capacidade de computação. Os conectores do Symphony para Google Cloud automatizam o provisionamento de recursos conforme necessário, integrados ao agendamento de jobs do Symphony.
Implantações de nuvem híbrida:se você executa cargas de trabalho do Symphony em infraestruturas locais e do Google Cloud , use essa solução para unificar o gerenciamento de recursos com a estrutura de fábrica de hosts do Symphony. Essa abordagem permite gerenciar seus recursos locais e do Google Cloud em uma única interface, simplificando o envio, o monitoramento e o gerenciamento de recursos.
Otimização de custos:use os tipos de instância e modelos de preços flexíveis do Google Cloud, como VMs spot (VMs preemptivas), para executar cargas de trabalho sensíveis a custos.
Desenvolvimento e teste:para provisionar recursos de computação temporários para fluxos de trabalho de desenvolvimento ou teste, use os conectores do Symphony para Google Cloud e crie e exclua ambientes rapidamente. Os custos são otimizados com a limpeza automática de recursos.
Gerenciamento unificado:use a fábrica de hosts para criar uma interface consistente e gerenciar os pods do GKE e as instâncias do Compute Engine usadas pelo Symphony.
Integração empresarial perfeita:use essa solução para estender suas implantações do Symphony atuais para o Google Cloud sem exigir mudanças arquitetônicas significativas.

Saiba como os conectores do Symphony para Google Cloud funcionam

Os conectores do Symphony para Google Cloud fornecem os componentes necessários para tornar Google Cloud um provedor para o serviço de fábrica de host.

O diagrama a seguir mostra a arquitetura dos conectores do Symphony para Google Cloud:

Um diagrama de arquitetura que mostra a interação entre o ambiente do IBM Spectrum Symphony, a camada do provedor de fábrica de hosts Google Cloud e os serviços Google Cloud , como o Compute Engine e o GKE.

Essa arquitetura contém três grupos principais: um ambiente do IBM Spectrum Symphony, uma camada de Google Cloud provedor de fábrica de hosts e serviços Google Cloud . O ambiente do Symphony contém a fábrica de hosts e os scripts de provedor. Essa arquitetura usa a camada de ferramentas da CLI do provedor de fábrica do host Google Cloud para traduzir solicitações, permitindo que os scripts do Symphony controlem recursos do Compute Engine e um operador do Kubernetes em execução no GKE.

As seções a seguir explicam os principais componentes dos Conectores do Symphony para Google Cloud.

Fábrica de hosts do IBM Spectrum Symphony

Um serviço do IBM Spectrum Symphony que gerencia o ciclo de vida dos hosts de computação de vários provedores com base na demanda de carga de trabalho. Esse componente do Symphony é o software com que o Google Cloud se integra.

Scripts do provedor

O serviço de fábrica de hosts do Symphony usa um conjunto de scripts shell para se integrar a um provedor de nuvem. Esses scripts solicitam e retornam recursos.

Por padrão, o Symphony não inclui um provedor de fábrica de host para Google Cloud.

O provedor de fábrica de hosts doGoogle Cloud permite que o framework de fábrica de hosts do Symphony se comunique com o Google Cloud.

A tabela a seguir mostra os scripts usados pelos conectores do Symphony para Google Cloud :

Nome	Descrição	Documentação da IBM
`getAvailableTemplates.sh`	Recupera os modelos de recursos disponíveis definidos na configuração do provedor. A fábrica de hosts chama `getAvailableTemplates.sh` para saber quais tipos de recursos ela pode solicitar.	getAvailableTemplates
`requestMachines.sh`	Provisiona novos recursos de computação de Google Cloud. Ele recebe um payload JSON que especifica o modelo e a quantidade.	requestMachines
`requestReturnMachines.sh`	A fábrica de hosts desprovisiona os recursos de computação usados pelo cluster do Symphony. Ele recebe um payload JSON que identifica as máquinas a serem retornadas.	requestReturnMachines
`getRequestStatus.sh`	A fábrica de hosts pesquisa o status das solicitações de provisionamento em andamento iniciadas pelo `requestMachines.sh`. Ele recebe um payload JSON que contém IDs de solicitação.	getRequestStatus
`getReturnRequests.sh`	A fábrica de hosts pesquisa o status das solicitações de desprovisionamento em andamento iniciadas por `requestReturnMachines.sh`. Ele recebe um payload JSON que contém IDs de solicitação.	getReturnRequests

Provedor de fábrica de hostsGoogle Cloud

O provedor de fábrica de hosts Google Cloud conecta a estrutura de fábrica de hosts do IBM Spectrum Symphony ao Google Cloud. Esse plug-in inclui ferramentas de interface de linha de comando (CLI), chamadas de provedores, que o Symphony chama para solicitar e gerenciar recursos para as seguintes cargas de trabalho:

Para o Compute Engine, use o provedor do Compute Engine.
Para cargas de trabalho do GKE, use o provedor do GKE. Para cargas de trabalho do GKE, é necessário instalar um operador do Kubernetes adicional. Esse operador é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do IBM Spectrum Symphony solicitados usando o provedor do GKE.

Como as ferramentas CLI são módulos Python, também é possível executá-las manualmente usando o interpretador Python. Para mais informações, consulte Execução em Python no GitHub.

Provedor do Compute Engine

O provedor do Compute Engine (hf-gce) é uma ferramenta de CLI projetada para integrar a fábrica de hosts do Symphony com o Compute Engine. Depois de instalar o provedor do Compute Engine, é necessário configurá-lo na fábrica de hosts do Symphony. Depois que essa configuração for concluída, a fábrica de hosts vai invocar automaticamente scripts que usam a CLI hf-gce.

O provedor do Compute Engine interage diretamente com a API do Google Compute Engine para gerenciar o ciclo de vida das instâncias de VM com base nas demandas do Symphony e nas configurações definidas na instância e nos modelos do provedor. O provedor cria, monitora e encerra VMs do Compute Engine, que então entram no cluster do Symphony como nós de computação.

Provedor do GKE

O provedor do GKE (hf-gke) é uma ferramenta CLI que conecta o serviço de fábrica de hosts do Symphony ao GKE. A fábrica de hosts usa scripts que chamam a CLI hf-gke.

O provedor do GKE interage com a API do cluster do GKE para criar, consultar e excluir recursos personalizados, especificamente recursos GCPSymphonyResource e MachineReturnRequest.

O operador do Kubernetes que é executado no cluster do GKE processa o gerenciamento do ciclo de vida do pod com base nesses recursos personalizados. O provedor do GKE conecta as solicitações de recursos do Symphony à orquestração baseada em recursos personalizados do Kubernetes.

Google Cloud integrações de serviços

É possível se conectar ao Compute Engine e ao GKE. Não há outros componentes para conexões do Compute Engine. Para conexões do GKE, há um operador do Kubernetes.

Operador do Kubernetes

Esse operador é necessário apenas para cargas de trabalho do GKE executadas usando o provedor do GKE. Esse operador é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do Symphony que são solicitados usando o provedor do GKE. O operador do GKE tem os seguintes recursos:

Operações assíncronas:oferece suporte ao processamento assíncrono de alta performance, adequado para implantações em grande escala.
Processamento de preempção:inclui detecção e gerenciamento automáticos de preempções de VM spot.
Definições de recursos personalizados:usam recursos personalizados GCPSymphonyResource e MachineReturnRequest para gerenciar recursos.
Limpeza de recursos:automatiza a limpeza de recursos concluídos, com períodos de retenção configuráveis.
Monitoramento de integridade:monitora a integridade da integração com verificações de integridade e relatórios de status integrados.

Limitações

Os conectores do Symphony para Google Cloud provisionam e gerenciam a infraestrutura de computação subjacente (instâncias de VM e pods do GKE) para seu cluster do Symphony. Eles não criam novas cargas de trabalho do Symphony. Você continua usando o software Symphony para criar, gerenciar, programar e executar suas cargas de trabalho.

Integrar o IBM Spectrum Symphony ao Google Cloud Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.