Integrar o IBM Spectrum Symphony ao Google Cloud

Este documento explica os requisitos e limitações que se aplicam ao usar os conectores do Symphony para Google Cloud.

Os conectores do IBM Spectrum Symphony para Google Cloud permitem adicionar recursos de computação doaos clusters do Symphony. Google Cloud Quando as cargas de trabalho de computação de alta performance (HPC) precisam de mais capacidade do que a infraestrutura atual oferece, os conectores permitem que o serviço de fábrica de hosts do Symphony provisione automaticamente instâncias de máquinas virtuais (VMs) do Compute Engine ou pods no Google Kubernetes Engine (GKE). Essa abordagem permite escalonar o ambiente do Symphony para Google Cloud atender à demanda máxima das cargas de trabalho de HPC.

Quando usar os conectores do Symphony para Google Cloud

Os conectores do Symphony para Google Cloud integram o serviço de fábrica de hosts do Symphony ao Google Cloud, permitindo que você use Google Cloud recursos no cluster do Symphony. Use os conectores do Symphony para Google Cloud nos seguintes cenários:

  • Bursting de nuvem: Quando os recursos do cluster local forem insuficientes, escalone dinamicamente as cargas de trabalho do Symphony para Google Cloud acessar mais capacidade de computação. Os conectores do Symphony para Google Cloud automatizam o provisionamento de recursos conforme necessário, integrados ao agendamento de jobs do Symphony.

  • Implantações de nuvem híbrida:se você executar cargas de trabalho do Symphony em ambientes locais e Google Cloud infraestrutura, poderá usar essa solução para unificar o gerenciamento de recursos usando a estrutura de fábrica de hosts do Symphony. Essa abordagem permite gerenciar seus recursos locais e Google Cloud em uma única interface, simplificando o envio, o monitoramento, e o gerenciamento de recursos de jobs.

  • Otimização de custos: use Google Cloud's tipos de instância flexíveis e modelos de preços, como VMs do Spot, para executar cargas de trabalho sensíveis a custos.

  • Desenvolvimento e testes: para provisionar recursos de computação temporários para fluxos de trabalho de desenvolvimento ou teste, use os conectores do Symphony para Google Cloud criar e excluir ambientes rapidamente. Os custos são otimizados pela limpeza automática de recursos.

  • Gerenciamento unificado:use a fábrica de hosts para criar uma interface consistente para gerenciar pods do GKE e as instâncias do Compute Engine usadas pelo Symphony.

  • Integração empresarial perfeita: use essa solução para estender as implantações do Symphony para Google Cloud sem exigir mudanças arquitetônicas significativas.

Saiba como os conectores do Symphony para Google Cloud funcionam

Os conectores do Symphony para Google Cloud fornecem os componentes necessários para criar Google Cloud um provedor para o serviço de fábrica de hosts.

O diagrama a seguir mostra a arquitetura dos conectores do Symphony para Google Cloud:

Um diagrama de arquitetura que mostra a interação entre o ambiente do IBM Spectrum Symphony, a camada do provedor de fábrica de hosts Google Cloud e os serviços Google Cloud , como o Compute Engine e o GKE.

Essa arquitetura contém três grupos principais: um ambiente do IBM Spectrum Symphony, uma Google Cloud camada de provedor de fábrica de host e Google Cloud serviços. O ambiente do Symphony contém a fábrica de hosts e os scripts do provedor. Essa arquitetura usa a Google Cloud camada de ferramentas de CLI do provedor de fábrica de hosts para traduzir solicitações, permitindo que os scripts do Symphony controlem os recursos do Compute Engine e um operador do Kubernetes em execução no GKE.

As seções a seguir explicam os principais componentes dos conectores do Symphony para Google Cloud.

Fábrica de hosts do IBM Spectrum Symphony

Um serviço do IBM Spectrum Symphony que gerencia o ciclo de vida de hosts de computação de vários provedores com base na demanda de carga de trabalho. Esse componente do Symphony é o software que Google Cloud integra com.

Scripts do provedor

O serviço de fábrica de hosts do Symphony usa um conjunto de scripts de shell para integrar com um provedor de nuvem. Esses scripts solicitam e retornam recursos.

Por padrão, o Symphony não inclui um provedor de fábrica de hosts para Google Cloud.

O Google Cloud provedor de fábrica de hosts permite que a estrutura de fábrica de hosts do Symphony se comunique com Google Cloud.

A tabela a seguir mostra os scripts que os conectores do Symphony para Google Cloud usam:

Nome Descrição Documentação da IBM
getAvailableTemplates.sh Recupera os modelos de recursos disponíveis definidos na configuração do provedor. A fábrica de hosts chama getAvailableTemplates.sh para saber quais tipos de recursos ela pode solicitar. getAvailableTemplates
requestMachines.sh Provisiona novos recursos de computação do Google Cloud. Ele recebe um payload JSON que especifica o modelo e a quantidade. requestMachines
requestReturnMachines.sh A fábrica de hosts desprovisiona recursos de computação usados pelo cluster do Symphony. Ele recebe um payload JSON que identifica as máquinas a serem retornadas. requestReturnMachines
getRequestStatus.sh A fábrica de hosts pesquisa o status das solicitações de provisionamento em andamento que são iniciadas por requestMachines.sh. Ele recebe um payload JSON que contém IDs de solicitação. getRequestStatus
getReturnRequests.sh A fábrica de hosts pesquisa o status das solicitações de desprovisionamento em andamento iniciadas por requestReturnMachines.sh. Ele recebe um payload JSON que contém IDs de solicitação. getReturnRequests

Google Cloud provedor de fábrica de hosts

O Google Cloud provedor de fábrica de hosts conecta a estrutura de fábrica de hosts do IBM Spectrum Symphony's ao Google Cloud. Esse plug-in inclui ferramentas de interface de linha de comando (CLI), chamadas provedores, que o Symphony chama para solicitar e gerenciar recursos para as seguintes cargas de trabalho:

  • Para o Compute Engine, use o provedor do Compute Engine.

  • Para cargas de trabalho do GKE, use o provedor do GKE. Para cargas de trabalho do GKE, é necessário instalar um operador do Kubernetes adicional. Esse operador é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do IBM Spectrum Symphony solicitados usando o provedor do GKE.

Como as ferramentas de CLI são módulos Python, também é possível executá-las manualmente usando o interpretador Python. Para mais informações, consulte Execução do Python no GitHub (link em inglês).

Provedor do Compute Engine

O provedor do Compute Engine (hf-gce) é uma ferramenta de CLI projetada para integrar a fábrica de hosts do Symphony ao Compute Engine. Depois de instalar o provedor do Compute Engine, é necessário configurá-lo na fábrica de hosts do Symphony. Após a conclusão dessa configuração, a fábrica de hosts invoca automaticamente scripts que usam a CLI hf-gce.

O provedor do Compute Engine interage diretamente com a API Compute Engine para gerenciar o ciclo de vida das instâncias de VM com base nas demandas do Symphony e nas configurações definidas na instância e nos modelos do provedor. O provedor cria, monitora e encerra VMs do Compute Engine, que então entram no cluster do Symphony como nós de computação.

Provedor do GKE

O provedor do GKE (hf-gke) é uma ferramenta de CLI que conecta o serviço de fábrica de hosts do Symphony ao GKE. A fábrica de hosts usa scripts que chamam a CLI hf-gke.

O provedor do GKE interage com a API do cluster do GKE para criar, consultar e excluir recursos personalizados, especificamente os recursos GCPSymphonyResource e MachineReturnRequest.

O operador do Kubernetes executado no cluster do GKE processa o gerenciamento do ciclo de vida do pod com base nesses recursos personalizados. O provedor do GKE conecta as solicitações de recursos do Symphony à orquestração personalizada baseada em recursos do Kubernetes.

Google Cloud integrações de serviços

É possível se conectar ao Compute Engine e ao GKE. Não há outros componentes para conexões do Compute Engine. Para conexões do GKE, há um operador do Kubernetes.

Operador do Kubernetes

Esse operador é necessário apenas para cargas de trabalho do GKE que você executa usando o provedor do GKE. Esse operador é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do Symphony solicitados usando o provedor do GKE. O operador do GKE tem os seguintes recursos:

  • Operações assíncronas:oferece suporte ao processamento assíncrono de alta performance, adequado para implantações em grande escala.
  • Tratamento de preempção:inclui detecção e gerenciamento automáticos de preempções de VM spot.
  • Definições de recursos personalizados:usa recursos personalizados GCPSymphonyResource e MachineReturnRequest para gerenciar recursos.
  • Limpeza de recursos:automatiza a limpeza de recursos concluídos, com períodos de retenção configuráveis.
  • Monitoramento de integridade:monitora a integridade da integração com verificações de integridade e relatórios de status integrados.

Limitações

Os conectores do Symphony para Google Cloud provisionam e gerenciam a infraestrutura de computação subjacente (instâncias de VM e pods do GKE) para o cluster do Symphony. Eles não criam novas cargas de trabalho do Symphony. Você continua usando o software do Symphony para criar, gerenciar, programar e executar cargas de trabalho.

A seguir