Implantar cargas de trabalho do IBM Spectrum Symphony

Este documento descreve os conectores do Symphony para Google Cloud, que oferecem integração entre o IBM Spectrum Symphony e Google Cloud. Essa integração permite usar recursos do Google Cloud como capacidade de computação flexível para seus clusters do Symphony. Em seguida, o Symphony gerencia o cluster usando a fábrica de hosts. A fábrica de hosts é um componente do IBM Spectrum Symphony que estende seu cluster com hosts de computação de provedores de nuvem como Google Cloud para atender à demanda de recursos nos clusters do Symphony.

Use os conectores do Symphony para Google Cloud e complemente sua infraestrutura de nuvem atual com recursos flexíveis deGoogle Cloud , principalmente para cargas de trabalho de computação de alto desempenho (HPC). Os conectores do Symphony para Google Cloud são compatíveis com os serviços do Compute Engine e do Google Kubernetes Engine.

Quando usar os conectores do Symphony para Google Cloud

Os conectores do Symphony para Google Cloud foram criados para preencher a lacuna entre o serviço de fábrica de hosts do Symphony e o Google Cloud. Use os conectores do Symphony para Google Cloud nos seguintes cenários:

  • Bursting de nuvem:quando os recursos do cluster local são insuficientes, dimensione dinamicamente as cargas de trabalho do Symphony para Google Cloud e acesse mais capacidade de computação. Com os conectores do Symphony para Google Cloud, é possível provisionar recursos automaticamente conforme necessário, integrados ao agendamento de jobs do Symphony.

  • Implantações de nuvem híbrida:se você executa cargas de trabalho do Symphony em infraestruturas locais e do Google Cloud , use essa solução para unificar o gerenciamento de recursos com a estrutura de fábrica de hosts do Symphony. Essa abordagem cria uma experiência consistente para envio e monitoramento de jobs, além de alocação flexível de recursos.

  • Otimização de custos:use os tipos de instância e modelos de preços flexíveis do Google Cloud, como VMs spot (VMs preemptivas), para executar cargas de trabalho sensíveis a custos.

  • Desenvolvimento e teste:para provisionar recursos de computação temporários para fluxos de trabalho de desenvolvimento ou teste, use os conectores do Symphony para Google Cloud configurar e desativar ambientes rapidamente. Os custos são otimizados com a limpeza automática de recursos.

  • Gerenciamento unificado:use a fábrica de hosts para criar uma interface consistente e gerenciar os pods do GKE e as instâncias do Compute Engine usadas pelo Symphony.

  • Integração empresarial perfeita:use essa solução para estender suas implantações do Symphony atuais para o Google Cloud sem exigir mudanças arquitetônicas significativas.

Saiba como os conectores do Symphony para Google Cloud funcionam

Os conectores do Symphony para Google Cloud fornecem os componentes necessários para tornar Google Cloud um provedor para a fábrica de hosts.

O diagrama a seguir mostra a arquitetura dos conectores do Symphony para Google Cloud:

Diagrama da arquitetura do Symphony.

Conforme mostrado no diagrama anterior, essa arquitetura contém três grupos principais: um ambiente do IBM Spectrum Symphony, uma camada de Google Cloud provedor de fábrica de hosts e serviços Google Cloud . O ambiente do Symphony contém a fábrica de hosts e os scripts de provedor. Essa arquitetura usa a camada de ferramentas da CLI do provedor de fábrica do host Google Cloud para traduzir solicitações, permitindo que os scripts do Symphony controlem recursos do Compute Engine e um operador do Kubernetes em execução no GKE.

As seções a seguir explicam os principais componentes dos Conectores do Symphony para Google Cloud.

Fábrica de hosts do IBM Spectrum Symphony

Um serviço do IBM Spectrum Symphony que gerencia o ciclo de vida dos hosts de computação de vários provedores com base na demanda de carga de trabalho. Esse componente do Symphony é o software com que o Google Cloud se integra.

Scripts do provedor

O serviço de fábrica de hosts do Symphony usa um conjunto de scripts shell para se integrar a um provedor de nuvem. Esses scripts executam ações como solicitar e retornar recursos.

Por padrão, o Symphony não inclui um provedor de fábrica de host para Google Cloud.

O fornecedor de fábrica de hostsGoogle Cloud permite que o framework de fábrica de hosts do Symphony se comunique com o Google Cloud.

A tabela a seguir mostra os scripts usados pelos conectores do Symphony para Google Cloud :

Nome Descrição Documentação da IBM
getAvailableTemplates.sh Recupera os modelos de recursos disponíveis definidos na configuração do provedor. A fábrica de hosts chama getAvailableTemplates.sh para saber quais tipos de recursos ela pode solicitar. getAvailableTemplates
requestMachines.sh Provisiona novos recursos de computação de Google Cloud. Ele recebe um payload JSON especificando o modelo e a quantidade. requestMachines
requestReturnMachines.sh A fábrica de hosts desprovisiona os recursos de computação usados pelo cluster do Symphony. Ele recebe um payload JSON que identifica as máquinas a serem retornadas. requestReturnMachines
getRequestStatus.sh A fábrica de hosts pesquisa o status das solicitações de provisionamento em andamento iniciadas por requestMachines.sh. Ele recebe um payload JSON que contém IDs de solicitação. getRequestStatus
getReturnRequests.sh A fábrica de hosts pesquisa o status das solicitações de desprovisionamento em andamento iniciadas por requestReturnMachines.sh. Ele recebe um payload JSON que contém IDs de solicitação. getReturnRequests

Provedor de fábrica de hostsGoogle Cloud

O provedor de fábrica de hosts é a interface criada pelo Google que se integra ao framework de fábrica de hosts do IBM Spectrum Symphony. Esse plug-in Google Cloud inclui ferramentas de CLI que o Symphony chama para solicitar e gerenciar recursos no Google Cloud. As ferramentas de CLI para cargas de trabalho do Compute Engine e do GKE estão disponíveis. Os conectores do Symphony para Google Cloud se referem a essas ferramentas de CLI como provedores:

  • Para cargas de trabalho do Compute Engine, use o provedor do Compute Engine.
  • Para cargas de trabalho do GKE, use o provedor do GKE. Para cargas de trabalho do GKE, você precisa de outro operador. Esse operador do Kubernetes é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do IBM Spectrum Symphony solicitados usando o provedor do GKE.

Depois de instalar essas ferramentas de CLI, também é possível chamar manualmente as ferramentas de CLI do Compute Engine e do provedor do GKE usando Python. As ferramentas de linha de comando são módulos do Python, o que permite a execução delas usando o interpretador do Python. Para mais informações, consulte a documentação Execução em Python no GitHub.

Provedor do Compute Engine

O provedor do Compute Engine (hf-gce) é uma ferramenta de CLI projetada para integrar a fábrica de hosts do Symphony com o Compute Engine. Depois de instalar o provedor do Compute Engine, é necessário configurá-lo na fábrica de hosts do Symphony. Depois que essa configuração for concluída, a fábrica de hosts poderá invocar automaticamente scripts que usam a CLI hf-gce.

O provedor do Compute Engine interage diretamente com a API do Google Compute Engine para gerenciar o ciclo de vida das instâncias de VM com base nas demandas do Symphony e nas configurações definidas na instância e nos modelos do provedor. Ele processa a criação, o monitoramento e o encerramento de VMs do Compute Engine, permitindo que elas entrem no cluster do Symphony como nós de computação.

Provedor do GKE

O provedor do GKE (hf-gke) é uma ferramenta de linha de comando que conecta o serviço de fábrica de hosts do Symphony ao GKE. A fábrica de hosts usa scripts que chamam a CLI hf-gke.

O provedor do GKE interage com a API do cluster do GKE para criar, consultar e excluir definições de recursos personalizados (CRDs), especificamente GCPSymphonyResource e MachineReturnRequest.

O operador do Kubernetes em execução no cluster do GKE processa o gerenciamento real do ciclo de vida do pod com base nesses recursos personalizados. O provedor do GKE atua como ponte entre as solicitações de recursos do Symphony e a orquestração baseada em recursos personalizados do Kubernetes.

Google Cloud serviços

É possível se conectar ao Compute Engine e ao Google Kubernetes Engine. Não há outros componentes para conexões do Compute Engine. Para conexões do Google Kubernetes Engine, há um operador do Kubernetes.

Operador do Kubernetes

Você só precisa desse operador adicional para cargas de trabalho do GKE que são executadas usando o provedor do GKE. Esse operador é executado no cluster do GKE para gerenciar o ciclo de vida dos pods de computação do Symphony solicitados usando o provedor do GKE. O provedor do GKE tem os seguintes recursos:

  • Operações assíncronas:oferece suporte ao processamento assíncrono de alta performance, adequado para implantações em grande escala.
  • Processamento de preempção:inclui detecção e gerenciamento automáticos de preempções de VMs spot.
  • Definições de recursos personalizados:usam recursos personalizados GCPSymphonyResource e MachineReturnRequest para gerenciar recursos.
  • Limpeza de recursos:automatiza a limpeza de recursos concluídos, com períodos de retenção configuráveis.
  • Monitoramento de integridade:monitora a integração do provedor do GKE com verificações de integridade e relatórios de status integrados.

Limitações

Os conectores do Symphony para Google Cloud têm as seguintes limitações:

  • Google Cloud não cria, gerencia, programa nem executa suas cargas de trabalho do IBM Spectrum Symphony. Você é responsável por todo o gerenciamento de carga de trabalho no software Symphony.

A seguir

Acesse a documentação do GitHub para instalar e configurar o provedor de fábrica de hosts Google Cloud :