Neste documento, apresentamos uma visão geral de como escalonar a capacidade de computação e receber recursos de hardware no Google Cloud para manter o desempenho, controlar os custos e evitar inatividade. Para lidar com a demanda variável, é possível escalonar automaticamente as instâncias do Compute Engine, orquestrar contêineres no Google Kubernetes Engine (GKE) ou cargas de trabalho em clusters, reservar capacidade com antecedência e distribuir o tráfego entre os recursos.
As recomendações neste documento se aplicam a todas as opções de computação disponíveis, exceto o Cloud Run e o Batch, que gerenciam e escalonam a infraestrutura de computação para você. Para mais informações sobre as opções de computação que podem ser usadas no Google Cloud antes de escalonar, consulte Escolher opções de computação.
Opções de escalonamento da infraestrutura de computação
Para escalonar sua capacidade de computação e melhorar a obtenção de recursos, escolha entre os recursos compatíveis com seu serviço de computação. É possível combinar vários recursos, como reservas, escalonadores automáticos e balanceadores de carga, para atender aos requisitos da carga de trabalho. Para avaliar esses recursos lado a lado com base na finalidade, nas opções de computação compatíveis, nos gatilhos e nos casos de uso, consulte Comparar opções de escalonamento neste documento.
Cada serviço de computação escalona a capacidade e ajuda você a obter recursos usando as seguintes opções:
Todas as opções de computação: em todos os serviços de computação, exceto o Cloud Run para reservas, é possível ter um alto nível de garantia de disponibilidade de hardware com antecedência e rotear solicitações de usuários em back-ends íntegros. Você pode usar as seguintes opções de vários produtos:
Reservas: solicite capacidade em uma zona específica para uso imediato ou para uma data futura. As reservas não são um escalonador automático, mas oferecem um alto nível de garantia de que o hardware, como unidades de processamento gráfico (GPUs), unidades de processamento de tensor (TPUs) e discos SSD locais, estará disponível quando as cargas de trabalho escalonar horizontalmente.
Distribuição de tráfego com o Cloud Load Balancing: distribua as solicitações recebidas entre instâncias de computação, pools de nós ou contêineres íntegros e encaminhe o tráfego para novos recursos conforme a capacidade é escalonada.
Compute Engine: você escalona a capacidade ao criar instâncias de máquina virtual (VM) ou bare metal ou ao usar grupos gerenciados de instâncias (MIGs). Um MIG gerencia um grupo de instâncias de computação como uma única entidade e pode adicionar ou remover capacidade com base na carga, nas programações ou na disponibilidade de hardware. Para cargas de trabalho que exigem isolamento de hardware, também é possível escalonar automaticamente grupos de nó de locatário individual em servidores físicos dedicados. É possível usar as seguintes opções:
Escalonamento automático de MIG: adicione ou remova instâncias de computação em um MIG com base no uso da CPU, na capacidade do balanceador de carga, nas métricas do Cloud Monitoring, nas programações ou nas previsões.
Flexibilidade de instâncias do MIG: classifique vários tipos de máquina em um MIG para melhorar a obtenção de recursos.
Modo em massa e solicitações de redimensionamento em MIGs: adicione todas as instâncias de computação solicitadas em um MIG ao mesmo tempo em que a capacidade total ficar disponível, incluindo GPUs, TPUs e instâncias H4D com VMs flex-start.
Pools em espera em MIGs: mantenha um pool em espera de instâncias de computação suspensas ou interrompidas pré-configuradas em um MIG para acelerar o escalonamento horizontal. Quando o tráfego ou o uso da CPU aumenta, o MIG retoma ou inicia as instâncias de computação em vez de criar novas.
Criação de instâncias de computação em massa: crie várias instâncias de computação em uma única solicitação de API com seleção automática de zona e tipo de máquina.
Escalonamento automático de grupos de nós de locatário individual: adicione ou remova nós de locatário individual físicos dedicados com base na demanda de instâncias de computação convidadas para manter o isolamento de hardware e otimizar os custos de licenças adquiridas pelo usuário.
Orquestrador personalizado: chame a API Compute Engine de programadores próprios ou de código aberto para criar, redimensionar e excluir instâncias de computação com base em filas de jobs personalizadas ou regras de negócios.
Cluster Director: o Google implanta clusters gerenciados para cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC) que usam a orquestração do Slurm ou a orquestração de computação gerenciada apoiada por MIGs zonais. Nos clusters do Slurm, o programador do Slurm cria nós de computação dinâmicos quando os jobs em fila excedem os nós de referência estáticos e os desliga após cinco minutos de inatividade. Em clusters de computação gerenciados, você executa cargas de trabalho por SSH ou integra seu próprio programador e ajusta a capacidade ao alterar os tamanhos de destino do MIG. É possível usar as seguintes opções:
Orquestração de clusters: escalone automaticamente nós de computação dinâmicos em partições gerenciadas do Slurm com base na demanda da fila de jobs ou provisione clusters de computação gerenciados apoiados por MIGs zonais para executar cargas de trabalho por SSH ou integrar seu próprio programador.
Modificação de cluster em tempo real: atualize um cluster ativo para aumentar as contagens de nós estáticos ou dinâmicos máximos, redimensionar ou adicionar MIGs, adicionar configurações de recursos de computação ou adicionar partições e conjuntos de nós sem interromper os jobs ativos.
Opções de consumo de capacidade: obtenha nós de computação de cluster por meio de reservas adiantadas para blocos de capacidade, reservas adiantadas no modo calendário, VMs flex-start, VMs spot ou instâncias de computação sob demanda.
Cluster Toolkit: você define clusters autogerenciados de IA, ML e HPC como código com blueprints YAML e módulos do Terraform orquestrados pelo Slurm ou pelo GKE. A capacidade é escalonada com base nas filas de jobs do Slurm ou na demanda de pods do Kubernetes, ou quando você edita e implanta novamente o blueprint do cluster. Você pode usar as seguintes opções:
Conjuntos de nós dinâmicos do Slurm: configure o módulo
slurm-nodeset-dynamicpara que o Slurm crie e exclua instâncias de computação temporárias com base em jobs em fila.Escalonamento automático de pool de nós do GKE: defina as contagens mínima e máxima de nós no blueprint com o módulo
gke-node-poolpara que o GKE adicione ou remova nós conforme a demanda de pods muda.Reconfiguração de blueprint em tempo real: atualize e reimplante blueprints para adicionar ou redimensionar partições e nós estáticos em um cluster do Slurm ativo ou para redimensionar pools de nós em um cluster do GKE implantado.
Partições do Slurm com várias reservas: agrupe vários conjuntos de nós com reserva em uma partição do Slurm para que jobs grandes distribuam a capacidade entre reservas separadas.
GKE: a capacidade é escalonada em duas camadas. Os escalonadores automáticos de carga de trabalho ajustam as contagens de réplicas de pods ou as solicitações de CPU e memória do contêiner conforme a demanda muda. Os escalonadores automáticos de infraestrutura adicionam ou removem nós e pools de nós subjacentes. O Google gerencia a capacidade dos nós para você no modo Autopilot, enquanto você configura o escalonador automático de clusters, a criação automática de pool de nós e os recursos personalizados do
ComputeClassno modo Standard. Os aceleradores de inicialização também reduzem o tempo que os novos pods precisam antes de disponibilizar o tráfego. Você pode usar as seguintes opções:Capacidade de nós e clusters: ajuste as contagens de nós, crie pools de nós e adquira hardware com os seguintes recursos:
ComputeClasses personalizadas: defina regras de fallback de hardware priorizadas, VMs spot ou preferências de início flexível, consumo de reservas, migração ativa para hardware de maior prioridade e criação automática de pool de nós no nível da carga de trabalho.
Escalonador automático de cluster: adiciona ou remove nós em pools de nós do modo Standard quando os pods aguardam recursos ou quando os nós estão subutilizados.
Criação automática de pools de nós: crie e exclua pools de nós em paralelo com base nos requisitos de CPU, memória, GPU, TPU ou zona dos pods pendentes.
Provisionamento de início flexível: obtenha GPUs, TPUs e nós H4D por até sete dias, nó por nó ou todos de uma vez, por meio do provisionamento em fila, e substitua os nós que estão expirando por meio de ComputeClasses.
Buffers de capacidade: pré-provisione nós de reserva ativos ou suspensos, incluindo buffers ativos que se alinham às prioridades de
ComputeClass, para que os pods pendentes sejam programados sem esperar por novos nós.Plataforma de computação otimizada para contêineres: acelere a alocação de nós e o posicionamento de pods com as ComputeClasses
BalancedeScale-Outpara clusters do Autopilot e cargas de trabalho do modo Autopilot em clusters do Standard.Nós de locatário individual no GKE: execute pools de nós do modo Standard em servidores físicos dedicados para atender aos requisitos de isolamento ou licença.
Capacidade de pods e cargas de trabalho: ajuste réplicas de pods, tamanhos de contêineres e filas de lote com os seguintes recursos:
Escalonamento automático horizontal de pods (HPA): adiciona ou remove réplicas de pods com base no uso da CPU, no uso da memória ou em métricas personalizadas.
Escalonamento automático vertical de pods (VPA): ajuste as solicitações e os limites de CPU e memória do contêiner com base no uso histórico.
Escalonamento automático multidimensional de pods (MPA): combine o HPA na CPU e o VPA na memória para a mesma carga de trabalho ao mesmo tempo.
Métricas personalizadas e externas: acionam decisões de escalonamento do HPA com base em métricas de aplicativos ou serviços externos, como o Pub/Sub e o Cloud Load Balancing.
Redução da escala a zero: reduza os pods e pools de nós inativos para zero réplicas e os ative quando a demanda for retomada em métricas personalizadas e externas do HPA ou em gatilhos do escalonamento automático orientado por eventos do Kubernetes (KEDA).
Filas de jobs do Kueue: enfileire cargas de trabalho em lote e de IA, compartilhe cotas de recursos entre equipes e coordene a alocação simultânea de nós.
Aceleração de inicialização: reduza os tempos de inicialização do contêiner e de carregamento do modelo durante o escalonamento horizontal com os seguintes recursos:
Cloud Storage FUSE com streaming paralelo: monte buckets do Cloud Storage como sistemas de arquivos locais com leituras paralelas e caches de arquivos.
Otimização da CPU de inicialização: conceda CPU extra temporária aos contêineres enquanto eles são inicializados e, em seguida, retorne as solicitações de CPU aos valores de referência.
Streaming de imagens: transmita blocos de imagens de contêiner sob demanda do Artifact Registry para que os pods sejam iniciados sem esperar o download da imagem inteira.
Discos de inicialização secundários: anexe volumes do Persistent Disk pré-carregados com imagens de contêiner ou dados de modelo aos nós em paralelo durante a inicialização do nó.
Redimensionamento de pods no local: atualize as alocações de CPU e memória em contêineres ativos sem reiniciar os pods.
Snapshots de pods: restaure réplicas de pods de checkpoints de memória e sistema de arquivos salvos, em vez de uma inicialização a frio.
Run:ai Model Streamer: transmita pesos de modelo de IA no formato
safetensorsdo Cloud Storage ou de volumes permanentes em paralelo para a memória da GPU ou da TPU.Preenchedor de volume: pré-carregue volumes do Google Cloud Hyperdisk ML com pesos de modelo e conjuntos de dados do Cloud Storage antes que os pods sejam iniciados.
Google Cloud VMware Engine: o Google gerencia clusters de nuvem privada dedicados da VMware, em que a capacidade aumenta ou diminui à medida que os hosts ESXi físicos entram ou saem do cluster. Para adicionar ou remover hosts ESXi quando o uso prolongado de CPU, memória ou uso do armazenamento vSAN ultrapassar os limites configurados, use políticas de escalonamento automático.
Comparar opções de escalonamento
Para selecionar a opção de escalonamento ou obtenção de recursos que corresponda aos seus requisitos operacionais, compare os recursos na tabela a seguir:
| Opção de escalonamento | Finalidade principal | Opções de computação compatíveis | Opções de escalonamento compatíveis | Gatilho de escalonamento | Casos de uso |
|---|---|---|---|---|---|
| Reservas | Reserve capacidade de zona para uso imediato ou para uma data futura com um alto nível de garantia de disponibilidade | Todas as opções de computação, exceto o Cloud Run | Todas as opções de escalonamento | Solicitação de reserva manual ou de calendário; não é um escalonador automático |
|
| Distribuição de tráfego com o Cloud Load Balancing | Distribua o tráfego de entrada entre instâncias de computação, pools de nós ou contêineres íntegros | Todas as opções de computação | Todas as opções de escalonamento | Solicitações de usuários recebidas e verificações de integridade de back-end |
|
| Escalonamento automático de MIG | Adicionar ou remover instâncias de computação em um MIG para demanda de carga de trabalho variável | Compute Engine | Reservas, flexibilidade de instâncias de MIG, pools em espera em MIGs, escalonamento automático de grupos nó de locatário individual, orquestrador personalizado | Uso da CPU, capacidade do balanceador de carga, métricas do Cloud Monitoring, programações ou previsões |
|
| Flexibilidade de instâncias de MIG | Classificar vários tipos de máquina em um MIG para melhorar a disponibilidade de recursos | Compute Engine | Escalonamento automático de MIG, reservas, VMs spot | Quando os tipos de máquina principais não têm capacidade durante a criação ou o escalonamento horizontal de instâncias de MIG |
|
| Modo em massa e solicitações de redimensionamento em MIGs | Adicionar todas as instâncias de computação solicitadas em um MIG ao mesmo tempo quando a capacidade total estiver disponível | Compute Engine e Cluster Director | Reservas, modificação de cluster em tempo real, orquestrador personalizado | Tamanho de destino definido no modo em massa ou criação de uma solicitação de redimensionamento, atendida quando a capacidade total de hardware está disponível |
|
| Pools em espera em MIGs | Mantenha um pool em espera de instâncias de computação suspensas ou interrompidas pré-configuradas pronto para acelerar o escalonamento horizontal do MIG | Compute Engine | Escalonamento automático de MIG, reservas | Redimensionamento manual ou demanda de escalonamento horizontal do MIG que retoma ou inicia instâncias de computação em pool |
|
| Criação de instâncias de computação em massa | Crie várias instâncias de computação em uma solicitação de API com seleção automática de zona e máquina | Compute Engine | Reservas, VMs spot, orquestrador personalizado | Solicitação de inserção em massa única da API ou da Google Cloud CLI |
|
| Escalonamento automático de grupos de nós de locatário individual | Escalonar automaticamente servidores físicos dedicados para cargas de trabalho isoladas | Compute Engine e GKE | Reservas, escalonamento automático de MIG, orquestrador personalizado, escalonador automático de cluster | Demanda de recursos de instâncias de computação de convidado |
|
| Orquestrador personalizado | Controlar a criação de instâncias de computação, o tamanho de destino do MIG e a exclusão do seu próprio programador, como Ray, SkyPilot ou HTCondor | Compute Engine e Cluster Director | Reservas, escalonamento automático de MIG, modo em massa e solicitações de redimensionamento em MIGs, criação de instâncias de computação em massa, escalonamento automático de grupo de nó de locatário individual, modificação de cluster em tempo real | Métricas de negócios personalizadas ou filas de programador externo |
|
| Orquestração do Slurm e nós dinâmicos | Escalonar automaticamente nós de computação dinâmicos em partições do Slurm para jobs em lote, de IA e de HPC | Cluster Director e Cluster Toolkit | Reservas, VMs flex-start, VMs spot, modificação de cluster em tempo real, reconfiguração de blueprint em tempo real | Jobs do Slurm na fila e tempos limite de inatividade do nó |
|
| Modificação de cluster em tempo real | Adicionar ou redimensionar partições, conjuntos de nós, MIGs ou limites de nós estáticos e dinâmicos em um cluster ativo | Cluster Director | Orquestração do Slurm e nós dinâmicos, modo em massa e solicitações de redimensionamento em MIGs, orquestrador personalizado, reservas | Solicitação de atualização de cluster em um cluster ativo |
|
| Reconfiguração de blueprint em tempo real | Atualizar e reimplantar blueprints para adicionar ou redimensionar partições do Slurm, nós estáticos ou pools de nós do GKE em um cluster ativo | Cluster Toolkit | Orquestração do Slurm e nós dinâmicos, escalonador automático de clusters, reservas | Atualização e reimplantação de blueprint em um cluster ativo |
|
| ComputeClasses personalizadas | Defina regras de fallback de hardware priorizadas, consumo de capacidade e migração de nós | GKE nos modos Standard e Autopilot | Escalonador automático de clusters, criação automática de pool de nós, provisionamento de início flexível no GKE, reservas, buffers de capacidade | Pods pendentes que correspondem a um seletor ComputeClass ou
à disponibilidade de hardware de maior prioridade |
|
| Escalonador automático de cluster | Adicionar ou remover nós em pools de nós atuais | GKE no modo Standard e blueprints do GKE do Cluster Toolkit | ComputeClasses personalizadas, reservas, escalonamento automático de grupo de nó de locatário individual, HPA, VPA, buffers de capacidade, redução da escala a zero | Pods pendentes ou subutilização de nós |
|
| Criação automática de pools de nós | Criar e excluir pools de nós em paralelo para atender aos requisitos de hardware do pod | GKE: gerenciado no modo Autopilot; configurável no modo Standard | ComputeClasses personalizadas, reservas, provisionamento de início flexível no GKE, HPA, VPA, buffers de capacidade | Pods pendentes que exigem séries de máquinas, aceleradores ou zonas ausentes dos pools de nós atuais |
|
| Provisionamento de início flexível no GKE | Receba GPUs, TPUs e nós H4D conforme a capacidade é liberada, por nó ou todos de uma vez com o provisionamento em fila | GKE nos modos Standard e Autopilot | ComputeClasses personalizadas, criação automática de pool de nós, escalonador automático de clusters, filas de jobs do Kueue | Pods pendentes ou objetos ProvisioningRequest em fila quando
a capacidade de hardware é aberta |
|
| Buffers de capacidade | Pré-provisione nós ativos ou suspensos em espera para posicionamento e obtenção rápidos de pods. | GKE nos modos Standard e Autopilot | ComputeClasses personalizadas, escalonador automático de clusters, criação automática de pool de nós, HPA, reservas | Consumo da capacidade de nós em buffer por pods programados |
|
| Plataforma de computação otimizada para contêineres | Acelere a prontidão de nós e o posicionamento de pods com infraestrutura gerenciada
e ComputeClasses Balanced ou Scale-Out |
GKE: clusters do Autopilot e cargas de trabalho do modo Autopilot em clusters Standard | Criação automática de pools de nós, HPA, VPA, buffers de capacidade, reservas | Pods pendentes que exigem mais capacidade de computação |
|
| HPA | Adicionar ou remover réplicas de pods para atender à demanda da carga de trabalho | GKE nos modos Standard e Autopilot | Escalonador automático de cluster, criação automática de pool de nós, MPA, métricas personalizadas e externas, redução da escala a zero | Uso da CPU, uso da memória ou métricas personalizadas e externas |
|
| VPA | Ajustar as solicitações e os limites de CPU e memória do contêiner com base no uso | GKE nos modos Standard e Autopilot | Escalonador automático de clusters, criação automática de pool de nós, MPA, redimensionamento de pods no local, reservas | Histórico de uso de CPU e uso da memória do contêiner |
|
| MPA | Escalonar réplicas de pods em solicitações de CPU e memória de contêiner ao mesmo tempo | GKE nos modos Standard e Autopilot | Escalonador automático de clusters, criação automática de pool de nós, métricas personalizadas e externas | Mudanças simultâneas na demanda de CPU e no uso da memória do contêiner |
|
| Métricas personalizadas e externas | Escalonar réplicas de pods com base em sinais de aplicativos ou serviços externos | GKE nos modos Standard e Autopilot | HPA, MPA, redução da escala a zero, escalonador automático de cluster, criação automática de pool de nós | Métricas de aplicativos ou métricas de fila e tráfego externas |
|
| Redução da escala a zero | Reduzir os pods e pools de nós inativos para zero e ativá-los sob demanda ou eventos | GKE nos modos Standard e Autopilot | HPA, métricas personalizadas e externas, escalonador automático de cluster, criação automática de pool de nós | Ausência de demanda ou nova demanda em métricas personalizadas e externas do HPA ou gatilhos do KEDA |
|
| Filas de jobs do Kueue | Colocar jobs em lote na fila, aplicar cotas de equipe e coordenar a alocação simultânea de nós | GKE nos modos Standard e Autopilot | Provisionamento de início flexível no GKE, ComputeClasses personalizadas, escalonador automático de cluster, criação automática de pool de nós | Jobs em lote admitidos quando a cota do cluster e a capacidade de hardware são abertas |
|
| Cloud Storage FUSE com streaming paralelo | Ativar buckets do Cloud Storage como sistemas de arquivos com leituras e caches paralelos | GKE nos modos Standard e Autopilot | HPA, escalonador automático de clusters, criação automática de pool de nós, snapshots de pods | Inicialização de pods e leituras de arquivos sequenciais de buckets montados |
|
| Otimização de inicialização da CPU | Conceder CPU extra temporária aos contêineres durante a inicialização | GKE nos modos Standard e Autopilot | HPA, VPA, escalonador automático de clusters, criação automática de pool de nós | Fase de inicialização do contêiner |
|
| Streaming de imagens | Transmitir blocos de imagens de contêiner sob demanda do Artifact Registry durante a inicialização do pod | GKE nos modos Standard e Autopilot | HPA, escalonador automático de clusters, criação automática de pool de nós, buffers de capacidade | Extração de imagens de contêiner do Artifact Registry quando um pod é iniciado |
|
| Discos de inicialização secundários | Anexar volumes Persistent Disk pré-carregados com imagens de contêiner ou dados de modelo na inicialização do nó | GKE nos modos Standard e Autopilot | ComputeClasses personalizadas, HPA, escalonador automático de clusters, criação automática de pool de nós, buffers de capacidade | Inicialização de nós em um pool de nós configurado com imagens de disco de inicialização secundário |
|
| Redimensionamento de pod no local | Atualizar as alocações de CPU e alocação de memória do contêiner ativo sem reiniciar os pods | GKE nos modos Standard e Autopilot | VPA, escalonador automático de clusters, criação automática de pool de nós | Solicitações e limites atualizados de CPU ou memória do contêiner |
|
| Snapshots de pod | Restaurar réplicas de pods de checkpoints de memória e sistema de arquivos salvos | GKE nos modos Standard e Autopilot | HPA, escalonador automático de clusters, criação automática de pool de nós, buffers de capacidade | Criação de réplica de pod com base em um snapshot salvo |
|
| Run:ai Model Streamer | Transmitir tensores de modelo em paralelo para a memória da GPU ou da TPU | GKE nos modos Standard e Autopilot | HPA, escalonador automático de cluster, criação automática de pool de nós, preenchimento de volume | Solicitações de inicialização do servidor de inferência de IA e carregamento de modelos |
|
| Preenchedor de volume | Pré-carregar volumes do Hyperdisk ML com dados do Cloud Storage | GKE nos modos Standard e Autopilot | HPA, escalonador automático de clusters, criação automática de pool de nós, snapshots de pods | Criação de PersistentVolumeClaim que faz referência a um recurso GCPDataSource |
|
| Políticas de escalonamento automático | Adicionar ou remover hosts ESXi em um cluster de nuvem privada da VMware | VMware Engine | Cloud Load Balancing | Uso contínuo de CPU, memória ou uso do armazenamento vSAN |
|
Práticas recomendadas de escalonabilidade
Para projetar uma infraestrutura que seja escalonada sem gargalos ou escassez de capacidade, aplique as práticas recomendadas desta seção em toda a capacidade de computação, design de rede e arquitetura de aplicativos.
Planejar a capacidade de computação e a disponibilidade
Para preparar sua infraestrutura para o crescimento da demanda e melhorar a disponibilidade de hardware, aplique as seguintes práticas:
Estime as necessidades da carga de trabalho: antes de configurar os escalonadores automáticos, meça o uso de referência e as flutuações de pico. Para inspecionar o uso histórico, prever a demanda e definir limites mínimos e máximos precisos de instâncias de computação, use o Planejador de Capacidade.
Projetar para a obtenção de recursos: ao solicitar hardware escasso, como GPUs ou TPUs, otimize o provisionamento de computação nas três dimensões a seguir:
Flexibilidade de local: distribua cargas de trabalho entre zonas com MIGs regionais.
Flexibilidade do tipo de máquina: permita várias séries de máquinas usando a flexibilidade de instâncias do MIG ou as ComputeClasses personalizadas do GKE.
Flexibilidade de tempo: use o provisionamento de início flexível quando os jobs puderem esperar por capacidade.
Use reservas para garantir alta capacidade: para tráfego de referência, eventos de escalonamento de pico ou GPUs e TPUs escassas, reserve capacidade com antecedência. As reservas fornecem um alto nível de garantia de que os recursos estão disponíveis na zona de destino quando as cargas de trabalho são escalonar horizontalmente. Se um único job do Slurm exceder uma reserva, divida as partições do Cluster Toolkit em várias reservas.
Pré-aquecer a capacidade extra para cargas de trabalho sensíveis à latência: se o aplicativo não puder esperar que novas instâncias de computação sejam provisionadas durante picos repentinos de tráfego, mantenha a capacidade extra pronta para uso. Configure buffers de capacidade do GKE para pré-provisionar nós ativos ou em espera ou use pools em espera em MIGs do Compute Engine para retomar instâncias de computação suspensas sem atrasos na inicialização completa do sistema operacional.
Projetar redes para escalonamento
Para mover dados entre recursos escalonados sem atrasos ou esgotamento de endereços, aplique as seguintes práticas de rede:
Aloque endereços IP suficientes: verifique se as sub-redes têm endereços IP livres suficientes para o número máximo de instâncias ou nós nos limites do escalonador automático. No GKE, verifique também os intervalos de IP secundários para pods e serviços. Se uma sub-rede ficar sem endereços IP, os escalonadores automáticos não poderão criar novas instâncias de computação ou pods.
Escolha interfaces de rede de alta capacidade de processamento: para cargas de trabalho que transferem grandes conjuntos de dados ou pesos de modelo entre nós, selecione controladores de interface de rede de alta largura de banda, como a placa de rede virtual do Google ou o acesso remoto direto à memória. Essas interfaces reduzem a sobrecarga da CPU e aumentam a largura de banda entre instâncias de computação escalonadas.
Otimize o posicionamento de instâncias: para treinamento de IA em vários nós ou jobs de HPC, agrupe instâncias de computação em servidores físicos próximos uns dos outros com políticas de posicionamento compacto ou posicionamento com reconhecimento de topologia no Cluster Director e no Cluster Toolkit. O posicionamento físico próximo reduz os saltos de rede e a latência entre os nós escalonados. Para serviços da Web tolerantes a falhas, distribua as instâncias de computação entre as zonas para que uma interrupção em uma única zona não interrompa o tráfego.
Projetar aplicativos para escalonamento
Para permitir que os aplicativos sejam escalonar horizontalmente horizontalmente sem interrupção do usuário, aplique as seguintes práticas de arquitetura:
Mantenha os níveis de aplicativo sem estado: armazene dados de sessão do usuário, checkpoints e arquivos compartilhados em armazenamento ou bancos de dados externos, em vez de discos de instância locais. Esse design permite que os escalonadores automáticos adicionem ou removam instâncias de computação e pods a qualquer momento sem perda de dados.
Desacoplar componentes com filas e microsserviços: divida cargas de trabalho monolíticas em serviços independentes conectados por balanceadores de carga ou filas de mensagens, como o Pub/Sub. Essa arquitetura permite escalonar cada serviço com base na própria demanda, incluindo a redução a zero com escalonadores automáticos orientados a eventos, e absorver picos de tráfego sem sobrecarregar os back-ends downstream.
Reduzir os tempos de inicialização do contêiner e de carregamento do modelo: reduza o atraso entre a criação de recursos e a prontidão do tráfego para que a capacidade escalonada atenda às solicitações imediatamente. No GKE, faça streaming ou pré-carregue imagens de contêiner e use o aumento de inicialização da CPU ou snapshots de pod para acelerar a inicialização do ambiente de execução. Para cargas de trabalho de IA, faça streaming de pesos de modelos de IA do Cloud Storage FUSE, do Run:ai Model Streamer ou de volumes pré-preenchidos.