O GKE Inference Gateway de vários clusters do Google Kubernetes Engine (GKE) faz o balanceamento de carga das cargas de trabalho de inferência de IA/ML em vários clusters do GKE. Ele integra gateways de vários clusters do GKE para roteamento de tráfego entre clusters com o Inference Gateway para disponibilização do modelo de IA/ML. Essa integração melhora a escalonabilidade e a alta disponibilidade das suas implantações. Este documento explica os principais conceitos e benefícios do gateway.
Para mais informações sobre como implantar o GKE Inference Gateway de vários clusters, consulte Configurar o GKE Inference Gateway de vários clusters.
Para entender este documento, você precisa conhecer os seguintes conceitos:
- Orquestração de IA/ML no GKE.
- Terminologia da IA generativa.
- Conceitos de rede do GKE, incluindo Serviços, gateway de vários clusters do GKE e a API Gateway.
- Balanceamento de carga no Google Cloud, especialmente como os balanceadores de carga interagem com o GKE.
Este documento é destinado às seguintes personas:
- Engenheiros de machine learning (ML), administradores e operadores de plataforma e especialistas em dados e IA interessados em usar os recursos de orquestração de contêineres do Kubernetes para disponibilizar cargas de trabalho de IA/ML.
- Arquitetos de nuvem ou especialistas em rede que interagem com a rede do Kubernetes.
Para saber mais sobre papéis comuns e tarefas de exemplo mencionados no conteúdo doGoogle Cloud , consulte Tarefas e papéis de usuário comuns do GKE Enterprise.
Benefícios do Inference Gateway de vários clusters do GKE
O GKE Inference Gateway multicluster oferece vários benefícios para gerenciar suas cargas de trabalho de inferência de IA/ML, incluindo os seguintes:
- Melhora a alta disponibilidade e a tolerância a falhas com o balanceamento de carga inteligente em vários clusters do GKE, mesmo em diferentes regiões geográficas. As cargas de trabalho de inferência permanecem disponíveis, e o sistema redireciona automaticamente as solicitações se um cluster ou uma região tiver problemas, minimizando o tempo de inatividade.
- Melhora a escalonabilidade e otimiza o uso de recursos ao agrupar recursos de GPU e TPU de vários clusters para lidar com o aumento da demanda. Esse pool permite que as cargas de trabalho ultrapassem a capacidade de um único cluster e usem com eficiência os recursos disponíveis na frota.
- Maximiza a performance com roteamento otimizado globalmente. O gateway usa métricas avançadas, como o uso do cache de chave-valor (KV) de todos os clusters, para tomar decisões de roteamento eficientes. Essa abordagem ajuda a garantir que as solicitações sejam enviadas ao cluster mais bem equipado para processá-las, maximizando o desempenho geral da sua frota de inferência de IA/ML.
Limitações
O GKE Inference Gateway de vários clusters tem as seguintes limitações:
Integração do Model Armor: o GKE Inference Gateway multicluster não é compatível com a integração do Model Armor.
Limites do grupo de endpoints de rede (NEG): tem um limite de 50 NEGs por serviço de back-end doGoogle Cloud . Ao usar um InferencePool de várias portas, cada porta em cada zona cria um NEG dedicado. Por exemplo, um InferencePool com oito portas em um cluster regional típico (três zonas) gera 24 NEGs. Portanto, um gateway de vários clusters só pode agregar um InferencePool de no máximo dois clusters (dois clusters × 24 NEGs = 48 NEGs) antes de atingir o limite de 50 NEGs.
Redes VPC: todos os clusters de destino e o cluster de configuração precisam estar na mesma rede VPC. O balanceamento de carga entre VPCs não é compatível.
Principais componentes
O GKE Inference Gateway de vários clusters usa vários recursos personalizados do Kubernetes para gerenciar cargas de trabalho de inferência e roteamento de tráfego:
- InferencePool: agrupa back-ends de servidores de modelos idênticos no cluster de destino. Esse recurso simplifica o gerenciamento e o escalonamento das instâncias de disponibilização de modelos. Os objetos InferencePool de várias portas são compatíveis com implantações de cluster único e de vários clusters.
InferenceObjective: define as prioridades de roteamento para modelos específicos em um InferencePool. Esse roteamento ajuda a garantir que determinados modelos recebam preferência de tráfego com base nos seus requisitos.GCPInferencePoolImport: disponibiliza os back-ends do modelo para configuração de roteamento usandoHTTPRouteno cluster de configuração. Esse recurso é criado automaticamente no cluster de configuração quando você exporta um InferencePool de um cluster de destino. O cluster de configuração atua como o ponto central de controle do ambiente de vários clusters.GCPBackendPolicy: personaliza como o tráfego é balanceado para os back-ends. Por exemplo, é possível ativar o balanceamento de carga com base em métricas personalizadas ou definir limites para solicitações em andamento por endpoint para proteger os servidores de modelos.AutoscalingMetric: define métricas personalizadas, comovllm:kv_cache_usage_perc, para exportar dos servidores de modelos. Em seguida, use essas métricas noGCPBackendPolicypara tomar decisões de balanceamento de carga mais inteligentes e otimizar o desempenho e a utilização de recursos.
Como funciona o GKE Inference Gateway multicluster
O GKE Inference Gateway de vários clusters gerencia e encaminha o tráfego para seus modelos de IA/ML implantados em vários clusters do GKE. Isso funciona da seguinte maneira:
- Gerenciamento de tráfego centralizado: um cluster de configuração dedicado define as regras de roteamento de tráfego. O cluster de configuração atua como o ponto central de controle do ambiente de vários clusters. Você designa um cluster do GKE como o cluster de configuração ao ativar Entrada de vários clusters para sua frota. Essa abordagem centralizada permite gerenciar como as solicitações são direcionadas aos modelos em toda a frota de clusters do GKE em um só lugar.
- Implantação flexível de modelos: seus modelos reais de IA/ML são executados em clusters de destino separados. Essa separação permite implantar modelos onde faz mais sentido (por exemplo, mais perto dos dados ou de clusters com hardware específico).
- Fácil integração de modelos: ao implantar um modelo em um cluster de destino, você agrupa as instâncias de exibição usando um InferencePool. A exportação desse InferencePool o disponibiliza automaticamente para roteamento no cluster de configuração.
- Balanceamento de carga inteligente: o gateway não apenas distribui o tráfego, mas também toma decisões de roteamento inteligentes. Ao configurá-lo para usar vários sinais, incluindo métricas personalizadas dos servidores de modelos, o gateway ajuda a garantir que as solicitações recebidas sejam enviadas para o cluster ou a instância de modelo mais bem equipada, o que pode maximizar o desempenho e a utilização de recursos. Por exemplo, é possível rotear solicitações para o cluster com a maior capacidade de inferência disponível com base em métricas como o uso do cache de chave-valor (KV).
A seguir
- Para implantar o gateway, consulte Configurar o gateway de inferência do GKE de vários clusters.
- Para saber como usar o campo
scopesno recursoGCPBackendPolicy, consulte Personalizar configurações de back-end com escoposGCPBackendPolicy.