Sobre a conformidade de IA do GKE

Este documento explica o que é o programa de conformidade de IA do Kubernetes, por que ele é importante para suas cargas de trabalho de IA/ML no Google Kubernetes Engine (GKE) e como configurar clusters do GKE em conformidade.

Por que a conformidade de IA é importante para seus clusters do GKE

O programa de conformidade de IA do Kubernetes define um padrão para clusters do Kubernetes para garantir que eles possam executar cargas de trabalho de IA e ML de maneira confiável e eficiente. Configurar um cluster do Kubernetes para IA/ML pode ser complexo. Muitas vezes, isso envolve navegar por um cenário de instalações de drivers específicos, versões de API e possíveis soluções alternativas para bugs inesperados.

Uma plataforma em conformidade, como o GKE, foi projetada para lidar com essas complexidades subjacentes, oferecendo um caminho da configuração à implantação. Ao criar uma versão do GKE em conformidade, você pode ter certeza de que seu ambiente está otimizado para critérios como os seguintes:

  • Escalabilidade: escalone suas cargas de trabalho de IA/ML de maneira eficiente com base na demanda.
  • Performance: aproveite ao máximo seu hardware, incluindo GPUs e TPUs.
  • Portabilidade: execute seus aplicativos de IA/ML em qualquer cluster do Kubernetes em conformidade com mudanças mínimas.
  • Interoperabilidade: integre-se a outras ferramentas e frameworks no ecossistema de IA/ML.

Como criar um cluster do GKE em conformidade com a IA

Para criar um cluster do GKE em conformidade com a IA, faça o seguinte:

  1. Confira o ai-conformance repositório do GitHub para ver a lista de versões em conformidade.
  2. Crie um cluster do GKE no modo padrão executado em uma versão em conformidade, como 1.34.0-gke.1662000 ou mais recente.
  3. Ative a API Gateway no cluster.

Agora, seu cluster atende aos requisitos obrigatórios para a conformidade de IA do Kubernetes.

O que torna o GKE uma plataforma em conformidade com a IA do Kubernetes

O GKE gerencia os requisitos subjacentes para a conformidade de IA, para que você não precise fazer isso. A tabela a seguir destaca alguns desses recursos principais para cargas de trabalho de IA/ML. Alguns desses recursos são ativados por padrão, mas outros, como o Kueue para programação de gangues, são adições opcionais que podem ser instaladas para melhorar suas cargas de trabalho de IA/ML.

O programa de conformidade de IA do Kubernetes foi projetado para evoluir com o ecossistema de IA/ML. Os requisitos são atualizados com cada lançamento de versão secundária do Kubernetes com base no estado do ecossistema. Para o conjunto completo de requisitos de uma versão secundária específica, no repositório do GitHub ai-conformance, consulte o arquivo docs/AIConformance-MINOR_VERSION.yaml, em que MINOR_VERSION é sua versão específica, como v1.34.

Requisito
Alocação dinâmica de recursos (DRA, na sigla em inglês) Permite solicitações de recursos mais flexíveis e detalhadas além das contagens. Para mais informações, consulte Sobre a alocação dinâmica de recursos.
API Kubernetes Gateway Fornece gerenciamento avançado de tráfego para serviços de inferência, o que permite recursos como divisão de tráfego ponderada e roteamento baseado em cabeçalho. Para mais informações, consulte Sobre a API GKE Gateway.
Programação de gangues Garante a programação de tudo ou nada para cargas de trabalho de IA distribuídas. O GKE permite a instalação e a operação bem-sucedida de pelo menos uma solução de programação de gangues. Para um exemplo, consulte Implantar um sistema em lote usando o Kueue.
Escalonador automático de clusters para aceleradores Escala grupos de nós que contêm tipos de aceleradores específicos para cima e para baixo, com base em pods pendentes que solicitam esses aceleradores. Para mais informações, consulte:
Escalonador automático horizontal de pods (HPA) para aceleradores Funciona corretamente para pods que utilizam aceleradores, incluindo a capacidade de escalonar esses pods com base em métricas personalizadas relevantes para cargas de trabalho de IA/ML. Para mais informações, consulte:
Métricas de desempenho do acelerador Expõe métricas de desempenho detalhadas usando um endpoint de métricas de formato padronizado e legível por máquina. Para mais informações, consulte:
Monitoramento padronizado Fornece um sistema de monitoramento capaz de descobrir e coletar métricas de cargas de trabalho que as expõem em um formato padrão (por exemplo, formato de exposição do Prometheus). Para mais informações, consulte Observabilidade para o GKE.
Suporte ao operador de IA Precisa comprovar que pelo menos um operador de IA complexo com uma definição de recurso personalizado (CRD) pode ser instalado na plataforma e que ele funciona de maneira confiável. Para mais informações, consulte Como criar uma plataforma de aprendizado de máquina com o Kubeflow e o Ray no Google Kubernetes Engine.

A seguir