Este documento apresenta uma visão geral do Ironwood (TPU7x) no Google Kubernetes Engine (GKE). O Ironwood (TPU7x) é a Unidade de Processamento de Tensor (TPU) de sétima geração do Google, projetada sob medida para cargas de trabalho de IA em grande escala. Ela oferece uma melhoria significativa de desempenho em relação às gerações anteriores de TPU, o que permite treinar e disponibilizar modelos maiores e mais complexos.
Características do Ironwood (TPU7x)
O Ironwood (TPU7x) apresenta recursos exclusivos que o diferenciam de outras versões de TPU. Esses recursos afetam a disponibilidade, a configuração do pool de nós e o desempenho da carga de trabalho.
Para informações sobre o hardware, consulte Arquitetura do Ironwood (TPU7x).
Disponibilidade
O Ironwood (TPU7x) está disponível em clusters do GKE Standard que executam a versão 1.34.0-gke.2201000 e mais recentes, e em clusters do Autopilot que executam a versão 1.34.1-gke.3084001 e mais recentes.
Política de carga de trabalho para pools de nós de vários hosts
O Ironwood (TPU7x) usa uma política de carga de trabalho para configurar o posicionamento físico da infraestrutura subjacente quando você cria pools de nós de fração de TPU de vários hosts. Crie uma política de carga de trabalho e
aplique-a usando a flag --placement-policy. Essa política substitui a
flag --tpu-topology usada por outras versões de TPU.
Uma política de carga de trabalho é um tipo de política de recursos que permite configurar o posicionamento físico da infraestrutura. O Ironwood (TPU7x) é compatível com a política de carga de trabalho de alta capacidade de processamento. Essa política coloca as VMs de TPU no mesmo local para reduzir a latência de rede e permite definir a estratégia de manutenção para minimizar as interrupções de carga de trabalho.
vinculação NUMA
A arquitetura Ironwood (TPU7x) inclui os seguintes elementos:
- Cada máquina virtual (VM) Ironwood (TPU7x) contém quatro chips e duas NICs.
- Cada VM contém dois nós de acesso à memória não uniforme (NUMA).
- Os recursos de CPU, memória e NICs são divididos igualmente entre os dois nós NUMA.
O acesso a recursos em diferentes nós NUMA (acesso entre nós NUMA) pode introduzir gargalos de desempenho nas cargas de trabalho. Portanto, para otimizar o desempenho da carga de trabalho, o GKE permite implantar as cargas de trabalho em uma configuração de vários contêineres. Isso vincula cada contêiner aos recursos de CPU, memória e TPU em um determinado nó NUMA.
Implementações de referência de LLMs
Para saber como implantar modelos de linguagem grandes (LLMs) no Ironwood (TPU7x), consulte as implementações de referência a seguir. É possível usar uma das seguintes opções para criar clusters:
- Cluster Toolkit: use o Cluster Toolkit para automatizar a criação de clusters e a implantação de cargas de trabalho. O kit de ferramentas oferece modelos de design de referência que incorporam as práticas recomendadas para configurar o Ironwood (TPU7x) no GKE. Para mais informações, consulte Implantar um cluster do GKE Ironwood (TPU7x).
- GKE na Google Cloud CLI: use a Google Cloud CLI para criar manualmente a instância do cluster do GKE para personalização ou expansão precisa dos ambientes de produção do GKE.
A seguir
- Saiba como planejar TPUs no GKE.
- Saiba como implantar TPUs no GKE.
- Implante clusters do Ironwood (TPU7x) e cargas de trabalho de treinamento com o Cluster Toolkit: