Otimize cargas de trabalho de IA e ML com o Google Cloud Managed Lustre

Last reviewed 2026-10-13 UTC

Neste documento, apresentamos uma arquitetura de referência que mostra como usar o Google Cloud Managed Lustre para otimizar o desempenho de cargas de trabalho de IA e ML implantadas no Google Kubernetes Engine (GKE). O público-alvo deste documento inclui arquitetos e profissionais técnicos que projetam, provisionam e gerenciam o armazenamento para cargas de trabalho de IA no Google Cloud. O documento pressupõe que você entenda os conceitos do Kubernetes e o ciclo de vida, os processos e os recursos de ML.

O Managed Lustre é um sistema de arquivos paralelo (PFS, na sigla em inglês) permanente e totalmente Google Cloudgerenciado, baseado no EXAScaler Lustre da DDN. O Managed Lustre é uma solução recomendada para cargas de trabalho de treinamento de IA e checkpointing. Ele é especialmente eficaz para migrar cargas de trabalho do Lustre ou de outras soluções de PFS. Para maximizar o uso dos recursos, as cargas de trabalho que usam o Managed Lustre para treinamento devem também usar a mesma instância para disponibilização e inferência.

O Managed Lustre é a solução recomendada para cargas de trabalho de IA que atendem aos seguintes critérios:

O Managed Lustre oferece estas vantagens para cargas de trabalho de IA:

  • Menor custo total de propriedade (TCO) para treinamento: o Managed Lustre ajuda a reduzir o tempo de treinamento ao fornecer dados com eficiência para nós de computação. Esse recurso ajuda a reduzir o custo total de propriedade para treinamento de modelo de IA e ML.
  • TCO menor para disponibilização: o Managed Lustre oferece recursos de alta performance que permitem um carregamento mais rápido de modelos e uma disponibilização de inferência otimizada. Esses recursos ajudam a reduzir os custos de computação e melhorar a utilização de recursos.
  • Uso eficiente de recursos: o Managed Lustre permite combinar a criação de checkpoints e o treinamento em uma única instância. Esse compartilhamento de recursos ajuda a maximizar o uso eficiente da capacidade de leitura e gravação em um único sistema de armazenamento de alta performance.

Arquitetura

O diagrama a seguir mostra um exemplo de arquitetura para usar o Managed Lustre para otimizar o desempenho de uma carga de trabalho de treinamento de modelo e de uma carga de trabalho de disponibilização:

Uma arquitetura usa o Managed Lustre para otimizar o desempenho de uma carga de trabalho de treinamento de modelo e de uma carga de trabalho de disponibilização.

As cargas de trabalho mostradas na arquitetura anterior são descritas em detalhes nas seções posteriores. Essa arquitetura inclui os seguintes componentes:

  • Cluster do GKE: o GKE gerencia os hosts de computação em que os processos de treinamento e disponibilização de modelos de IA e ML são executados. O GKE gerencia a infraestrutura subjacente de clusters, incluindo o plano de controle, os nós e todos os componentes do sistema.
  • Programador do Kubernetes: o plano de controle do GKE programa cargas de trabalho e gerencia o ciclo de vida, o escalonamento e os upgrades delas.
  • Rede de nuvem privada virtual (VPC): todos os recursos do Google Cloud na arquitetura usam uma única rede VPC.
  • Cloud Load Balancing: nessa arquitetura, o Cloud Load Balancing distribui de maneira eficiente as solicitações de inferência recebidas dos usuários do aplicativo para os contêineres de exibição no cluster do GKE. O uso do Cloud Load Balancing ajuda a garantir alta disponibilidade, escalonabilidade e desempenho ideal para o aplicativo de IA e ML. Para mais informações, consulte Noções básicas sobre balanceamento de carga do GKE.
  • Unidades de processamento gráfico (GPUs) ou Unidades de Processamento de Tensor (TPUs): GPUs e TPUs são aceleradores de machine learning especializados que melhoram o desempenho da sua carga de trabalho de IA e ML. Para garantir a eficiência e a compatibilidade ideais, use o mesmo tipo de acelerador para toda a carga de trabalho de IA e ML. Para mais informações sobre como escolher um tipo de processador adequado, consulte Opções de acelerador mais adiante neste documento.
  • Managed Lustre: o Managed Lustre acelera o treinamento e a disponibilização de IA e ML fornecendo um PFS permanente de alto desempenho, otimizado para baixa latência e alta capacidade de processamento. Em comparação com o uso exclusivo do Cloud Storage, o Managed Lustre reduz significativamente o tempo de treinamento e melhora a capacidade de resposta dos modelos durante a disponibilização. Essas melhorias são especialmente percebidas em cargas de trabalho exigentes que exigem acesso rápido e consistente aos dados compartilhados.
  • Cloud Storage FUSE: o Cloud Storage FUSE oferece armazenamento persistente e econômico para suas cargas de trabalho de IA e ML. O Cloud Storage serve como o repositório central para seus conjuntos de dados de treinamento brutos, checkpoints de modelo e backups de modelo. O uso do Cloud Storage ajuda a garantir a durabilidade dos dados, a disponibilidade de longo prazo e a eficiência de custos para dados que não estão sendo usados ativamente em computações.

Carga de trabalho de treinamento

Na arquitetura anterior, as etapas do fluxo de dados durante o treinamento do modelo são as seguintes:

  1. Fazer upload dos dados de treinamento para o Cloud Storage: você faz upload dos dados de treinamento para um bucket do Cloud Storage, que serve como um repositório central seguro e escalonável e fonte de verdade.
  2. Copiar dados para o Managed Lustre: o corpus de dados de treinamento é transferido ao importar dados para uma instância do Managed Lustre do Cloud Storage. A transferência dos dados de treinamento permite que você aproveite os recursos do sistema de arquivos de alto desempenho do Managed Lustre para otimizar as velocidades de carregamento e processamento de dados durante o treinamento do modelo.
  3. Executar jobs de treinamento no GKE: o processo de treinamento de modelo é executado em nós do GKE. Ao usar o Managed Lustre como fonte de dados em vez de carregar dados diretamente do Cloud Storage, os nós do GKE podem acessar e carregar dados de treinamento com velocidade significativamente maior e menor latência. O Managed Lustre também permite um tempo menor para o início da transferência do primeiro byte, medido pelo tempo para o primeiro byte (TTFB). O uso do Managed Lustre ajuda a reduzir os tempos de carregamento de dados e acelerar o processo geral de treinamento, especialmente para grandes conjuntos de dados que têm arquivos de leitura pequenos e modelos complexos. Dependendo dos requisitos da carga de trabalho, é possível usar GPUs ou TPUs. Para informações sobre como escolher um tipo de processador adequado, consulte Opções de acelerador mais adiante neste documento.
  4. Salvar checkpoints de treinamento no Managed Lustre: durante o processo de treinamento, os checkpoints são salvos no Managed Lustre com base em métricas ou intervalos definidos por você. Os checkpoints capturam o estado do modelo em intervalos frequentes. Os checkpoints podem ser exportados para o Cloud Storage para armazenamento de longo prazo.

Carga de trabalho de serviço

Na arquitetura anterior, estas são as etapas do fluxo de dados durante a disponibilização do modelo:

  1. Carregar o modelo para disponibilização: quando o modelo estiver pronto para implantação, os pods do GKE vão carregar o modelo treinado da instância do Managed Lustre para os nós de disponibilização. Se a instância do Managed Lustre usada durante o treinamento tiver capacidade de IOPS suficiente e estiver na mesma zona dos aceleradores, você poderá usar a mesma instância para disponibilizar o modelo. A reutilização da instância do Managed Lustre permite o compartilhamento eficiente de recursos entre o treinamento e a disponibilização. Para manter o desempenho e a compatibilidade ideais, use o mesmo tipo de processador de GPU ou TPU que você selecionou para os nós de serviço do GKE.
  2. Solicitação de inferência: os usuários do aplicativo enviam solicitações de inferência pelos endpoints de disponibilização. Essas solicitações são direcionadas ao serviço do Cloud Load Balancing. O Cloud Load Balancing distribui as solicitações recebidas entre os contêineres de disponibilização no cluster do GKE. Essa distribuição ajuda a garantir que nenhum contêiner fique sobrecarregado e que as solicitações sejam processadas com eficiência.
  3. Atendimento de solicitações de inferência: quando uma solicitação de inferência é recebida, os nós de computação acessam o modelo pré-carregado para realizar os cálculos necessários e gerar uma previsão.
  4. Entrega de respostas: os contêineres de disponibilização enviam as respostas de volta pelo Cloud Load Balancing. O Cloud Load Balancing encaminha as respostas de volta aos usuários do aplicativo apropriados, concluindo o ciclo de solicitação de inferência.

Produtos usados

Esta arquitetura de referência usa os seguintes produtos do Google Cloud :

  • Nuvem privada virtual (VPC): um sistema virtual que oferece funcionalidade de rede global e escalonável para suas cargas de trabalho do Google Cloud . A VPC inclui peering de rede VPC, Private Service Connect, acesso a serviços particulares e VPC compartilhada.
  • Cloud Load Balancing: um portfólio de balanceadores de carga globais, regionais, escalonáveis, globais e de alto desempenho.
  • Google Kubernetes Engine (GKE): um serviço do Kubernetes que pode ser usado para implantar e operar aplicativos conteinerizados em escala usando a infraestrutura do Google.
  • Cloud Storage: um repositório de objetos de baixo custo e sem limite para diversos tipos de dados. Os dados podem ser acessados de dentro e fora do Google Cloude são replicados entre locais para redundância.
  • Google Cloud Managed Lustre: um sistema de arquivos paralelos totalmente gerenciado para IA, computação de alto desempenho (HPC) e aplicativos com uso intenso de dados.

Casos de uso

O Managed Lustre é ideal para cargas de trabalho de IA que precisam de capacidade de armazenamento em escala de PiB e que precisam fornecer acesso de baixa latência (submilissegundos) com alta capacidade de processamento e alta IOPS. Nesta seção, apresentamos exemplos de casos de uso em que é possível usar o Managed Lustre.

Processamento baseado em texto e geração de texto

Os LLMs são modelos de IA especializados projetados especificamente para entender e processar dados baseados em texto. Os LLMs são treinados com conjuntos de dados de texto enormes, o que permite que eles realizem uma variedade de tarefas, incluindo tradução automática, respostas a perguntas e resumo de texto. Para facilitar o treinamento eficiente e o processamento em lote, o LLM precisa de acesso de baixa latência aos conjuntos de dados. O Managed Lustre se destaca em aplicativos com uso intensivo de dados, oferecendo a alta capacidade de processamento e a baixa latência necessárias para treinamento e inferência, o que resulta em aplicativos com tecnologia de LLM mais responsivos.

Processamento de imagens ou vídeos de alta resolução

Os aplicativos de IA e ML ou os modelos generativos multimodais que processam imagens ou vídeos de alta resolução, como análise de imagens médicas ou sistemas de direção autônoma, exigem grande capacidade de armazenamento e acesso rápido aos dados. O Managed Lustre oferece um sistema de arquivos permanente de alto desempenho que permite o carregamento rápido de dados para acelerar o desempenho do aplicativo. Por exemplo, o Managed Lustre pode armazenar grandes volumes de dados de pacientes, como imagens de ressonância magnética e de tomografia computadorizada, e facilitar o carregamento rápido de dados para nós de computação para treinamento de modelo. Essa funcionalidade permite que os modelos de IA e ML analisem rapidamente os dados para diagnóstico e tratamento.

Alternativas de design

Esta seção apresenta abordagens de design alternativas que você pode considerar para seu aplicativo de IA e ML em Google Cloud.

Alternativa de infraestrutura de computação

A arquitetura de referência neste documento usa o GKE para as cargas de trabalho de IA e ML. Dependendo dos requisitos da sua carga de trabalho, é possível implantar instâncias do Managed Lustre no Compute Engine com o Slurm. Recomendamos essa abordagem se você precisar integrar a propriedade intelectual (PI) de IA proprietária a um ambiente escalonável e se precisar de flexibilidade e controle para otimizar a performance de cargas de trabalho especializadas.

O Compute Engine permite que você tenha um controle mais granular no nível do sistema operacional em comparação com o GKE. Ao usar o Compute Engine, você pode fazer o seguinte:

  • Selecione, configure e gerencie o ambiente do SO nas suas máquinas virtuais para atender a requisitos específicos de carga de trabalho.
  • Adapte sua infraestrutura às suas necessidades exatas, incluindo a seleção de tipos de máquinas VM específicos.
  • Use a família de máquinas com otimização para aceleradores para melhorar o desempenho com suas cargas de trabalho de IA.

O Slurm é um gerenciador de recursos e cargas de trabalho de código aberto altamente configurável. O Slurm oferece uma opção eficiente para gerenciar cargas de trabalho de IA e permite controlar a configuração e o gerenciamento dos recursos de computação. Para usar essa abordagem, você precisa ter experiência em administração do Slurm e gerenciamento de sistemas Linux. O GKE oferece um ambiente gerenciado do Kubernetes que automatiza o gerenciamento de clusters.

Para informações sobre como implantar o Slurm, consulte Implantar um cluster de HPC com o Slurm. Também é possível implantar usando o Cluster Toolkit com o blueprint inicial do Managed Lustre.

Opções de acelerador

Os aceleradores de máquina são processadores especializados projetados para acelerar as computações necessárias para cargas de trabalho de IA e ML. Você pode escolher GPUs ou TPUs.

  • Os aceleradores de GPU oferecem excelente desempenho para uma ampla variedade de tarefas, incluindo renderização gráfica, treinamento de aprendizado profundo e computação científica.O Google Cloud tem uma grande seleção de GPUs para atender a diversas faixas de desempenho e preço. Para informações sobre modelos e preços de GPU, consulte Preços de GPU.
  • As TPUs são aceleradores de IA personalizados, otimizados para treinamento e inferência de grandes modelos de IA. As TPUs são ideais para diversos casos de uso, como chatbots, geração de código, geração de conteúdo de mídia, fala sintética, serviços de visão, mecanismos de recomendação e modelos de personalização. Para mais informações sobre modelos e preços de TPU, consulte Preços de TPU.

Alternativas de armazenamento

O Cloud Storage FUSE com o Rapid Cache pode ser usado para treinamento, criação de pontos de verificação e disponibilização de cargas de trabalho. O Cloud Storage FUSE com Rapid Cache é a solução de armazenamento recomendada para veiculação e inferência devido ao menor custo e facilidade de inferência multirregional em comparação com o Managed Lustre. Para garantir o mais alto nível de disponibilidade, use o Cloud Storage FUSE com o Rapid Cache e um bucket multirregional ou birregional. Essa configuração disponibiliza os modelos de IA treinados em várias regiões. No entanto, em comparação com as instâncias do Managed Lustre, o Cloud Storage FUSE pode ter uma capacidade de processamento menor por VM. Para mais informações, consulte Otimizar cargas de trabalho de IA e ML com o Cloud Storage FUSE.

Considerações sobre o design

Para projetar uma implantação do Managed Lustre que otimize a segurança, a confiabilidade, o custo, as operações e o desempenho das suas cargas de trabalho de IA e ML no Google Cloud, use as diretrizes nas seções a seguir.

Para uma visão geral dos princípios e recomendações de arquitetura específicos para cargas de trabalho de IA e ML no Google Cloud, consulte a perspectiva de IA e ML no Well-Architected Framework.

segurança, privacidade e conformidade

Nesta seção, descrevemos as considerações para suas cargas de trabalho de IA e ML noGoogle Cloud que atendem aos seus requisitos de segurança, privacidade e conformidade.

Segurança de SSH

Para facilitar o controle de acesso aprimorado para seus aplicativos em execução no GKE, use o Identity-Aware Proxy (IAP). O IAP se integra ao recurso de Entrada do GKE e ajuda a verificar se apenas usuários autenticados com o papel correto do Identity and Access Management (IAM) podem acessar os aplicativos. Para mais informações, consulte Como ativar o IAP para o GKE e Controle de acesso com o IAM.

Criptografia de dados

Por padrão, os dados no GKE, incluindo os dados armazenados na instância do Managed Lustre, são criptografados em repouso e em trânsito usando o Google-owned and Google-managed encryption keys. Se você precisar gerenciar suas próprias chaves de criptografia, use as chaves de criptografia gerenciadas pelo cliente (CMEK) no Cloud Key Management Service para criptografar dados em repouso na instância do Managed Lustre e criptografar secrets do GKE na camada do aplicativo. Para mais informações, consulte Usar chaves de criptografia gerenciadas pelo cliente e Criptografar secrets na camada do aplicativo.

Se você usa um cluster GKE Standard, é possível usar os seguintes recursos extras de criptografia de dados:

Isolamento de dados

Para aumentar a segurança e melhorar a proteção de dados, armazene os dados de treinamento em uma instância separada do Managed Lustre dos pontos de verificação e modelos treinados. O uso de instâncias de armazenamento separadas oferece isolamento de desempenho, aumenta a segurança ao isolar os dados de treinamento e melhora a proteção de dados. Embora as listas de controle de acesso permitam gerenciar a segurança em uma única instância, o uso de instâncias separadas oferece um limite de segurança mais robusto.

Mais considerações sobre a segurança

No modo de operação Autopilot, o GKE pré-configura o cluster e gerencia nós de acordo com as práticas recomendadas de segurança. Assim, você pode se concentrar na segurança específica da carga de trabalho. Para mais informações, consulte Recursos de segurança do Autopilot do GKE e Segurança do Kubernetes pronta para uso com o Autopilot do GKE.

Para saber como proteger a privacidade dos seus dados, consulte as informações gerais sobre a Proteção de Dados Sensíveis e Inspecionar Google Cloud armazenamento e bancos de dados em busca de dados sensíveis.

Para princípios e recomendações de segurança específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: segurança no Well-Architected Framework.

Confiabilidade

Nesta seção, descrevemos os fatores de design que você precisa considerar ao usar essa arquitetura de referência para criar e operar uma infraestrutura confiável para implantações regionais no Google Cloud.

Robustez contra interrupções de infraestrutura

Com o modo de operação Autopilot usado nesta arquitetura, o GKE oferece os seguintes recursos integrados de confiabilidade:

  • Sua carga de trabalho usa um cluster regional do GKE. O plano de controle e os nós de trabalho são distribuídos por três zonas diferentes em uma região. Suas cargas de trabalho são robustas contra interrupções de zona. Os clusters regionais do GKE têm um contrato de nível de serviço (SLA) de tempo de atividade mais alto do que os clusters zonais.
  • Não é preciso criar nós ou gerenciar pools de nós. O GKE cria os pools de nós e os escalona automaticamente com base nos requisitos das cargas de trabalho.

Para aumentar a disponibilidade do aplicativo, é possível disponibilizá-lo em várias zonas implantando uma instância do Managed Lustre em cada zona.

Planejamento de capacidade do cluster

Para garantir que uma capacidade de GPU suficiente esteja disponível quando necessário para o escalonamento automático do cluster do GKE, crie e use reservas. Uma reserva fornece capacidade garantida em uma zona específica para um recurso especificado. Uma reserva pode ser específica para um projeto ou compartilhada entre vários projetos. Você receberá cobranças por recursos reservados mesmo que eles não sejam provisionados ou usados. Para mais informações, consulte Como consumir recursos zonais reservados.

Durabilidade dos dados

Para fazer backup e restaurar cargas de trabalho no GKE, ative o Backup para GKE em cada cluster. O Backup para GKE é útil para recuperação de desastres, pipelines de CI/CD, clonagem de cargas de trabalho e cenários de upgrade.

É possível selecionar cargas de trabalho específicas ou todas as cargas de trabalho que você quer fazer backup e restaurar. Também é possível fazer o backup de cargas de trabalho de um cluster e restaurá-las para outro cluster. Para reduzir o tempo de inatividade da carga de trabalho, é possível programar a execução automática dos backups para que você possa recuperar rapidamente as cargas de trabalho no caso de um incidente.

Mais considerações sobre confiabilidade

Para princípios e recomendações de confiabilidade específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: confiabilidade no Well-Architected Framework.

Otimização de custos

Nesta seção, fornecemos orientações para ajudar você a otimizar o custo de configuração e operação do seu fluxo de trabalho de IA e ML no Google Cloud.

Níveis de desempenho do Managed Lustre

Ao criar uma instância do Managed Lustre, é necessário selecionar um nível de desempenho. Escolha um nível adequado com base nos requisitos de performance e custo da sua carga de trabalho.

Modelo de provisionamento de nós

No modo Autopilot, o GKE otimiza a eficiência da infraestrutura do cluster com base nos requisitos da carga de trabalho. Para controlar os custos, você não precisa monitorar constantemente a utilização de recursos nem gerenciar a capacidade.

Se for possível prever o uso de CPU, memória e uso do armazenamento temporário do seu cluster do Autopilot, você poderá receber descontos por compromisso de uso. Para reduzir o custo da execução do aplicativo, use VMs spot nos nós do GKE. As VMs spot têm um preço menor do que as VMs padrão, mas não oferecem garantia de disponibilidade.

Gerenciamento de recursos

Para otimizar o custo e o desempenho com um gerenciamento eficiente, use o Programador dinâmico de cargas de trabalho. O Dynamic Workload Scheduler é um gerenciador de recursos e programador de jobs que ajuda você a melhorar o acesso a aceleradores de IA (GPUs e TPUs). O Dynamic Workload Scheduler programa todos os seus aceleradores simultaneamente e pode ser executado fora dos horários de pico com gerenciamento de capacidade de acelerador definido. Ao programar jobs de forma estratégica, o Dynamic Workload Scheduler ajuda a maximizar a utilização do acelerador, reduzir o tempo ocioso e otimizar os gastos com a nuvem.

Uso dos recursos

Para maximizar a utilização de recursos, use uma instância do Managed Lustre para treinamento e disponibilização. A consolidação das cargas de trabalho de treinamento e disponibilização em uma única instância do Managed Lustre minimiza os custos eliminando a infraestrutura redundante e simplificando o gerenciamento de recursos. No entanto, pode haver uma disputa de recursos se ambas as cargas de trabalho tiverem demandas de capacidade alta. Se houver IOPS disponíveis após o treinamento, o uso da mesma instância poderá acelerar o carregamento do modelo para disponibilização. Use o Cloud Monitoring para verificar se você aloca recursos suficientes para atender às demandas de capacidade.

Para minimizar os custos de armazenamento, exporte os dados da instância do Managed Lustre para uma classe do Cloud Storage de menor custo após o treinamento e o checkpoint. Ao exportar seus dados para o Cloud Storage, você também pode destruir e recriar instâncias do Managed Lustre conforme necessário para sua carga de trabalho.

Para controlar os custos do bucket do Cloud Storage, ative o gerenciamento do ciclo de vida de objetos ou a Classe automática. O gerenciamento do ciclo de vida de objetos move automaticamente dados mais antigos ou menos usados para classes de armazenamento mais baratas ou exclui os dados, com base nas regras que você definir. A classe automática move dados entre classes de armazenamento com base nos seus padrões de acesso. Usar o gerenciamento do ciclo de vida de objetos ou a Classe automática ajuda a garantir a classe de armazenamento mais econômica para o uso de dados, minimizando despesas e evitando taxas inesperadas de recuperação.

Mais considerações sobre custo

Para princípios e recomendações de otimização de custos específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: otimização de custos no Well-Architected Framework. Para informações sobre como otimizar custos no GKE, consulte Práticas recomendadas para executar aplicativos do Kubernetes otimizados para custo no GKE.

Excelência operacional

Esta seção fornece orientações para ajudar você a projetar uma infraestrutura para seu fluxo de trabalho de IA e ML que possa ser operada com eficiência.

Gerenciamento de modelos

Para rastrear e gerenciar artefatos de modelo, incluindo binários e metadados, use o Model Registry na Gemini Enterprise Agent Platform, que permite armazenar, organizar e implantar versões de modelo de forma integrada.

Para otimizar a confiabilidade do modelo, implemente o Model Monitoring na Gemini Enterprise Agent Platform para detectar desvios de dados, acompanhar o desempenho e identificar anomalias na produção.

Escalonamento automático cluster do GKE

Com os clusters do Autopilot, não é necessário provisionar nem gerenciar pools de nós. Os pools de nós são provisionados automaticamente usando o provisionamento automático de nós e são escalonados automaticamente para atender aos requisitos das cargas de trabalho.

Para clusters GKE Standard, o escalonador automático de clusters redimensiona automaticamente o número de nós em um pool de nós com base nas demandas da carga de trabalho. Para controlar o comportamento de escalonamento automático do escalonador automático de cluster, especifique um tamanho mínimo e máximo para o pool de nós.

Ao usar o escalonador automático de cluster do GKE, não ative o escalonamento automático do Compute Engine para grupos gerenciados de instâncias (MIGs) nos nós do cluster. O escalonador automático de cluster do GKE é separado do escalonador automático do Compute Engine. O escalonador automático de clusters do GKE foi projetado para escalonar sua carga de trabalho analisando a utilização de recursos em todo o cluster do GKE, incluindo os MIGs subjacentes. Usar os dois escalonadores automáticos pode levar a decisões de escalonamento conflitantes. Para mais informações, consulte Sobre cluster do GKE GKE.

Monitoramento de métricas

Para identificar gargalos, monitorar as principais métricas, como latência, taxa de erros e uso de recursos, use o Cloud Monitoring. O Cloud Monitoring oferece visibilidade em tempo real para rastrear padrões de uso de recursos e identificar possíveis ineficiências.

Gerenciamento de armazenamento

Para automatizar o gerenciamento de dados com base no uso do bucket do Cloud Storage, ative o gerenciamento do ciclo de vida de objetos ou a Classe automática. O gerenciamento do ciclo de vida de objetos move automaticamente dados mais antigos ou menos usados para classes de armazenamento mais baratas ou exclui os dados, com base nas regras que você definir. A classe automática move dados entre classes de armazenamento com base nos seus padrões de acesso. O uso do gerenciamento do ciclo de vida de objetos ou da Autoclass ajuda a garantir a aplicação consistente de políticas em toda a infraestrutura de armazenamento e a reduzir possíveis erros humanos, o que proporciona desempenho e economia de custos sem intervenção manual.

Mais considerações operacionais

Para princípios e recomendações de excelência operacional específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: excelência operacional no Well-Architected Framework.

Otimização de desempenho

Nesta seção, fornecemos orientações para ajudar a otimizar o desempenho do seu fluxo de trabalho de IA e ML no Google Cloud. As orientações desta seção não são completas. Para mais informações sobre como otimizar o desempenho do seu ambiente do Managed Lustre, consulte Considerações sobre desempenho.

Considerações sobre treinamento

Cada VM A3 ou A4 pode fornecer 20 GB/s, aproximadamente 2,5 GB/s por GPU, de uma instância do Managed Lustre. Antes de iniciar o treinamento, os dados de treinamento precisam ser pré-buscados do Cloud Storage e importados para o Managed Lustre para minimizar a latência durante o treinamento. Para maximizar a capacidade de processamento da carga de trabalho de treinamento, provisione a instância do Managed Lustre para atender às suas necessidades de capacidade de processamento e armazenamento. Por exemplo, uma instância do Managed Lustre de 20 TiB oferece um throughput agregado entre 2,5 GB/s e 20 GB/s em todos os clientes, dependendo do nível de desempenho selecionado. Se o treinamento exigir uma capacidade de processamento maior, será necessário aumentar o tamanho da instância do Managed Lustre de acordo.

Considerações sobre checkpoints

Para aproveitar a alta capacidade de gravação que o Managed Lustre oferece e minimizar o tempo de treinamento, use o Managed Lustre para treinamento e checkpointing. Essa abordagem ajuda a alcançar uma utilização eficiente dos recursos e a reduzir o TCO dos recursos de GPU, mantendo o treinamento e o checkpointing o mais rápido possível. Para criar checkpoints rapidamente, execute a criação de checkpoints distribuída e assíncrona. Como o Managed Lustre é persistente, é possível armazenar os checkpoints na mesma instância. Para otimizar ainda mais os custos e o armazenamento de longo prazo, exporte os checkpoints para um bucket do Cloud Storage.

Considerações sobre veiculação

Para alcançar o desempenho ideal durante a disponibilização, é necessário minimizar o tempo necessário para carregar modelos na memória. O Managed Lustre oferece alta capacidade de processamento por VM de mais de 20 GB/s, o que proporciona alta capacidade de processamento agregada do cluster. Esse recurso ajuda a minimizar os tempos de carregamento do modelo em milhares de VMs. Para acompanhar as principais métricas que permitem identificar gargalos, use o Cloud Monitoring e verifique se você implanta capacidade suficiente à medida que o desempenho aumenta com a capacidade de armazenamento.

Posicionamento de recursos

Para minimizar a latência e maximizar o desempenho, crie sua instância do Managed Lustre em uma região geograficamente próxima dos seus clientes de computação de GPU ou TPU. Na arquitetura de referência descrita neste documento, os contêineres e o sistema de arquivos do GKE são colocados na mesma zona.

  • Para treinamento e checkpoint: para melhores resultados, implante os clientes e as instâncias do Managed Lustre na mesma zona. Essa colocalização minimiza os tempos de transferência de dados e maximiza a utilização da capacidade de processamento de gravação do Managed Lustre.
  • Para disponibilização:embora a colocalização com clientes de computação na mesma zona seja ideal, ter uma instância do Managed Lustre por região pode ser suficiente. Essa abordagem evita custos extras associados à implantação de várias instâncias e ajuda a maximizar o desempenho da computação. No entanto, se você precisar de mais capacidade ou capacidade de processamento, considere implantar mais de uma instância por região.

Para informações sobre as regiões com disponibilidade e zonas compatíveis com instâncias do Managed Lustre, consulte Locais compatíveis.

Mais considerações de desempenho

Para princípios e recomendações de otimização de performance específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: otimização de performance no Well-Architected Framework.

Implantação

Para criar e montar uma instância do Managed Lustre, recomendamos que você use o módulo do Managed Lustre disponível no Cluster Toolkit. O Cluster Toolkit é um kit de ferramentas modular baseado em Terraform projetado para a implantação de ambientes de IA e ML reproduzíveis no Google Cloud.

Para saber como implantar manualmente o Managed Lustre no GKE, consulte Criar uma instância do Managed Lustre e Acessar instâncias do Managed Lustre no GKE usando o driver CSI do Managed Lustre.

Para saber como configurar uma rede VPC para o Managed Lustre, consulte Configurar uma rede VPC.

A seguir

Colaboradores

Autor: Samantha He | Redatora técnica

Outros colaboradores: