Neste documento, apresentamos arquiteturas de referência que mostram como usar o Cloud Storage FUSE para otimizar o desempenho de cargas de trabalho de IA e ML no Google Kubernetes Engine (GKE).
O público-alvo deste documento inclui arquitetos e profissionais técnicos que projetam, provisionam e gerenciam o armazenamento para cargas de trabalho de IA e ML no Google Cloud. Este documento pressupõe que você entende o ciclo de vida, os processos e os recursos de ML.
O Cloud Storage FUSE é um adaptador FUSE de código aberto que permite ativar buckets do Cloud Storage como sistemas de arquivos locais. Essa configuração permite que os aplicativos interajam perfeitamente com buckets de armazenamento baseados na nuvem usando a semântica padrão de sistemas de arquivos. O Cloud Storage FUSE permite que você aproveite a escalonabilidade e o custo-benefício do Cloud Storage.
Arquitetura
Dependendo dos seus requisitos de desempenho, disponibilidade e recuperação de desastres (DR), escolha um dos seguintes arquétipos de implantação do Google Cloudpara executar suas cargas de trabalho de IA e ML no Google Cloud:
- Regional: os aplicativos são executados de maneira independente em uma única Google Cloud região. Recomendamos esse arquétipo de implantação para aplicativos que não são essenciais, mas que precisam ser robustos contra interrupções de zona.
- Multirregional: seus aplicativos são executados de maneira independente em duas ou mais regiões do Google Cloud , no modo ativo-ativo ou ativo-passivo. Esse arquétipo de implantação é ideal para cenários de DR. Recomendamos esse arquétipo de implantação para aplicativos de missão crítica que precisam de resiliência contra interrupções e desastres na região. As implantações birregionais ou multirregionais podem reduzir a latência e melhorar a capacidade de processamento com uma maior proximidade de recursos.
O arquétipo de implantação escolhido informa os produtos e recursos do Google Cloud necessários para sua arquitetura. A arquitetura multirregional usa o Rapid Cache para aumentar a largura de banda da rede e fornecer ocorrências em cache zonais de menor latência em comparação com um bucket regional. O Rapid Cache é recomendado para cargas de trabalho com muita leitura em dados que mudam com pouca frequência. O Rapid Cache ajuda a reduzir as taxas de transferência de dados em comparação com o custo de leitura direta de um bucket multirregional. Para avaliar se o Rapid Cache é adequado para sua carga de trabalho, use o recomendador do Rapid Cache para analisar o uso e o armazenamento de dados.
As guias a seguir fornecem arquiteturas de referência para os arquétipos de implantação regional e multirregional:
Regional
O diagrama a seguir mostra um exemplo de arquitetura regional que usa o Cloud Storage FUSE para otimizar o desempenho dos fluxos de trabalho de treinamento e disponibilização de modelos:
Essa arquitetura inclui os seguintes componentes:
- Cluster do GKE: o GKE gerencia os nós de computação em que os processos de treinamento e disponibilização de modelos de IA e ML são executados. O GKE gerencia a infraestrutura subjacente dos clusters do Kubernetes, incluindo o plano de controle, os nós e todos os componentes do sistema.
- Programador do Kubernetes: o plano de controle do GKE
programa cargas de trabalho e gerencia o ciclo de vida, o escalonamento e os upgrades delas. O
agente do nó do Kubernetes (
kubelet), que não é mostrado no diagrama, se comunica com o plano de controle. O agentekubeleté responsável por iniciar e executar contêineres programados nos nós do GKE. Para mais informações sobre o programador, consulte Orquestração de IA/ML no GKE. - Rede de nuvem privada virtual (VPC): todos os recursos do Google Cloud na arquitetura usam uma única rede VPC. Dependendo dos seus requisitos, é possível criar uma arquitetura que use várias redes. Para mais informações sobre como configurar uma rede VPC para o Cloud Storage FUSE, consulte Como decidir se você quer criar várias redes VPC.
- Cloud Load Balancing: nessa arquitetura, o Cloud Load Balancing distribui de maneira eficiente as solicitações de inferência recebidas dos usuários do aplicativo para os contêineres de exibição no cluster do GKE. Para mais informações, consulte Noções básicas sobre o balanceamento de carga do GKE.
- Unidades de processamento gráfico (GPUs) ou Unidades de Processamento de Tensor (TPUs): as GPUs e TPUs são aceleradores de máquina especializados que melhoram o desempenho das cargas de trabalho de IA e ML. Para informações sobre como escolher um tipo de processador adequado, consulte Opções de acelerador mais adiante neste documento.
- Cloud Storage: oferece armazenamento permanente, escalonável e econômico para suas cargas de trabalho de IA e ML. O Cloud Storage serve como o repositório central para seus conjuntos de dados de treinamento brutos, checkpoints de modelo e modelos treinados finais.
- Cloud Storage FUSE com cache de arquivos ativado: o Cloud Storage FUSE permite montar um bucket do Cloud Storage como um sistema de arquivos local. O cache de arquivos no Cloud Storage FUSE é um diretório na máquina local que armazena arquivos acessados com frequência dos buckets do Cloud Storage. O driver CSI do Cloud Storage FUSE gerencia a integração do Cloud Storage FUSE com a API Kubernetes para consumir buckets do Cloud Storage como volumes.
As seções a seguir descrevem o fluxo de trabalho nas cargas de trabalho de treinamento e veiculação da arquitetura.
Multirregional
O diagrama a seguir mostra um exemplo de arquitetura multirregional que usa o Cloud Storage FUSE e o Rapid Cache para otimizar o desempenho dos fluxos de trabalho de treinamento e disponibilização de modelos:
Essa arquitetura inclui os seguintes componentes:
- Cluster do GKE: o GKE gerencia os nós de computação em que os processos de treinamento e disponibilização de modelos de IA e ML são executados. O GKE gerencia a infraestrutura subjacente dos clusters do Kubernetes, incluindo o plano de controle, os nós e todos os componentes do sistema.
- Programador do Kubernetes: o plano de controle do GKE
programa cargas de trabalho e gerencia o ciclo de vida, o escalonamento e os upgrades delas. O
agente do nó do Kubernetes (
kubelet), que não é mostrado no diagrama, se comunica com o plano de controle. O agentekubeleté responsável por iniciar e executar contêineres programados nos nós do GKE. Para mais informações sobre o programador, consulte Orquestração de IA/ML no GKE. - Rede VPC: todos os recursos do Google Cloudna arquitetura usam uma única rede VPC. Dependendo dos seus requisitos, é possível criar uma arquitetura que use várias redes. Para mais informações sobre como configurar uma rede VPC para o Cloud Storage FUSE, consulte Como decidir se você quer criar várias redes VPC.
- Cloud DNS: em arquiteturas multirregionais, o Cloud DNS direciona o tráfego para os balanceadores de carga para ajudar a otimizar o desempenho e a disponibilidade por meio do roteamento anycast. As solicitações são automaticamente encaminhadas para o local mais próximo, o que reduz a latência e melhora o desempenho das consultas de nomes autorizados para seus usuários. Para informações sobre princípios gerais e práticas recomendadas, consulte Práticas recomendadas para o Cloud DNS.
- Cloud Load Balancing: nessa arquitetura, o Cloud Load Balancing distribui de maneira eficiente as solicitações de inferência recebidas dos usuários do aplicativo para os contêineres de disponibilização no cluster do GKE. Para mais informações, consulte Noções básicas sobre o balanceamento de carga do GKE.
- Unidades de processamento gráfico (GPUs) ou Unidades de Processamento de Tensor (TPUs): as GPUs e TPUs são aceleradores de máquina especializados que melhoram o desempenho das cargas de trabalho de IA e ML. Para informações sobre como escolher um tipo de processador adequado, consulte Opções de acelerador mais adiante neste documento.
- Cloud Storage: oferece armazenamento permanente, escalonável e econômico para suas cargas de trabalho de IA e ML. O Cloud Storage serve como o repositório central para seus conjuntos de dados de treinamento brutos, checkpoints de modelo e modelos treinados finais.
- Cloud Storage FUSE: permite ativar um bucket do Cloud Storage como um sistema de arquivos local. O driver CSI do Cloud Storage FUSE, que não é mostrado no diagrama, gerencia a integração do Cloud Storage FUSE com a API Kubernetes para consumir buckets do Cloud Storage como volumes.
- Rapid Cache: um recurso do Cloud Storage que oferece cache somente leitura zonal com suporte de SSD de grande capacidade para buckets do Cloud Storage. Durante o treinamento e a disponibilização, o Rapid Cache ajuda a reduzir as latências de leitura e alcançar alta capacidade de processamento. O limite de largura de banda do cache é dimensionado de acordo com a quantidade de dados armazenados no cache. Para informações sobre regiões com disponibilidade e zonas compatíveis, consulte Como armazenar dados em cache em zonas.
As seções a seguir descrevem o fluxo de trabalho nas cargas de trabalho de treinamento e veiculação da arquitetura.
Carga de trabalho de treinamento
Nas arquiteturas anteriores, as etapas do fluxo de dados durante o treinamento do modelo são as seguintes:
- Carregar dados de treinamento no Cloud Storage: os dados de treinamento são enviados para um bucket do Cloud Storage com namespaces hierárquicos ativados. O Cloud Storage serve como um repositório central escalonável.
- Carregar dados de treinamento e executar jobs de treinamento no GKE: o bucket do Cloud Storage montado nos pods do GKE permite que os aplicativos de treinamento carreguem e acessem os dados de treinamento de maneira eficiente usando a interface do FUSE. Os nós do GKE executam o processo de treinamento de modelo usando o cache de arquivos montado como fonte de dados. Os aplicativos de treinamento alimentam continuamente os dados de treinamento para os aceleradores de máquina para realizar os cálculos complexos necessários para o treinamento de modelo. Dependendo dos requisitos da carga de trabalho, é possível usar GPUs ou TPUs. Para saber como escolher um tipo de processador adequado, consulte Opções de acelerador mais adiante neste documento.
Checkpoint e gravação e restauração do modelo:
- Salvar checkpoints ou modelo: durante o treinamento, salve checkpoints de forma assíncrona em intervalos frequentes em um bucket separado do Cloud Storage. Os checkpoints capturam o estado do modelo com base em métricas ou intervalos definidos por você.
- Restaurar checkpoints ou modelo: quando a carga de trabalho de treinamento exige que você restaure um checkpoint ou dados de modelo, é necessário localizar o recurso que você quer restaurar no Cloud Storage. É possível usar o checkpoint ou o modelo restaurado para retomar o treinamento, ajustar parâmetros ou avaliar o desempenho em um conjunto de validação.
Carga de trabalho de exibição
Nas arquiteturas anteriores, estas são as etapas no fluxo de dados durante a disponibilização do modelo:
- Carregar modelo: após a conclusão do treinamento, os pods carregam o modelo treinado usando o Cloud Storage FUSE com downloads paralelos ativados. Os downloads paralelos aceleram o carregamento do modelo buscando as partes dele em paralelo no Cloud Storage. Para reduzir significativamente os tempos de carregamento do modelo, o processo usa o diretório de cache como um buffer de pré-busca.
- Solicitação de inferência: os usuários do aplicativo enviam solicitações de inferência do aplicativo de IA e ML pelo serviço do Cloud Load Balancing. O Cloud Load Balancing distribui as solicitações recebidas entre os contêineres de disponibilização no cluster do GKE. Essa distribuição ajuda a evitar que um único contêiner seja sobrecarregado para que as solicitações sejam processadas de maneira eficiente.
- Entrega da resposta: os nós processam a solicitação e geram uma previsão. Os contêineres de disponibilização enviam as respostas de volta pelo Cloud Load Balancing e, em seguida, aos usuários do aplicativo.
Produtos usados
As arquiteturas de referência usam os seguintes produtos do Google Cloud :
- Google Kubernetes Engine (GKE): um serviço do Kubernetes que pode ser usado para implantar e operar aplicativos conteinerizados em escala usando a infraestrutura do Google.
- Cloud Storage: um repositório de objetos de baixo custo e sem limite para diversos tipos de dados. Os dados podem ser acessados de dentro e fora do Google Cloude são replicados entre locais para redundância.
- Nuvem privada virtual (VPC): um sistema virtual que oferece funcionalidade de rede global e escalonável para suas cargas de trabalho do Google Cloud . A VPC inclui peering de rede VPC, Private Service Connect, acesso a serviços particulares e VPC compartilhada.
- Cloud Load Balancing: um portfólio de balanceadores de carga globais, regionais, escalonáveis, globais e de alto desempenho.
- Cloud DNS: um serviço que fornece um serviço de DNS resiliente e de baixa latência da rede mundial do Google.
Caso de uso
Para cargas de trabalho de IA e ML que exigem grande capacidade de armazenamento e acesso a arquivos de alto desempenho, recomendamos o uso de uma arquitetura criada com base no Cloud Storage FUSE. Com o planejamento adequado, é possível alcançar mais de 1 TB/s de capacidade de processamento com essas arquiteturas. Além disso, o Cloud Storage FUSE permite que você aproveite um repositório de armazenamento central que serve como uma única fonte de verdade para todas as etapas do fluxo de trabalho de IA e ML. Essa abordagem pode ser usada para qualquer carga de trabalho, independentemente da escala ou do tamanho.
Para essas cargas de trabalho, o Cloud Storage FUSE oferece os seguintes benefícios:
- Acesso simplificado aos dados: acesse dados de treinamento e checkpoints com frameworks de IA e ML, como PyTorch, JAX e TensorFlow. O acesso aos dados por meio de frameworks de IA e ML elimina a necessidade de refatoração de código.
- Inicialização acelerada: elimine a necessidade de fazer o download de grandes conjuntos de dados para recursos de computação usando o Cloud Storage FUSE para acessar diretamente os dados no Cloud Storage. Esse acesso direto aos dados acelera o tempo de inicialização do job.
- Custo-benefício: otimize os custos usando a escalonabilidade e o custo-benefício inerentes do Cloud Storage.
O Cloud Storage FUSE não é adequado para cargas de trabalho sensíveis à latência que contêm arquivos com menos de 50 MB ou que exigem latência inferior a 1 milissegundo para acesso aleatório de E/S e metadados.
Para cargas de trabalho de checkpoint e reinicialização ou treinamento com uso intensivo de dados, considere uma alternativa de armazenamento durante a fase de treinamento intensivo de E/S.
Alternativas de design
As seções a seguir apresentam abordagens de design alternativas que você pode considerar para seu aplicativo de IA e ML no Google Cloud.
Alternativa de plataforma
Em vez de hospedar o fluxo de trabalho de treinamento e disponibilização de modelos no GKE, considere o Compute Engine com o Slurm. O Slurm é um gerenciador de recursos e cargas de trabalho de código aberto e altamente configurável. O uso do Compute Engine com o Slurm é especialmente adequado para treinamento e simulações de modelos em grande escala. Recomendamos o uso do Compute Engine com o Slurm se você precisar integrar propriedade intelectual (IP) de IA e ML em um ambiente escalonável com flexibilidade e controle para otimizar o desempenho de cargas de trabalho especializadas. Para mais informações sobre como usar o Compute Engine com o Slurm, consulte Implantar um cluster de HPC com o Slurm.
No Compute Engine, você provisiona e gerencia suas máquinas virtuais (VMs), o que oferece controle granular sobre tipos de instância, armazenamento e rede. É possível adaptar a infraestrutura às suas necessidades exatas, incluindo a seleção de tipos de máquina de VM específicos. Para saber como usar as opções de linha de comando do Cloud Storage FUSE no Compute Engine, consulte a CLI do gcsfuse e o arquivo de configuração do Cloud Storage FUSE. Também é possível usar a família de máquinas com otimização para aceleradores para melhorar o desempenho das suas cargas de trabalho de IA e ML. Para mais informações sobre as famílias de tipo de máquina disponíveis no Compute Engine, consulte o guia de comparação e recursos das famílias de máquinas.
O Slurm oferece uma opção eficiente para gerenciar cargas de trabalho de IA e ML e permite controlar a configuração e o gerenciamento dos recursos de computação. Para usar essa abordagem, você precisa de experiência em administração do Slurm e gerenciamento de sistemas Linux.
Opções de acelerador
Os aceleradores de máquina são processadores especializados projetados para acelerar os cálculos necessários para cargas de trabalho de IA e ML. É possível escolher GPUs ou TPUs.
- Os aceleradores de GPU oferecem excelente desempenho para uma ampla variedade de tarefas, incluindo renderização gráfica, treinamento de aprendizado profundo e computação científica. O Google Cloud tem uma ampla seleção de GPUs para atender a uma variedade de faixas de desempenho e preço. As GPUs geralmente incluem SSDs locais em cada configuração de máquina, que podem ser usados pelo Cloud Storage FUSE como um diretório de cache. Para informações sobre modelos e preços de GPU, consulte Preços de GPU.
- As TPUs são aceleradores de IA personalizados, otimizados para treinamento e inferência de grandes modelos de IA. Eles são ideais para diversos casos de uso, como chatbots, geração de código, geração de conteúdo de mídia, fala sintética, serviços de visão, mecanismos de recomendação e modelos de personalização. Para mais informações sobre modelos e preços de TPU, consulte Preços de TPU.
Alternativas de armazenamento
O Cloud Storage FUSE oferece um sistema de arquivos conveniente que permite aproveitar a escalonabilidade e o custo-benefício do Cloud Storage. No entanto, o Cloud Storage FUSE não é ideal para cargas de trabalho que exigem baixa latência para leituras de arquivos pequenos ou para cargas de trabalho que exigem uma solução de armazenamento totalmente compatível com POSIX. Para esses casos de uso, recomendamos que você considere as seguintes alternativas de armazenamento:
- Google Cloud Managed Lustre: um sistema de arquivos paralelo permanente (PFS, na sigla em inglês) totalmente gerenciado Google Cloud, baseado no EXAScaler Lustre da DDN. O Managed Lustre oferece latência abaixo de milissegundos e alta taxa de operações de entrada/saída por segundo (IOPS). O Managed Lustre é eficaz para migrar cargas de trabalho atuais do Lustre ou de outras soluções de PFS. Para aumentar o desempenho durante a criação de checkpoints, use o Managed Lustre para aumentar o Cloud Storage FUSE com o Rapid Cache. Para mais informações, consulte Otimizar cargas de trabalho de IA e ML com o Google Cloud Managed Lustre.
- Connector for PyTorch: um produto de código aberto no Cloud Storage ideal para cargas de trabalho que usam o PyTorch. O Connector for PyTorch otimiza sua carga de trabalho de treinamento transmitindo dados diretamente dos buckets do Cloud Storage e eliminando a necessidade de armazenamento intermediário. Esse acesso direto e essa otimização oferecem um desempenho significativamente melhor do que as chamadas de API diretas para o Cloud Storage para carregamento de dados, treinamento e checkpointing.
Embora as opções de armazenamento alternativas possam oferecer vantagens de desempenho para determinadas cargas de trabalho de IA e ML, é crucial avaliar suas necessidades de latência, capacidade de processamento e capacidade de armazenamento.
Para uma comparação abrangente das opções de armazenamento para cargas de trabalho de IA e ML, consulte Visão geral dos serviços de armazenamento para cargas de trabalho de IA e ML no Hipercomputador de IA.
Considerações sobre o design
Nesta seção, você encontra orientações sobre as práticas recomendadas e considerações de design para configurar o Cloud Storage FUSE para segurança, confiabilidade, custo e desempenho. Embora as recomendações aqui não sejam exaustivas, elas abordam as principais considerações para maximizar os benefícios do Cloud Storage FUSE no seu ambiente. Dependendo das suas necessidades específicas e das características da carga de trabalho, talvez seja necessário considerar outras opções de configuração e compensações.
As recomendações de design a seguir destacam as configurações para refinar como você implanta o Cloud Storage FUSE no GKE. A maioria das opções do Cloud Storage FUSE é configurada com opções de montagem. Para mais informações sobre as opções de linha de comando do Cloud Storage FUSE e como usá-las, consulte a seguinte documentação:
- CLI do gcsfuse
- Otimizar manualmente o desempenho do driver CSI do Cloud Storage FUSE
- Automatize o ajuste de desempenho com os perfis do Cloud Storage FUSE.
Para uma visão geral dos princípios e recomendações de arquitetura específicos para cargas de trabalho de IA e ML no Google Cloud, consulte a perspectiva de IA e ML no Well-Architected Framework.
segurança, privacidade e conformidade
Nesta seção, descrevemos considerações para suas cargas de trabalho de IA e ML no Google Cloud que atendem aos seus requisitos de segurança, privacidade e conformidade.
Considerações sobre o GKE
No modo de operação Autopilot, o GKE pré-configura o cluster e gerencia nós de acordo com as práticas recomendadas de segurança. Assim, você pode se concentrar na segurança específica da carga de trabalho. Para mais informações, consulte Medidas de segurança do Autopilot do GKE.
Para garantir o controle de acesso aprimorado para seus aplicativos em execução no GKE, use o Identity-Aware Proxy (IAP). O IAP se integra ao recurso de Entrada do GKE e ajuda a restringir o acesso a usuários autenticados que têm o papel apropriado do Identity and Access Management (IAM). Para mais informações, consulte Como ativar o IAP para GKE.
Por padrão, os dados no GKE são criptografados em repouso e em trânsito usando o Google-owned and Google-managed encryption keys. Como uma camada extra de segurança para dados confidenciais, é possível criptografar dados na camada do aplicativo usando uma chave que você tem e gerencia com o Cloud Key Management Service. Para mais informações, consulte Criptografar secrets na camada do aplicativo.
Se você usa um cluster padrão do GKE, é possível usar os seguintes recursos extras de criptografia de dados:
- Criptografe dados em uso (ou seja, na memória) com nós confidenciais do Google Kubernetes Engine. Para mais informações sobre os recursos, a disponibilidade e as limitações dos Confidential GKE Nodes, consulte Criptografar dados de carga de trabalho em uso com Confidential GKE Nodes.
- Se você precisar de mais controle sobre as chaves de criptografia usadas para criptografar o tráfego de pods nos nós do GKE, criptografe os dados em trânsito usando as chaves que gerencia. Para mais informações, consulte Criptografar dados em trânsito no GKE com chaves de criptografia gerenciadas pelo usuário.
Considerações sobre o Cloud Storage
Por padrão, os dados armazenados no Cloud Storage são criptografados com o uso de Google-owned and Google-managed encryption keys. Se necessário, use chaves de criptografia gerenciadas pelo cliente (CMEKs) ou suas próprias chaves gerenciadas utilizando um método de gerenciamento externo, como chaves de criptografia fornecidas pelo cliente (CSEKs). Para mais informações, consulte Opções de criptografia de dados.
O Cloud Storage é compatível com dois métodos para conceder aos usuários acesso aos buckets e objetos: IAM e listas de controle de acesso (ACLs). Na maioria dos casos, recomendamos usar o IAM, que permite conceder permissões no nível do bucket e para envolvidos no projeto. Para mais informações, consulte Visão geral do controle de acesso.
Os dados de treinamento carregados pelo Cloud Storage podem incluir dados sensíveis. Para proteger esses dados, use a Proteção de Dados Sensíveis para descobrir, classificar e desidentificar os dados. Para separar as cargas de trabalho de treinamento e disponibilização, salve o modelo e os checkpoints em buckets separados do Cloud Storage. Esse isolamento ajuda a evitar a exposição acidental de informações sensíveis do conjunto de dados de treinamento durante a disponibilização. Para mais informações, acesse Como usar a Proteção de Dados Sensíveis com o Cloud Storage.
Se você tiver requisitos de residência de dados, o Cloud Storage pode ajudar a atendê-los. Os dados são armazenados ou replicados nas regiões especificadas.
Considerações sobre o Cloud Storage FUSE
Quando você ativa o armazenamento em cache, o Cloud Storage FUSE armazena arquivos persistentes do bucket do Cloud Storage em um formato não criptografado no diretório especificado. O Cloud Storage expõe todos os arquivos a qualquer usuário ou processo que tenha acesso ao diretório. Para reduzir esses riscos e melhorar a segurança, a camada do kernel do FUSE restringe o acesso ao sistema de arquivos ao usuário que montou o sistema. Essa restrição nega o acesso a outros usuários, incluindo o usuário raiz, mesmo que as permissões de inode sejam mais permissivas.
No entanto, há casos de uso em que pode ser necessário substituir as restrições de acesso
padrão. Por exemplo, em uma carga de trabalho de treinamento distribuída de IA e ML,
em que vários nós precisam acessar e compartilhar checkpoints armazenados no
Cloud Storage, talvez seja necessário permitir um acesso mais amplo. Nesses casos,
é possível modificar a restrição padrão usando a opção -o allow_other.
No entanto, se você ampliar o acesso aos seus arquivos, poderá
expor seus dados a usuários não autorizados.
Portanto, tenha cuidado ao usar essa opção.
Por padrão, todos os inodes em um sistema de arquivos do Cloud Storage FUSE pertencem ao usuário que montou o sistema de arquivos. Embora esses padrões possam ser adequados para muitos casos, é possível personalizar um contexto de segurança para o pod. Para saber como personalizar um contexto de segurança, consulte Segurança e permissões.
Outras considerações de segurança
Para princípios e recomendações de segurança específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: segurança no Well-Architected Framework.
Confiabilidade
Para melhorar a confiabilidade, o Cloud Storage FUSE incorpora novas tentativas automáticas para lidar com possíveis interrupções e manter a consistência dos dados. As solicitações com falha são repetidas automaticamente com espera exponencial para o Cloud Storage. A espera exponencial aumenta gradualmente o tempo entre as tentativas. Esse mecanismo integrado ajuda o aplicativo a superar problemas de rede temporários ou indisponibilidade temporária do Cloud Storage.
Embora o Cloud Storage FUSE ofereça muitas vantagens, considere o seguinte:
- Gravações simultâneas: quando vários usuários tentam modificar um arquivo, a operação a última gravação vence tem precedência, e todas as operações de gravação anteriores são perdidas. Para manter a integridade dos dados, recomendamos que um único objeto seja modificado por apenas uma fonte em um determinado momento.
- Persistência do cache: quando você desmonta ou reinicia o bucket, os caches não são mantidos. Para evitar possíveis problemas de segurança, depois de desmontar ou reiniciar o bucket, é essencial excluir manualmente o diretório de cache de arquivos.
- Processos com caches dedicados: embora o Cloud Storage FUSE ofereça suporte ao acesso simultâneo para processamento paralelo eficiente, é importante lembrar que os caches são específicos para cada processo do Cloud Storage FUSE. Portanto, o mesmo diretório de cache não deve ser usado por diferentes processos do Cloud Storage FUSE que são executados na mesma máquina ou em máquinas diferentes.
Outras considerações sobre confiabilidade
Para princípios e recomendações de confiabilidade específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: confiabilidade no Well-Architected Framework.
Otimização de custos
Nesta seção, fornecemos orientações para ajudar você a otimizar o custo de configuração e operação do seu fluxo de trabalho de IA e ML no Google Cloud.
Considerações sobre o GKE
No modo Autopilot, o GKE otimiza a eficiência da infraestrutura do cluster com base nos requisitos da carga de trabalho. Para controlar os custos, não é necessário monitorar constantemente a utilização de recursos nem gerenciar a capacidade.
Se for possível prever o uso de CPU, memória e uso do armazenamento temporário do seu cluster do Autopilot, você poderá receber descontos por compromisso de uso. Para reduzir o custo da execução do aplicativo, use VMs spot nos nós do GKE. As VMs spot têm um preço menor do que as VMs padrão, mas não oferecem garantia de disponibilidade.
Para otimizar o custo e o desempenho com um gerenciamento eficiente, use o Dynamic Workload Scheduler. O Dynamic Workload Scheduler é um gerenciador de recursos e programador de jobs que ajuda a melhorar o acesso a recursos de IA e ML. O Dynamic Workload Scheduler programa todos os aceleradores simultaneamente e pode ser executado fora dos horários de pico com gerenciamento de capacidade de acelerador definido. Ao programar jobs de forma estratégica, o Dynamic Workload Scheduler ajuda a maximizar a utilização do acelerador, reduzir o tempo de inatividade e, por fim, otimizar seus gastos com a nuvem.
Para mais informações sobre orientações de otimização de custos, consulte Práticas recomendadas para executar aplicativos econômicos do Kubernetes no GKE.
Considerações sobre o Cloud Storage
Suas necessidades de armazenamento de IA e ML podem ser dinâmicas. Por exemplo, talvez você precise de uma capacidade de armazenamento significativa para os dados de treinamento, mas o requisito de capacidade diminui para a veiculação, em que você armazena principalmente dados de modelo e checkpoints. Para controlar os custos, recomendamos ativar o gerenciamento do ciclo de vida de objetos e a classe automática.
O gerenciamento do ciclo de vida de objetos permite mover automaticamente dados mais antigos ou não utilizados para classes de armazenamento mais baratas ou até mesmo excluir os dados, com base nas regras definidas.
O recurso de classe automática move automaticamente os dados entre as classes de armazenamento com base nos seus padrões de acesso. Esse recurso ajuda a equilibrar desempenho e custo.
Considerações sobre o Cloud Storage FUSE
As cobranças padrão do Cloud Storage se aplicam ao armazenamento, às operações de metadados e ao tráfego de rede gerado pelas atividades do FUSE. Não há custo adicional para usar o Cloud Storage FUSE. Para mais informações sobre operações comuns do Cloud Storage FUSE e como elas são mapeadas para operações do Cloud Storage, consulte o mapeamento de operações.
Para otimizar os custos do diretório de cache, use a capacidade da máquina provisionada atual, incluindo SSDs locais, discos permanentes ou dados na memória para sistemas de arquivos temporários. Ao usar a capacidade atual da máquina, você evita cobranças por recursos de armazenamento adicionais. Além disso, maximizar as ocorrências em cache pode reduzir significativamente os custos do Cloud Storage, porque os dados veiculados localmente não geram cobranças operacionais ou de transferência de dados.
Se você usa
perfis do Cloud Storage FUSE no GKE,
cada perfil executa uma verificação em segundo plano do bucket ou subdiretório a cada sete
dias por padrão. Essa verificação gera cobranças operacionais de classe A do Cloud Storage para listar objetos. Além disso, o perfil gcsfusecsi-serving ativa automaticamente o Rapid Cache, o que gera cobranças do Rapid Cache.
Para mais informações sobre cobranças, consulte Preços do Cloud Storage.
Outras considerações sobre custo
Para princípios e recomendações de otimização de custos específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: otimização de custos no Well-Architected Framework.
Otimização de desempenho
O Cloud Storage FUSE foi projetado para fornecer acesso eficiente aos dados no Cloud Storage para suas cargas de trabalho de IA e ML. No entanto, solicitações frequentes de metadados podem reduzir o desempenho, especialmente em clusters de grande escala. Para mais informações sobre como melhorar o desempenho, consulte a seguinte documentação:
- Otimizar manualmente o desempenho do driver CSI do Cloud Storage FUSE
- Automatizar o ajuste de desempenho com perfis do Cloud Storage FUSE
- Práticas recomendadas de ajuste de desempenho para o Cloud Storage FUSE.
Para otimizar o desempenho, considere as seguintes configurações:
- Automatize o ajuste de desempenho com perfis e padrões de tipo de máquina:
em vez de configurar manualmente as opções de montagem individuais, use as
configurações baseadas em perfil do Cloud Storage FUSE
para aplicar configurações pré-definidas para cargas de trabalho de IA e ML. No
GKE, também é possível usar
perfis do Cloud Storage FUSE no GKE
com o
StorageClassespré-instalado. Além disso, o Cloud Storage FUSE aplica automaticamente padrões de configuração otimizados para tipos de máquina de alto desempenho. - Ative namespaces hierárquicos: para melhorar o acesso e a organização dos dados, crie buckets do Cloud Storage com namespaces hierárquicos ativados. Os namespaces hierárquicos permitem organizar dados em uma estrutura de sistema de arquivos, o que melhora o desempenho, ajuda a manter a consistência e simplifica o gerenciamento de cargas de trabalho de IA e ML. Os namespaces hierárquicos permitem um QPS inicial mais alto e renomeações atômicas rápidas de diretórios.
- Ativar o armazenamento em cache de arquivos: o armazenamento em cache de arquivos acelera o acesso repetido aos
dados de treinamento usando um diretório de nó local para armazenar em cache arquivos lidos
com frequência. Exibir leituras repetidas de uma mídia de cache reduz a latência e
minimiza as operações de volta ao Cloud Storage. Em tipos de máquina de GPU
com um SSD local, o diretório do SSD local é usado automaticamente. Para tipos de máquina
que não incluem SSD local, como TPUs, use um
diretório de disco de RAM,
como
/tmpfs. - Aumentar os valores do cache de metadados: o Cloud Storage FUSE usa um cache de estatísticas para armazenar metadados de objetos e informações de tipo de arquivo e diretório, o que melhora o desempenho de operações relacionadas a pesquisas de metadados.
- Pré-preencher o cache de metadados: o recurso de pré-busca de metadados permite que o driver CSI do Cloud Storage FUSE carregue proativamente metadados relevantes sobre os objetos no bucket do Cloud Storage nos caches do Cloud Storage FUSE. Essa abordagem reduz as chamadas para o Cloud Storage e é
especialmente benéfica para aplicativos que acessam grandes conjuntos de dados com
muitos arquivos, como cargas de trabalho de treinamento de IA e ML. Para evitar interrupções na carga de trabalho, aumente o limite de memória do arquivo secundário
gke-gcsfuse-metadata-prefetch. - Ativar o armazenamento em cache de lista: o armazenamento em cache de lista otimiza a listagem de diretórios e arquivos. Ele é particularmente benéfico para cargas de trabalho de treinamento de IA e ML, que geralmente envolvem o acesso e a listagem repetidos de diretórios inteiros. O armazenamento em cache de listas oferece processos de treinamento altamente eficientes, reduzindo a necessidade de acessar repetidamente as listagens de diretórios na memória do computador.
Ativar downloads paralelos: os downloads paralelos aceleram o carregamento inicial do modelo buscando vários fragmentos simultaneamente no cache de arquivos local. Ativar downloads paralelos resulta em um carregamento de modelo mais rápido e melhor capacidade de resposta durante a disponibilização. O Cloud Storage FUSE ativa automaticamente os downloads paralelos quando você ativa o armazenamento em cache de arquivos.
O perfil de exibição do Cloud Storage FUSE desativa o cache de arquivos local para cargas de trabalho que carregam modelos na memória da GPU ou da TPU uma vez e usa leituras com buffer com o Rapid Cache na mesma região. Use o cache de arquivos local com downloads paralelos quando o cluster do GKE e o bucket do Cloud Storage estiverem em regiões diferentes.
Ativar gravações de streaming: as gravações de streaming fazem upload de gravações sequenciais para novos arquivos, como checkpoints de modelo, diretamente no Cloud Storage à medida que os dados são gravados, sem preparar o arquivo inteiro em um diretório temporário local primeiro. A versão mais recente do Cloud Storage FUSE ativa as gravações de streaming por padrão.
Configurar recursos de sidecar do GKE: para evitar que restrições de recursos prejudiquem o desempenho ou para substituir um namespace
LimitRange, é possível configurar os recursos do contêiner secundário.Montagem somente leitura: como as cargas de trabalho de treinamento normalmente só precisam ler dados, configure o ponto de montagem como somente leitura para otimizar o desempenho, especialmente ao usar o armazenamento em cache de arquivos. Essa configuração também ajuda a maximizar os benefícios das otimizações em clusters de alta escala e ajuda a evitar possíveis inconsistências de dados.
Outras considerações sobre desempenho
Para princípios e recomendações de otimização de desempenho específicos para cargas de trabalho de IA e ML, consulte Perspectiva de IA e ML: otimização de desempenho no Well-Architected Framework.
A seguir
- Saiba mais:
- Visão geral do Cloud Storage FUSE.
- Sobre o driver CSI do Cloud Storage FUSE para GKE.
- Práticas recomendadas para ajustar o desempenho do Cloud Storage FUSE.
- Otimizar manualmente o driver CSI do Cloud Storage FUSE para melhorar o desempenho.
- Automatize o ajuste de desempenho com os perfis do Cloud Storage FUSE.
- Visão geral dos serviços de armazenamento para cargas de trabalho de IA e ML no Hipercomputador de IA.
- Implemente:
- Para mais arquiteturas de referência, diagramas e práticas recomendadas, confira a Central de arquitetura do Cloud.
Colaboradores
Autor: Samantha He | Redatora técnica
Outros colaboradores:
- Dean Hildebrand | Diretor técnico, escritório do CTO
- Kumar Dhanagopal | Desenvolvedor de soluções para vários produtos
- Marco Abela | Gerente de produtos
- Sean Derrington | Gerente de grupo de produtos, Armazenamento