Conectar a partir do Compute Engine

Este guia dá instruções sobre como criar um único cliente do Compute Engine e conectá-lo à sua instância do Google Cloud Managed Lustre. O Managed Lustre aceita conexões de até 20.000 clientes.

Para ter um desempenho melhor, as VMs do Compute Engine do cliente precisam ser criadas na mesma zona da instância do Managed Lustre.

Permissões necessárias

Você precisa ter os seguintes papéis do IAM:

• Administrador da instância do Compute (v1) (roles/compute.instanceAdmin.v1) para criar uma VM do Compute Engine.

• Administrador do Compute (roles/compute.admin) ou administrador de segurança do Compute (roles/compute.securityAdmin) para criar uma regra de firewall.

• Usuário do túnel protegido pelo IAP (roles/iap.tunnelResourceAccessor) para SSH em uma VM do Compute Engine usando o Identity-Aware Proxy.

Para uma lista completa das permissões concedidas por cada papel, consulte a Referência de papéis do IAM.

Limitações

O Managed Lustre não pode ser ativado em VMs protegidas.

Criar uma VM do Compute Engine

Siga as instruções para criar uma VM do Compute Engine usando uma das seguintes famílias de imagens do Google Cloud:

• Rocky Linux 8
• Rocky Linux 9
• Red Hat Enterprise Linux (RHEL) 9
• Ubuntu 20.04 LTS, v20250213 ou mais recente. O Ubuntu 20.04 chegou ao fim do suporte (EOS) e não pode ser selecionado no console do Google Cloud .
• Ubuntu 22.04 LTS, v20250128 ou mais recente
• Ubuntu 24.04 LTS, somente para VMs Arm.

Se você estiver executando um kernel personalizado do Ubuntu 22.04 ou 24.04, o suporte para DKMS está disponível.

Tipos de máquinas e rede

É possível escolher qualquer tipo de máquina e disco de inicialização. Recomendamos pelo menos um tipo de máquina c2-standard-4.

A capacidade de processamento da rede pode ser afetada pela escolha do tipo de máquina. Em geral, para conseguir a melhor capacidade de processamento:

• Aumentar o número de vCPUs. A largura de banda de saída máxima por instância geralmente é de 2 Gbps por vCPU, até o máximo do tipo de máquina.
• Selecione uma série de máquinas que ofereça suporte a limites de entrada e saída mais altos. Por exemplo, as instâncias C2 com rede Tier_1 oferecem suporte a até 100 Gbps de largura de banda de saída. As instâncias C3 com rede Tier_1 oferecem suporte a até 200 Gbps.
• Ative o desempenho de rede por VM de Tier_1 com tipos de máquinas maiores.
• Selecione uma série de máquinas com várias placas de rede (NICs) físicas para agregar largura de banda da rede. Para aumentar a largura de banda, as NICs físicas precisam ser anexadas a VPCs regulares, não a VPCs com perfis de rede RDMA. Consulte Rede e máquinas com GPU para mais detalhes.

Para informações detalhadas, consulte Largura de banda de rede.

criar a VM

Console do Google Cloud

1. No console do Google Cloud , acesse a página Instâncias de VM.

   Acessar instâncias de VM

2. Selecione o projeto e clique em Continuar.

3. Clique em Criar instância.

4. Insira um nome para a VM em Nome. Saiba mais em Convenção de nomenclatura de recursos.

5. Selecione a Região e a Zona nos menus suspensos para essa VM. Sua VM deve estar na mesma zona que a instância do Managed Lustre.

6. Selecione uma Configuração de máquina para sua VM na lista.

7. Clique em SO e armazenamento na navegação à esquerda.

8. Em Sistema operacional e armazenamento, clique em Mudar.

9. No menu suspenso Sistema operacional, selecione uma das seguintes opções:

   • Imagem de VM de HPC para Rocky 8
   • Rocky Linux para Rocky 9
   • Red Hat Enterprise Linux para RHEL 9
   • Ubuntu para Ubuntu 22.04 LTS ou 24.04 LTS

10. No menu suspenso Versão, selecione uma das seguintes opções:

    • HPC Rocky Linux 8
    • Rocky Linux 9
    • Red Hat Enterprise Linux 9
    • Ubuntu 22.04 LTS
    • Ubuntu 24.04 LTS

    Selecione a versão x86/64 ou Arm64 para corresponder ao tipo de máquina. O Ubuntu 24.04 LTS só é compatível com VMs Arm.

11. Para confirmar as opções do disco de inicialização, clique em Selecionar.

12. Na navegação à esquerda, clique em Rede.

13. Selecione a rede VPC criada em Configurar uma rede VPC e a sub-rede principal (SUBNET_NAME) como a interface principal.

14. (Opcional) Para Multi-NIC, clique em Adicionar interface de rede e selecione a mesma rede VPC e uma sub-rede diferente (por exemplo, SUBNET_NAME_2).

15. (Opcional) Para ativar a rede Tier 1, em Configurações de desempenho da rede, defina Nível de largura de banda da rede como Tier 1.

16. Na navegação à esquerda, clique em Segurança.

17. Em Escopos de acesso, selecione Permitir acesso total a todas as APIs do Cloud:

18. No painel de navegação à esquerda, clique em Avançado.

19. Em Automação, insira o seguinte no campo Script de inicialização:

    #!/bin/bash
    sudo apt-get update
    sudo apt-get install -y lustre-client-modules-$(uname -r)
    

    Esse script garante que os pacotes do cliente Lustre sejam atualizados se o kernel do Ubuntu for atualizado.

20. Para criar e iniciar a VM, clique em Criar.

gcloud

Use a ferramenta de linha de comando gcloud para criar uma VM:

HPC Rocky Linux 8

Crie uma VM usando o comando gcloud compute instances create. É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image-project=cloud-hpc-image-public,image-family=hpc-rocky-linux-8,\
mode=rw,size=100,type=pd-balanced

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

Rocky Linux 9

Crie uma VM usando o comando gcloud compute instances create. É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image-project=rocky-linux-cloud,image-family=rocky-linux-9,\
mode=rw,size=100,type=pd-balanced

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

RHEL 9

Crie uma VM usando o comando gcloud compute instances create. É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image-project=rhel-cloud,image-family=rhel-9,\
mode=rw,size=100,type=pd-balanced

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

Ubuntu 20.04 LTS

Observação: o Ubuntu 20.04 chegou ao fim do suporte (EOS).

Crie uma VM usando o comando gcloud compute instances create. É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image=projects/ubuntu-os-cloud/global/images/ubuntu-2004-focal-v20250606,\
mode=rw,size=100,type=pd-balanced \
  --metadata=startup-script='#!/bin/bash
    sudo apt-get update
    sudo apt-get install -y lustre-client-modules-$(uname -r)'

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

Ubuntu 22.04 LTS

Crie uma VM usando o comando gcloud compute instances create. É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c2d-standard-112 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image-project=ubuntu-os-cloud,image-family=ubuntu-2204-lts,\
mode=rw,size=100,type=pd-balanced \
  --metadata=startup-script='#!/bin/bash
    sudo apt-get update
    sudo apt-get install -y lustre-client-modules-$(uname -r)'

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

Ubuntu 24.04 LTS

Crie uma VM usando o comando gcloud compute instances create.

O Managed Lustre só é compatível com o Ubuntu 24.04 LTS em VMs Arm.

É possível atualizar o tipo de máquina e as especificações de disco antes de executar o comando.

gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=LOCATION \
  --machine-type=c4a-standard-32 \
  --scopes="https://www.googleapis.com/auth/cloud-platform" \
  --network-interface=network-tier=PREMIUM,nic-type=GVNIC,stack-type=IPV4_ONLY,subnet=SUBNET_NAME \
  --network-performance-configs=total-egress-bandwidth-tier=TIER_1 \
  --create-disk=auto-delete=yes,boot=yes,device-name=VM_NAME,\
image-project=ubuntu-os-cloud,image-family=ubuntu-2404-lts-arm64,mode=rw,size=100,type=hyperdisk-balanced

Se o tipo de máquina do Compute Engine tiver várias placas de rede (NICs) físicas, atribua cada NIC a uma sub-rede. Isso permite agregar largura de banda em várias interfaces de rede.

Para isso, adicione uma flag --network-interface para cada placa de rede adicional e especifique uma sub-rede diferente. Consulte Criar sub-redes adicionais para várias NICs para mais detalhes.

...
--network-interface=stack-type=IPV4_ONLY,subnet=SUBNET_NAME,nic-type=GVNIC \
--network-interface=subnet=SUBNET_NAME_2,no-address,nic-type=GVNIC \
...

Observação: para acessar sua instância do Managed Lustre de uma VM em uma rede VPC com peering, use o Network Connectivity Center (NCC). Consulte Solução de problemas e problemas conhecidos para mais informações.

Para mais informações sobre as opções disponíveis, consulte a documentação do Compute Engine.

Criar uma regra de firewall que permita o SSH

Para fazer SSH na VM do Compute Engine, primeiro crie uma regra de firewall que permita o acesso à porta TCP 22 na VM.

VMs sem IPs públicos

Ao usar SSH em VMs sem IPs externos, o botão SSH do console Google Cloud e o gcloud compute ssh usam o Identity-Aware Proxy (IAP) para se conectar.

Para essas conexões, siga as instruções em Criar a regra de firewall para permitir a entrada apenas do intervalo de origem do IAP, que é sempre 35.235.240.0/20. Isso aumenta a segurança porque não expõe a porta 22 à Internet em geral.

VMs com IPs públicos

Se você atribuiu um IP público à sua VM do Compute Engine, o botão Google Cloud SSH do console pode tentar uma conexão direta, ignorando o IAP.

O IP de origem dessa conexão direta não é o intervalo do IAP, mas um de um grande pool de endereços IP do Google. Para permitir essa conexão, é necessário um intervalo de endereços de origem mais amplo, por exemplo, 0.0.0.0/0 (qualquer origem).

Se a VM tiver um IP público, recomendamos que você configure a regra de firewall para permitir o SSH apenas do intervalo do IAP (35.235.240.0/20). Em seguida, use gcloud compute ssh para se conectar, especificando a flag --tunnel-through-iap.

Se você precisar atribuir um IP público e se conectar pelo console do Google Cloud , especifique 0.0.0.0/0 como o valor do intervalo IPv4 de origem.

Crie a regra de firewall

Console do Google Cloud

Crie uma regra de firewall que permita o SSH.

1. No console do Google Cloud , acesse a página Políticas de firewall.

   Acesse as políticas de firewall

2. Clique em Criar regra de firewall.

3. Insira um Nome para a regra.

4. Em Rede, selecione a rede VPC que você criou anteriormente.

5. Selecione Entrada como a Direção de tráfego e Permitir como a Ação se houver correspondência.

6. No menu suspenso Destinos, selecione Todas as instâncias na rede.

7. No campo Intervalos IPv4 de origem, insira 35.235.240.0/20.

8. Em Protocolos e portas, selecione Protocolos e portas especificados.

9. Selecione TCP e insira 22 no campo Portas.

10. Clique em Criar.

gcloud

Crie uma regra de firewall que permita o SSH.

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
  --allow=tcp:22 \
  --network=NETWORK_NAME \
  --source-ranges=35.235.240.0/20 \
  --project=PROJECT_ID

SSH na VM do Compute Engine

Depois que a regra de firewall for criada, você poderá acessar a VM por SSH:

Console do Google Cloud

1. No console do Google Cloud , acesse a página Instâncias de VM.

   Acessar instâncias de VM

2. Na tabela de instâncias, encontre a linha da sua instância e clique em SSH na coluna Conectar.

3. Se for preciso, clique em Autorizar para permitir a conexão.

gcloud

gcloud compute ssh VM_NAME \
  --zone=LOCATION \
  --project=PROJECT_ID \
  --tunnel-through-iap

Instalar os pacotes de cliente do Lustre

Os pacotes de cliente do Lustre estão hospedados no projeto lustre-client-binaries no Artifact Registry.

Configurar o acesso ao repositório

Para configurar sua VM para instalar do Artifact Registry, siga estas instruções.

HPC Rocky Linux 8

Execute gcloud beta artifacts print-settings e redirecione a saída para bash para executar os comandos necessários:

gcloud beta artifacts print-settings yum \
  --repository=lustre-client-rocky-8 \
  --location=us --project=lustre-client-binaries | sudo bash

Rocky Linux 9

Execute gcloud beta artifacts print-settings e redirecione a saída para bash para executar os comandos necessários:

gcloud beta artifacts print-settings yum \
  --repository=lustre-client-rocky-9 \
  --location=us --project=lustre-client-binaries | sudo bash

RHEL 9

Execute gcloud beta artifacts print-settings e redirecione a saída para bash para executar os comandos necessários:

gcloud beta artifacts print-settings yum \
  --repository=lustre-client-rocky-9 \
  --location=us --project=lustre-client-binaries | sudo bash

O RHEL 9 usa o mesmo repositório lustre-client-rocky-9 do Rocky Linux 9.

Ubuntu 20.04 LTS

1. Instale as chaves de assinatura do repositório Apt:

   curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/google-cloud.gpg
   curl -fsSL https://us-apt.pkg.dev/doc/repo-signing-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/lustre-client.gpg
   

2. Configure a VM para acessar pacotes do Artifact Registry:

   echo 'deb [signed-by=/usr/share/keyrings/google-cloud.gpg] http://packages.cloud.google.com/apt apt-transport-artifact-registry-stable main' \
     | sudo tee /etc/apt/sources.list.d/artifact-registry.list
   

3. Atualize o apt e instale o pacote apt-transport-artifact-registry:

   sudo apt update && sudo apt install apt-transport-artifact-registry
   

4. Configure o Apt para buscar pacotes do repositório:

   echo "deb [signed-by=/usr/share/keyrings/lustre-client.gpg] ar+https://us-apt.pkg.dev/projects/lustre-client-binaries lustre-client-ubuntu-focal main" \
     | sudo tee -a /etc/apt/sources.list.d/artifact-registry.list
   

5. Atualize as fontes do repositório:

   sudo apt update
   

   Se o comando retornar um erro, verifique se a VM do Compute Engine foi criada com o escopo de acesso que permite acesso total a todas as APIs do Cloud. Consulte Como conceder acesso a instâncias do Compute Engine para mais detalhes.

Mais informações sobre esses comandos estão disponíveis na documentação do Artifact Registry: Configurar VMs para instalar pacotes Debian.

Ubuntu 22.04 LTS

1. Instale as chaves de assinatura do repositório Apt:

   curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/google-cloud.gpg
   curl -fsSL https://us-apt.pkg.dev/doc/repo-signing-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/lustre-client.gpg
   

2. Configure a VM para acessar pacotes do Artifact Registry:

   echo 'deb [signed-by=/usr/share/keyrings/google-cloud.gpg] http://packages.cloud.google.com/apt apt-transport-artifact-registry-stable main' \
     | sudo tee /etc/apt/sources.list.d/artifact-registry.list
   

3. Atualize o apt e instale o pacote apt-transport-artifact-registry:

   sudo apt update && sudo apt install apt-transport-artifact-registry
   

4. Configure o Apt para buscar pacotes do repositório:

   echo "deb [signed-by=/usr/share/keyrings/lustre-client.gpg] ar+https://us-apt.pkg.dev/projects/lustre-client-binaries lustre-client-ubuntu-jammy main" \
     | sudo tee -a /etc/apt/sources.list.d/artifact-registry.list
   

5. Atualize as fontes do repositório:

   sudo apt update
   

   Se o comando retornar um erro, verifique se a VM do Compute Engine foi criada com o escopo de acesso que permite acesso total a todas as APIs do Cloud. Consulte Como conceder acesso a instâncias do Compute Engine para mais detalhes.

Mais informações sobre esses comandos estão disponíveis na documentação do Artifact Registry: Configurar VMs para instalar pacotes Debian.

Ubuntu 24.04 LTS

1. Instale as chaves de assinatura do repositório Apt:

   curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/google-cloud.gpg
   curl -fsSL https://us-apt.pkg.dev/doc/repo-signing-key.gpg \
     | sudo gpg --dearmor -o /usr/share/keyrings/lustre-client.gpg
   

2. Configure a VM para acessar pacotes do Artifact Registry:

   echo 'deb [signed-by=/usr/share/keyrings/google-cloud.gpg] http://packages.cloud.google.com/apt apt-transport-artifact-registry-stable main' \
     | sudo tee /etc/apt/sources.list.d/artifact-registry.list
   

3. Atualize o apt e instale o pacote apt-transport-artifact-registry:

   sudo apt update && sudo apt install apt-transport-artifact-registry
   

4. Configure o Apt para buscar pacotes do repositório:

   echo "deb [signed-by=/usr/share/keyrings/lustre-client.gpg] ar+https://us-apt.pkg.dev/projects/lustre-client-binaries lustre-client-ubuntu-noble main" \
     | sudo tee -a /etc/apt/sources.list.d/artifact-registry.list
   

5. Atualize as fontes do repositório:

   sudo apt update
   

   Se o comando retornar um erro, verifique se a VM do Compute Engine foi criada com o escopo de acesso que permite acesso total a todas as APIs do Cloud. Consulte Como conceder acesso a instâncias do Compute Engine para mais detalhes.

Mais informações sobre esses comandos estão disponíveis na documentação do Artifact Registry: Configurar VMs para instalar pacotes Debian.

Instalar os pacotes de cliente do Lustre

Siga as instruções para instalar os pacotes de cliente do Lustre.

HPC Rocky Linux 8

sudo yum -y --enablerepo=lustre-client-rocky-8 install kmod-lustre-client
sudo yum -y --enablerepo=lustre-client-rocky-8 install lustre-client

Rocky Linux 9

sudo yum -y --enablerepo=lustre-client-rocky-9 install kmod-lustre-client
sudo yum -y --enablerepo=lustre-client-rocky-9 install lustre-client

RHEL 9

sudo yum -y --enablerepo=lustre-client-rocky-9 install kmod-lustre-client
sudo yum -y --enablerepo=lustre-client-rocky-9 install lustre-client

Ubuntu 20.04 LTS

Execute os seguintes comandos:

sudo apt install lustre-client-modules-$(uname -r)/lustre-client-ubuntu-focal

sudo apt install lustre-client-utils/lustre-client-ubuntu-focal

Os pacotes de cliente do Lustre são específicos da versão do kernel. Se você não incluiu o script de inicialização ao criar a instância do Compute Engine e a versão do kernel do Ubuntu mudar devido a uma atualização automática, será necessário executar esses comandos novamente para baixar os pacotes de cliente Lustre adequados.

Ubuntu 22.04 LTS

Execute os seguintes comandos:

sudo apt install lustre-client-modules-$(uname -r)/lustre-client-ubuntu-jammy

sudo apt install lustre-client-utils/lustre-client-ubuntu-jammy

Os pacotes de cliente do Lustre são específicos da versão do kernel. Se a versão do kernel do Ubuntu mudar devido a uma atualização automática, execute esses comandos novamente para baixar os pacotes de cliente do Lustre adequados.

Ubuntu 24.04 LTS

Execute os seguintes comandos:

sudo apt install lustre-client-modules-$(uname -r)/lustre-client-ubuntu-noble

sudo apt install lustre-client-utils/lustre-client-ubuntu-noble

Os pacotes de cliente do Lustre são específicos da versão do kernel. Se você não incluiu o script de inicialização ao criar a instância do Compute Engine e a versão do kernel do Ubuntu mudar devido a uma atualização automática, será necessário executar esses comandos novamente para baixar os pacotes de cliente Lustre adequados.

Carregar o módulo do kernel do Lustre

Depois que os pacotes do cliente forem instalados, siga estas instruções para carregar o módulo do kernel Lustre.

Configuração padrão

Execute este comando:

sudo modprobe lustre

Configuração de várias NICs

Se a VM tiver várias NICs, cada uma conectada a uma sub-rede diferente, configure o LNet para usá-las antes de carregar o módulo.

1. Crie ou modifique o arquivo /etc/modprobe.d/lustre.conf:

   options lnet networks="tcp0(eth0, eth1)"
   

   Este exemplo pressupõe que as interfaces na VM sejam chamadas eth0 e eth1. Substitua esses nomes pelos nomes de interface corretos. Para conferir os nomes das interfaces, execute o comando ip address.

2. Carregue o módulo:

   sudo modprobe lustre
   

3. (Opcional) Verifique o ajuste de TCP. Execute este comando:

   sudo lctl list_nids
   

   A saída mostra as duas NICs.

(Opcional) Configure a LNet para instâncias gke-support-enabled

Esta seção se aplica apenas a clientes do Compute Engine que se conectam a instâncias do Managed Lustre com --gke-support-enabled especificado.

Se a instância do Managed Lustre não foi criada com a opção Suporte do GKE, pule esta seção.

Configurar o LNet para usar accept_port 6988

Se a instância do Managed Lustre tiver --gke-support-enabled definido como "true" e você estiver se conectando de uma VM do Compute Engine:

1. Crie ou edite /etc/modprobe.d/lnet.conf.
2. Adicione a linha abaixo:

   options lnet accept_port=6988
   

3. Reinicialize a VM:

   sudo reboot
   

Montar uma instância do Managed Lustre

Monte a instância do Managed Lustre.

• Para uma montagem rápida que não precisa persistir em reinicializações, use o comando mount.

• Para ativar automaticamente sempre que a VM for inicializada, use a opção /etc/fstab.

Em ambos os casos, o diretório a ser usado como ponto de montagem precisa existir antes da execução do comando.

Para recuperar o endereço IP e o nome do sistema de arquivos da sua instância, use o comando gcloud lustre instances describe ou acesse a página Instâncias no console do Google Cloud .

gcloud lustre instances describe INSTANCE_NAME \
  --location=ZONE

mount

Na linha de comando da VM do Compute Engine, use o comando mount para montar manualmente a instância do Lustre gerenciado:

sudo mkdir -p ~/MOUNT_DIR
sudo mount -t lustre IP_ADDRESS:/FILESYSTEM_NAME ~/MOUNT_DIR

Em que:

• IP_ADDRESS é o endereço IP da sua instância do Managed Lustre.

• FILESYSTEM_NAME é o nome do sistema de arquivos da instância.

• ~/MOUNT_DIR é o diretório de ponto de montagem local que você criou.

/etc/fstab

Na linha de comando da VM do Compute Engine:

1. Crie um diretório local para o ponto de montagem:

   sudo mkdir -p ~/MOUNT_DIR
   

2. Abra o arquivo /etc/fstab para edição e adicione a seguinte linha:

   IP_ADDRESS@tcp:/FILESYSTEM_NAME ~/MOUNT_DIR lustre defaults,_netdev 0 0
   

   Em que:

   • IP_ADDRESS é o endereço IP da sua instância do Managed Lustre.

   • FILESYSTEM_NAME é o nome do sistema de arquivos da instância.

   • ~/MOUNT_DIR é o diretório de ponto de montagem local que você criou.

   • lustre defaults,_netdev 0 0 são as opções de montagem recomendadas:

     • lustre especifica o tipo de sistema de arquivos como Lustre.
     • defaults usa o conjunto padrão de opções de montagem.
     • _netdev instrui o sistema a aguardar a conectividade de rede antes de tentar montar o sistema de arquivos.
     • 0 0 controla a ordem de despejo e verificação do sistema de arquivos.

3. Salve e saia do arquivo /etc/fstab.

4. Execute o seguinte comando para ativar todos os sistemas de arquivos listados em /etc/fstab:

   sudo mount -a
   

Sua instância do Managed Lustre agora está ativada. Ele será montado automaticamente sempre que a VM do Compute Engine for inicializada.

Se o comando de montagem falhar, consulte as instruções de Solução de problemas para diagnosticar o problema.

Configurações avançadas de rede

As seções a seguir descrevem configurações avançadas de rede.

Como usar uma NIC secundária

Se você estiver montando a instância do Managed Lustre usando uma placa de rede (NIC) secundária de uma instância do Compute Engine com várias placas de rede (NICs), siga estas instruções.

Isso não é o mesmo que multi-NIC.

1. Configure o LNET para usar a placa de rede correta.

   Copie o conteúdo de /etc/lnet.conf para um arquivo chamado /etc/modprobe.d/lustre.conf na VM. Adicione a seguinte linha ao arquivo, substituindo eth1 pelo nome da placa de rede (NIC) secundária:

   options lnet networks="tcp0(eth1)"
   

   Atualize o módulo do kernel do Lustre:

   lustre_rmmod
   modprobe lustre
   

   Verifique se o LNET está configurado para usar a segunda NIC. A saída do comando a seguir deve ser a segunda NIC:

   lctl list_nids
   

2. Adicione uma rota estática ao bloco CIDR da instância Managed Lustre usando o gateway da interface de rede secundária.

   • Para encontrar o gateway da NIC secundária, execute o comando route.

   • Para encontrar o bloco CIDR da instância do Managed Lustre:

     • Para conferir os detalhes da instância, execute o comando gcloud lustre instances describe.
     • Pegue o endereço fornecido no campo mountPoint.
     • Converta o endereço IP em um bloco CIDR que o contenha, com um tamanho de 23.

   Por exemplo, se o bloco CIDR da instância do Managed Lustre for 172.16.0.0/24, a placa de rede secundária for eth1 e o gateway for 10.130.0.1, execute o seguinte comando:

   ip route add 172.16.0.0/24 via 10.130.0.1 dev eth1
   

   A rota adicionada não vai persistir se a instância do Compute Engine for reinicializada. A forma de tornar isso persistente é específica para a família de SO que você está usando.

Roteamento de várias NICs

A configuração manual de roteamento é necessária para instâncias do Compute Engine com várias NICs para garantir que o tráfego use as interfaces adicionais corretamente.

Observação: essas configurações de roteamento não são mantidas entre as reinicializações. Para torná-las persistentes, adicione-as a um script de inicialização ou arquivos de configuração de rede.

As etapas a seguir mostram como configurar a interface eth1. Repita essas etapas para cada NIC adicional na VM (por exemplo, eth2, eth3 etc.).

1. Defina o nome da interface de rede, receba o endereço IP interno e calcule o IP do gateway correspondente. O gateway é o endereço .1 da sub-rede da interface.

   IFACE="eth1"
   IFACE_IP=$(ip -4 addr show ${IFACE} | grep -oP '(?<=inet\s)\d+(\.\d+){3}')
   GATEWAY_IP=$(echo ${IFACE_IP} | awk -F. '{print $1"."$2"."$3".1"}')
   

2. Receba o intervalo de IP da sua instância do Managed Lustre:

   LUSTRE_CIDR=$(gcloud compute instances describe INSTANCE_NAME --zone=ZONE \
     --format='value(networkInterfaces[0].networkIP)')/23
   

3. Crie uma tabela de roteamento exclusiva para a interface e aplique as regras de tráfego:

   sudo tee -a /etc/iproute2/rt_tables <<< "100 ${IFACE}_table"
   sudo ip route add ${LUSTRE_CIDR} via ${GATEWAY_IP} dev ${IFACE} table ${IFACE}_table
   sudo ip rule add from ${IFACE_IP} table ${IFACE}_table
   

Acessar a instância do Managed Lustre

Sua instância do Managed Lustre agora está montada na VM do Compute Engine e pode ser lida/gravada usando a sintaxe padrão do POSIX, com algumas exceções.

Execute o seguinte comando para verificar o diretório montado:

sudo lfs df -h ~/MOUNT_DIR

Você pode testar a cópia e a gravação de arquivos com os seguintes comandos:

# sample file copy/file write
sudo dd if=/dev/zero of=~/MOUNT_DIR/bigfile1 bs=1M count=8000
sudo dd if=/dev/urandom of=~/MOUNT_DIR/bigfile1 bs=1M count=1000

Para confirmar o uso do espaço em disco:

sudo lfs df -h ~/MOUNT_DIR

Desmontar a instância

A instância do Managed Lustre pode ser desmontada usando o seguinte comando:

sudo umount ~/MOUNT_DIR

A seguir

• Transferir dados do Cloud Storage para o Managed Lustre