Treinar um modelo com GPUs no modo Autopilot do GKE

Treinar um modelo com GPUs no modo Autopilot do GKE

Autopilot

Neste guia de início rápido, mostramos como implantar um modelo de treinamento com GPUs no Google Kubernetes Engine (GKE) e armazenar as previsões no Cloud Storage. Este documento é destinado a administradores do GKE que já têm clusters no modo Autopilot e querem executar cargas de trabalho de GPU pela primeira vez.

Também é possível executar essas cargas de trabalho em clusters do Standard se você criar pools de nós de GPU separados nos clusters. Para instruções, consulte Treinar um modelo com GPUs no modo GKE Standard.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the GKE and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Instale a CLI do Google Cloud.

Observação:se você já instalou a CLI gcloud anteriormente, execute o comando gcloud components update para verificar se tem a versão mais recente.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a gcloud CLI, execute o seguinte comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the GKE and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Instale a CLI do Google Cloud.

Observação:se você já instalou a CLI gcloud anteriormente, execute o comando gcloud components update para verificar se tem a versão mais recente.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a gcloud CLI, execute o seguinte comando:

gcloud init

1. No console do Google Cloud , ative o Cloud Shell.

   Ativar o Cloud Shell

   Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

clone o repositório de exemplo

No Cloud Shell, execute este comando:

git clone https://github.com/GoogleCloudPlatform/ai-on-gke && \
cd ai-on-gke/tutorials-and-examples/gpu-examples/training-single-gpu

Criar um cluster

1. No console do Google Cloud , acesse a página Criar um cluster do Autopilot:

   Acessar "Criar um cluster do Autopilot"

2. No campo Nome, use gke-gpu-cluster.

3. Na lista Região, selecione us-central1.

4. Clique em Criar.

Criar um bucket do Cloud Storage

1. No console do Google Cloud , acesse a página Criar um bucket:

   Acessar "Criar um bucket"

2. Na seção Começar, insira um nome globalmente exclusivo para o bucket:

   PROJECT_ID-gke-gpu-bucket
   

   Substitua PROJECT_ID pelo ID do projeto do Google Cloud.

3. Clique em Continuar.

4. Em Tipo de local, selecione Região.

5. Na lista Região, selecione us-central1 (Iowa) e clique em Continuar.

6. Na seção Escolha uma classe de armazenamento para seus dados, clique em Continuar.

7. Na seção Escolha como controlar o acesso a objetos, em Controle de acesso, selecione Uniforme.

8. Clique em Criar.

9. Na caixa de diálogo O acesso público será impedido verifique se a caixa de seleção Aplicar a prevenção contra acesso público neste bucket está marcada e clique em Confirmar.

Configurar o cluster para acessar o bucket usando a federação de identidade da carga de trabalho do GKE

Para permitir que o cluster acesse o bucket do Cloud Storage, faça o seguinte:

1. Crie uma conta de serviço do Kubernetes no cluster.
2. Crie uma política de permissão do IAM que permita à ServiceAccount acessar o bucket.

Criar uma conta de serviço do Kubernetes no cluster

No Cloud Shell, faça o seguinte:

1. Conecte-se ao cluster:

   gcloud container clusters get-credentials gke-gpu-cluster \
       --location=us-central1
   

2. Crie um namespace do Kubernetes:

   kubectl create namespace gke-gpu-namespace
   

3. Crie uma conta de serviço do Kubernetes no namespace:

   kubectl create serviceaccount gpu-k8s-sa --namespace=gke-gpu-namespace
   

Criar uma política de permissão do IAM no bucket

Conceda o papel de administrador de objetos do Storage (roles/storage.objectAdmin) no bucket à conta de serviço do Kubernetes:

gcloud storage buckets add-iam-policy-binding gs://PROJECT_ID-gke-gpu-bucket \
    --member=principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/gke-gpu-namespace/sa/gpu-k8s-sa \
    --role=roles/storage.objectAdmin \
    --condition=None

Substitua PROJECT_NUMBER pelo número do projeto do Google Cloud.

Verifique se os pods podem acessar o bucket do Cloud Storage

1. No Cloud Shell, crie as seguintes variáveis de ambiente:

   export K8S_SA_NAME=gpu-k8s-sa
   export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket
   

   Substitua PROJECT_ID pelo ID do projeto do Google Cloud.

2. Crie um pod que tenha um contêiner do TensorFlow:

   envsubst < src/gke-config/standard-tensorflow-bash.yaml | kubectl --namespace=gke-gpu-namespace apply -f -
   

   Esse comando insere as variáveis de ambiente que você criou nas referências correspondentes no manifesto. Também é possível abrir o manifesto em um editor de texto e substituir $K8S_SA_NAME e $BUCKET_NAME pelos valores correspondentes.

3. Crie um arquivo de amostra no bucket:

   touch sample-file
   gcloud storage cp sample-file gs://PROJECT_ID-gke-gpu-bucket
   

4. Aguarde até que o pod esteja pronto:

   kubectl wait --for=condition=Ready pod/test-tensorflow-pod -n=gke-gpu-namespace --timeout=180s
   

   Quando o pod estiver pronto, a saída será a seguinte:

   pod/test-tensorflow-pod condition met
   

   Se o comando expirar, o GKE ainda poderá estar criando novos nós para executar os pods. Execute o comando novamente e aguarde o pod ficar pronto.

5. Abra um shell no contêiner do TensorFlow:

   kubectl -n gke-gpu-namespace exec --stdin --tty test-tensorflow-pod --container tensorflow -- /bin/bash
   

6. Tente ler o arquivo de amostra que você criou:

   ls /data
   

   A saída mostra o arquivo de amostra.

7. Verifique os registros para identificar a GPU anexada ao pod:

   python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
   

   A saída mostra a GPU anexada ao pod, semelhante à seguinte:

   ...
   PhysicalDevice(name='/physical_device:GPU:0',device_type='GPU')
   

8. Saia do contêiner:

   exit
   

9. Exclua o pod de amostra:

   kubectl delete -f src/gke-config/standard-tensorflow-bash.yaml \
       --namespace=gke-gpu-namespace
   

Sucesso: neste ponto, o cluster executa um pool de nós de GPU e pode se comunicar com o bucket do Cloud Storage usando a conta de serviço do Kubernetes.

Treinar e prever usando o conjunto de dados MNIST

Nesta seção, você executará uma carga de trabalho de treinamento no conjunto de dados de exemplo MNIST.

1. Copie os dados de exemplo para o bucket do Cloud Storage:

   gcloud storage cp src/tensorflow-mnist-example gs://PROJECT_ID-gke-gpu-bucket/ --recursive
   

2. Crie as variáveis de ambiente a seguir:

   export K8S_SA_NAME=gpu-k8s-sa
   export BUCKET_NAME=PROJECT_ID-gke-gpu-bucket
   

3. Revise o job de treinamento:

   # Copyright 2023 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: mnist-training-job
   spec:
     template:
       metadata:
         name: mnist
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-tesla-t4
         tolerations:
         - key: "nvidia.com/gpu"
           operator: "Exists"
           effect: "NoSchedule"
         containers:
         - name: tensorflow
           image: tensorflow/tensorflow:latest-gpu 
           command: ["/bin/bash", "-c", "--"]
           args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_train_distributed.py"]
           resources:
             limits:
               nvidia.com/gpu: 1
               cpu: 1
               memory: 3Gi
           volumeMounts:
           - name: gcs-fuse-csi-vol
             mountPath: /data
             readOnly: false
         serviceAccountName: $K8S_SA_NAME
         volumes:
         - name: gcs-fuse-csi-vol
           csi:
             driver: gcsfuse.csi.storage.gke.io
             readOnly: false
             volumeAttributes:
               bucketName: $BUCKET_NAME
               mountOptions: "implicit-dirs"
         restartPolicy: "Never"

4. Implante o job de treinamento:

   envsubst < src/gke-config/standard-tf-mnist-train.yaml | kubectl -n gke-gpu-namespace apply -f -
   

   Esse comando substitui as variáveis de ambiente que você criou nas referências correspondentes no manifesto. Também é possível abrir o manifesto em um editor de texto e substituir $K8S_SA_NAME e $BUCKET_NAME pelos valores correspondentes.

5. Aguarde até que o job tenha o status Completed:

   kubectl wait -n gke-gpu-namespace --for=condition=Complete job/mnist-training-job --timeout=180s
   

   Quando o job estiver pronto, a saída será semelhante a esta:

   job.batch/mnist-training-job condition met
   

   Se o comando expirar, o GKE ainda poderá estar criando novos nós para executar os pods. Execute o comando novamente e aguarde até que o job fique pronto.

6. Verifique os registros do contêiner do TensorFlow:

   kubectl logs -f jobs/mnist-training-job -c tensorflow -n gke-gpu-namespace
   

   A saída mostra que os seguintes eventos ocorrem:

   • Instalar os pacotes Python necessários
   • Fazer o download do conjunto de dados MNIST
   • Treinar o modelo usando uma GPU
   • Salvar o modelo
   • Avalie o modelo

   ...
   Epoch 12/12
   927/938 [============================>.] - ETA: 0s - loss: 0.0188 - accuracy: 0.9954
   Learning rate for epoch 12 is 9.999999747378752e-06
   938/938 [==============================] - 5s 6ms/step - loss: 0.0187 - accuracy: 0.9954 - lr: 1.0000e-05
   157/157 [==============================] - 1s 4ms/step - loss: 0.0424 - accuracy: 0.9861
   Eval loss: 0.04236088693141937, Eval accuracy: 0.9861000180244446
   Training finished. Model saved
   

7. Exclua a carga de trabalho de treinamento:

   kubectl -n gke-gpu-namespace delete -f src/gke-config/standard-tf-mnist-train.yaml
   

Implantar uma carga de trabalho de inferência

Nesta seção, você implantará uma carga de trabalho de inferência que usa um conjunto de dados de amostra como entrada e retorna previsões.

1. Copie as imagens para predição para o bucket:

   gcloud storage cp data/mnist_predict gs://PROJECT_ID-gke-gpu-bucket/ --recursive
   

2. Revise a carga de trabalho de inferência:

   # Copyright 2023 Google LLC
   #
   # Licensed under the Apache License, Version 2.0 (the "License");
   # you may not use this file except in compliance with the License.
   # You may obtain a copy of the License at
   #
   #      http://www.apache.org/licenses/LICENSE-2.0
   #
   # Unless required by applicable law or agreed to in writing, software
   # distributed under the License is distributed on an "AS IS" BASIS,
   # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   # See the License for the specific language governing permissions and
   # limitations under the License.
   
   apiVersion: batch/v1
   kind: Job
   metadata:
     name: mnist-batch-prediction-job
   spec:
     template:
       metadata:
         name: mnist
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-tesla-t4
         tolerations:
         - key: "nvidia.com/gpu"
           operator: "Exists"
           effect: "NoSchedule"
         containers:
         - name: tensorflow
           image: tensorflow/tensorflow:latest-gpu 
           command: ["/bin/bash", "-c", "--"]
           args: ["cd /data/tensorflow-mnist-example; pip install -r requirements.txt; python tensorflow_mnist_batch_predict.py"]
           resources:
             limits:
               nvidia.com/gpu: 1
               cpu: 1
               memory: 3Gi
           volumeMounts:
           - name: gcs-fuse-csi-vol
             mountPath: /data
             readOnly: false
         serviceAccountName: $K8S_SA_NAME
         volumes:
         - name: gcs-fuse-csi-vol
           csi:
             driver: gcsfuse.csi.storage.gke.io
             readOnly: false
             volumeAttributes:
               bucketName: $BUCKET_NAME
               mountOptions: "implicit-dirs"
         restartPolicy: "Never"

3. Implante a carga de trabalho de inferência:

   envsubst < src/gke-config/standard-tf-mnist-batch-predict.yaml | kubectl -n gke-gpu-namespace apply -f -
   

   Esse comando substitui as variáveis de ambiente que você criou nas referências correspondentes no manifesto. Também é possível abrir o manifesto em um editor de texto e substituir $K8S_SA_NAME e $BUCKET_NAME pelos valores correspondentes.

4. Aguarde até que o job tenha o status Completed:

   kubectl wait -n gke-gpu-namespace --for=condition=Complete job/mnist-batch-prediction-job --timeout=180s
   

   O resultado será o seguinte:

   job.batch/mnist-batch-prediction-job condition met
   

5. Verifique os registros do contêiner do TensorFlow:

   kubectl logs -f jobs/mnist-batch-prediction-job -c tensorflow -n gke-gpu-namespace
   

   A saída é a previsão para cada imagem e a confiança do modelo na previsão, semelhante ao seguinte:

   Found 10 files belonging to 1 classes.
   1/1 [==============================] - 2s 2s/step
   The image /data/mnist_predict/0.png is the number 0 with a 100.00 percent confidence.
   The image /data/mnist_predict/1.png is the number 1 with a 99.99 percent confidence.
   The image /data/mnist_predict/2.png is the number 2 with a 100.00 percent confidence.
   The image /data/mnist_predict/3.png is the number 3 with a 99.95 percent confidence.
   The image /data/mnist_predict/4.png is the number 4 with a 100.00 percent confidence.
   The image /data/mnist_predict/5.png is the number 5 with a 100.00 percent confidence.
   The image /data/mnist_predict/6.png is the number 6 with a 99.97 percent confidence.
   The image /data/mnist_predict/7.png is the number 7 with a 100.00 percent confidence.
   The image /data/mnist_predict/8.png is the number 8 with a 100.00 percent confidence.
   The image /data/mnist_predict/9.png is the number 9 with a 99.65 percent confidence.
   

Sucesso: você treinou um modelo e o usou para avaliar novos dados.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos criados neste guia, faça o seguinte:

• Manter o cluster do GKE:exclua os recursos do Kubernetes no cluster e os recursos do Google Cloud .
• Manter o projeto Google Cloud :exclua o cluster do GKE e os recursos Google Cloud .
• Excluir o projeto

Excluir os recursos do Kubernetes no cluster e os recursos do Google Cloud

1. Exclua o namespace do Kubernetes e as cargas de trabalho implantadas:

   kubectl -n gke-gpu-namespace delete -f src/gke-config/standard-tf-mnist-batch-predict.yaml
   kubectl delete namespace gke-gpu-namespace
   

2. Exclua o bucket do Cloud Storage:

   1. Acessar a página Buckets:

      Acessar buckets

   2. Marque a caixa de seleção de PROJECT_ID-gke-gpu-bucket.

   3. Clique em Excluir.

   4. Para confirmar a exclusão, digite DELETE e clique em Excluir.

3. Exclua a conta de serviço Google Cloud :

   1. Acessar a página Contas de serviço

      Acesse as Contas de serviço

   2. Selecione o projeto.

   3. Marque a caixa de seleção de gke-gpu-sa@PROJECT_ID.iam.gserviceaccount.com.

   4. Clique em Excluir.

   5. Para confirmar a exclusão, clique em Excluir.

Excluir o cluster do GKE e os recursos do Google Cloud

1. Exclua o cluster do GKE:

   1. Acessar a página de clusters:

      Acessar Clusters

   2. Marque a caixa de seleção de gke-gpu-cluster.

   3. Clique em Excluir.

   4. Para confirmar a exclusão, digite gke-gpu-cluster e clique em Excluir.

2. Exclua o bucket do Cloud Storage:

   1. Acessar a página Buckets:

      Acessar buckets

   2. Marque a caixa de seleção de PROJECT_ID-gke-gpu-bucket.

   3. Clique em Excluir.

   4. Para confirmar a exclusão, digite DELETE e clique em Excluir.

3. Exclua a conta de serviço Google Cloud :

   1. Acessar a página Contas de serviço

      Acesse as Contas de serviço

   2. Selecione o projeto.

   3. Marque a caixa de seleção de gke-gpu-sa@PROJECT_ID.iam.gserviceaccount.com.

   4. Clique em Excluir.

   5. Para confirmar a exclusão, clique em Excluir.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No console Google Cloud , acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir

• Saiba mais sobre como usar GPUs no GKE