Treinamento personalizado do Hello: treinar um modelo personalizado de classificação de imagens

Nesta página, você vai aprender a executar um aplicativo de treinamento Keras do TensorFlow na Agent Platform. Esse modelo particular treina um modelo de classificação de imagem que classifica flores por tipo.

Este tutorial tem várias páginas:

  1. Como configurar o projeto e o ambiente

  2. Como treinar um modelo personalizado de classificação de imagens.

  3. Como exibir previsões de um modelo de classificação de imagens personalizado

  4. Como limpar o projeto

Cada página pressupõe que você já tenha realizado as instruções das páginas anteriores do tutorial.

O restante deste documento pressupõe que você está usando o mesmo ambiente do Cloud Shell criado ao seguir a primeira página deste tutorial. Se a sessão original do Cloud Shell não estiver mais aberta, será possível retornar ao ambiente fazendo o seguinte:

  1. No Google Cloud console, ative o Cloud Shell.

    Ativar o Cloud Shell

  2. Na sessão do Cloud Shell, execute o seguinte comando:

    cd hello-custom-sample

Executar um pipeline de treinamento personalizado

Nesta seção, descrevemos como usar o pacote de treinamento que você fez upload no Cloud Storage para executar um pipeline de treinamento personalizado da Agent Platform.

  1. No Google Cloud console, na seção "Agent Platform", acesse a página Pipelines de treinamento.

    Acessar pipelines de treinamento

  2. Clique em Criar para abrir o painel Treinar novo modelo.

  3. Na etapa Escolher método de treinamento, faça o seguinte:

    1. Na lista suspensa Conjunto de dados, selecione Nenhum conjunto de dados gerenciado. Esse aplicativo de treinamento específico carrega dados da biblioteca TensorFlow Datasets, em vez de um conjunto de dados gerenciado da Agent Platform.

    2. Verifique se a opção Treinamento personalizado (avançado) está selecionada.

    Clique em Continuar.

  4. Na etapa Detalhes do modelo, no campo Nome, insira hello_custom. Clique em Continuar.

  5. Na etapa Configurações do contêiner, forneça à Agent Platform as informações necessárias para usar o pacote de treinamento que você fez upload no Cloud Storage:

    1. Selecione Contêiner pré-criado.

    2. Na lista suspensa Framework do modelo, selecione TensorFlow.

    3. Na lista suspensa Versão do framework do modelo, selecione 2.3.

    4. No campo Localização do pacote, insira cloud-samples-data/ai-platform/hello-custom/hello-custom-sample-v1.tar.gz.

    5. No campo módulo Python, insira trainer.task. trainer é o nome do pacote Python no tarball, e task.py contém o código de treinamento. Portanto, trainer.task é o nome do módulo que você quer que a Agent Platform execute.

    6. No campo Diretório de saída do modelo, clique em Procurar. Faça o seguinte no painel Selecionar pasta:

      1. Navegue até o bucket do Cloud Storage.

      2. Clique em Criar nova pasta.

      3. Nomeie a nova pasta como output. Clique em Criar.

      4. Clique em Selecionar.

      Confirme se o campo tem o valor gs://BUCKET_NAME/output, em que BUCKET_NAME é o nome do bucket do Cloud Storage.

      Esse valor é transmitido à Agent Platform no baseOutputDirectory campo da API, que define diversas variáveis de ambiente que o aplicativo de treinamento pode acessar quando ele é executado.

      Por exemplo, ao definir esse campo como gs://BUCKET_NAME/output, a Agent Platform define a variável de ambiente AIP_MODEL_DIR como gs://BUCKET_NAME/output/model. No final do treinamento, a Agent Platform usa os artefatos no diretório AIP_MODEL_DIR para criar um recurso de modelo.

      Saiba mais sobre as variáveis de ambiente definidas por este campo.

    Clique em Continuar.

  6. Na etapa opcional Hiperparâmetros, verifique se a caixa de seleção Ativar ajuste de hiperparâmetros está desmarcada. Este tutorial não usa o ajuste de hiperparâmetro. Clique em Continuar.

  7. Na etapa Computação e preços, aloque recursos para o job de treinamento personalizado:

    1. Na lista suspensa Região, selecione us-central1 (Iowa).

    2. Na lista suspensa Tipo de máquina, selecione n1-standard-4 na seção Padrão.

    Não adicione aceleradores ou pools de workers para este tutorial. Clique em Continuar.

  8. Na etapa Contêiner de previsão, forneça à Agent Platform as informações necessárias para disponibilizar previsões:

    1. Selecione Contêiner pré-criado.

    2. Na seção Configurações de contêiner pré-criado, faça o seguinte:

      1. Na lista suspensa Framework do modelo, selecione TensorFlow.

      2. Na lista suspensa Versão do framework do modelo, selecione 2.3.

      3. Na lista suspensa Tipo de acelerador, selecione Nenhum.

      4. Confirme se o campo Diretório do modelo tem o valor gs://BUCKET_NAME/output, em que BUCKET_NAME é o nome do bucket do Cloud Storage. Isso corresponde ao valor do diretório de saída do modelo fornecido em uma etapa anterior.

    3. Deixe os campos na seção Schemata de previsão em branco.

  9. Clique em Iniciar treinamento.

Agora é possível visualizar o novo pipeline de treinamento, chamado hello_custom, na página Treinamento. Talvez seja necessário atualizar a página. Esse pipeline de treinamento executa, principalmente, as seguintes tarefas:

  1. Ele cria um recurso de job personalizado chamado hello_custom-custom-job. Depois de alguns instantes, será possível visualizar esse recurso na página Jobs personalizados da seção Treinamento:

    Acessar "Jobs personalizados"

    O job personalizado executa o aplicativo de treinamento usando os recursos de computação especificados nesta seção.

  2. Após a conclusão do job personalizado, o pipeline de treinamento encontrará os artefatos criados pelo aplicativo de treinamento no diretório output/model/ do bucket do Cloud Storage. Ele usa esses artefatos para criar um recurso de modelo.

Monitorar o treinamento

Para visualizar os logs de treinamento faça o seguinte:

  1. No Google Cloud console, na seção "Agent Platform", acesse a página Jobs personalizados.

    Acessar "Jobs personalizados"

  2. Para visualizar os detalhes do CustomJob que você acabou de criar, clique em hello_custom-custom-job na lista.

  3. Na página de detalhes do job, clique em Visualizar registros.

Ver o modelo treinado

Quando o pipeline de treinamento personalizado for concluído, será possível encontrar o modelo treinado no console Google Cloud , na seção "Agent Platform", na página Modelos.

Acessar a página "Modelos"

O modelo tem o nome hello_custom.

A seguir

Siga a próxima página deste tutorial para exibir previsões no seu modelo treinado de ML.

Anterior
Configurar o projeto e o ambiente
Avançar
Exibir previsões de um modelo de classificação de imagens personalizado