Treinar modelos de IA e ML

Visualizar

Este produto está sujeito aos "Termos da Oferta Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço e aos Termos Adicionais para Produtos de Pré-lançamento de IA Generativa. Os produtos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

Saiba como treinar modelos de IA e ML na extensão do Kit de agente de dados do Google Cloud para Antigravity.

Neste guia de início rápido, você usa um modelo de sessão e um notebook de amostra do Jupyter para prever os valores de gorjeta de táxi na cidade de Nova York. Usando um kernel Jupyter remoto com o PySpark, você testa vários modelos, como regressão linear, floresta aleatória e XGBoost. Esse processo permite realizar treinamento e inferência distribuídos. Ele demonstra a escalonabilidade em várias máquinas usando o Spark ML e a biblioteca XGBoost.

Embora não seja abordado neste guia de início rápido, há várias maneiras de treinar modelos de IA e ML usando a extensão do Kit de agente de dados do Google Cloud para Antigravity:

• Se o conjunto de dados de treinamento for grande ou você quiser os recursos de treinamento distribuído oferecidos pelo Apache Spark, use notebooks do Spark com kernels remotos.
• Se o conjunto de dados estiver no BigQuery e o BigQuery ML oferecer suporte ao seu caso de uso, use um notebook do BigQuery DataFrames.
• Se o conjunto de dados for pequeno e você quiser treinar o modelo localmente, use um notebook Python.

Criar um modelo de ambiente de execução do Spark

Os modelos de ambiente de execução do Spark sem servidor permitem iniciar uma sessão do Apache Spark com um determinado conjunto de configurações. Para criar um novo modelo de ambiente de execução sem servidor, siga estas etapas:

1. Na barra de atividades do ambiente de desenvolvimento integrado, clique no ícone do Kit de agente de dados do Google Cloud.
2. No menu do Kit de agente de dados do Google Cloud, expanda Apache Spark.
3. Expanda Sem servidor e clique em + Criar ambientes de execução sem servidor. Um formulário de criação de ambiente de execução sem servidor será exibido.
4. No campo Nome de exibição, insira ai-ml-tutorial.
5. Acesse a seção Escalonamento automático.
6. Defina spark.dynamicAllocation.enabled como "false" na lista suspensa. Essa configuração é necessária para que o XGBoost funcione com o Apache Spark.
7. Deixe todos os outros campos definidos como padrão.
8. Clique em Enviar.

Criar um notebook

**Observação** :neste guia de início rápido, você usa um notebook de amostra pré-criado. Também é possível usar o agente no ambiente de desenvolvimento integrado para gerar um notebook do Spark com um comando que descreve seu caso de uso específico de ML.

Em seguida, crie um notebook do Spark:

1. Em Apache Spark na guia Kit de agente de dados do Google Cloud, clique em + Novo Spark Notebook.
2. Escolha Kernel remoto para o tipo de kernel.
3. Clique em Começar com um notebook de amostra.
4. Na lista de amostras, selecione Ciência de dados com PySpark e XGBoost distribuído. Um notebook do Jupyter sem título será exibido.

Treinar o modelo

1. Na guia do notebook, clique em Executar tudo. O seletor de kernel pede que você selecione um kernel para executar o notebook.
2. Clique em Selecionar outro kernel.
3. Clique em Kernels remotos do Spark.
4. Selecione o ai-ml-tutorial no Spark sem servidor, o modelo de ambiente de execução que você criou anteriormente.

Observação: no Windows, o suporte a caminhos longos precisa estar ativado para trabalhar com Notebooks do Spark em kernels remotos.

A notificação a seguir será exibida enquanto o sistema cria sua sessão do Spark sem servidor: Connecting to kernel: ai-ml-tutorial on Serverless Spark. Quando o notebook se conecta ao kernel PySpark remoto, a execução começa na primeira célula. Esse processo leva aproximadamente dois a três minutos.

**Ponto principal** :o Serviço Gerenciado para Apache Spark executa todo o código de treinamento. O sistema não faz o download de nenhuma parte do conjunto de dados de treinamento para a máquina local.

Inspecionar a sessão do Spark

1. Na guia Kit de agente de dados do Google Cloud, em Apache Spark, expanda o modelo de ambiente de execução ai-ml-tutorial. O ambiente de desenvolvimento integrado mostra a lista de sessões interativas que você criou com esse modelo de ambiente de execução.
2. Localize a sessão que o sistema criou executando o notebook na parte de cima da lista. Clique na sessão para conferir os detalhes. É possível revisar a configuração da sessão e os recursos consumidos pelo sistema para executar o notebook.

Limpar

Depois de executar o notebook com sucesso, siga estas etapas de limpeza.

1. Na guia Kit de agente de dados do Google Cloud, em Apache Spark, clique com o botão direito do mouse em Sem servidor e selecione Listar ambientes de execução sem servidor. A lista de ambientes de execução sem servidor será exibida.
2. Clique no menu Ação de ai-ml-tutorial para listar todas as sessões interativas que o sistema criou com base no modelo.
3. Em Ações, clique em Excluir.
4. Volte para a janela "Ambientes de execução sem servidor".
5. Em Ações para ai-ml-tutorial, clique em Excluir.
6. Clique em Confirmar para excluir o modelo criado para este tutorial.

A seguir

• Visão geral do Serviço Gerenciado para Apache Spark
• Transformar dados