Addestrare modelli di AI e ML

Anteprima

Questo prodotto è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini di servizio specifici e ai Termini aggiuntivi per i prodotti in anteprima dell'AI generativa. I prodotti pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Scopri come addestrare i modelli di AI e ML nell'estensione Google Cloud Data Agent Kit per Visual Studio Code.

In questa guida rapida, utilizzerai un modello di sessione e un notebook Jupyter di esempio per prevedere gli importi delle mance dei taxi di New York. Utilizzando un kernel Jupyter remoto con PySpark, proverai vari modelli come la regressione lineare, la foresta casuale e XGBoost. Questo processo ti consente di eseguire l'addestramento e l'inferenza distribuiti. Dimostra la scalabilità su più macchine utilizzando Spark ML e la libreria XGBoost.

Sebbene non sia trattato in questa guida rapida, esistono diversi modi per addestrare i modelli di AI e ML utilizzando l'estensione Google Cloud Data Agent Kit per Visual Studio Code:

• Se il set di dati di addestramento è di grandi dimensioni o se vuoi utilizzare le funzionalità di addestramento distribuito offerte da Apache Spark, puoi utilizzare i notebook Spark con kernel remoti.
• Se il set di dati si trova in BigQuery e BigQuery ML supporta il tuo caso d'uso, puoi utilizzare un notebook BigQuery DataFrames.
• Se il set di dati è di piccole dimensioni e vuoi addestrare il modello localmente, puoi utilizzare un notebook Python.

Prima di iniziare

Prima di iniziare, segui questi passaggi:

1. Installa l'estensione.
2. Configura le impostazioni dell'estensione.
3. Consulta le indicazioni riportate in Trovare ed esplorare i dati.

Creare un modello di runtime Spark

I modelli di runtime Spark serverless consentono di avviare una sessione Apache Spark con un determinato set di configurazioni. Per creare un nuovo modello di runtime serverless, completa i seguenti passaggi:

1. Nella barra delle attività dell'IDE, fai clic sull'icona Google Cloud Data Agent Kit.
2. Nel menu Google Cloud Data Agent Kit, espandi Apache Spark.
3. Espandi Serverless e fai clic su + Crea runtime serverless. Viene visualizzato un modulo di creazione del runtime serverless.
4. Nel campo Nome visualizzato, inserisci ai-ml-tutorial.
5. Vai alla sezione Scalabilità automatica.
6. Imposta spark.dynamicAllocation.enabled su false nell'elenco a discesa. Questa impostazione è necessaria per il funzionamento di XGBoost con Apache Spark.
7. Lascia tutti gli altri campi impostati sui valori predefiniti.
8. Fai clic su Invia.

Crea un nuovo notebook

Nota: in questa guida rapida, utilizzerai un notebook di esempio precompilato. Puoi anche utilizzare l'agente nell'IDE per generare un notebook Spark con un prompt che descrive il tuo caso d'uso di ML specifico.

Poi, crea un nuovo notebook Spark:

1. In Apache Spark nella scheda Google Cloud Data Agent Kit, fai clic su + Nuovo Spark Notebook.
2. Scegli Kernel remoto per il tipo di kernel.
3. Fai clic su Inizia con un notebook di esempio.
4. Nell'elenco degli esempi, seleziona Data Science with PySpark and Distributed XGBoost. Viene visualizzato un notebook Jupyter senza titolo.

Addestra il modello

1. Nella scheda del notebook, fai clic su Esegui tutto. Il selettore del kernel ti chiede di selezionare un kernel con cui eseguire il notebook.
2. Fai clic su Seleziona un altro kernel.
3. Fai clic su Kernel Spark remoti.
4. Seleziona ai-ml-tutorial su Spark serverless, il modello di runtime che hai creato in precedenza.

Nota: su Windows, il supporto per i percorsi lunghi deve essere abilitato per utilizzare i notebook Spark sui kernel remoti.

Mentre il sistema crea la sessione Spark serverless, viene visualizzata la seguente notifica: Connecting to kernel: ai-ml-tutorial on Serverless Spark. Quando il notebook si connette al kernel PySpark remoto, l'esecuzione inizia dalla prima cella. Questo processo richiede circa 2-3 minuti.

Punto chiave: Managed Service for Apache Spark esegue interamente il codice di addestramento. Il sistema non scarica alcuna parte del set di dati di addestramento sulla macchina locale.

Esaminare la sessione Spark

1. Nella scheda Google Cloud Data Agent Kit, in Apache Spark, espandi il modello di runtime ai-ml-tutorial. L'IDE visualizza l'elenco delle sessioni interattive che hai creato con questo modello di runtime.
2. Individua la sessione creata dal sistema eseguendo il notebook nella parte superiore dell'elenco. Fai clic sulla sessione per visualizzarne i dettagli. Puoi esaminare la configurazione della sessione e le risorse utilizzate dal sistema per eseguire il notebook.

Libera spazio

Dopo aver eseguito correttamente il notebook, segui questi passaggi per la pulizia.

1. Nella scheda Google Cloud Data Agent Kit, in Apache Spark, fai clic con il tasto destro del mouse su Serverless e seleziona Elenca runtime serverless. Viene visualizzato l'elenco dei runtime serverless.
2. Fai clic sul menu Azione per ai-ml-tutorial per elencare tutte le sessioni interattive create dal sistema dal tuo modello.
3. In Azioni, fai clic su Elimina.
4. Torna alla finestra Runtime serverless.
5. In Azioni per ai-ml-tutorial, fai clic su Elimina.
6. Fai clic su Conferma per eliminare il modello creato per questo tutorial.

Passaggi successivi

• Panoramica di Managed Service for Apache Spark
• Trasformare i dati