Addestrare modelli di AI e ML

Scopri come addestrare modelli di AI e ML in Google Cloud Data Agent Kit.

In questa guida rapida, utilizzerai un modello di sessione e un blocco note Jupyter di esempio per prevedere gli importi delle mance dei taxi di New York. Utilizzando un kernel Jupyter remoto con PySpark, provi vari modelli come regressione lineare, foresta casuale e XGBoost. Questo processo ti consente di eseguire l'addestramento e l'inferenza distribuiti. Mostra la scalabilità su più macchine utilizzando Spark ML e la libreria XGBoost.

Sebbene non trattati in questa guida rapida, esistono diversi modi per addestrare modelli di AI e ML utilizzando Google Cloud Data Agent Kit:

• Se il set di dati di addestramento è di grandi dimensioni o vuoi utilizzare le funzionalità di addestramento distribuito offerte da Apache Spark, puoi utilizzare i notebook Spark con kernel remoti.
• Se il tuo set di dati si trova in BigQuery e BigQuery ML supporta il tuo caso d'uso, puoi utilizzare un notebook BigQuery DataFrames.
• Se il tuo set di dati è piccolo e vuoi addestrare il modello localmente, puoi utilizzare un notebook Python.

Nota: questo quickstart utilizza l'estensione Data Agent Kit, ma puoi svolgere le stesse attività con prompt in linguaggio naturale utilizzando il plug-in Data Agent Kit con un agente di codifica o un'interfaccia a riga di comando supportati.

Prima di iniziare

Prima di iniziare, segui questi passaggi:

1. Installa l'estensione.
2. Configura le impostazioni dell'estensione.
3. Consulta le indicazioni riportate in Trovare ed esplorare i dati.

Crea un modello di runtime Spark

I modelli di runtime Spark serverless consentono di avviare una sessione Apache Spark con un determinato insieme di configurazioni. Per creare un nuovo modello di runtime serverless, completa i seguenti passaggi:

1. Nella barra delle attività dell'IDE, fai clic sull'icona Google Cloud Data Agent Kit.
2. Nel menu Google Cloud Data Agent Kit, espandi Apache Spark.
3. Espandi Serverless e poi fai clic su Nuovo runtime. Viene visualizzato un modulo di creazione di Serverless Runtime.
4. Nel campo Nome visualizzato, inserisci ai-ml-tutorial.
5. Vai alla sezione Scalabilità automatica.
6. Imposta spark.dynamicAllocation.enabled su false nell'elenco a discesa. Questa impostazione è necessaria per il funzionamento di XGBoost con Apache Spark.
7. Lascia invariati i valori predefiniti di tutti gli altri campi.
8. Fai clic su Invia.

Crea un nuovo notebook

Nota: in questa guida rapida utilizzi un notebook di esempio predefinito. Puoi anche utilizzare l'agente nel tuo IDE per generare un notebook Spark con un prompt che descrive il tuo caso d'uso specifico di ML.

Successivamente, crea un nuovo notebook Spark:

1. Nella sezione Apache Spark della scheda Google Cloud Data Agent Kit, fai clic su + Nuovo notebook Spark.
2. Scegli Remote Kernel per il tipo di kernel.
3. Fai clic su Inizia con un notebook di esempio.
4. Nell'elenco degli esempi, seleziona Data Science con PySpark e XGBoost distribuito. Viene visualizzato un notebook Jupyter senza titolo.

Addestra il modello

1. Nella scheda del notebook, fai clic su Esegui tutto. Il selettore del kernel ti chiede di selezionare un kernel con cui eseguire il notebook.
2. Fai clic su Seleziona un altro kernel.
3. Fai clic su Kernel Spark remoti.
4. Seleziona ai-ml-tutorial on Serverless Spark, il modello Runtime che hai creato in precedenza.

Nota: su Windows, il supporto dei percorsi lunghi deve essere attivato per poter utilizzare i notebook Spark sui kernel remoti.

Durante la creazione della sessione Serverless Spark, viene visualizzata la seguente notifica: Connecting to kernel: ai-ml-tutorial on Serverless Spark. Quando il notebook si connette al kernel PySpark remoto, l'esecuzione inizia dalla prima cella. Questo processo richiede circa 2-3 minuti.

Punto chiave: Managed Service for Apache Spark esegue il codice di addestramento. Il sistema non scarica alcuna parte del set di dati di addestramento sulla tua macchina locale.

Controllare la sessione Spark

1. Nella scheda Google Cloud Data Agent Kit, in Apache Spark, espandi il modello di runtime ai-ml-tutorial. L'IDE mostra l'elenco delle sessioni interattive che hai creato con questo modello di runtime.
2. Individua la sessione creata dal sistema eseguendo il notebook nella parte superiore dell'elenco. Fai clic sulla sessione per visualizzarne i dettagli. Puoi esaminare la configurazione della sessione e le risorse utilizzate dal sistema per eseguire il notebook.

Esegui la pulizia

Dopo aver eseguito correttamente il notebook, esegui i seguenti passaggi di pulizia.

1. Nella scheda Google Cloud Data Agent Kit, in Apache Spark, fai clic con il tasto destro del mouse su Serverless e seleziona List Serverless Runtimes (Elenca runtime serverless). Viene visualizzato l'elenco dei runtime serverless.
2. Fai clic sul menu Azione per ai-ml-tutorial per elencare tutte le sessioni interattive create dal sistema a partire dal tuo modello.
3. Fai clic su Elimina.
4. Torna alla finestra Serverless Runtimes.
5. Per ai-ml-tutorial, fai clic su Elimina.
6. Fai clic su Conferma per eliminare il modello che hai creato per questo tutorial.

Passaggi successivi

• Panoramica di Managed Service for Apache Spark
• Trasformare i dati
• Codelab: Analytics con Data Agent Kit e Antigravity