Entrena modelos de IA y AA

Vista previa

Este producto está sujeto a las "Condiciones de las Ofertas de la Fase Previa a la DG" de la sección de Términos Generales del Servicio de los Términos Específicos del Servicio y las Condiciones Adicionales para Productos en Versión Preliminar de IA Generativa. Los productos de la fase previa a la DG están disponibles sin modificaciones y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Aprende a entrenar modelos de IA y AA en la extensión Google Cloud Data Agent Kit para Visual Studio Code.

En esta guía de inicio rápido, usarás una plantilla de sesión y un notebook de Jupyter de muestra para predecir los importes de las propinas de los taxis de la ciudad de Nueva York. Con un kernel de Jupyter remoto con PySpark, probarás varios modelos, como la regresión lineal, el bosque aleatorio y XGBoost. Este proceso te permite realizar entrenamiento e inferencia distribuidos. Demuestra la escalabilidad en varias máquinas con Spark ML y la biblioteca XGBoost.

Aunque no se abordan en esta guía de inicio rápido, existen varias formas de entrenar modelos de IA y AA con la extensión Google Cloud Data Agent Kit para Visual Studio Code:

• Si tu conjunto de datos de entrenamiento es grande o deseas las capacidades de entrenamiento distribuido que ofrece Apache Spark, puedes usar notebooks de Spark con kernels remotos.
• Si tu conjunto de datos está en BigQuery y BigQuery ML admite tu caso de uso, puedes usar un notebook de BigQuery DataFrames.
• Si tu conjunto de datos es pequeño y deseas entrenar tu modelo de forma local, puedes usar un notebook de Python.

Antes de comenzar

Antes de comenzar, haz lo siguiente:

1. Instala la extensión.
2. Define la configuración de extensiones.
3. Revisa la guía en Cómo encontrar y explorar datos.

Crea una plantilla de entorno de ejecución de Spark

Las plantillas de entorno de ejecución de Spark sin servidores te permiten iniciar una sesión de Apache Spark con un conjunto determinado de configuraciones. Para crear una plantilla de entorno de ejecución sin servidores nueva, completa los siguientes pasos:

1. En la barra de actividades del IDE, haz clic en el ícono de Google Cloud Data Agent Kit.
2. En el menú de Google Cloud Data Agent Kit, expande Apache Spark.
3. Expande Serverless y, luego, haz clic en + Create serverless runtimes. Aparecerá un formulario de creación de entorno de ejecución sin servidores.
4. En el campo Nombre visible, ingresa ai-ml-tutorial.
5. Ve a la sección Auto Scaling.
6. Establece spark.dynamicAllocation.enabled en false en la lista desplegable. Este parámetro de configuración es necesario para que XGBoost funcione con Apache Spark.
7. Deja todos los demás campos establecidos en el valor predeterminado.
8. Haz clic en Enviar.

Crear un notebook nuevo

Nota: En esta guía de inicio rápido, usarás un notebook de muestra precompilado. También puedes usar el agente en tu IDE para generar un notebook de Spark con un mensaje que describa tu caso de uso específico de AA.

A continuación, crea un notebook de Spark nuevo:

1. En Apache Spark, en la pestaña Google Cloud Data Agent Kit, haz clic en + New Spark Notebook.
2. Elige Remote Kernel para el tipo de kernel.
3. Haz clic en Start with a sample notebook.
4. En la lista de muestras, selecciona Ciencia de datos con PySpark y XGBoost distribuido. Aparecerá un notebook de Jupyter sin título.

Entrena tu modelo

1. En la pestaña del notebook, haz clic en Ejecutar todo. El selector de kernel te pedirá que selecciones un kernel para ejecutar el notebook.
2. Haz clic en Seleccionar otro kernel.
3. Haz clic en Kernels de Spark remotos.
4. Selecciona ai-ml-tutorial en Spark sin servidores, la plantilla de entorno de ejecución que creaste antes.

Nota: En Windows, se debe habilitar la compatibilidad con rutas de acceso largas para trabajar con Notebooks de Spark en kernels remotos.

Verás la siguiente notificación mientras el sistema crea tu sesión de Spark sin servidores: Connecting to kernel: ai-ml-tutorial on Serverless Spark. Cuando el notebook se conecta al kernel de PySpark remoto, la ejecución comienza en la primera celda. Este proceso tarda aproximadamente de dos a tres minutos.

Punto clave: Managed Service para Apache Spark ejecuta todo tu código de entrenamiento El sistema no descarga ninguna parte de tu conjunto de datos de entrenamiento en tu máquina local.

Inspecciona tu sesión de Spark

1. En la pestaña Google Cloud Data Agent Kit, en Apache Spark, expande la plantilla de entorno de ejecución ai-ml-tutorial. El IDE muestra la lista de sesiones interactivas que creaste con esta plantilla de entorno de ejecución.
2. Ubica la sesión que creó el sistema mediante la ejecución del notebook en la parte superior de la lista. Haz clic en la sesión para ver los detalles. Puedes revisar la configuración de la sesión y los recursos que consumió el sistema para ejecutar tu notebook.

Limpia

Después de ejecutar el notebook correctamente, realiza los siguientes pasos de limpieza.

1. En la pestaña Google Cloud Data Agent Kit, en Apache Spark, haz clic con el botón derecho en Serverless y selecciona List Serverless Runtimes. Aparecerá la lista de entornos de ejecución sin servidores.
2. Haz clic en el menú Acción para ai-ml-tutorial para enumerar todas las sesiones interactivas que creó el sistema a partir de tu plantilla.
3. En Acciones, haz clic en Borrar.
4. Regresa a la ventana de entornos de ejecución sin servidores.
5. En Acciones para ai-ml-tutorial, haz clic en Borrar.
6. Haz clic en Confirmar para borrar la plantilla que creaste para este instructivo.

¿Qué sigue?

• Descripción general de Managed Service para Apache Spark
• Transformar datos