Usa el agente de ingeniería de datos en Visual Studio Code

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para enviar comentarios o hacer preguntas sobre esta función en versión preliminar, comunícate con [e-mail].

El agente de ingeniería de datos de la extensión Google Cloud Data Agent Kit puede ayudarte a crear y compilar canalizaciones de orquestación en tu entorno de desarrollo integrado (IDE). Al aprovechar Gemini para Google Cloud, el agente de ingeniería de datos proporciona una interfaz de lenguaje natural para automatizar la generación, la modificación y la administración de flujos de trabajo de orquestación complejos.

La extensión Data Agent Kit es compatible con VS Code.

El agente de Data Engineering admite las siguientes tareas comunes de ingeniería de datos:

• Crea canalizaciones de orquestación: Genera una canalización nueva en un espacio de trabajo vacío o agrega canalizaciones adicionales a proyectos existentes.
• Modificar la estructura de la canalización: Usa lenguaje natural para agregar, quitar o actualizar acciones individuales dentro de una canalización de orquestación.
• Administrar metadatos de ejecución: Cambiar los nombres de las canalizaciones y actualizar los programas de ejecución, por ejemplo, de ejecuciones manuales a diarias
• Soluciona problemas de ejecuciones de canalizaciones: Identifica de forma proactiva la causa raíz de las ejecuciones de canalizaciones fallidas y aplica las correcciones sugeridas por el agente.

Antes de comenzar

Antes de usar el agente de Data Engineering en tu IDE, realiza los pasos que se indican en esta sección.

1. Instala la extensión Data Agent Kit para Visual Studio Code. El Agente de ingeniería de datos se incluye en la extensión del Kit del agente de datos.

2. Habilita las APIs de Gemini Data Analytics y Dataform.

   Habilitar las API

3. Instala la versión 563.0.0 o posterior del SDK de Google Cloud.

4. Instala los comandos de gcloud beta.

5. Configura un entorno en Managed Service para Apache Airflow. Usa la configuración predeterminada del entorno de Managed Service para Apache Airflow. Luego, en la configuración del programador de la extensión Data Agent Kit, ingresa el nombre de tu entorno de Managed Service para Apache Airflow, el ID del proyecto deGoogle Cloud en el que se aloja el entorno y la región en la que se encuentra el entorno.

Roles obligatorios

Para obtener los permisos que necesitas para interactuar con el Agente de ingeniería de datos y sus servicios subyacentes, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

• Usuario de chat sin estado de análisis de datos de Gemini (roles/geminidataanalytics.dataAgentStatelessUser)
• Editor de código de Dataform (roles/dataform.codeEditor)
• Usuario de trabajo de BigQuery (roles/bigquery.jobUser)
• Para enumerar entornos y administrar DAG de Apache Airflow: Usuario de Composer (roles/composer.user)
• Para implementar la canalización de orquestación o actualizarla con una cuenta de servicio designada del entorno de Managed Airflow, se requiere el rol de usuario de la cuenta de servicio (roles/iam.serviceAccountUser).

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Prácticas recomendadas

• Comprende que el agente sigue un bucle de varios pasos. Primero, el agente genera un plan para que lo apruebes. A continuación, el agente realiza la acción (por ejemplo, escribir código). Por último, el agente verifica los resultados con ejecuciones de prueba o pruebas.
• El rendimiento del agente depende de los archivos abiertos en tu espacio de trabajo. Usa la sintaxis @file o abre los archivos SQLX pertinentes para proporcionarle al agente el contexto necesario para compilar tu lógica de orquestación.

Crea una canalización de orquestación

Para crear una canalización de orquestación en un espacio de trabajo vacío o agregar una canalización de orquestación adicional a un espacio de trabajo existente, haz lo siguiente:

1. Abre tu IDE con la extensión del Kit de Data Agent instalada.
2. Abre el panel Ask Agent.

3. Ingresa una instrucción en lenguaje natural para generar una canalización de orquestación. Por ejemplo:

    Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
    data into a single marketing table.
   

   Una vez que hayas ingresado una instrucción, haz clic en Enviar.

4. Revisa la estructura de la canalización generada y aplica los cambios.

Actualiza una programación de canalización

Para cambiar el nombre de la canalización de orquestación o actualizar el programa de ejecución (por ejemplo, de manual a diario), haz lo siguiente:

1. Abre tu IDE con la extensión del Kit de Data Agent instalada.
2. Navega a la configuración de la canalización de orquestación existente.
3. Abre el panel Ask Agent.

4. Ingresa una instrucción en lenguaje natural para actualizar la programación de la canalización. Por ejemplo:

   Update the execution schedule for this pipeline to run daily at 2 AM.
   

   El agente actualiza la configuración subyacente, por ejemplo, la configuración del DAG de Apache Airflow.

5. Revisa y guarda el programa actualizado de la canalización.

Cómo modificar las acciones de la canalización

Para agregar o borrar acciones individuales en tu canalización de orquestación, haz lo siguiente:

1. Abre tu IDE con la extensión del Kit de Data Agent instalada.
2. Identifica la acción de la canalización que deseas agregar o borrar.
3. Abre el panel Ask Agent.

4. Ingresa una instrucción en lenguaje natural para modificar las acciones de la canalización. Por ejemplo:

   Add a new action to the pipeline that runs the daily_sales_aggregation table
   task.
   

5. Revisa y guarda la definición de la canalización actualizada.

Solucionar problemas

Si encuentras algún error durante la generación de la canalización de organización, asegúrate de haber completado todos los requisitos previos necesarios para ejecutar el agente de Ingeniería de datos. Para obtener más información, consulta la página Antes de comenzar.

Para solucionar problemas relacionados con una ejecución fallida de la canalización de datos o la organización, haz lo siguiente:

1. Abre tu IDE con la extensión del Kit de Data Agent instalada.
2. En tu canalización o espacio de trabajo de desarrollo, haz clic en la pestaña Ejecuciones.
3. En la lista de ejecuciones, busca la ejecución fallida de la canalización de datos. Puedes identificar las ejecuciones fallidas en la columna Estado de la ejecución.
4. Coloca el cursor sobre el ícono de error y, luego, haz clic en Investigar. El agente de ingeniería de datos analiza los registros y, luego, identifica las causas raíz, como la desviación del esquema o las discrepancias en los tipos de datos.
5. En el panel Pregúntale al agente, revisa la corrección sugerida.
6. Para resolver el problema, ingresa una instrucción como Apply the suggested fix to the pipeline. Como alternativa, puedes actualizar manualmente el código de SQLX según el análisis del agente.

¿Qué sigue?

• Obtén más información para implementar canalizaciones de orquestación.
• Aprende a crear entornos de ejecución que ejecuten canalizaciones de orquestación.
• Obtén información para definir y ajustar manualmente la configuración de tu canalización y tu implementación.
• Obtén información para compilar y modificar canalizaciones de orquestación con comandos de Google Cloud CLI.
• Aprende a usar el agente de ingeniería de datos para compilar y modificar canalizaciones de datos en la consola de Google Cloud .