Usa el agente de ingeniería de datos en Visual Studio Code

El agente de ingeniería de datos dentro de la extensión de Google Cloud Data Agent Kit puede ayudarte a crear y compilar canalizaciones de organización en tu entorno de desarrollo integrado (IDE). Al aprovechar Gemini para Google Cloud, el agente de ingeniería de datos proporciona una interfaz de lenguaje natural para automatizar la generación, modificación y administración de flujos de trabajo de organización complejos.

La extensión de Data Agent Kit es compatible con VS Code.

El agente de ingeniería de datos admite las siguientes tareas comunes de ingeniería de datos:

  • Crea canalizaciones de organización: Genera una canalización nueva en un espacio de trabajo vacío o agrega canalizaciones adicionales a proyectos existentes.
  • Modifica la estructura de la canalización: Usa lenguaje natural para agregar, quitar o actualizar acciones individuales dentro de una canalización de organización.
  • Administra metadatos de ejecución: Cambia los nombres de las canalizaciones y actualiza los programas de ejecución, por ejemplo, de ejecuciones manuales a diarias.
  • Soluciona problemas de ejecuciones de canalizaciones: Identifica de forma proactiva la causa raíz de las ejecuciones de canalizaciones fallidas y aplica las correcciones sugeridas por el agente.

Antes de comenzar

Antes de usar el agente de ingeniería de datos en tu IDE, realiza los pasos de esta sección.

  1. Instala la extensión de Data Agent Kit para Visual Studio Code. El agente de ingeniería de datos se incluye en la extensión de Data Agent Kit.

  2. Habilita la API de Gemini Data Analytics y la API de Dataform.

    Habilitar las API

  3. Instala la versión 563.0.0 o posterior del SDK de Google Cloud.

  4. Instala los comandos gcloud beta.

  5. Configura un entorno en Managed Service para Apache Airflow. Usa la configuración predeterminada del entorno de Managed Service para Apache Airflow. Luego, en la configuración del programador de la extensión de Data Agent Kit, ingresa el nombre de tu entorno de Managed Service para Apache Airflow, el ID del Google Cloud proyecto en el que se aloja el entorno y la región en la que se encuentra el entorno.

Roles obligatorios

Si deseas obtener los permisos que necesitas para interactuar con el agente de ingeniería de datos y sus servicios subyacentes, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Prácticas recomendadas

  • Comprende que el agente sigue un bucle de varios pasos. Primero, el agente genera un plan para tu aprobación. Luego, el agente realiza el acto (por ejemplo, escribir código). Por último, el agente verifica los resultados con ejecuciones de prueba o pruebas.
  • El rendimiento del agente depende de los archivos abiertos en tu espacio de trabajo. Usa la sintaxis @file o abre los archivos SQLX pertinentes para darle al agente el contexto necesario para compilar tu lógica de organización.

Crea una canalización de organización

Para crear una canalización de organización en un espacio de trabajo vacío o agregar una canalización de organización adicional a un espacio de trabajo existente, haz lo siguiente:

  1. Abre tu IDE con la extensión de Data Agent Kit instalada.
  2. Abre el panel Ask Agent.

  3. Ingresa una instrucción en lenguaje natural para generar una canalización de organización. Por ejemplo:

     Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
 data into a single marketing table.

    Una vez que hayas ingresado una instrucción, haz clic en Enviar.

  4. Revisa la estructura de canalización generada y aplica los cambios.

Actualiza un programa de canalización

Para cambiar el nombre de la canalización de organización o actualizar el programa de ejecución (por ejemplo, de manual a diario), haz lo siguiente:

  1. Abre tu IDE con la extensión de Data Agent Kit instalada.
  2. Navega a la configuración de la canalización de organización existente.
  3. Abre el panel Ask Agent.

  4. Ingresa una instrucción en lenguaje natural para actualizar el programa de la canalización. Por ejemplo:

    Update the execution schedule for this pipeline to run daily at 2 AM.

    El agente actualiza la configuración subyacente, por ejemplo, la configuración de DAG de Apache Airflow.

  5. Revisa y guarda el programa de canalización actualizado.

Modifica las acciones de la canalización

Para agregar o borrar acciones individuales en tu canalización de organización, haz lo siguiente:

  1. Abre tu IDE con la extensión de Data Agent Kit instalada.
  2. Identifica la acción de canalización que deseas agregar o borrar.
  3. Abre el panel Ask Agent.

  4. Ingresa una instrucción en lenguaje natural para modificar las acciones de la canalización. Por ejemplo:

    Add a new action to the pipeline that runs the daily_sales_aggregation table
task.

  5. Revisa y guarda la definición de canalización actualizada.

Solucionar problemas

Si encuentras algún error durante la generación de la canalización de organización, asegúrate de haber completado todos los requisitos previos necesarios para ejecutar el agente de ingeniería de datos. Para obtener más información, consulta la página Antes de comenzar.

Para solucionar problemas de una ejecución fallida de organización o canalización de datos, haz lo siguiente:

  1. Abre tu IDE con la extensión de Data Agent Kit instalada.
  2. En tu canalización o espacio de trabajo de desarrollo, haz clic en la pestaña Ejecuciones.
  3. En la lista de ejecuciones, busca la ejecución fallida de la canalización de datos. Puedes identificar las ejecuciones fallidas en la columna Estado de la ejecución.
  4. Coloca el cursor sobre el ícono de falla y, luego, haz clic en Investigar. El agente de ingeniería de datos analiza los registros y, luego, identifica las causas raíz, como la desviación de esquema o las discrepancias de tipo de datos.
  5. En el panel Ask Agent, revisa la corrección sugerida.
  6. Para resolver el problema, ingresa una instrucción como Apply the suggested fix to the pipeline. Como alternativa, puedes actualizar de forma manual el código SQLX según el análisis del agente.

¿Qué sigue?