Programar ejecuciones de producción

Programar ejecuciones de producción

En esta guía de inicio rápido se explican los pasos que debes seguir para programar ejecuciones de producción en Dataform:

• Crea un repositorio de Dataform.
• Concede los roles necesarios.

• Crea una configuración de lanzamiento y una configuración de flujo de trabajo.

  Crea una configuración de lanzamiento production y define la frecuencia con la que se crean los resultados de compilación production. A continuación, crea una productionconfiguración de flujo de trabajo, selecciona la productionconfiguración de lanzamiento y programa una hora para ejecutar los productionresultados de la compilación.

• Consulta los resultados de compilaciones anteriores.

• Ver carreras anteriores.

• Limpiar los recursos creados.

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Además, selecciona o crea una cuenta de servicio personalizada para ejecutar flujos de trabajo en BigQuery.

Roles obligatorios

Para obtener los permisos que necesitas para realizar todas las tareas de este tutorial, pide a tu administrador que te asigne los siguientes roles de IAM:

• Administrador de Dataform (roles/dataform.admin) en repositorios
• Editor de Dataform (roles/dataform.editor) en espacios de trabajo e invocaciones de flujos de trabajo
• Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada
• Administrador de gestión de identidades y accesos de proyectos (roles/resourcemanager.projectIamAdmin) en el proyecto

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Conceder los roles necesarios

Para ejecutar flujos de trabajo en BigQuery, puedes usar una cuenta de servicio personalizada o tu cuenta de Google (vista previa). Sin embargo, las credenciales de la cuenta de servicio personalizada son la opción predeterminada para las ejecuciones programadas. No se recomienda usar las credenciales de la cuenta de usuario de Google para las ejecuciones programadas.

Para ejecutar flujos de trabajo en BigQuery, tu cuenta de servicio personalizada debe tener los siguientes roles obligatorios:

• Editor de datos de BigQuery (roles/bigquery.dataEditor) en los proyectos a los que Dataform necesita acceso de lectura y escritura, que normalmente incluye el proyecto que aloja tu repositorio de Dataform.
• Lector de datos de BigQuery (roles/bigquery.dataViewer) en los proyectos a los que Dataform necesita acceso de solo lectura.
• Usuario de tareas de BigQuery (roles/bigquery.jobUser) en el proyecto que aloja tu repositorio de Dataform.

Para permitir que Dataform use tu cuenta de servicio personalizada, el agente de servicio de Dataform predeterminado debe tener los siguientes roles en el recurso de la cuenta de servicio personalizada:

• Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator)
• Usuario de cuenta de servicio (roles/iam.serviceAccountUser)

Para conceder estos roles, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Gestión de identidades y accesos.

   Ir a IAM

2. Haz clic en Conceder acceso.

3. En el campo Nuevos principales, introduce el ID de tu cuenta de servicio personalizada.

4. En el menú Selecciona un rol, selecciona los siguientes roles uno por uno. Para añadir cada rol, haz clic en Añadir otro rol:

   • Editor de datos de BigQuery
   • Lector de datos de BigQuery
   • Usuario de tareas de BigQuery

5. Haz clic en Guardar.

6. En la Google Cloud consola, ve a la página Cuentas de servicio.

   Ir a Cuentas de servicio

7. Selecciona tu cuenta de servicio personalizada.

8. Ve a Principales con acceso y, a continuación, haz clic en Dar acceso.

9. En el campo Nuevos principales, introduce el ID de agente de servicio de Dataform predeterminado.

   El ID de agente de servicio de Dataform predeterminado tiene el siguiente formato:

   [e-mail]
   

10. En la lista Selecciona un rol, añade los siguientes roles:

    • Usuario de cuenta de servicio
    • Creador de tokens de cuenta de servicio

11. Haz clic en Guardar.

Crear un repositorio de Dataform

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en Crear repositorio.

3. En la página Crear repositorio, haz lo siguiente:

   1. En el campo Repository ID (ID de repositorio), introduce quickstart-production.

   2. En la lista Región, selecciona europe-west4.

   3. En el campo Cuenta de servicio, haz clic en Introducir manualmente y, a continuación, introduce el nombre de tu cuenta de servicio personalizada. Asegúrate de introducir tu cuenta de servicio personalizada en este campo.

   4. Haz clic en Crear.

4. Haz clic en Ir a repositorios.

Crear una configuración de lanzamiento y una configuración de flujo de trabajo

Para crear resultados de compilación de producción del repositorio quickstart-production y programar una ejecución de tablas production, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-production.

3. Haz clic en Versiones y programación y, a continuación, en Crear versión de producción.

4. En el panel Crear configuración de lanzamiento, configure los siguientes ajustes:

   1. En el campo Release ID (ID de lanzamiento), introduce production.
   2. En el campo Git commitish, deja el valor predeterminado main .
   3. En la sección Frecuencia de la programación, en el menú Se repite, selecciona Personalizada.
   4. En el campo Programación personalizada, introduce 0 16 * * *.

   5. En el menú Zona horaria, selecciona una zona horaria UTC+1, como Hora estándar de Europa central (CET).

      Todos los días a las 16:00 (UTC+1), Dataform compila el repositorio quickstart-production y aplica los ajustes de compilación configurados en esta configuración de lanzamiento para crear production resultados de compilación.

5. Haz clic en Crear.

   La configuración de lanzamiento production crea un resultado de compilación de todo el repositorio quickstart-production todos los días a las 16:00 (UTC+1).

6. Asegúrate de que estás en la pestaña Lanzamientos y programación. Ve a la sección Configuraciones de flujo de trabajo y haz clic en Crear.

7. En el panel Crear configuración de flujo de trabajo, configura los siguientes ajustes:

   1. En el campo ID de configuración, introduzca production.
   2. En el menú Configuración de la versión, selecciona production.
   3. En la sección Frecuencia de la programación, en el menú Se repite, selecciona Personalizada.
   4. En el campo Programación personalizada, introduce 0 17 * * *.

   5. En el menú Zona horaria, selecciona una zona horaria UTC+1, como Hora estándar de Europa central (CET).

      Todos los días a las 17:00 (UTC+1), Dataform ejecuta el último production resultado de compilación del repositorio quickstart-production.

      Importante: Para asegurarse de que Dataform ejecute el resultado de compilación más reciente en la configuración de lanzamiento correspondiente, deje un intervalo de al menos una hora entre la hora de creación del resultado de compilación y la hora de ejecución programada.

   6. Haz clic en Todas las acciones.

      Dataform ejecuta todas las acciones del flujo de trabajo en el production resultado de la compilación.

8. Haz clic en Crear.

   La configuración del flujo de trabajo production ejecuta el resultado de la compilación más reciente creada por la configuración de la versión de producción todos los días a las 17:00 (UTC+1).

Ver resultados de compilación anteriores de production

Para ver los resultados de compilación programada anteriores de production, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Selecciona el repositorio quickstart-production.

3. Haz clic en Lanzamientos y programación.

4. En la sección Configuraciones de lanzamiento, haz clic en production.

Ver las production ejecuciones de flujos de trabajo anteriores

Para ver las ejecuciones anteriores de un flujo de trabajo de production, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Selecciona el repositorio quickstart-production.

3. Haz clic en Registros de ejecución de flujo de trabajo.

4. Selecciona una ejecución de flujo de trabajo para ver información más detallada, incluido el estado de cada acción y los registros.

Limpieza

Para evitar que se apliquen cargos en tu cuenta de Google Cloud por los recursos utilizados en esta página, sigue estos pasos.

Eliminar el conjunto de datos creado en BigQuery

Para evitar que se te cobren los recursos de BigQuery, sigue estos pasos para eliminar el conjunto de datos llamado dataform_production:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y selecciona dataform_production.

3. Haz clic en el menú Acciones y, a continuación, selecciona Eliminar.

4. En el cuadro de diálogo Eliminar conjunto de datos, escribe eliminar y, a continuación, haz clic en Eliminar.

Eliminar la configuración de lanzamiento de Dataform

La creación de configuraciones de lanzamiento de Dataform no conlleva ningún coste. Sin embargo, si quieres eliminar la configuración de la versión production, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-production.

3. Haz clic en Lanzamientos y programación y ve a la sección Configuraciones de lanzamiento.

4. En la configuración de lanzamiento production, haz clic en el menú Más y, a continuación, en Eliminar.

5. En el cuadro de diálogo Eliminar configuración de lanzamiento, haz clic en Eliminar.

Eliminar la configuración del flujo de trabajo de Dataform

Para evitar que se te cobren los recursos de BigQuery, sigue estos pasos para eliminar la configuración del flujo de trabajo de Dataform production:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-production.

3. Haz clic en Lanzamientos y programación y ve a la sección Configuraciones de flujo de trabajo.

4. En la configuración del flujo de trabajo production, haz clic en el menú Más y, a continuación, en Eliminar.

5. En el cuadro de diálogo Eliminar configuración de lanzamiento, haz clic en Eliminar.

Eliminar el repositorio de Dataform

La creación de repositorios de Dataform no conlleva ningún coste. Sin embargo, si quieres eliminar un repositorio y todo su contenido, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Dataform.

   Ir a Dataform

2. En quickstart-production, haz clic en el menú Más y, a continuación, selecciona Eliminar.

3. En la ventana Eliminar repositorio, introduce el nombre del repositorio para confirmar la eliminación.

4. Para confirmar la acción, haz clic en Eliminar.

Siguientes pasos

• Para obtener más información sobre las cuentas de servicio, consulta el artículo Acerca de las cuentas de servicio personalizadas y los agentes de servicio de Dataform.
• Para obtener más información sobre el ciclo de vida del código en Dataform, consulta el artículo Introducción al ciclo de vida del código en Dataform.
• Para obtener más información sobre las prácticas recomendadas para el ciclo de vida de los flujos de trabajo en Dataform, consulte Prácticas recomendadas para el ciclo de vida de los flujos de trabajo.
• Para obtener más información sobre las configuraciones de lanzamiento en Dataform, consulta Crear una configuración de lanzamiento.
• Para obtener más información sobre las configuraciones de flujo de trabajo en Dataform, consulta Programar ejecuciones con configuraciones de flujo de trabajo.