Programa preparaciones de datos

En este documento, se describe cómo programar y ejecutar manualmente trabajos de preparación de datos en BigQuery para automatizar tus flujos de trabajo de transformación de datos. Si bien la programación garantiza que tus datos se mantengan actualizados y precisos sin requerir intervención manual, también puedes realizar ejecuciones manuales de tus preparaciones de datos para probar y validar las transformaciones antes de la implementación. Las preparaciones de datos funcionan con Dataform.

Puedes programar preparaciones de datos con credenciales de usuario para una Cuenta de Google o con una cuenta de servicio personalizada.

Antes de comenzar

Antes de comenzar, crea una preparación de datos.

Requisitos de los Controles del servicio de VPC

Si usas los Controles del servicio de VPC para proteger tus preparaciones de datos, debes tener en cuenta que las ejecuciones programadas funcionan con Dataform. Cuando configures los Controles del servicio de VPC para las ejecuciones programadas, asegúrate de que se cumplan los siguientes requisitos:

• Debes configurar el servicio de políticas de la organización dataform.restrictGitRemotes.
• Dataform y BigQuery deben estar restringidos por el mismo perímetro de servicio de los Controles del servicio de VPC.
• Para permitir que los usuarios se autentiquen con las credenciales de usuario de su Cuenta de Google cuando programen o activen ejecuciones de forma manual, debes agregar sus identidades de usuario a tus reglas de entrada. Para obtener más información, consulta Actualiza las políticas de entrada y salida de un perímetro de servicio y Referencia de reglas de entrada.

Para obtener pasos de configuración detallados y consideraciones de seguridad, consulta Configura los Controles del servicio de VPC para Dataform.

Roles obligatorios

Para autorizar una preparación de datos con una cuenta de servicio cuando se ejecuta de forma manual en el desarrollo o se programa, debes otorgar roles a la cuenta de servicio que planeas usar para ejecutar las ejecuciones de preparación de datos. Para obtener más información, consulta Otorga acceso a la cuenta de servicio de Dataform.

Para programar preparaciones de datos, haz lo siguiente:

• Pídele a tu administrador que te otorgue el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada.
• Otorga el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser) y el rol Creador de tokens de cuentas de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio predeterminado de Dataform en la cuenta de servicio personalizada.

Para mejorar la seguridad de la programación, consulta Implementa permisos de programación mejorados.

Desarrolla una preparación de datos

A medida que desarrollas una preparación de datos, puedes ejecutar los pasos de forma manual y examinar el resultado antes de implementar los cambios en la producción. Puedes probar la versión actual que estás desarrollando en tus datos, mientras que BigQuery continúa ejecutando la versión implementada más reciente, según una programación. Antes de poder realizar la ejecución, debes configurar el destino, y corregir los errores de validación.

Ejecuta manualmente una preparación de datos en el desarrollo

Para probar los pasos de preparación de datos y validar los resultados en tu tabla de destino, ejecuta la preparación de datos de forma manual desde el editor de preparación de datos:

1. En la Google Cloud consola de, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos que deseas ejecutar.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Más > Configurar la experiencia de ejecutar ahora.

6. En la sección Autenticación, autoriza la preparación de datos con tus credenciales de usuario de la Cuenta de Google o una cuenta de servicio.

   • Para usar tus credenciales de usuario de la Cuenta de Google (vista previa), selecciona Ejecutar con mis credenciales de usuario. Esta es la opción predeterminada.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio. Si la cuenta de servicio necesita permisos adicionales, otórgale los roles necesarios haciendo clic en Otorgar todo.
   Nota: Si tu preparación de datos usa Google Drive como fuente de datos, debes seleccionar Ejecutar con la cuenta de servicio seleccionada. Las credenciales del usuario final no son compatibles con esta operación. También debes compartir el archivo de Google Drive con la cuenta de servicio.

7. Haz clic en Guardar.

8. Corrige los errores de validación que aparezcan.

9. En la barra de herramientas del editor de preparación de datos, haz clic en Ejecutar.

10. En el diálogo Ejecutar ahora, haz clic en Confirmar para reconocer que esta ejecución manual escribe datos en una tabla de destino, que también podrías usar para ejecuciones programadas.

    Si seleccionaste Ejecutar con mis credenciales de usuario para tu método de autenticación, debes autorizar tu Cuenta de Google (vista previa).

    Luego, la ejecución ejecuta tus pasos y carga el resultado en el destino.

11. Opcional: Una vez que se complete la ejecución, puedes ver los detalles sobre la ejecución en el panel Ejecuciones.

Implementa una preparación de datos

Para programar ejecuciones para una versión de tu preparación de datos, primero debes guardar e implementar los cambios. Las programaciones siempre ejecutan la versión implementada más reciente y omiten los cambios no implementados.

Para implementar una preparación de datos, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos elegida.

   Se abrirá el editor de preparación de datos.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Implementar.

Crea una programación

Sugerencia: También puedes usar la página Canalizaciones y conexiones para programar una preparación de datos con un flujo de trabajo optimizado y específico de BigQuery. Esta función está en versión preliminar.

Para crear una programación que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, primero debes programar una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino, y corregir los errores de validación.

Para crear una programación de preparación de datos, sigue estos pasos:

Panel Explorador

1. En la Google Cloud consola de, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos que deseas programar.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Programar.

6. Ingresa un nombre para la programación.

7. En la sección Autenticación, autoriza la preparación de datos con tus credenciales de usuario de la Cuenta de Google o una cuenta de servicio.

   • Para usar tus credenciales de usuario de la Cuenta de Google (vista previa), selecciona Ejecutar con mis credenciales de usuario.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.
   Nota: Si tu preparación de datos usa Google Drive como fuente de datos, debes seleccionar Ejecutar con la cuenta de servicio seleccionada. Las credenciales del usuario final no son compatibles con esta operación. También debes compartir el archivo de Google Drive con la cuenta de servicio.

8. Programa una frecuencia.

9. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario para tu método de autenticación, debes autorizar tu Cuenta de Google (vista previa).

Página Programación

1. En la Google Cloud consola de, ve a la página Programación.

   Ir a Programación

2. Haz clic en Crear y, luego, selecciona Programación de preparación de datos en el menú.

3. En el panel Programar preparación de datos, en el campo Preparación de datos , selecciona la preparación de datos que deseas programar.

4. En el campo Nombre de la programación, ingresa un nombre para la programación.

5. En la sección Autenticación, autoriza la preparación de datos con tus credenciales de usuario de la Cuenta de Google o una cuenta de servicio.

   • Para usar tus credenciales de usuario de la Cuenta de Google (vista previa), selecciona Ejecutar con mis credenciales de usuario.
   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.
   Nota: Si tu preparación de datos usa Google Drive como fuente de datos, debes seleccionar Ejecutar con la cuenta de servicio seleccionada. Las credenciales del usuario final no son compatibles con esta operación. También debes compartir el archivo de Google Drive con la cuenta de servicio.

6. En la sección Frecuencia de programación, haz lo siguiente:

   1. En el menú Se repite, selecciona la frecuencia de las ejecuciones de preparación de datos.
   2. En el campo A la hora, ingresa la hora de las ejecuciones de preparación de datos programadas.
   3. En el menú Zona horaria, selecciona la zona horaria de la programación.

7. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario para tu método de autenticación, debes autorizar tu Cuenta de Google (vista previa).

Autoriza tu Cuenta de Google

Vista previa

Este producto o esta función se encuentra sujeto a las "Condiciones de la oferta de la fase previa a la DG" en la sección Condiciones del servicio generales de las Condiciones específicas del servicio. Los productos y las funciones de la fase previa a la DG están disponibles “tal como están” y pueden estar sujetos a asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para solicitar asistencia o enviar comentarios sobre esta función, comunícate con [e-mail].

Para autenticar el recurso con tus credenciales de usuario de la Cuenta de Google, debes otorgar permiso de forma manual para que las canalizaciones de BigQuery obtengan el token de acceso de tu Cuenta de Google y accedan a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz de diálogo de OAuth.

Nota: Las políticas de acceso adaptado al contexto (CAA), incluidas las políticas basadas en IP, en la ubicación geográfica, y en el cumplimiento del dispositivo, no son compatibles cuando se ejecutan o programan canalizaciones de BigQuery con credenciales de usuario para una Cuenta de Google, ya que las solicitudes de tokens provienen de la infraestructura de Google. Las políticas de CAA bloquean estas ejecuciones, a menos que el ID de cliente de OAuth de Dataform esté exento de las políticas.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

1. Ve a la página de la Cuenta de Google.
2. Haz clic en Canalizaciones de BigQuery.
3. Haz clic en Quitar acceso.

Advertencia: Si revocas los permisos de acceso, se evitarán todas las ejecuciones futuras de canalizaciones que posea esta Cuenta de Google en todas las regiones.

Cambiar el propietario de la programación de preparación de datos mediante la actualización de las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó una programación.

Ejecuta manualmente una preparación de datos programada

Cuando ejecutas manualmente una preparación de datos en una programación seleccionada, BigQuery ejecuta la preparación de datos una vez, independientemente de la programación.

Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la programación de preparación de datos seleccionada.

3. En la página Detalles de la programación, haz clic en Ejecutar.

Ver agendas

Puedes ver las programaciones de preparación de datos desde el editor de preparación de datos o la página Programación.

Editor de preparación de datos

Para ver la programación de una preparación de datos, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en schedule Ver programación.
2. Opcional: Para ver el historial de la programación, haz clic en Ver ejecuciones anteriores.

Página Programación

Para ver todas las programaciones de preparación de datos en tu proyecto, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página Programación.

   Ir a Programación

2. Opcional: Para ver el historial de ejecuciones y los detalles de una programación seleccionada, haz clic en el nombre de la programación. No se muestra el historial de ejecuciones manuales.

Edita una planificación

Puedes editar una programación desde el editor de preparación de datos o la página Programación.

Editor de preparación de datos

Para editar una programación, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en schedule Ver programación.
2. En el diálogo Programar preparación de datos , haz clic en Editar y, luego, actualiza la programación.
3. Haz clic en Actualizar programación.

Página Programación

Para editar una programación, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la programación de preparación de datos seleccionada.

3. En la página Detalles de la programación, haz clic en Editar.

4. Haz clic en Ver programación.

5. En el diálogo Programar preparación de datos , haz clic en Editar y, luego, actualiza la programación.

6. Haz clic en Actualizar programación.

Borra un programa

Para borrar de forma permanente una programación para una preparación de datos seleccionada, sigue estos pasos:

1. En la Google Cloud consola de, ve a la página Programación.

   Ir a Programación

2. En la fila que contiene la programación, haz clic en more_vert Acciones > Borrar.

¿Qué sigue?

• Obtén información para crear preparaciones de datos.
• Obtén más información para administrar las preparaciones de datos.