Crear entornos de desarrollo

Crear entornos de desarrollo

En esta guía de inicio rápido, se explican los pasos para crear entornos de desarrollo individuales en Dataform, de modo que cada desarrollador pueda trabajar en su propio entorno de desarrollo:

• Crea un repositorio de Dataform.
• Otorga los roles necesarios.

• Configura anulaciones de compilación de espacios de trabajo.

  Configura anulaciones de compilación que Dataform aplica a todos los espacios de trabajo de tu repositorio, lo que convierte los espacios de trabajo en entornos de desarrollo aislados.

• Limpia los recursos creados.

Antes de comenzar

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Además, si deseas usar una cuenta de servicio personalizada para ejecutar flujos de trabajo en BigQuery, selecciona o crea una cuenta de servicio personalizada.

Roles obligatorios

Si quieres obtener los permisos que necesitas para realizar todas las tareas de esta guía de inicio rápido, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Administrador de Dataform (roles/dataform.admin) en el repositorio
• Usuario de la cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada
• Administrador de IAM de proyecto (roles/resourcemanager.projectIamAdmin) en el proyecto

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Otorga roles necesarios

Para ejecutar flujos de trabajo en BigQuery, puedes usar una cuenta de servicio personalizada o tu Cuenta de Google.

Tu cuenta de servicio personalizada debe tener los siguientes roles obligatorios:

• Editor de datos de BigQuery (roles/bigquery.dataEditor) en proyectos o conjuntos de datos específicos de BigQuery a los que Dataform necesita acceso de lectura y escritura. Por lo general, esto incluye el proyecto que aloja tu repositorio de Dataform.
• Visualizador de datos de BigQuery (roles/bigquery.dataViewer) en proyectos o conjuntos de datos específicos de BigQuery a los que Dataform necesita acceso de solo lectura
• Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto que aloja tu repositorio de Dataform.

Para permitir que Dataform use tu cuenta de servicio personalizada, el agente de servicio predeterminado de Dataform debe tener los siguientes roles en el recurso de la cuenta de servicio personalizada:

• Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator)
• Usuario de cuenta de servicio (roles/iam.serviceAccountUser)

Para otorgar estos roles, sigue estos pasos:

1. En la consola de Google Cloud , dirígete a la página IAM.

   Ir a IAM

2. Haz clic en Otorgar acceso.

3. En el campo Principales nuevas, ingresa el ID de tu cuenta de servicio personalizada.

4. En el menú Seleccionar un rol, selecciona los siguientes roles uno por uno con la opción Agregar otro rol para cada rol adicional:

   • Editor de datos de BigQuery
   • Lector de datos de BigQuery
   • Usuario de trabajo de BigQuery

5. Haz clic en Guardar.

6. En la consola de Google Cloud , ve a la página Cuentas de servicio.

   Ir a Cuentas de servicio

7. Selecciona tu cuenta de servicio personalizada.

8. Ve a Principales con acceso y, luego, haz clic en Otorgar acceso.

9. En el campo Principales nuevas, ingresa el ID de tu agente de servicio predeterminado de Dataform.

   Tu ID del agente de servicio de Dataform predeterminado tiene el siguiente formato:

   [e-mail]
   

   Reemplaza PROJECT_NUMBER por el ID numérico de tu proyecto deGoogle Cloud . Puedes encontrar el ID de tu proyecto Google Cloud en elGoogle Cloud panel de la consola. Para obtener más información, consulta Identifica proyectos.

10. En la lista Seleccionar un rol, agrega los siguientes roles:

    • Service Account User
    • Creador de tokens de cuenta de servicio

11. Haz clic en Guardar.

Para obtener más información sobre cómo otorgar roles, consulta Otorga a Dataform el acceso requerido.

Crea un repositorio de Dataform

1. En la consola de Google Cloud , ve a la página Dataform.

   Ir a Dataform

2. Haz clic en Crear repositorio.

3. En la página Crear repositorio, haz lo siguiente:

   1. En el campo ID del repositorio, ingresa quickstart-dev.

   2. En la lista Región, selecciona europe-west4.

   3. En la lista Cuenta de servicio, selecciona una cuenta de servicio personalizada para el repositorio.

      Nota: Si no ves tu cuenta de servicio en la lista, es posible que no tengas el permiso iam.serviceAccounts.list a nivel del proyecto. Para seleccionar la cuenta de servicio, haz clic en Ingresar manualmente y, luego, ingresa el ID de la cuenta de servicio.

   4. En la sección Verificaciones de permisos de actAs, aplica las verificaciones de permisos en las acciones del usuario en el repositorio.

   5. Haz clic en Crear.

4. Haz clic en Ir a repositorios.

Configura anulaciones de compilación de espacios de trabajo

Para crear entornos de desarrollo aislados con anulaciones de compilación de lugares de trabajo de Dataform, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Dataform.

   Ir a Dataform

2. Haz clic en quickstart-dev.

3. Haz clic en Configuración y, luego, en Editar.

4. En el panel Anulaciones de compilación de lugares de trabajo, en el campo Sufijo de esquema, ingresa ${workspaceName}.

   Cuando activas una ejecución en un lugar de trabajo, Dataform agrega el nombre del lugar de trabajo como sufijo al esquema predeterminado establecido en la configuración del flujo de trabajo. En esta guía de inicio rápido, se usa la configuración predeterminada de Dataform con el esquema predeterminado dataform.

5. Haz clic en Guardar.

Dataform aplica anulaciones de compilación de lugares de trabajo a todos los lugares de trabajo en tu repositorio.

Con esta configuración, cuando ejecutas manualmente un flujo de trabajo en un espacio de trabajo, Dataform lo ejecuta con anulaciones de compilación de espacios de trabajo. Como resultado, Dataform ejecuta el flujo de trabajo en el esquema dataform_workspaceName en BigQuery, lo que convierte el lugar de trabajo en un entorno de desarrollo aislado.

Por ejemplo, cuando activas de forma manual una ejecución en un lugar de trabajo sasha, Dataform ejecuta tu flujo de trabajo en el esquema dataform_sasha en BigQuery.

Para ejecutar flujos de trabajo sin anulaciones de compilación de espacios de trabajo, pero conservar las anulaciones de compilación de espacios de trabajo para entornos de desarrollo, puedes crear parámetros de configuración de lanzamiento para configurar otros entornos de ejecución, por ejemplo, staging y production.

Realiza una limpieza

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Borra los conjuntos de datos creados en BigQuery

Para evitar que se apliquen cargos por los recursos de BigQuery, borra los conjuntos de datos que tengan nombres que comiencen en dataform, por ejemplo, dataform-sasha.

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, expande tu proyecto y selecciona un conjunto de datos.

3. Haz clic en el menú Acciones y, luego, selecciona Borrar.

4. En el cuadro de diálogo Borrar conjunto de datos, ingresa delete en el campo y, luego, haz clic en Borrar.

Borra el repositorio de Dataform

Crear repositorios de Dataform no genera costos. Sin embargo, si deseas borrar un repositorio y todo su contenido, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Dataform.

   Ir a Dataform

2. Para las quickstart-dev, haz clic en el menú Más y, luego, selecciona Borrar.

   1. En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.

3. Para confirmar la acción, haz clic en Borrar.

¿Qué sigue?

• Para obtener más información sobre las cuentas de servicio, consulta Acerca de las cuentas de servicio personalizadas y los agentes de servicio de Dataform.
• Para obtener más información sobre el ciclo de vida del código en Dataform, consulta Introducción al ciclo de vida del código en Dataform.
• Para obtener más información sobre las prácticas recomendadas para el ciclo de vida del flujo de trabajo en Dataform, consulta Prácticas recomendadas para el ciclo de vida del flujo de trabajo.
• Para obtener más información sobre las anulaciones de compilación del espacio de trabajo en Dataform, consulta Cómo crear anulaciones de compilación del espacio de trabajo.
• Para obtener información sobre cómo programar ejecuciones de producción en Dataform, consulta Programa ejecuciones de producción.