Conecta un repositorio de Git y ejecuta un flujo de trabajo

En esta guía de inicio rápido, se te guiará por el proceso de crear un repositorio de Dataform, conectarlo a un repositorio de Git externo existente y ejecutar un flujo de trabajo. Realiza las siguientes tareas con la consola deGoogle Cloud y la API de Dataform:

  • Crear un repositorio de Dataform
  • Conecta el repositorio al repositorio de dataform-co/dataform-example-project-bigquery GitHub.
  • Crea e inicializa un espacio de trabajo de desarrollo.
  • Agrega una vista nueva al proyecto.
  • Compila el proyecto y ejecuta el flujo de trabajo en BigQuery.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Roles obligatorios

Si quieres obtener los permisos que necesitas para realizar todas las tareas de esta guía de inicio rápido, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Crea un repositorio de Dataform

Un repositorio es el contenedor principal de tu proyecto de Dataform. Selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en Crear repositorio.

  3. En la página Crear repositorio, haz lo siguiente:

    1. En el campo ID del repositorio, ingresa quickstart-repo.
    2. En la lista Región, selecciona una región, por ejemplo, europe-west4.
    3. En la lista Cuenta de servicio, selecciona una cuenta de servicio personalizada para el repositorio.
    4. Haz clic en Crear.
    5. Haz clic en Ir a repositorios.

Creaste correctamente un repositorio de Dataform. A continuación, puedes conectar el repositorio de Dataform a un repositorio de Git remoto.

API

Para crear un repositorio, usa el método projects.locations.repositories.create. Ejecuta la solicitud a la API con la siguiente información:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • Parámetro de consulta: repositoryId=REPOSITORY_ID

Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Reemplaza lo siguiente:

  • SERVICE_ACCOUNT_NAME: Es el ID de la cuenta de servicio personalizada que se creó para ejecutar trabajos de BigQuery.
  • PROJECT_ID: Es el identificador único del proyecto deGoogle Cloud en el que deseas crear el repositorio de Dataform.
  • LOCATION: La región de Google Cloud en la que deseas crear el repositorio, por ejemplo, europe-west4.
  • REPOSITORY_ID: Es el identificador único de tu nuevo repositorio de Dataform, por ejemplo, quickstart-repo.

Creaste correctamente un repositorio de Dataform. A continuación, puedes conectar el repositorio de Dataform a un repositorio de Git remoto.

Conéctate al repositorio de Git

Para conectar tu repositorio de Dataform a tu proyecto, selecciona una de las siguientes opciones:

Console

  1. Ve a la página de Secret Manager.

    Ir a Secret Manager

  2. Haz clic en Crear secreto.

  3. En el campo Nombre, ingresa dataform-git-token.

  4. En el campo Valor del secreto, ingresa tu token de acceso personal (PAT) de GitHub.

    Para obtener instrucciones sobre cómo crear un PAT, consulta Administra tus tokens de acceso personal.

    Te recomendamos que establezcas una fecha de vencimiento para tu token según las políticas de seguridad de tu organización.

  5. Haz clic en Crear secreto.

  6. En la página de detalles del secreto, haz clic en la pestaña Permisos y, luego, en Otorgar acceso.

  7. En el campo Principales nuevas, ingresa tu agente de servicio de Dataform: service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com.

    Reemplaza PROJECT_NUMBER por el número de proyecto deGoogle Cloud . Para obtener detalles sobre cómo encontrar el número de tu proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto.

  8. En el campo Selecciona un rol, selecciona Secret Manager > Secret Manager Secret Accessor.

  9. Haz clic en Guardar.

  10. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  11. Haz clic en quickstart-repo.

  12. En la página del repositorio, haz clic en Configuración > Conectar con Git.

  13. En el panel Vincular a un repositorio remoto, selecciona HTTPS.

  14. En el campo URL del repositorio de Git remoto, ingresa https://github.com/dataform-co/dataform-example-project-bigquery.git.

  15. En el campo Nombre de rama remota predeterminado, ingresa master.

  16. En el menú Secret, selecciona dataform-git-token.

  17. Haz clic en Vincular.

Conectaste correctamente tu repositorio de Dataform a un repositorio de Git remoto y otorgaste los permisos necesarios. A continuación, puedes crear e inicializar un espacio de trabajo de desarrollo.

API

  1. Para almacenar tu token de acceso personal de Git, crea un secreto en Secret Manager con el método projects.secrets.create. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets
    • Parámetro de consulta: secretId=dataform-git-token

    • Cuerpo:

      {
  "replication": {
    "automatic": {}
  }
}

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "replication": {
      "automatic": {}
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets?secretId=dataform-git-token"

  2. Agrega una versión al secreto que contiene tu token de acceso personal (PAT) de GitHub. Para obtener instrucciones sobre cómo crear un PAT, consulta Administra tus tokens de acceso personal. Te recomendamos que establezcas una fecha de vencimiento para tu token según las políticas de seguridad de tu organización.

    Para agregar una versión del secreto, usa el método projects.secrets.addVersion. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion

    • Cuerpo:

      {
  "payload": {
    "data": "GITHUB_PAT"
  }
}

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "payload": {
      "data": "$(echo -n "GITHUB_PAT" | base64)"
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion"

    Reemplaza GITHUB_PAT por tu token de acceso personal de GitHub. El comando curl convierte automáticamente tu PAT en una cadena codificada en Base64 antes de enviar la solicitud.

  3. Para permitir que Dataform acceda al secreto, otorga el rol de Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) al agente de servicio de Dataform. Para otorgar el rol, selecciona una de las siguientes opciones:

    gcloud

    Ejecuta el comando gcloud secrets add-iam-policy-binding:

    gcloud secrets add-iam-policy-binding dataform-git-token \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" \
    --role="roles/secretmanager.secretAccessor"

    Reemplaza PROJECT_NUMBER por el número de proyecto deGoogle Cloud . Para obtener detalles sobre cómo encontrar el número de tu proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto.

    API de Secret Manager

    Usa el método projects.secrets.setIamPolicy. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy

    • Cuerpo:

      {
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}' \
"https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy"

    Reemplaza PROJECT_NUMBER por el número de proyecto deGoogle Cloud . Para obtener detalles sobre cómo encontrar el número de tu proyecto, consulta Cómo encontrar el nombre, el número y el ID del proyecto.

  4. Para conectar tu repositorio a un repositorio de Git remoto, usa el método projects.locations.repositories.patch. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: PATCH https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID
    • Parámetro de consulta: updateMask=gitRemoteSettings

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "gitRemoteSettings": {
      "url": "https://github.com/dataform-co/dataform-example-project-bigquery.git",
      "defaultBranch": "master",
      "authenticationTokenSecretVersion": "projects/PROJECT_ID/secrets/dataform-git-token/versions/1"
    }
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID?updateMask=gitRemoteSettings"

Conectaste correctamente tu repositorio de Dataform a un repositorio de Git remoto y otorgaste los permisos necesarios. A continuación, puedes crear e inicializar un espacio de trabajo de desarrollo.

Crea e inicializa un espacio de trabajo de desarrollo

Un espacio de trabajo es un entorno de desarrollo aislado. Para crear e inicializar un espacio de trabajo, selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En tu repositorio, ve a la pestaña Development Workspaces.

  4. Haz clic en Crear lugar de trabajo de desarrollo.

  5. En el campo ID del lugar de trabajo, ingresa dev-workspace.

  6. Haz clic en Crear.

  7. En la pestaña Lugares de trabajo de desarrollo, selecciona el lugar de trabajo dev-workspace.

Creaste e inicializaste correctamente un espacio de trabajo de desarrollo. A continuación, puedes configurar los parámetros del flujo de trabajo.

API

Para crear un espacio de trabajo, usa el método projects.locations.repositories.workspaces.create. Ejecuta la solicitud a la API con la siguiente información:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
  • Parámetro de consulta: workspaceId=WORKSPACE_ID

Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

Reemplaza WORKSPACE_ID por el identificador único de tu nuevo espacio de trabajo de desarrollo de Dataform, por ejemplo, dev-workspace.

Creaste e inicializaste correctamente un espacio de trabajo de desarrollo. A continuación, puedes configurar los parámetros del flujo de trabajo.

Configura los parámetros del flujo de trabajo

En esta sección, actualizarás el ID del proyecto en el archivo workflow_settings.yaml para asegurarte de que Dataform ejecute el flujo de trabajo en tu proyectoGoogle Cloud . Para configurar los parámetros del flujo de trabajo, selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En tu repositorio, ve a la pestaña Development Workspaces y, luego, haz clic en dev-workspace.

  4. En el panel Archivos, selecciona workflow_settings.yaml.

  5. En el archivo, reemplaza el valor de defaultProject por el ID de tu proyecto.

    El archivo se guarda automáticamente.

Actualizaste correctamente la configuración del flujo de trabajo. A continuación, puedes agregar una nueva declaración de fuente a tu proyecto.

API

  1. Crea un archivo local llamado workflow_settings.yaml y pega la siguiente configuración en él:

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

    Reemplaza CORE_VERSION por la versión estable (no beta) más reciente de Dataform Core, por ejemplo, 3.0.43. Puedes encontrar la versión más reciente en Releases.

  2. En tu terminal, codifica el contenido del archivo en una cadena Base64:

    base64 -w 0 workflow_settings.yaml

  3. Copia la cadena de salida resultante para usarla en el marcador de posición SETTINGS_DEFINITION si decides usar el comando curl alternativo más adelante en estos pasos.

  4. Para actualizar la configuración de tu flujo de trabajo, usa el método projects.locations.repositories.workspaces.writeFile. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Reemplaza SETTINGS_DEFINITION por el contenido del archivo YAML como una cadena codificada en Base64.

Actualizaste correctamente la configuración del flujo de trabajo. A continuación, puedes agregar una nueva declaración de fuente a tu proyecto.

Crea una fuente

En esta sección, agregarás una nueva declaración de fuente SQLX a tu proyecto que defina un conjunto de datos existente de BigQuery para que Dataform pueda hacer referencia a él como una fuente de datos en tu flujo de trabajo. Para crear la nueva fuente, selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En tu repositorio, ve a la pestaña Development Workspaces y, luego, haz clic en dev-workspace.

  4. En el panel Archivos, selecciona la carpeta definitions.

  5. Haz clic en Más acciones de archivo > Crear archivo.

  6. En el campo Agregar una ruta de acceso al archivo, ingresa definitions/sources/tags.sqlx.

  7. Haz clic en Crear archivo.

  8. En el editor de SQL del nuevo archivo definitions/sources/tags.sqlx, pega el siguiente código:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

Creaste correctamente una declaración de fuente. A continuación, puedes agregar una vista nueva a tu proyecto.

API

  1. Crea un archivo local llamado tags.sqlx.

  2. Pega el siguiente código en el archivo tags.sqlx:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

  3. En tu terminal, codifica el contenido del archivo en una sola cadena continua:

    base64 -w 0 tags.sqlx

  4. Copia la cadena de salida resultante para usarla en el marcador de posición SOURCE_DEFINITION si decides usar el comando curl alternativo más adelante en estos pasos.

  5. Para crear un archivo de declaración de fuente en tu espacio de trabajo, usa el método projects.locations.repositories.workspaces.writeFile. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/sources/tags.sqlx",
    "contents": "SOURCE_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Reemplaza SOURCE_DEFINITION por el contenido del archivo .sqlx como una cadena codificada en Base64.

Creaste correctamente una declaración de fuente. A continuación, puedes agregar una vista nueva a tu proyecto.

Crea una vista

En esta sección, agregarás un nuevo archivo SQLX a tu proyecto que defina una vista. Para crear la vista nueva, selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En tu repositorio, ve a la pestaña Development Workspaces y, luego, haz clic en dev-workspace.

  4. En el panel Archivos, selecciona la carpeta definitions.

  5. Haz clic en Más acciones de archivo > Crear archivo.

  6. En el campo Agregar una ruta de acceso al archivo, ingresa definitions/top_question_tags.sqlx.

  7. Haz clic en Crear archivo.

  8. En el editor de SQL del nuevo archivo definitions/top_question_tags.sqlx, pega el siguiente código:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

Creaste una vista correctamente. A continuación, puedes compilar tu proyecto.

API

  1. Crea un archivo local llamado top_question_tags.sqlx.

  2. Pega el siguiente código en el archivo top_question_tags.sqlx:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

  3. En tu terminal, codifica el contenido del archivo en una sola cadena continua:

    base64 -w 0 top_question_tags.sqlx

  4. Copia la cadena de salida resultante para usarla en el marcador de posición VIEW_DEFINITION si decides usar el comando curl alternativo más adelante en estos pasos.

  5. Para crear un archivo de definición de vista en tu espacio de trabajo, usa el método projects.locations.repositories.workspaces.writeFile. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/top_question_tags.sqlx",
    "contents": "VIEW_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Reemplaza VIEW_DEFINITION por el contenido del archivo .sqlx como una cadena codificada en Base64.

Creaste una vista correctamente. A continuación, puedes compilar tu proyecto.

Compila el proyecto

La compilación convierte los archivos SQLX en un gráfico de ejecución de SQL puro. Para compilar el proyecto, selecciona una de las siguientes opciones:

Console

La consola de Google Cloud compila tu proyecto automáticamente. Puedes verificar la compilación en la pestaña Gráfico compilado de tu espacio de trabajo.

Compilaste correctamente tu proyecto y verificaste el gráfico de ejecución. A continuación, puedes ejecutar tu flujo de trabajo en BigQuery.

API

  1. Para crear un resultado de compilación basado en tu espacio de trabajo, usa el método projects.locations.repositories.compilationResults.create. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

  2. Para verificar que tu proyecto se compiló correctamente, usa el método projects.locations.repositories.compilationResults.get. Ejecuta la solicitud a la API con la siguiente información:

    • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID

    Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"

    Reemplaza COMPILATION_ID por el identificador único del resultado de la compilación. Este ID se proporciona en la respuesta de la solicitud de compilación del paso anterior.

  3. En la respuesta, verifica el campo compilationErrors. Si la lista está vacía, tu proyecto se compiló correctamente.

Compilaste correctamente tu proyecto y verificaste el gráfico de ejecución. A continuación, puedes ejecutar tu flujo de trabajo en BigQuery.

Ejecuta el flujo de trabajo

Para activar la ejecución de tu flujo de trabajo en BigQuery, selecciona una de las siguientes opciones:

Console

  1. Ve a la página Dataform de BigQuery.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En tu repositorio, ve a la pestaña Development Workspaces y, luego, haz clic en dev-workspace.

  4. En la barra de herramientas, haz clic en Iniciar ejecución > Ejecutar acciones.

  5. Selecciona Todas las acciones.

  6. Haz clic en Iniciar ejecución.

Ejecutaste correctamente tu flujo de trabajo.

API

Para activar una invocación de flujo de trabajo, usa el método projects.locations.repositories.workflowInvocations.create. Ejecuta la solicitud a la API con la siguiente información:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

Como alternativa, en tu terminal, ejecuta el siguiente comando curl:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

Ejecutaste correctamente tu flujo de trabajo.

Realiza una limpieza

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Borra los conjuntos de datos de BigQuery

Para evitar que se generen cargos por los recursos de BigQuery, borra los conjuntos de datos creados por este flujo de trabajo, como los conjuntos de datos llamados reporting y staging.

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel Explorador, expande tu proyecto y selecciona un conjunto de datos.

  3. Haz clic en el menú Acciones y, luego, selecciona Borrar.

  4. En el cuadro de diálogo Borrar conjunto de datos, ingresa delete en el campo y, luego, haz clic en Borrar.

Borra el secreto de Secret Manager

Para limpiar tus recursos de seguridad, borra el secreto que se usó para la conexión de Git.

  1. En la consola de Google Cloud , ve a la página Secret Manager.

    Ir a Secret Manager

  2. Selecciona el secreto dataform-git-token.

  3. Haz clic en Borrar.

  4. En el diálogo de confirmación, ingresa el nombre del secreto para confirmar y, luego, haz clic en Borrar.

Borra el lugar de trabajo de desarrollo de Dataform

La creación de un espacio de trabajo de desarrollo de Dataform no genera costos, pero, para borrarlo, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. Haz clic en quickstart-repo.

  3. En la pestaña Lugares de trabajo de desarrollo, haz clic en el menú Más de dev-workspace y, luego, selecciona Borrar.

  4. Para confirmar la acción, haz clic en Borrar.

Borra el repositorio de Dataform

La creación de repositorios de Dataform no genera costos, pero para borrar el repositorio, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a Dataform

  2. En quickstart-repo, haz clic en el menú Más y, luego, selecciona Borrar.

  3. En la ventana Borrar repositorio, ingresa el nombre del repositorio para confirmar su eliminación.

  4. Para confirmar la acción, haz clic en Borrar.

¿Qué sigue?