Ejecutar varias tareas de BigQuery en paralelo

BigQuery aloja varios conjuntos de datos públicos que están disponibles para que el público en general los consulte. En este tutorial, crearás un flujo de trabajo que ejecuta varias tareas de consulta de BigQuery en paralelo, lo que demuestra una mejora del rendimiento en comparación con la ejecución de las tareas de forma secuencial, una después de otra.

Objetivos

En este tutorial, aprenderás a hacer lo siguiente:

1. Ejecuta una consulta en un conjunto de datos público de Wikipedia para determinar los títulos más vistos en un mes concreto.
2. Despliega y ejecuta un flujo de trabajo que ejecute varias tareas de consulta de BigQuery de forma secuencial, una después de otra.
3. Despliega y ejecuta un flujo de trabajo que ejecute las tareas de BigQuery mediante la iteración paralela, donde los bucles for normales se ejecuten en paralelo.

Puedes ejecutar los siguientes comandos en la Google Cloud consola o con la CLI de Google Cloud en tu terminal o en Cloud Shell.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

• BigQuery
• Workflows

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos pueden disfrutar de una prueba gratuita. Google Cloud

Antes de empezar

Es posible que las restricciones de seguridad definidas por tu organización te impidan completar los pasos que se indican a continuación. Para obtener información sobre cómo solucionar problemas, consulta el artículo Desarrollar aplicaciones en un entorno limitado Google Cloud .

Consola

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

gcloud

Sign in to your Google Account.

If you don't already have one, sign up for a new account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: roles/bigquery.jobUser, roles/logging.logWriter.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflows API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: roles/bigquery.jobUser, roles/logging.logWriter.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

Install the Google Cloud CLI.

Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

Ejecutar una tarea de consulta de BigQuery

En BigQuery, puedes ejecutar una tarea de consulta interactiva (bajo demanda). Para obtener más información, consulta Ejecutar tareas de consulta interactivas y por lotes.

Consola

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. Introduce la siguiente consulta de SQL de BigQuery en el área de texto Editor de consultas:

   SELECT TITLE, SUM(views)
   FROM `bigquery-samples.wikipedia_pageviews.201207h`
   GROUP BY TITLE
   ORDER BY SUM(views) DESC
   LIMIT 100
   

3. Haz clic en Ejecutar.

bq

En el terminal, introduce el siguiente comando bq query para ejecutar una consulta interactiva con la sintaxis de SQL estándar:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Ejecuta una consulta que devuelve los 100 títulos de Wikipedia con más vistas en un mes concreto y escribe el resultado en una tabla temporal.

Anota cuánto tiempo tarda en ejecutarse la consulta.

Desplegar un flujo de trabajo que ejecute varias consultas de forma secuencial

Una definición de flujo de trabajo se compone de una serie de pasos descritos mediante la sintaxis de Workflows. Después de crear un flujo de trabajo, debes implementarlo para que esté disponible para su ejecución. El paso de implementación también valida que el archivo de origen se puede ejecutar.

El siguiente flujo de trabajo define una lista de cinco tablas en las que se va a ejecutar una consulta mediante el conector de BigQuery de Workflows. Las consultas se ejecutan de forma secuencial, una después de otra, y los títulos más vistos de cada tabla se guardan en un mapa de resultados.

Consola

1. En la Google Cloud consola, ve a la página Flujos de trabajo:

   Ir a Workflows

2. Haz clic en Crear.

3. Escribe un nombre para el nuevo flujo de trabajo, como workflow-serial-bqjobs.

4. Elige una región adecuada, como us-central1.

5. Selecciona la cuenta de servicio que has creado anteriormente.

   Ya deberías haber asignado los roles de gestión de identidades y accesos BigQuery > Usuario de tareas de BigQuery y Logging > Escritor de registros a la cuenta de servicio.

6. Haz clic en Siguiente.

7. En el editor del flujo de trabajo, introduce la siguiente definición para tu flujo de trabajo:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Haz clic en Desplegar.

gcloud

1. Abre un terminal y crea un archivo de código fuente para tu flujo de trabajo:

   touch workflow-serial-bqjobs.yaml

2. Copia el siguiente flujo de trabajo en tu archivo de código fuente:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Para desplegar el flujo de trabajo, introduce el siguiente comando:

   gcloud workflows deploy workflow-serial-bqjobs \
      --source=workflow-serial-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

   Sustituye MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com por el correo de la cuenta de servicio que has creado anteriormente.

   Ya deberías haber concedido los roles de gestión de identidades y accesos roles/bigquery.jobUser y roles/logging.logWriter a la cuenta de servicio.

Ejecutar el flujo de trabajo y realizar varias consultas de forma secuencial

Al ejecutar un flujo de trabajo, se ejecuta la definición del flujo de trabajo actual asociada al flujo de trabajo.

Consola

1. En la Google Cloud consola, ve a la página Flujos de trabajo:

   Ir a Workflows

2. En la página Flujos de trabajo, selecciona el flujo de trabajo workflow-serial-bqjobs para ir a su página de detalles.

3. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

4. Vuelve a hacer clic en Ejecutar.

5. Consulta los resultados del flujo de trabajo en el panel Salida.

gcloud

1. Abre la terminal.

2. Ejecuta el flujo de trabajo:

    gcloud workflows run workflow-serial-bqjob

La ejecución del flujo de trabajo debería durar aproximadamente un minuto o cinco veces el tiempo de ejecución anterior. El resultado incluirá cada tabla y tendrá un aspecto similar al siguiente:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Desplegar y ejecutar un flujo de trabajo que ejecute varias consultas en paralelo

En lugar de ejecutar cinco consultas de forma secuencial, puedes ejecutarlas en paralelo haciendo algunos cambios:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

• Un paso parallel permite que cada iteración del bucle for se ejecute en paralelo.

• La variable results se declara como shared, lo que permite que una rama pueda escribir en ella y que se le pueda añadir el resultado de cada rama.

Consola

1. En la Google Cloud consola, ve a la página Flujos de trabajo:

   Ir a Workflows

2. Haz clic en Crear.

3. Escribe un nombre para el nuevo flujo de trabajo, como workflow-parallel-bqjobs.

4. Elige una región adecuada, como us-central1.

5. Selecciona la cuenta de servicio que has creado anteriormente.

6. Haz clic en Siguiente.

7. En el editor del flujo de trabajo, introduce la siguiente definición para tu flujo de trabajo:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Haz clic en Desplegar.

9. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

10. Vuelve a hacer clic en Ejecutar.

11. Consulta los resultados del flujo de trabajo en el panel Salida.

gcloud

1. Abre un terminal y crea un archivo de código fuente para tu flujo de trabajo:

   touch workflow-parallel-bqjobs.yaml

2. Copia el siguiente flujo de trabajo en tu archivo de código fuente:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Para desplegar el flujo de trabajo, introduce el siguiente comando:

   gcloud workflows deploy workflow-parallell-bqjobs \
      --source=workflow-parallel-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

   Sustituye MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com por el correo de la cuenta de servicio que has creado anteriormente.

4. Ejecuta el flujo de trabajo:

    gcloud workflows run workflow-parallel-bqjobs

El resultado será similar al de la salida anterior, pero la ejecución del flujo de trabajo debería tardar unos 20 segundos o menos.

Limpieza

Si has creado un proyecto para este tutorial, elimínalo. Si has usado un proyecto y quieres conservarlo sin los cambios que has añadido en este tutorial, elimina los recursos creados para el tutorial.

Eliminar el proyecto

La forma más fácil de evitar que te cobren es eliminar el proyecto que has creado para el tutorial.

Para ello, sigue las instrucciones que aparecen a continuación:

Precaución: Eliminar un proyecto tiene los siguientes efectos:

• Se elimina todo el contenido del proyecto. Si has usado un proyecto que ya existía para las tareas de este documento, cuando lo elimines, también se eliminará cualquier otro trabajo que hayas realizado en él.
• Se pierden los IDs de proyecto personalizados. Cuando creaste este proyecto, es posible que hayas creado un ID de proyecto personalizado que quieras usar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, elimina los recursos seleccionados dentro del proyecto en lugar de eliminar todo el proyecto.

Si tienes previsto consultar varias arquitecturas, tutoriales o guías de inicio rápido, reutilizar los proyectos puede ayudarte a no superar los límites de cuota de proyectos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminar recursos del tutorial

Elimina los flujos de trabajo creados en este tutorial:

gcloud workflows delete WORKFLOW_NAME

Siguientes pasos

• Para obtener más información sobre los pasos paralelos, consulta Ejecutar pasos paralelos.
• Para obtener más información sobre los conectores de Workflows, consulta Información sobre los conectores.
• Para obtener más información sobre Workflows, consulta la introducción a Workflows.