Présentation des pipelines BigQuery

Vous pouvez utiliser des pipelines BigQuery pour automatiser et simplifier vos processus de données BigQuery. Avec les pipelines, vous pouvez planifier et exécuter des composants de code de manière séquentielle pour améliorer l'efficacité et réduire les efforts manuels.

Présentation

Les pipelines sont alimentés par Dataform.

Un pipeline comprend un ou plusieurs des composants de code suivants :

Vous pouvez utiliser des pipelines pour planifier l'exécution de composants de code. Par exemple, vous pouvez planifier l'exécution quotidienne d'une requête SQL et mettre à jour une table avec les données sources les plus récentes, qui peuvent ensuite alimenter un tableau de bord.

Dans un pipeline comportant plusieurs composants de code, vous définissez la séquence d'exécution. Par exemple, pour entraîner un modèle de machine learning, vous pouvez créer un workflow dans lequel une requête SQL prépare les données, puis un notebook ultérieur entraîne le modèle à l'aide de ces données.

Capacités

Dans un pipeline, vous pouvez effectuer les opérations suivantes :

Limites

Les pipelines sont soumis aux limites suivantes :

  • Les pipelines ne sont disponibles que dans la Google Cloud console.
  • Vous ne pouvez pas modifier la région de stockage d'un pipeline après sa création.
  • Vous pouvez accorder aux utilisateurs ou aux groupes l'accès à un pipeline sélectionné, mais vous ne pouvez pas leur accorder l'accès à des tâches individuelles au sein du pipeline.
  • Si une exécution planifiée d'un pipeline ne se termine pas avant le début de l'exécution planifiée suivante, cette dernière est ignorée et marquée comme une erreur.

Définir la région par défaut des composants de code

Tous les nouveaux composants de code de votre Google Cloud projet utilisent une région par défaut. Une fois le composant créé, vous ne pouvez plus modifier sa région.

Pour définir la région par défaut des nouveaux composants de code, procédez comme suit :

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Fichiers pour ouvrir l'explorateur de fichiers :

    Cliquez sur **Fichiers** pour ouvrir l'explorateur de fichiers.

  3. À côté du nom du projet, cliquez sur Afficher les actions du panneau de fichiers > Changer de région de code.

  4. Sélectionnez la région de code que vous souhaitez utiliser par défaut.

  5. Cliquez sur Enregistrer.

Pour obtenir la liste des régions compatibles, consultez la page Emplacements de BigQuery Studio.

Tous les composants de code sont stockés dans votre région par défaut pour les composants de code. La mise à jour de la région par défaut modifie la région pour tous les composants de code créés par la suite.

Quotas et limites

Les pipelines BigQuery sont soumis aux quotas et limites de Dataform.

Tarifs

L'exécution des tâches de pipeline BigQuery entraîne des frais de calcul et de stockage dans BigQuery. Pour en savoir plus, consultez la page relative aux tarifs de BigQuery .

Les pipelines contenant des notebooks entraînent des frais d'exécution Colab Enterprise en fonction du type de machine par défaut. Pour en savoir plus sur les tarifs, consultez la page Tarifs de Colab Enterprise.

Chaque exécution de pipeline BigQuery est enregistrée à l'aide de Cloud Logging. La journalisation est automatiquement activée pour les exécutions de pipeline BigQuery, ce qui peut entraîner des frais de facturation Cloud Logging. Pour en savoir plus, consultez la section sur les tarifs de Cloud Logging .

Étape suivante