Présentation des pipelines BigQuery

Vous pouvez utiliser des pipelines BigQuery pour automatiser et simplifier vos processus de données BigQuery. Les pipelines vous permettent de planifier et d'exécuter des composants de code de manière séquentielle pour améliorer l'efficacité et réduire les efforts manuels.

Présentation

Les pipelines sont alimentés par Dataform.

Un pipeline se compose d'un ou de plusieurs des composants de code suivants :

Vous pouvez utiliser des pipelines pour planifier l'exécution des composants de code. Par exemple, vous pouvez programmer l'exécution d'une requête SQL tous les jours et mettre à jour une table avec les données sources les plus récentes, qui peuvent ensuite alimenter un tableau de bord.

Dans un pipeline comportant plusieurs composants de code, vous définissez la séquence d'exécution. Par exemple, pour entraîner un modèle de machine learning, vous pouvez créer un workflow dans lequel une requête SQL prépare les données, puis un notebook ultérieur entraîne le modèle à l'aide de ces données.

Capacités

Dans un pipeline, vous pouvez effectuer les opérations suivantes :

Limites

Les pipelines sont soumis aux limites suivantes :

  • Les pipelines ne sont disponibles que dans la console Google Cloud .
  • Vous ne pouvez pas modifier la région de stockage d'un pipeline après sa création.
  • Vous pouvez accorder l'accès à un pipeline sélectionné à des utilisateurs ou à des groupes, mais vous ne pouvez pas leur accorder l'accès à des tâches individuelles au sein du pipeline.
  • Si une exécution planifiée de pipeline ne se termine pas avant le début de la prochaine exécution planifiée, celle-ci est ignorée et marquée comme comportant une erreur.

Définir la région par défaut des composants de code

Tous les nouveaux composants de code de votre projet Google Cloud utilisent une région par défaut. Une fois le composant créé, vous ne pouvez plus modifier sa région.

Pour définir la région par défaut des nouveaux composants de code :

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Fichiers pour ouvrir l'explorateur de fichiers :

    Cliquez sur **Fichiers** pour ouvrir l'explorateur de fichiers.

  3. À côté du nom du projet, cliquez sur Afficher les actions du panneau de fichiers > Changer de région de code.

  4. Sélectionnez la région de code que vous souhaitez utiliser par défaut.

  5. Cliquez sur Enregistrer.

Pour obtenir la liste des régions compatibles, consultez Emplacements BigQuery Studio.

Régions où le service est disponible

Tous les composants de code sont stockés dans votre région par défaut pour les composants de code. La mise à jour de la région par défaut modifie la région pour tous les composants de code créés par la suite.

Le tableau suivant regroupe les régions où les pipelines sont disponibles :

Description de la région Nom de la région Détails
Afrique
Johannesburg africa-south1
Amériques
Columbus us-east5
Dallas us-south1 Icône Feuille Faibles émissions de CO2
Iowa us-central1 Icône Feuille Faibles émissions de CO2
Los Angeles us-west2
Las Vegas us-west4
Montréal northamerica-northeast1 Icône Feuille Faibles émissions de CO2
Virginie du Virginie us-east4
Oregon us-west1 Icône Feuille Faibles émissions de CO2
São Paulo southamerica-east1 Icône Feuille Faibles émissions de CO2
Caroline du Sud us-east1
Asie-Pacifique
Hong Kong asia-east2
Jakarta asia-southeast2
Mumbai asia-south1
Séoul asia-northeast3
Singapour asia-southeast1
Sydney australia-southeast1
Taïwan asia-east1
Tokyo asia-northeast1
Europe
Belgique europe-west1 Icône Feuille Faibles émissions de CO2
Francfort europe-west3
Londres europe-west2 icône feuille Faibles émissions de CO2
Madrid europe-southwest1 Icône Feuille Faibles émissions de CO2
Pays-Bas europe-west4 Icône Feuille Faibles émissions de CO2
Turin europe-west12
Zurich europe-west6 Icône Feuille Faibles émissions de CO2
Moyen-Orient
Doha me-central1
Dammam me-central2

Quotas et limites

Les pipelines BigQuery sont soumis aux quotas et limites Dataform.

Tarifs

L'exécution des tâches de pipeline BigQuery entraîne des frais de calcul et de stockage dans BigQuery. Pour en savoir plus, consultez la page relative aux tarifs de BigQuery.

Les pipelines contenant des notebooks entraînent des frais d'exécution Colab Enterprise en fonction du type de machine par défaut. Pour en savoir plus sur les tarifs, consultez Tarifs de Colab Enterprise.

Chaque exécution de pipeline BigQuery est journalisée à l'aide de Cloud Logging. La journalisation est automatiquement activée pour les exécutions de pipelines BigQuery, ce qui peut entraîner des frais de facturation Cloud Logging. Pour en savoir plus, consultez la section sur les tarifs de Cloud Logging.

Étapes suivantes