Créer des workflows d'intégration de données à l'aide de la page "Pipelines et connexions"

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour envoyer des commentaires, poser des questions ou demander à désactiver cette fonctionnalité en version preview, contactez [e-mail].

Vous pouvez gérer et simplifier les tâches d'intégration de données directement dans la Google Cloud console à l'aide de la page BigQuery Pipelines et connexions. Cette page fournit des workflows de configuration guidés et spécifiques à BigQuery pour des services tels que le service de transfert de données BigQuery, Datastream et Pub/Sub.

Vous pouvez utiliser la page Pipelines et connexions pour effectuer les tâches suivantes :

• Charger des données. Recherchez et chargez des données à partir de sources de données compatibles grâce à une expérience guidée.
• Planifier des tâches de données. Planifiez l'exécution automatique de vos processus de données, y compris les requêtes, les notebooks, les préparations de données et les pipelines planifiés.
• Transformer des données. Créez des pipelines et des préparations de données qui effectuent des opérations telles que le nettoyage, la structuration et la préparation de vos données pour l'analyse et la création de rapports.
• Créer des connexions à des sources de données. Connectez-vous à des sources de données externes, des environnements d'exécution de calcul et des services d'IA pour accéder aux données et exécuter des tâches à distance.

Une fois la page Pipelines et connexions configurée, elle offre un emplacement centralisé pour gérer et surveiller vos ressources d'intégration de données en affichant leur état et en fournissant des métriques opérationnelles.

Activer ou désactiver

Pendant la version preview, vous pouvez activer ou désactiver l'utilisation de la page Pipelines et connexions.

Activer

Pour activer l'utilisation de la page Pipelines et connexions, procédez comme suit :

1. Accédez à la Google Cloud console.

   Accéder à la console

2. Dans la Google Cloud barre d'outils de la console, cliquez sur le Menu de navigation.

3. Cliquez sur Solutions > Tous les produits.

4. Dans la section Analyse, cliquez sur BigQuery.

   La page Studio BigQuery s'ouvre.

5. Pour développer le menu de navigation, cliquez sur Activer/désactiver le menu de navigation BigQuery.

   

6. Dans le menu de navigation, cliquez sur l'une des options suivantes :

   • Transferts de données
   • Requêtes programmées
   • Planification

7. Accédez à la bannière unifiée des pipelines et des connexions.

   

8. Cliquez sur Activer.

   Une fois l'activation effectuée, les pages existantes Transferts de données, Planification et Requêtes programmées sont remplacées par la page Pipelines et connexions.

   Remarque : La page Dataform ne change pas.

Désactiver

Pour désactiver l'utilisation de la page unifiée Pipelines et connexions, procédez comme suit :

1. Sur la page Pipelines et connexions, cliquez sur Désactiver dans la bannière unifiée des pipelines et des connexions.

2. Une boîte de dialogue de commentaires s'ouvre. Indiquez pourquoi vous désactivez cette fonctionnalité, par exemple en raison de fonctionnalités manquantes ou de bugs.

3. Cliquez sur Envoyer, puis sur Fermer.

   Une fois le formulaire envoyé, votre menu de navigation revient à l'utilisation de pages distinctes pour Transferts de données, Planification et Requêtes programmées.

Créer un élément d'intégration de données

Pour créer des éléments tels que des requêtes programmées, des transferts de données et des connexions externes, procédez comme suit :

1. Accédez à la page Pipelines et connexions.

   Accéder à Pipelines et connexions

2. Cliquez sur Créer.

3. Pour l'élément que vous souhaitez créer, cliquez sur l'option de la fiche :

   1. Pour ajouter des données à partir de l'une des sources de données compatibles à l'aide d'un workflow guidé, cliquez sur Ajouter des données dans la fiche Charger des données.

   2. Pour planifier une requête, un notebook, une préparation de données ou un pipeline, dans la fiche Planifier des tâches de données, cliquez sur Planifier, puis choisissez l' option appropriée.

   3. Pour créer un pipeline de transformation ou une préparation de données, dans la fiche Transformer des données, cliquez sur Créer, puis choisissez l' option appropriée.

   4. Pour créer une connexion à une source de données externe, cliquez sur Créer une connexion dans la fiche Connexions externes.

Surveiller vos éléments

Une fois vos éléments créés, vous pouvez les afficher et les surveiller. Les métriques opérationnelles disponibles sur la page Pipelines et connexions incluent les historiques d'exécution du service de transfert de données BigQuery, le débit et la latence des abonnements Pub/Sub, ainsi que la fraîcheur des données et le nombre d'événements pour les pipelines Datastream. Vous pouvez également trouver des informations de dépannage, telles que les journaux des exécutions du service de transfert de données BigQuery et l'état des objets Datastream.

1. Accédez à la page Pipelines et connexions.

   Accéder à Pipelines et connexions

2. Pour afficher des informations sur vos connexions, cliquez sur l'onglet Connexions.

3. Pour surveiller vos pipelines, cliquez sur l'onglet Pipelines. Vous pouvez utiliser cette page pour afficher des informations telles que l'état, le type et l'historique d'exécution du pipeline.

4. Pour afficher les détails d'un pipeline, cliquez sur le lien dans la colonne Nom à afficher.

Étape suivante

• Découvrez comment créer un pipeline Dataform dans BigQuery.
• Découvrez comment planifier un pipeline.
• Découvrez comment planifier une requête.
• Découvrez les transferts du service de transfert de données BigQuery.