Créer des workflows d'intégration de données à l'aide de la page "Pipelines et connexions"

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour envoyer des commentaires, poser des questions ou demander à désactiver cette fonctionnalité en preview, contactez [e-mail].

Vous pouvez gérer et simplifier les tâches d'intégration de données directement dans la consoleGoogle Cloud en utilisant la page Pipelines et connexions de BigQuery. Cette page fournit des workflows de configuration guidés et spécifiques à BigQuery pour des services tels que le service de transfert de données BigQuery, Datastream et Pub/Sub.

Vous pouvez utiliser la page Pipelines et connexions pour effectuer les tâches suivantes :

• Charger les données. Trouvez et chargez des données à partir de sources de données compatibles grâce à une expérience guidée.
• Planifiez des tâches de données. Planifiez l'exécution automatique de vos processus de données, y compris les requêtes, les notebooks, les préparations de données et les pipelines planifiés.
• Transformer les données. Créez des pipelines et des préparations de données qui effectuent des opérations telles que le nettoyage, la structuration et la préparation de vos données pour l'analyse et la création de rapports.
• Créez des connexions à des sources de données. Connectez-vous à des sources de données externes, des environnements d'exécution de calcul et des services d'IA pour accéder aux données et exécuter des tâches à distance.

Une fois la page Pipelines et connexions configurée, elle vous permet de gérer et de surveiller vos composants d'intégration de données de manière centralisée en affichant leur état et en fournissant des métriques opérationnelles.

Activer ou désactiver

Pendant la version Preview, vous pouvez choisir d'utiliser ou non la page Pipelines et connexions.

Activer

Pour activer la page Pipelines et connexions :

1. Accédez à la console Google Cloud .

   Accéder à la console

2. Dans la barre d'outils de la console Google Cloud , cliquez sur Menu de navigation.

3. Cliquez sur Solutions > Tous les produits.

4. Dans la section Analyse, cliquez sur BigQuery.

   La page Studio BigQuery s'ouvre.

5. Pour contrôler le menu de navigation BigQuery, procédez comme suit :

   • Pour développer le menu de navigation, pointez sur l'icône , puis cliquez sur left_panel_open Activer/Désactiver le menu de navigation BigQuery.

   • Pour réduire le menu de navigation, cliquez sur left_panel_close Activer/Désactiver le menu de navigation BigQuery.

6. Dans le menu de navigation, cliquez sur l'une des options suivantes :

   • Transferts de données
   • Requêtes programmées
   • Planification

7. Accédez à la bannière unifiée des pipelines et des connexions.

   

8. Cliquez sur Activer.

   Une fois que vous avez activé cette fonctionnalité, les pages existantes Transferts de données, Programmation et Requêtes programmées sont remplacées par la page Pipelines et connexions.

   Remarque : Aucune modification n'a été apportée à la page Dataform.

Désactiver

Pour désactiver la page unifiée Pipelines et connexions, procédez comme suit :

1. Sur la page Pipelines et connexions, cliquez sur Désactiver dans la bannière unifiée des pipelines et des connexions.

2. Une boîte de dialogue de commentaires s'ouvre. Indiquez pourquoi vous désactivez la fonctionnalité (par exemple, en raison de l'absence de certaines fonctionnalités ou de bugs).

3. Cliquez sur Envoyer, puis sur Fermer.

   Une fois le formulaire envoyé, votre menu de navigation revient aux pages distinctes Transferts de données, Programmation et Requêtes programmées.

Créer un composant d'intégration de données

Pour créer des composants tels que des requêtes planifiées, des transferts de données et des connexions externes, procédez comme suit :

1. Accédez à la page Pipelines et connexions.

   Accéder à Pipelines et connexions

2. Cliquez sur Créer.

3. Pour l'asset que vous souhaitez créer, cliquez sur l'option correspondante dans la fiche :

   1. Pour ajouter des données à partir de l'une des sources de données compatibles à l'aide d'un workflow guidé, cliquez sur Ajouter des données dans la fiche Charger des données.

   2. Pour programmer une requête, un notebook, une préparation de données ou un pipeline, cliquez sur Programmer dans la fiche Programmer des tâches de données, puis sélectionnez l'option appropriée.

   3. Pour créer un pipeline de transformation ou une préparation des données, cliquez sur Créer dans la fiche Transformer les données, puis sélectionnez l'option appropriée.

   4. Pour créer une connexion à une source de données externe, cliquez sur Créer une connexion dans la fiche Connexions externes.

Surveiller vos composants

Une fois vos composants créés, vous pouvez les afficher et les surveiller. Les métriques opérationnelles disponibles sur la page Pipelines et connexions incluent les historiques d'exécution du service de transfert de données BigQuery, le débit et la latence des abonnements Pub/Sub, ainsi que la fraîcheur des données et le nombre d'événements pour les pipelines Datastream. Vous pouvez également trouver des informations de dépannage, comme les journaux des exécutions du service de transfert de données BigQuery et l'état des objets Datastream.

1. Accédez à la page Pipelines et connexions.

   Accéder à Pipelines et connexions

2. Pour afficher des informations sur vos connexions, cliquez sur l'onglet Connexions.

3. Pour surveiller vos pipelines, cliquez sur l'onglet Pipelines. Vous pouvez utiliser cette page pour afficher des informations telles que l'état, le type et l'historique d'exécution du pipeline.

4. Pour afficher les détails d'un pipeline, cliquez sur le lien dans la colonne Nom à afficher.

Étapes suivantes

• Découvrez comment créer un pipeline Dataform dans BigQuery.
• Découvrez comment planifier un pipeline.
• Découvrez comment planifier une requête.
• En savoir plus sur les transferts du service de transfert de données BigQuery