Créer des workflows d'intégration de données à l'aide de la page "Pipelines et connexions"
La page Pipelines et connexions de BigQuery dans la console simplifie vos tâches d'intégration de données en fournissant des workflows de configuration guidés et spécifiques à BigQuery pour des services tels que le service de transfert de données BigQuery, Datastream et Pub/Sub.
Vous pouvez utiliser la page Pipelines et connexions pour effectuer les tâches suivantes :
- Charger les données. Trouvez et chargez des données à partir de sources de données compatibles grâce à une expérience guidée.
- Planifier des tâches de données Planifiez l'exécution automatique de vos processus de données, y compris les requêtes, les notebooks, les préparations de données et les pipelines planifiés.
- Transformation des données : Créez des pipelines et des préparations de données qui effectuent des opérations telles que le nettoyage, la structuration et la préparation de vos données pour l'analyse et la création de rapports.
- Créer des connexions à des sources de données Connectez-vous à des sources de données externes, des environnements d'exécution de calcul et des services d'IA pour accéder aux données et exécuter des tâches à distance.
Une fois vos tâches créées, la page Pipelines et connexions vous permet de gérer et de surveiller vos composants depuis un seul et même endroit. Vous pouvez consulter l'état de vos composants dans la vue Liste. Vous pouvez également utiliser les pages de surveillance détaillées pour afficher les métriques opérationnelles de chaque composant configuré, comme les requêtes planifiées, les pipelines, les transferts, les connexions, les flux et les abonnements.
Les métriques opérationnelles incluent les historiques d'exécution du service de transfert de données BigQuery, le débit et la latence des abonnements Pub/Sub, ainsi que la fraîcheur des données et le nombre d'événements pour les pipelines Datastream.
Les pages de surveillance incluent également des informations de dépannage, telles que les journaux des exécutions du service de transfert de données BigQuery et l'état des objets Datastream.
Activer ou désactiver
Pendant la version Preview, vous pouvez choisir d'utiliser ou non la page Pipelines et connexions.
Activer
Pour activer la page Pipelines et connexions, procédez comme suit :
Accédez à la console Google Cloud .
Dans la barre d'outils de la console Google Cloud , cliquez sur Menu de navigation.
Cliquez sur Solutions > Tous les produits.
Dans la section Analyse, cliquez sur BigQuery.
La page Studio BigQuery s'ouvre.
Pour développer le menu de navigation, cliquez sur Activer/Désactiver le menu de navigation BigQuery.
Dans le menu de navigation, cliquez sur l'une des options suivantes :
- Transferts de données
- Requêtes programmées
- Planification
Accédez à la bannière des pipelines et des connexions unifiés.
Cliquez sur Activer.
Une fois que vous avez activé cette fonctionnalité, les pages existantes Transferts de données, Programmation et Requêtes programmées sont remplacées par la page Pipelines et connexions.
Désactiver
Pour désactiver l'utilisation de la page unifiée Pipelines et connexions, procédez comme suit :
Sur la page Pipelines et connexions, cliquez sur Désactiver dans la bannière unifiée des pipelines et des connexions.
Une boîte de dialogue de commentaires s'ouvre. Indiquez pourquoi vous désactivez la fonctionnalité (par exemple, en raison de bugs ou de fonctionnalités manquantes).
Cliquez sur Envoyer, puis sur Fermer.
Une fois le formulaire envoyé, votre menu de navigation revient aux pages distinctes Transferts de données, Programmation et Requêtes programmées.
Créer un composant d'intégration de données
Pour créer des composants tels que des requêtes planifiées, des transferts de données et des connexions externes, procédez comme suit :
Accédez à la page Pipelines et connexions.
Cliquez sur Créer.
Pour l'asset que vous souhaitez créer, cliquez sur l'option correspondante dans la fiche :
Pour ajouter des données à partir de l'une des sources de données compatibles à l'aide d'un workflow guidé, cliquez sur Ajouter des données dans la fiche Charger des données.
Pour planifier une requête, un notebook, une préparation de données ou un pipeline, cliquez sur Planifier dans la fiche Planifier des tâches de données, puis sélectionnez l'option appropriée.
Pour créer un pipeline de transformation ou une préparation des données, cliquez sur Créer dans la fiche Transformer les données, puis choisissez l'option appropriée.
Pour créer une connexion à une source de données externe, cliquez sur Créer une connexion dans la fiche Connexions externes.
Surveiller vos composants
Une fois vos composants créés, vous pouvez les afficher et les surveiller.
Accédez à la page Pipelines et connexions.
Pour afficher des informations sur vos connexions, cliquez sur l'onglet Connexions.
Pour surveiller vos pipelines, cliquez sur l'onglet Pipelines. Vous pouvez utiliser cette page pour afficher des détails tels que l'état, le type et l'historique d'exécution du pipeline.
Pour afficher les détails d'un pipeline, cliquez sur le lien dans la colonne Nom à afficher.
Étapes suivantes
- Découvrez comment créer un pipeline Dataform dans BigQuery.
- Découvrez comment planifier un pipeline.
- Découvrez comment planifier une requête.
- En savoir plus sur les transferts du service de transfert de données BigQuery