Créer un pipeline de données

Créer un pipeline de données

Ce guide de démarrage rapide vous montre comment :

1. Créer une instance Cloud Data Fusion.
2. Déployer un exemple de pipeline fourni avec votre instance Cloud Data Fusion. Le pipeline effectue les opérations suivantes :
   1. Lit un fichier JSON dans Cloud Storage contenant les données du best-seller du NYT
   2. Exécute les transformations sur le fichier pour analyser et nettoyer les données
   3. Importe les livres les mieux classés ajoutés la semaine dernière et coûtant moins de 25 $ dans BigQuery

Avant de commencer

Effectuez les étapes suivantes avant de créer un pipeline de données.

Configurer votre projet

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Data Fusion API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Rôles requis

Pour obtenir les autorisations nécessaires pour créer une instance Cloud Data Fusion et gérer des pipelines, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur Cloud Data Fusion (roles/datafusion.admin) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour vous assurer que le compte de service Compute Engine par défaut dispose des autorisations nécessaires pour exécuter la tâche Dataproc, demandez à votre administrateur d'attribuer les rôles IAM suivants au compte de service Compute Engine par défaut sur votre projet :

Important : Vous devez attribuer ces rôles au compte de service Compute Engine par défaut, et non à votre compte utilisateur. Si vous ne les accordez pas au bon compte principal, vous risquez de rencontrer des erreurs d'autorisation.

• Nœud de calcul Dataproc (roles/dataproc.worker)
• Exécuteur Cloud Data Fusion (roles/datafusion.runner)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Votre administrateur peut également attribuer au compte de service Compute Engine par défaut les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une instance Cloud Data Fusion

1. Cliquez sur Create an instance (Créer une instance).

   Accéder à la page "Instances"

2. Saisissez un Nom d'instance.
3. Saisissez une Description pour votre instance.
4. Saisissez la Région dans laquelle créer l'instance.
5. Choisissez la Version de Cloud Data Fusion à utiliser.
6. Choisissez l'Édition Cloud Data Fusion.
7. Pour Cloud Data Fusion en version 6.2.3 ou ultérieure, dans le champ Autorisation, choisissez le compte de service Dataproc à utiliser pour exécuter votre pipeline Cloud Data Fusion dans Dataproc. Le compte Compute Engine, qui est la valeur par défaut, est présélectionné.
8. Cliquez sur Create (Créer). Le processus de création de l'instance peut prendre jusqu'à 30 minutes. Pendant que Cloud Data Fusion crée votre instance, une icône de progression en forme de roue s'affiche à côté du nom de l'instance sur la page Instances. Une fois l'opération terminée, une coche verte indiquant que vous pouvez commencer à utiliser l'instance s'affiche à la place de la roue.

Parcourir l'interface Web de Cloud Data Fusion

Lorsque vous utilisez Cloud Data Fusion, vous utilisez à la fois la Google Cloud console et l'interface Web distincte Cloud Data Fusion.

• Dans la Google Cloud console, vous pouvez effectuer les opérations suivantes :

  • Créer un projet de Google Cloud console
  • Créer et supprimer des instances Cloud Data Fusion
  • Afficher les détails de l'instance Cloud Data Fusion

• Dans l'interface Web de Cloud Data Fusion, vous pouvez utiliser différentes pages, telles que Studio ou Wrangler, pour utiliser les fonctionnalités de Cloud Data Fusion.

Pour parcourir l'interface Cloud Data Fusion, procédez comme suit :

1. Dans la Google Cloud console, ouvrez la page Instances.

   Accéder à la page "Instances"

2. Dans la colonne Actions de l'instance, cliquez sur le lien Afficher l'instance.
3. Dans l'interface Web de Cloud Data Fusion, utilisez le panneau de navigation de gauche pour accéder à la page dont vous avez besoin.

Déployer un exemple de pipeline

Des exemples de pipelines sont disponibles via le Cloud Data Fusion Hub, qui vous permet de partager des pipelines, des plug-ins, et des solutions Cloud Data Fusion réutilisables.

1. Dans l'interface Web de Cloud Data Fusion, cliquez sur Hub.
2. Dans le panneau de gauche, cliquez sur Pipelines.
3. Cliquez sur le pipeline Guide de démarrage rapide de Cloud Data Fusion.
4. Cliquez sur Create (Créer).
5. Dans le panneau de configuration de démarrage rapide de Cloud Data Fusion, cliquez sur Terminer.

6. Cliquez sur Personnaliser le pipeline.

   Une représentation visuelle de votre pipeline s'affiche sur la page Studio. Il s'agit d'une interface graphique permettant de développer des pipelines d'intégration de données. Les plug-ins de pipeline disponibles sont répertoriés sur la gauche, et votre pipeline est affiché dans la zone principale du canevas. Vous pouvez explorer votre pipeline en maintenant le pointeur sur chaque nœud de pipeline et en cliquant sur Propriétés. Le menu des propriétés de chaque nœud vous permet d'afficher les objets et les opérations associés au nœud.

7. Dans le menu situé en haut à droite, cliquez sur Déployer. Le pipeline est alors envoyé à Cloud Data Fusion. Vous allez exécuter le pipeline dans la section suivante de ce guide de démarrage rapide.

Consulter votre pipeline

Le pipeline déployé apparaît dans l'affichage des détails du pipeline, où vous pouvez effectuer les opérations suivantes :

• Afficher la structure et la configuration du pipeline
• Exécuter le pipeline manuellement, ou configurer un calendrier ou un déclencheur
• Afficher un résumé des exécutions historiques du pipeline, y compris les temps d'exécution, les journaux et les métriques

Exécuter votre pipeline

Dans l'affichage des détails du pipeline, cliquez sur Exécuter pour exécuter le pipeline.

Lors de l'exécution d'un pipeline, Cloud Data Fusion effectue les opérations suivantes :

1. Provisionne un cluster Dataproc éphémère
2. Exécute le pipeline sur le cluster à l'aide d'Apache Spark
3. Supprime le cluster

Remarque : Lorsque le pipeline passe à l'état En cours d'exécution, vous pouvez surveiller la création et la suppression du cluster Dataproc. Ce cluster n'existe que pendant la durée du pipeline.

Afficher les résultats

Au bout de quelques minutes, le pipeline se termine. Le pipeline passe à l'état Réussi et le nombre d'enregistrements traités par chaque nœud s'affiche.

1. Accédez à l'interface Web de BigQuery.

2. Pour afficher un échantillon des résultats, accédez à l'ensemble de données DataFusionQuickstart de votre projet, cliquez sur la table top_rated_inexpensive, puis exécutez une requête simple. Exemple :

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Remplacez PROJECT_ID par l'ID de votre projet.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre Google Cloud compte pour les ressources utilisées sur cette page, procédez comme suit :

1. Supprimez l'ensemble de données BigQuery que votre pipeline a écrit dans ce guide de démarrage.

2. Supprimez l'instance Cloud Data Fusion.

   Remarque : La suppression de votre instance ne supprime aucune de vos données dans le projet.

3. (Facultatif) Supprimez le projet.

Attention : La suppression d'un projet aura les effets suivants :
• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une appspot.com URL, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.
1. Dans la Google Cloud console, accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez Arrêter pour supprimer le projet.

Étape suivante

• Suivez un tutoriel Cloud Data Fusion
• Familiarisez-vous avec les concepts de Cloud Data Fusion concepts