Lire les données de plusieurs tables Microsoft SQL Server

Cette page explique comment lire plusieurs tables d'une base de données Microsoft SQL Server à l'aide de la source Multi Table. Utilisez la source multi-tables lorsque vous souhaitez que votre pipeline lise des données à partir de plusieurs tables. Si vous souhaitez que votre pipeline lise des données à partir d'une seule table, consultez la section Lire les données d'une table SQL Server.

La source multi-tables génère des données avec plusieurs schémas et inclut un champ de nom de table indiquant la table de provenance des données. Lorsque vous utilisez la source multi-tables, utilisez l'un des récepteurs multi-tables, BigQuery Multi Table (BigQuery multi-tables) ou GCS Multi File (GCS multi-fichiers).

Avant de commencer

Connectez-vous à votre Google Cloud compte. Si vous n'avez jamais utilisé Google Cloud, créez un compte pour évaluer les performances de nos produits dans des scénarios réels. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Activez les API Cloud Data Fusion, Cloud Storage, BigQuery et Dataproc.

   Rôles requis pour activer les API

   Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

   Activer les API

2. Créez une instance Cloud Data Fusion.
3. Assurez-vous que votre base de données SQL Server peut accepter les connexions depuis Cloud Data Fusion. Pour ce faire, nous vous recommandons de créer une instance Cloud Data Fusion privée.

Afficher votre instance Cloud Data Fusion

Lorsque vous utilisez Cloud Data Fusion, vous utilisez à la fois la Google Cloud console et l'interface utilisateur distincte Cloud Data Fusion. Dans la Google Cloud console, vous pouvez créer un Google Cloud projet, et créer et supprimer des instances Cloud Data Fusion. Dans l'interface utilisateur Cloud Data Fusion, vous pouvez utiliser les différentes pages, telles que Studio ou Wrangler, pour utiliser les fonctionnalités de Cloud Data Fusion.

1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

   Accéder à la page "Instances"

Stocker votre mot de passe SQL Server en tant que clé sécurisée

Ajoutez votre mot de passe SQL Server en tant que clé sécurisée à chiffrer sur votre instance Cloud Data Fusion. Plus loin dans ce guide, vous veillerez à ce que votre mot de passe soit récupéré à l'aide de Cloud KMS.

1. En haut à droite de n'importe quelle page Cloud Data Fusion, cliquez sur Administrateur système.

2. Cliquez sur l'onglet Configuration.

3. Cliquez sur Envoyer des appels HTTP.

   

4. Dans le menu déroulant, sélectionnez PUT.

5. Dans le champ "Chemin d'accès", saisissez namespaces/NAMESPACE_ID/securekeys/PASSWORD.

6. Dans le champ Corps, saisissez {"data":"SQL_SERVER_PASSWORD"}.

7. Cliquez sur Envoyer.

   

Assurez-vous que la Réponse que vous recevez correspond au code d'état 200.

Obtenir le pilote JDBC pour SQL Server

À l'aide du hub

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Hub.

2. Dans la barre de recherche, saisissez Microsoft SQL Server JDBC Driver.

3. Cliquez sur Pilote JDBC Microsoft SQL Server.

4. Cliquez sur Download (Télécharger). Suivez la procédure de téléchargement affichée.

5. Cliquez sur Déployer. Importez le fichier JAR de l'étape précédente.

6. Cliquez sur Terminer.

À l'aide de Studio

1. Accédez au site Microsoft.com.

2. Choisissez votre téléchargement, puis cliquez sur Télécharger.

3. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu , puis accédez à la page Studio.

4. Cliquez sur Ajouter.

5. Sous Pilote, cliquez sur Importer.

6. Importez le fichier JAR téléchargé à l'étape 2.

7. Cliquez sur Suivant.

8. Configurez le pilote en saisissant un Nom.

9. Dans le champ Nom de la classe, saisissez com.microsoft.sqlserver.jdbc.SQLServerDriver.

10. Cliquez sur Terminer.

Déployer les plug-ins multi-tables

1. Dans l'interface utilisateur Web de Cloud Data Fusion, cliquez sur Hub.

2. Dans la barre de recherche, saisissez Multiple table plugins.

3. Cliquez sur Plug-ins multi-tables.

   

4. Cliquez sur Déployer.

5. Cliquez sur Terminer.

6. Cliquez sur Créer un pipeline.

Se connecter à SQL Server

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu , puis accédez à la page Studio.

2. Dans Studio, développez le menu Source.

3. Cliquez sur Multiple Database Tables (Tables à plusieurs bases de données).

   

4. Placez le pointeur sur le nœud Multiple Database Tables (Tables à plusieurs bases de données), puis cliquez sur Properties (Propriétés).

   

5. Dans le champ Reference name (Nom de référence), spécifiez un nom de référence qui servira à identifier votre source SQL Server.

6. Dans le champ JDBC Connection String (Chaîne de connexion JDBC), saisissez la chaîne de connexion JDBC. Exemple : jdbc:sqlserver://mydbhost:1433. Pour en savoir plus, consultez la section Créer l'URL de connexion.

7. Saisissez le Nom du plug-in JDBC, le Nom d'utilisateur de la base de données et le Mot de passe de l'utilisateur de la base de données.

8. Cliquez sur Valider.

9. Cliquez sur Fermer.

Se connecter à BigQuery ou Cloud Storage

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu , puis accédez à la page Studio.

2. Développez Récepteur.

3. Cliquez sur BigQuery Multi Table (BigQuery multi-tables) ou GCS Multi File (GCS multi-fichiers).

4. Connectez le nœud Multiple Database Tables (Tables à plusieurs bases de données) à BigQuery Multi Table (BigQuery multi-tables) ou GCS Multi File (GCS multi-fichiers).

   

5. Placez le pointe0r sur le nœud BigQuery Multi Table ou GCS Multi File (GCS multi-fichiers), cliquez sur Properties (Propriétés), puis configurez le récepteur.

   Pour en savoir plus, consultez les sections Récepteur Google BigQuery multi-tables et Récepteur Google Cloud Storage multi-fichiers.

6. Cliquez sur Valider.

7. Cliquez sur Fermer.

Exécuter un aperçu du pipeline

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu , puis accédez à la page Studio.

2. Cliquez sur Aperçu.

3. Cliquez sur Exécuter. Attendez la fin de l'aperçu.

Déployer le pipeline

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu , puis accédez à la page Studio.

2. Cliquez sur Déployer.

Exécuter le pipeline

1. Dans l'interface utilisateur Cloud Data Fusion, cliquez sur Menu.

2. Cliquez sur List (Liste).

3. Cliquez sur le pipeline.

4. Sur la page des détails du pipeline, cliquez sur Exécuter.

Étape suivante

• Apprenez-en plus sur Cloud Data Fusion.
• Suivez l'un des tutoriels.