Lire les données de plusieurs tables Microsoft SQL Server

Cette page explique comment lire plusieurs tables à partir d'une base de données Microsoft SQL Server à l'aide de la source Multi Table. Utilisez la source multi-tables lorsque vous souhaitez que votre pipeline lise des données à partir de plusieurs tables. Si vous souhaitez que votre pipeline lise les données d'une seule table, consultez Lire les données d'une table SQL Server.

La source "Table multiple" génère des données avec plusieurs schémas et inclut un champ de nom de table qui indique la table d'où proviennent les données. Lorsque vous utilisez la source "Multi Table", utilisez l'un des puits "Multi Table", BigQuery Multi Table ou GCS Multi File.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Activez les API Cloud Data Fusion, Cloud Storage, BigQuery et Dataproc, si ce n'est pas déjà fait.

    Rôles requis pour activer les API

    Pour activer les API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation grâce au rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation grâce au rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    Activer les API

  7. Créez une instance Cloud Data Fusion.
  8. Assurez-vous que votre base de données SQL Server peut accepter les connexions depuis Cloud Data Fusion. Pour ce faire, nous vous recommandons de créer une instance Cloud Data Fusion privée.

Afficher votre instance Cloud Data Fusion

Lorsque vous utilisez Cloud Data Fusion, vous utilisez à la fois la console Google Cloud et l'UI distincte de Cloud Data Fusion. Dans la console Google Cloud , vous pouvez créer un projet Google Cloud , et créer et supprimer des instances Cloud Data Fusion. Dans l'UI de Cloud Data Fusion, vous pouvez accéder à plusieurs pages, telles que Studio ou encore Wrangler, qui permettent d'utiliser les différentes fonctionnalités de Cloud Data Fusion.

  1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

  2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

    Accéder à la page "Instances"

Stocker votre mot de passe SQL Server en tant que clé sécurisée

Ajoutez votre mot de passe SQL Server en tant que clé sécurisée à chiffrer sur votre instance Cloud Data Fusion. Plus loin dans ce guide, vous veillerez à ce que votre mot de passe soit récupéré à l'aide de Cloud KMS.

  1. En haut à droite de n'importe quelle page Cloud Data Fusion, cliquez sur Administrateur système.

  2. Cliquez sur l'onglet Configuration.

  3. Cliquez sur Envoyer des appels HTTP.

    Configuration.

  4. Dans le menu déroulant, sélectionnez PUT.

  5. Dans le champ "Chemin d'accès", saisissez namespaces/NAMESPACE_ID/securekeys/PASSWORD.

  6. Dans le champ Corps, saisissez {"data":"SQL_SERVER_PASSWORD"}.

  7. Cliquez sur Envoyer.

    Mot de passe.

Assurez-vous que la Réponse que vous recevez correspond au code d'état 200.

Obtenir le pilote JDBC pour SQL Server

Utiliser le hub

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Hub.

  2. Dans la barre de recherche, saisissez Microsoft SQL Server JDBC Driver.

  3. Cliquez sur Pilote JDBC Microsoft SQL Server.

  4. Cliquez sur Download (Télécharger). Suivez la procédure de téléchargement affichée.

  5. Cliquez sur Déployer. Importez le fichier JAR de l'étape précédente.

  6. Cliquez sur Terminer.

Utiliser Studio

  1. Accédez au site Microsoft.com.

  2. Choisissez votre téléchargement, puis cliquez sur Télécharger.

  3. Dans l'UI de Cloud Data Fusion, cliquez sur Menu, puis accédez à la page Studio.

  4. Cliquez sur Ajouter.

  5. Sous Pilote, cliquez sur Importer.

  6. Importez le fichier JAR téléchargé à l'étape 2.

  7. Cliquez sur Suivant.

  8. Configurez le pilote en saisissant un nom.

  9. Dans le champ Nom de la classe, saisissez com.microsoft.sqlserver.jdbc.SQLServerDriver.

  10. Cliquez sur Terminer.

Déployer les plug-ins multi-tables

  1. Dans l'interface utilisateur Web de Cloud Data Fusion, cliquez sur Hub.

  2. Dans la barre de recherche, saisissez Multiple table plugins.

  3. Cliquez sur Plug-ins multi-tables.

    Mot de passe.

  4. Cliquez sur Déployer.

  5. Cliquez sur Terminer.

  6. Cliquez sur Créer un pipeline.

Se connecter à SQL Server

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Menu, puis accédez à la page Studio.

  2. Dans Studio, développez le menu Source.

  3. Cliquez sur Multiple Database Tables (Tables à plusieurs bases de données).

    Tables multiples.

  4. Placez le pointeur sur le nœud Multiple Database Tables (Tables à plusieurs bases de données), puis cliquez sur Properties (Propriétés).

    Propriétés.

  5. Dans le champ Nom de référence, spécifiez un nom de référence qui sera utilisé pour identifier votre source SQL Server.

  6. Dans le champ Chaîne de connexion JDBC, saisissez la chaîne de connexion JDBC. Exemple : jdbc:sqlserver://mydbhost:1433. Pour en savoir plus, consultez Créer l'URL de connexion.

  7. Saisissez le nom du plug-in JDBC, le nom d'utilisateur de la base de données et le mot de passe de l'utilisateur de la base de données.

  8. Cliquez sur Valider.

  9. Cliquez sur Fermer.

Se connecter à BigQuery ou Cloud Storage

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Menu, puis accédez à la page Studio.

  2. Développez Récepteur.

  3. Cliquez sur Table BigQuery multiple ou Fichier GCS multiple.

  4. Connectez le nœud Multiple Database Tables (Tables de base de données multiples) à BigQuery Multi Table (Table BigQuery multiple) ou GCS Multi File (Fichier GCS multiple).

    Connectez le récepteur.

  5. Pointez sur le nœud BigQuery Multi Table (BigQuery, tables multiples) ou GCS Multi File (GCS, fichiers multiples), cliquez sur Properties (Propriétés), puis configurez le récepteur.

    Pour en savoir plus, consultez Google BigQuery Multi Table Sink et Google Cloud Storage Multi File Sink.

  6. Cliquez sur Valider.

  7. Cliquez sur Fermer.

Exécuter l'aperçu du pipeline

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Menu, puis accédez à la page Studio.

  2. Cliquez sur Aperçu.

  3. Cliquez sur Exécuter. Attendez que l'aperçu se termine correctement.

Déployer le pipeline

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Menu, puis accédez à la page Studio.

  2. Cliquez sur Déployer.

Exécuter le pipeline

  1. Dans l'UI de Cloud Data Fusion, cliquez sur Menu.

  2. Cliquez sur Liste.

  3. Cliquez sur le pipeline.

  4. Sur la page d'informations du pipeline, cliquez sur Exécuter.

Étapes suivantes