Connecter un dépôt Git tiers

Ce document vous explique comment associer un dépôt distant à un dépôt Dataform. Une fois l'association établie, les modifications apportées dans un espace de travail de développement Dataform peuvent être extraites du dépôt Git distant ou transférées vers celui-ci.

Important : Dataform ne peut pas se connecter directement à une adresse IP privée d'un hôte Git sur site. Pour vous connecter à un dépôt dans un réseau privé, utilisez Developer Connect.

Vous pouvez connecter un dépôt distant via HTTPS ou SSH.

Le tableau suivant répertorie les fournisseurs Git compatibles et les méthodes de connexion disponibles pour leurs dépôts :

Fournisseur Git	Mode de connexion
Services Azure DevOps	SSH
Bitbucket	Developer Connect (recommandé), SSH
GitHub	Developer Connect (recommandé), SSH ou HTTPS
GitLab	Developer Connect (recommandé), SSH ou HTTPS

Important : Pour connecter votre dépôt Git distant à Dataform à l'aide du protocole HTTPS ou SSH, vérifiez que votre hôte Git dispose d'une adresse IP publique. Si votre hôte Git n'est configuré qu'avec une adresse IP privée (par exemple, 10.x.x.x, 172.16.x.x-172.31.x.x ou 192.168.x.x) ou s'il se trouve derrière un pare-feu, nous vous recommandons de vous connecter à l'aide de Developer Connect. Si vous choisissez de connecter un dépôt distant protégé avec une adresse IP publique à l'aide de HTTPS ou SSH, vous devez ajouter les plages d'adresses IP de sortie Dataform requises à vos règles de pare-feu pour activer la connexion.

Avant de commencer

1. Si votre organisation ou votre projet restreint les dépôts Git distants avec la règle d'organisation dataform.restrictGitRemotes, assurez-vous que le dépôt Git distant est ajouté à la liste d'autorisation de la règle avant de créer le dépôt Dataform que vous souhaitez connecter à un dépôt distant. Pour en savoir plus, consultez Restreindre les dépôts distants.

2. Sélectionnez ou créez un dépôt Dataform. Vous aurez besoin du dépôt plus tard pour partager un secret avec votre agent de service Dataform par défaut.

   Remarque : La liste des dépôts Dataform n'inclut que les dépôts créés pour le développement de workflows Dataform. Les dépôts d'éléments BigQuery Studio, tels que les notebooks ou les requêtes enregistrées, sont gérés séparément et n'apparaissent pas dans cette liste.

3. Assurez-vous de disposer des autorisations nécessaires auprès de votre fournisseur Git et que votre dépôt Dataform se trouve dans une région compatible.

4. Activez l'API Developer Connect.

5. Si vous connectez Developer Connect à un dépôt Bitbucket, assurez-vous que votre jeton d'accès à l'autorisation dispose d'un accès en écriture à vos dépôts afin que Dataform puisse envoyer les modifications. Pour en savoir plus, consultez Créer des jetons d'accès.

Rôles requis

Pour obtenir les autorisations nécessaires pour connecter un dépôt Dataform à un dépôt Git distant, demandez à votre administrateur de vous accorder les rôles IAM suivants sur les dépôts :

• Administrateur Dataform (roles/dataform.admin)
• Administrateur Developer Connect (roles/developerconnect.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour connecter un dépôt distant à l'aide de Developer Connect, accordez les rôles Accesseur de jetons Developer Connect (roles/developerconnect.tokenAccessor) et Utilisateur du proxy Git Developer Connect (roles/developerconnect.gitProxyUser) à l'agent de service Dataform par défaut. L'ID de votre agent de service Dataform par défaut se présente au format suivant :

[e-mail]

Associer un dépôt distant à l'aide de Developer Connect

Developer Connect simplifie l'intégration de fournisseurs Git externes aux dépôts Dataform en fournissant une interface guidée qui élimine le besoin de gestion manuelle des secrets.

En utilisant Developer Connect, vous pouvez vous connecter à des dépôts distants dans des réseaux hébergés de manière privée (comme des environnements sur site ou des clouds privés virtuels (VPC)) sans les exposer à l'Internet public.

Important : Le proxy Developer Connect est nécessaire pour se connecter aux dépôts Git dans les réseaux privés. Lorsque vous créez une connexion dans la consoleGoogle Cloud , le proxy est activé par défaut. Pour les connexions à des dépôts Git accessibles publiquement, le proxy est activé par défaut, mais peut être désactivé. Si vous utilisez une connexion existante créée avec la gcloud CLI ou l'API Developer Connect, assurez-vous que le proxy est activé si vous devez accéder à un dépôt dans un réseau privé.

Remarque : Si le dépôt Dataform et la connexion Developer Connect se trouvent dans des régions différentes, des frais de transfert de données interrégionaux supplémentaires peuvent s'appliquer lorsque le proxy Developer Connect est activé. Pour en savoir plus, consultez les tarifs de Developer Connect.

Préparer les connexions réseau privées

Si vous vous connectez à un dépôt distant dans un réseau privé, assurez-vous d'avoir les informations et ressources suivantes à portée de main avant de commencer la configuration :

• Nom de l'espace de noms et du service Service Directory qui pointe vers votre hôte Git interne.
• Un certificat d'autorité de certification au format PEM (d'une taille maximale de 10 Ko) si votre hôte utilise une autorité de certification privée ou autosignée.
• Vérification que le certificat SSL de votre hôte Git inclut un nom alternatif de sujet (SAN) qui correspond à l'URI de l'hôte.

Pour en savoir plus sur la configuration des connexions pour les réseaux hébergés de manière privée, consultez les ressources suivantes :

• Configurer et utiliser le proxy Developer Connect
• Se connecter à GitHub Enterprise dans un réseau privé
• Se connecter aux dépôts GitLab Enterprise dans un réseau privé
• Se connecter aux dépôts Bitbucket Data Center hébergés dans un réseau privé

Créer une connexion Developer Connect

Pour connecter un dépôt distant à une nouvelle connexion Developer Connect, sélectionnez l'une des options suivantes :

Bitbucket

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez votre dépôt.

3. Accédez à Paramètres, puis cliquez sur Connecter avec Git.

4. Dans le volet Associer à un dépôt distant, dans la section Protocole du dépôt Git distant, sélectionnez Developer Connect.

5. Dans le menu de sélection du dépôt, cliquez sur Associer un nouveau dépôt.

6. Dans le volet Associer des dépôts Git via Developer Connect, sélectionnez Créer une association.

7. Sélectionnez Bitbucket comme fournisseur.

8. Spécifiez la région et le nom de la connexion.

9. Indiquez le nom de l'espace de travail, le jeton d'accès de l'agent d'autorisation et le jeton d'accès en lecture.

10. Cliquez sur Continuer, puis sélectionnez les dépôts distants à associer et cliquez sur Associer.

11. Dans Dataform, sélectionnez votre dépôt distant et la branche par défaut.

12. Pour terminer la configuration, cliquez sur Associer.

GitHub

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez votre dépôt.

3. Accédez à Paramètres, puis cliquez sur Connecter avec Git.

4. Dans le volet Associer à un dépôt distant, dans la section Protocole du dépôt Git distant, sélectionnez Developer Connect.

5. Dans le menu de sélection du dépôt, cliquez sur Associer un nouveau dépôt.

6. Dans le volet Associer des dépôts Git via Developer Connect, sélectionnez Créer une association.

7. Sélectionnez GitHub comme fournisseur.

8. Spécifiez la région et le nom de la connexion.

9. Pour déclencher le flux d'authentification OAuth, cliquez sur Continuer, puis procédez comme suit :

   1. Cliquez sur J'ai compris et continuer.
   2. Sélectionnez Installer l'application GitHub sur un autre compte GitHub, puis suivez les instructions pour autoriser l'accès à votre compte GitHub et à des dépôts spécifiques.
   3. Sélectionnez le compte sur lequel vous souhaitez installer l'application GitHub Dataform.
   4. Dans la section Repository access (Accès aux dépôts), indiquez si vous souhaitez donner accès à tous les dépôts ou seulement à une sélection de dépôts.
   5. Cliquez sur Enregistrer.

10. Sélectionnez les dépôts distants à associer, puis cliquez sur Associer.

11. Dans Dataform, sélectionnez votre dépôt distant et la branche par défaut.

12. Pour terminer la configuration, cliquez sur Associer.

GitLab

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez votre dépôt.

3. Accédez à Paramètres, puis cliquez sur Connecter avec Git.

4. Dans le volet Associer à un dépôt distant, dans la section Protocole du dépôt Git distant, sélectionnez Developer Connect.

5. Dans le menu de sélection du dépôt, cliquez sur Associer un nouveau dépôt.

6. Dans le volet Associer des dépôts Git via Developer Connect, sélectionnez Créer une association.

7. Sélectionnez GitLab comme fournisseur.

8. Spécifiez la région et le nom de la connexion.

9. Fournissez le jeton d'accès à l'API et le jeton d'accès à l'API en lecture seule. Pour savoir comment procéder, consultez Créer des jetons d'accès.

10. Cliquez sur Continuer, puis sélectionnez les dépôts distants à associer et cliquez sur Associer.

11. Dans Dataform, sélectionnez votre dépôt distant et la branche par défaut.

12. Pour terminer la configuration, cliquez sur Associer.

Utiliser une connexion Developer Connect existante

Pour associer un dépôt distant à une connexion Developer Connect existante :

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Sélectionnez votre dépôt.

3. Accédez à Paramètres, puis cliquez sur Connecter avec Git.

4. Dans le volet Associer à un dépôt distant, dans la section Protocole du dépôt Git distant, sélectionnez Developer Connect.

5. Dans le menu de sélection du dépôt, sélectionnez un dépôt qui appartient à une connexion Developer Connect existante.

6. Dans Dataform, sélectionnez votre dépôt distant et la branche par défaut.

7. Pour terminer la configuration, cliquez sur Associer.

Connecter un dépôt distant via SSH

Pour connecter un dépôt distant via SSH, vous devez générer une clé SSH et un secret Secret Manager. La clé SSH se compose d'une clé SSH publique et d'une clé SSH privée. Vous devez partager la clé SSH publique avec votre fournisseur Git et créer un secret Secret Manager avec la clé SSH privée. Ensuite, partagez le secret avec votre agent de service Dataform par défaut.

Dataform utilise le secret avec la clé SSH privée pour se connecter à votre fournisseur Git et valider les modifications au nom des développeurs. Dataform effectue ces commits à l'aide de l'adresse e-mail Google Cloud du développeur afin que vous puissiez identifier l'auteur de chaque commit.

Avertissement : La clé SSH privée est partagée entre tous les utilisateurs Dataform qui utilisent l'agent de service ou le compte de service correspondant. Nous vous recommandons de créer un utilisateur machine auprès de votre fournisseur Git et de limiter son accès aux dépôts Git distants que vous prévoyez d'utiliser avec Dataform. Seuls les propriétaires de projet Google Cloud et les utilisateurs Dataform disposant du rôle Administrateur Dataform peuvent utiliser la clé pour connecter des dépôts. Les utilisateurs Dataform ne peuvent pas voir la clé elle-même.

Pour connecter un dépôt distant à un dépôt Dataform via SSH, procédez comme suit :

1. Dans votre fournisseur Git, effectuez l'une des actions suivantes :

   Services Azure DevOps

   1. Dans Azure DevOps Services, créez une clé privée SSH.
   2. Importez la clé SSH publique dans votre dépôt Azure DevOps Services.

   Bitbucket

   1. Dans Bitbucket, créez une clé privée SSH.
   2. Importez la clé SSH publique dans votre dépôt Bitbucket.

   GitHub

   1. Dans GitHub, créez une clé SSH privée.
   2. Importez la clé SSH publique GitHub dans votre dépôt GitHub.

   GitLab

   1. Dans GitLab, créez une clé SSH privée.
   2. Importez la clé SSH publique GitLab dans votre dépôt GitLab.

2. Dans Secret Manager, créez un secret et définissez votre clé SSH privée comme valeur du secret.

   1. Accordez l'accès au secret à votre agent de service Dataform par défaut.

      Votre agent de service Dataform par défaut est au format suivant :

      [e-mail]
      

   2. Attribuez le rôle roles/secretmanager.secretAccessor à l'agent de service ou au compte de service.

3. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

4. Sélectionnez le dépôt Dataform que vous souhaitez connecter au dépôt distant.

5. Sur la page du dépôt, cliquez sur Paramètres > Se connecter à Git.

6. Dans le volet Associer à un dépôt distant, dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en terminant par .git.

   L'URL du dépôt Git distant doit être dans l'un des formats suivants :

   • URL absolue : ssh://git@{host_name}[:{port}]/{repository_path}, port est facultatif.
   • URL de type SCP : git@{host_name}:{repository_path}.

7. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche de développement principale du dépôt Git distant.

8. Dans le menu déroulant Secret, sélectionnez votre secret pour le dépôt Git distant.

9. Dans le champ Valeur de la clé d'hôte publique SSH, saisissez la clé d'hôte publique de votre fournisseur Git.

   Services Azure DevOps

   1. Pour récupérer la clé d'hôte public Azure DevOps Services, exécutez la commande suivante dans le terminal :

      ssh-keyscan -t rsa ssh.dev.azure.com
      

   2. Copiez l'une des clés générées, en omettant ssh.dev.azure.com au début de la ligne. La valeur que vous copiez doit être au format suivant :

      ALGORITHM BASE64_KEY_VALUE
      

      Exemple :

      ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC7Hr1oTWqNqOlzGJOfGJ4NakVyIzf1rXYd4d7wo6jBlkLvCA4odBlL0mDUyZ0/QUfTTqeu+tm22gOsv+VrVTMk6vwRU75gY/y9ut5Mb3bR5BV58dKXyq9A9UeB5Cakehn5Zgm6x1mKoVyf+FFn26iYqXJRgzIZZcZ5V6hrE0Qg39kZm4az48o0AUbf6Sp4SLdvnuMa2sVNwHBboS7EJkm57XQPVU3/QpyNLHbWDdzwtrlS+ez30S3AdYhLKEOxAG8weOnyrtLJAUen9mTkol8oII1edf7mWWbWVf0nBmly21+nZcmCTISQBtdcyPaEno7fFQMDD26/s0lfKob4Kw8H
      

      Vérifiez que cette clé est toujours à jour avec Azure DevOps Services.

   Bitbucket

   1. Pour récupérer la clé d'hôte publique Bitbucket, exécutez la commande suivante dans le terminal :

      curl https://bitbucket.org/site/ssh
      

   2. La commande renvoie une liste de clés hôtes publiques. Choisissez l'une des clés de la liste et copiez-la en omettant bitbucket.org au début de la ligne. La valeur que vous copiez doit être au format suivant :

      ALGORITHM BASE64_KEY_VALUE
      

      Exemple :

      ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIIazEu89wgQZ4bqs3d63QSMzYVa0MuJ2e2gKTKqu+UUO
      

      Vérifiez que cette clé est toujours à jour avec Bitbucket.

   GitHub

   1. Pour récupérer la clé publique de l'hôte GitHub, consultez Empreintes de la clé SSH de GitHub.

   2. La page contient une liste de clés hôtes publiques. Choisissez-en un et copiez-le, en omettant github.com au début de la ligne. La valeur que vous copiez doit respecter le format suivant :

      ALGORITHM BASE64_KEY_VALUE
      

      Exemple :

      ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIOMqqnkVzrm0SdG6UOoqKLsabgH5C9okWi0dh2l9GKJl
      

      Vérifiez que cette clé est toujours à jour avec GitHub.

   GitLab

   1. Pour récupérer la clé d'hôte publique GitLab, consultez Entrées SSH known_hosts.

   2. La page contient une liste de clés hôtes publiques. Choisissez-en un et copiez-le, en omettant gitlab.com au début de la ligne. La valeur que vous copiez doit respecter le format suivant :

      ALGORITHM BASE64_KEY_VALUE
      

      Exemple :

      ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIAfuCHKVTjquxvt6CM6tdG4SLp1Btn/nOeHHE5UOzRdf
      

      Vérifiez que cette clé est toujours à jour avec GitLab.

10. Cliquez sur Associer.

Connecter un dépôt distant via HTTPS

Pour connecter un dépôt distant via HTTPS, vous devez créer un secret Secret Manager avec un jeton d'accès personnel, puis le partager avec votre agent de service Dataform par défaut.

Dataform utilise ensuite le jeton d'accès pour se connecter à votre fournisseur Git et valider les modifications au nom des développeurs. Dataform effectue ces commits à l'aide de l'adresse e-mail Google Cloud du développeur. Vous pouvez ainsi savoir qui a effectué chaque commit.

Avertissement : Le jeton d'accès est partagé entre tous les utilisateurs Dataform qui utilisent l'agent de service ou le compte de service correspondant. Nous vous recommandons de créer un utilisateur machine avec votre fournisseur Git et de limiter son accès aux dépôts Git distants que vous prévoyez d'utiliser avec Dataform. Seuls les propriétaires de Google Cloud projets et les utilisateurs Dataform disposant du rôle Administrateur Dataform peuvent utiliser le jeton pour connecter des dépôts. Les utilisateurs Dataform ne peuvent pas voir le jeton lui-même.

Pour associer un dépôt distant à un dépôt Dataform via HTTPS, procédez comme suit :

1. Dans votre fournisseur Git, procédez comme suit :

   GitHub

   1. Dans GitHub, créez un jeton d'accès personnel précis ou un jeton d'accès personnel classique.

      • Pour obtenir un jeton d'accès personnel GitHub précis, procédez comme suit :

      1. Sélectionnez l'accès aux dépôts pour certains dépôts uniquement, puis sélectionnez le dépôt que vous souhaitez connecter.

      2. Accorder un accès en lecture et en écriture au contenu du dépôt.

      3. Définissez une heure d'expiration du jeton adaptée à vos besoins.

      • Pour un jeton d'accès personnel GitHub classique, procédez comme suit :

      1. Accordez à Dataform l'autorisation repo.

      2. Définissez une heure d'expiration du jeton adaptée à vos besoins.

   2. Si votre organisation utilise l'authentification unique (SSO) SAML, autorisez le jeton.

   GitLab

   1. Dans GitLab, créez un jeton d'accès personnel GitLab.

   2. Nommez le jeton dataform.

      Le jeton d'accès personnel GitLab doit être nommé dataform.

   3. Accordez à Dataform les autorisations api, read_repository et write_repository.

   4. Définissez une heure d'expiration du jeton adaptée à vos besoins.

2. Dans Secret Manager, créez un secret contenant le jeton d'accès personnel de votre dépôt distant.

3. Accordez l'accès au secret à votre agent de service Dataform par défaut.

   Votre agent de service Dataform par défaut est au format suivant :

   [e-mail]
   

   1. Attribuez le rôle roles/secretmanager.secretAccessor à l'agent de service.

4. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

5. Sélectionnez le dépôt Dataform que vous souhaitez connecter au dépôt distant.

6. Sur la page du dépôt, cliquez sur Paramètres > Se connecter à Git.

7. Dans le volet Associer à un dépôt distant, dans le champ URL du dépôt Git distant, saisissez l'URL du dépôt Git distant, en terminant par .git.

   L'URL du dépôt Git distant ne peut pas contenir de nom d'utilisateur ni de mot de passe.

8. Dans le champ Nom de la branche distante par défaut, saisissez le nom de la branche de développement principale du dépôt Git distant.

9. Dans le menu déroulant Secret, sélectionnez votre secret pour le dépôt Git distant.

10. Cliquez sur Associer.

Modifier la connexion au dépôt distant

Pour modifier une connexion entre un dépôt Dataform et un dépôt Git distant, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Dataform.

   Accéder à Dataform

2. Cliquez sur le dépôt que vous souhaitez modifier.

3. Sur la page du dépôt, cliquez sur Paramètres > Modifier la connexion Git.

4. Dans le volet Associer à un dépôt distant, modifiez les paramètres de connexion.

5. Cliquez sur Mettre à jour.

Étapes suivantes

• Pour en savoir plus sur les dépôts Dataform, consultez Créer un dépôt.

• Pour créer un espace de travail de développement, consultez Créer un espace de travail.

• Pour savoir comment résoudre les problèmes de connexion aux dépôts distants, consultez Résoudre les problèmes liés à Dataform.