Configurer l'accès à une source: Microsoft Azure Storage

Avant de transférer des données depuis un bucket Azure Storage, vous devez configurer l'accès à ce bucket afin que le service de transfert de stockage puisse récupérer ses objets.

Le service de transfert de stockage est compatible avec les méthodes d'authentification Azure suivantes :

Ce document fournit également des informations sur l'ajout d'adresses IP de service worker du service de transfert de stockage à votre pare-feu Azure Storage pour autoriser l'accès. Pour en savoir plus, consultez la section Restrictions d'adresses IP.

Régions où le service est disponible

Le service de transfert de stockage peut transférer des données depuis les régions Microsoft Azure Storage suivantes :
  • Amériques : East US (États-Unis Est), East US 2 (États-Unis Est 2), West US (États-Unis Ouest), West US 2 (États-Unis Ouest 2), West US 3 (États-Unis Ouest 3), Central US (États-Unis Centre), North Central US (États-Unis Centre Nord), South Central US (États-Unis Centre Sud), West Central US (États-Unis Centre Ouest), Canada Central (Canada Centre), Canada East (Canada Est), Brazil South (Brésil Sud)
  • Asie-Pacifique : Australia Central (Australie Centre), Australia East (Australie Est), Australia Sud-Est (Australie Sud-Est), Central India (Inde Centre), South India (Inde Sud), West India (Inde Ouest), Southeast Asia (Asie du Sud-Est), East Asia (Asie de l'Est), Japan East (Japon Est), Japan West (Japon Ouest), Korea South (Corée du Sud), Korea Central (Corée du Centre)
  • Europe, Moyen-Orient, Afrique (EMEA) : France Central (France Centre), Germany West Central (Allemagne Centre Ouest), Norway East (Norvège Est), Sweden Central (Suède Centre), Switzerland North (Suisse Nord), North Europe (Europe du Nord), West Europe (Europe de l'Ouest), UK South (Royaume-Uni Sud), UK West (Royaume-Uni Ouest), Qatar Central (Qatar Centre), UAE North (Émirats arabes unis Nord), South Africa North (Afrique du Sud Nord)

Option 1 : S'authentifier à l'aide d'un jeton SAP

Pour configurer l'accès à un conteneur Microsoft Azure Storage à l'aide d'un jeton SAP, procédez comme suit. Vous pouvez également enregistrer votre jeton SAP dans Secret Manager. Pour ce faire, suivez les instructions de la section S'authentifier à l'aide d'une clé partagée Azure ou d'un jeton SAP dans Secret Manager.

  1. Créez un utilisateur Microsoft Azure Storage ou utilisez-en un existant pour accéder au compte de stockage de votre conteneur d'objets blob Microsoft Azure Storage.

  2. Créez un jeton SAP au niveau du conteneur. Pour obtenir des instructions, consultez la section Accorder un accès limité aux ressources Azure Storage à l'aide de signatures d'accès partagé.

    1. Les Allowed services (Services autorisés) doivent inclure Blob.

    2. Pour Allowed resource types (Types de ressources autorisés), sélectionnez Container (Conteneur) et Object (Objet).

    3. Les Allowed permissions (Autorisations accordées) doivent inclure Read (Lecture) et List (Liste). Si le transfert est configuré pour supprimer des objets de la source, vous devez également inclure l'autorisation Delete (Supprimer).

    4. Le délai d'expiration par défaut pour les jetons SAP est de 8 heures. Définissez un délai d'expiration raisonnable vous permettant de finaliser votre transfert.

    5. Ne spécifiez aucune adresse IP dans le champ Allowed IP addresses (Adresses IP autorisées). Le service de transfert de stockage utilise différentes adresses IP et n'est pas compatible avec la restriction d'adresses IP.

    6. Les Allowed protocols (Protocoles autorisés) doivent être HTTPS only (HTTPS seulement).

  3. Une fois le jeton créé, notez la valeur du jeton SAP qui est renvoyé. Vous aurez besoin de cette valeur lors de la configuration de votre transfert avec le service de transfert de stockage.

Option 2 : S'authentifier à l'aide d'une clé partagée Azure ou d'un jeton SAP dans Secret Manager

Secret Manager est un service sécurisé qui stocke et gère les données sensibles telles que les mots de passe. Il utilise un chiffrement puissant, un contrôle des accès basé sur les rôles et une journalisation d'audit pour protéger vos secrets.

Le service de transfert de stockage est compatible avec les noms de ressources Secret Manager qui font référence à vos identifiants Azure stockés de manière sécurisée.

Pour utiliser une clé partagée Azure, vous devez l'enregistrer dans Secret Manager. Les jetons SAP peuvent être enregistrés dans Secret Manager ou transmis directement.

Lorsque vous spécifiez une clé partagée, le service de transfert de stockage l'utilise pour générer une SAP de service dont la portée est limitée au conteneur Azure spécifié dans la tâche de transfert.

Activer l'API

Activer l'API Secret Manager

Rôles requis pour activer les API

Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

Activer l'API

Configurer des autorisations supplémentaires

Autorisations des utilisateurs

L'utilisateur qui crée le secret a besoin du rôle suivant :

  • Administrateur Secret Manager (roles/secretmanager.admin)

Découvrez comment attribuer un rôle .

Autorisations de l'agent de service

L'agent de service du service de transfert de stockage a besoin du rôle IAM suivant :

  • Accesseur de secrets Secret Manager (roles/secretmanager.secretAccessor)

Pour attribuer le rôle à votre agent de service :

console Cloud

  1. Suivez les instructions pour récupérer l'adresse e-mail de votre agent de service.

  2. Accédez à la page IAM dans la Google Cloud console.

    Accéder à IAM

  3. Cliquez sur Accorder l'accès.

  4. Dans la zone de texte Nouveaux comptes principaux, saisissez l'adresse e-mail de l'agent de service.

  5. Dans la liste déroulante Sélectionner un rôle, recherchez et sélectionnez Accesseur de secrets Secret Manager.

  6. Cliquez sur Enregistrer.

gcloud

Utilisez la commande gcloud projects add-iam-policy-binding pour ajouter le rôle IAM à votre agent de service.

  1. Suivez les instructions pour récupérer l'adresse e-mail de votre agent de service.

  2. Dans la ligne de commande, saisissez la commande suivante :

    gcloud projects add-iam-policy-binding PROJECT_ID \
  --member='serviceAccount:SERVICE_AGENT_EMAIL' \
  --role='roles/secretmanager.secretAccessor'

Créer un secret

Pour créer un secret avec Secret Manager :

console Cloud

  1. Accédez à la page Secret Manager dans la Google Cloud console.

    Accéder à Secret Manager

  2. Cliquez sur Créer un secret.

  3. Saisissez un nom.

  4. Dans la zone de texte Valeur du secret, saisissez vos identifiants dans l'un des formats suivants.

    {
  "sas_token" : "SAS_TOKEN_VALUE"
}

    ou

    {
  "access_key" : "ACCESS_KEY"
}

  5. Cliquez sur Créer un secret.

  6. Une fois le secret créé, notez le nom complet de la ressource du secret :

    1. Sélectionnez l'onglet Overview (Présentation).

    2. Copiez la valeur de Nom de la ressource. Elle utilise le format suivant :

      projects/1234567890/secrets/SECRET_NAME

gcloud

Pour créer un secret à l'aide de l'outil de ligne de commande gcloud, transmettez les identifiants au format JSON à la commande gcloud secrets create :

printf '{
  "sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-

ou

printf '{
  "access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

Récupérez le nom complet de la ressource du secret :

gcloud secrets describe SECRET_NAME

Notez la valeur de name dans la réponse. Elle utilise le format suivant :

projects/1234567890/secrets/SECRET_NAME

Pour en savoir plus sur la création et la gestion des secrets, consultez la documentation de Secret Manager.

Transmettre votre secret à la commande de création de tâche

Pour utiliser Secret Manager avec le service de transfert de stockage, vous devez utiliser l'API REST pour créer une tâche de transfert.

Transmettez le nom de la ressource Secret Manager en tant que valeur du transferSpec.azureBlobStorageDataSource.credentialsSecret champ :

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "credentialsSecret": "SECRET_RESOURCE_ID",
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

Pour en savoir plus sur la création d'un transfert, consultez la section Créer des transferts.

Option 3 : S'authentifier à l'aide d'une identité fédérée

Le service de transfert de stockage est compatible avec la fédération d'identité de charge de travail Azure avec Google Cloud. Le service de transfert de stockage peut envoyer des requêtes à Azure Storage via des applications Azure enregistrées, ce qui élimine la nécessité de transmettre directement des identifiants au service de transfert de stockage.

Pour configurer l'identité fédérée, suivez ces instructions.

Configurer des identifiants Google Cloud

Pour autoriser le service de transfert de stockage à créer des jetons d'identification OpenID Connect (OIDC) :

Agent de service

Si votre tâche de transfert ne spécifie pas de serviceAccount (c'est-à-dire que vous ne déléguez pas les autorisations de l'agent de service à un compte de service géré par l'utilisateur), attribuez le rôle Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator) à l'agent de service :

  1. Récupérez l'accountEmail de l'agent de service :

    1. Accédez à la page de référence googleServiceAccounts.get.
    2. Sous Paramètres des requêtes, saisissez votre ID du projet.
    3. Cliquez sur Exécuter. L'accountEmail et le subjectId sont renvoyés.

  2. Attribuez le rôle Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator) à l'agent de service lui-même. Suivez les instructions de la section Gérer l'accès aux comptes de service.

Compte de service géré par l'utilisateur

Si vous déléguez les autorisations de l'agent de service à un compte de service géré par l'utilisateur, vos identifiants Google sont configurés lorsque vous configurez la délégation d'autorisations. Aucune étape supplémentaire n'est requise.

Configurer des identifiants Microsoft

Commencez par enregistrer une application et ajouter un identifiant fédéré :

  1. Connectez-vous à https://portal.azure.com.
  2. Accédez à la page App registrations (Inscriptions d'applications).
  3. Cliquez sur New registration (Nouvelle inscription).
  4. Saisissez un nom. Par exemple, azure-transfer-app.
  5. Sélectionnez Accounts in this organizational directory only (Comptes de ce répertoire organisationnel uniquement).
  6. Cliquez sur Register (S'inscrire). L'application est créée. Notez l'Application (client) ID (ID [client] de l'application) et le Directory (tenant) ID (ID [de locataire] de l'annuaire). Vous pouvez également les récupérer ultérieurement sur la page Overview (Présentation) de l'application.
  7. Cliquez sur Certificates &secrets (Certificats et secrets), puis sélectionnez l'onglet Federated credentials (Identifiants fédérés).
  8. Cliquez sur Add credential (Ajouter un identifiant).

  9. Sélectionnez Other issuer (Autre émetteur) comme scénario et saisissez les informations suivantes :

  10. Cliquez sur Ajouter.

Ensuite, accordez à l'application l'accès à votre conteneur Azure Storage :

  1. Accédez à la page Storage Accounts (Comptes de stockage) de votre compte Azure.
  2. Sélectionnez votre compte de stockage, puis Containers (Conteneurs) dans la section Data storage (Stockage de données).
  3. Cliquez sur le bucket auquel vous souhaitez accorder l'accès.
  4. Dans le menu de gauche, cliquez sur Access Control (IAM) (Contrôle d'accès [IAM]), puis sélectionnez l'onglet Roles (Rôles).
  5. Cliquez sur le menu à développer (...) à côté d'un rôle, puis sélectionnez Clone (Cloner).
  6. Saisissez un nom pour ce rôle personnalisé et sélectionnez Start from scratch (Partir de zéro). Cliquez sur Suivant.
  7. Cliquez sur Add permissions (Ajouter des autorisations), puis recherchez Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read.
  8. Cliquez sur la fiche Microsoft Storage qui s'affiche.
  9. Sélectionnez le bouton radio Data actions (Actions sur les données).
  10. Sélectionnez Read : Read Blob (Lecture : lire l'objet blob).
  11. Cliquez sur Ajouter.
  12. Si vous supprimez des objets à la source après le transfert, cliquez à nouveau sur Add permissions (Ajouter des autorisations), puis recherchez Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete.
  13. Cliquez sur la fiche Microsoft Storage qui s'affiche, sélectionnez Data actions (Actions sur les données), puis sélectionnez Delete : Delete blob (Supprimer : supprimer l'objet blob).
  14. Cliquez sur Ajouter.
  15. Cliquez sur Review + create (Examiner et créer), puis sur Create (Créer). Vous êtes redirigé vers la page Access Control (IAM) (Contrôle d'accès [IAM]) du bucket.
  16. Cliquez sur Add (Ajouter), puis sélectionnez Add role assignment (Ajouter une attribution de rôle).
  17. Dans la liste des rôles, sélectionnez votre rôle personnalisé, puis cliquez sur Next (Suivant).
  18. Cliquez sur Select members (Sélectionner des membres).
  19. Dans le champ Select (Sélectionner), saisissez le nom de l'application que vous avez enregistrée précédemment. Par exemple, azure-transfer-app.
  20. Cliquez sur la vignette de l'application, puis sur Select (Sélectionner).
  21. Cliquez sur Review + assign (Examiner et attribuer).

Transmettre les identifiants de votre application à la commande de création de tâche

Les identifiants de votre application sont transmis à la commande de création de tâche à l'aide d'un objet federatedIdentityConfig. Copiez l'Application (client) ID (ID [client] de l'application) et le Directory (tenant) ID (ID [de locataire] de l'annuaire) que vous avez enregistrés lors des étapes Configure Microsoft credentials (Configuration des identifiants Microsoft) dans les champs client_id et tenant_id.

"federatedIdentityConfig": {
  "client_id": "efghe9d8-4810-800b-8f964ed4057f",
  "tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}

Voici un exemple de requête de création de tâche :

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Azure Federated Identity",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "azureBlobStorageDataSource": {
      "storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
      "container": "AZURE_CONTAINER_NAME",
      "federatedIdentityConfig": {
        "client_id": "AZURE_CLIENT_ID",
        "tenant_id": "AZURE_TENANT_ID"
      }
    },
    "gcsDataSink": {
      "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
    }
  }
}

Pour en savoir plus sur la création d'un transfert, consultez la section Créer des transferts.

Restrictions liées aux adresses IP

Si vous limitez l'accès à vos ressources Azure à l'aide d'un pare-feu Azure Storage, vous devez ajouter les plages d'adresses IP utilisées par les nœuds de calcul du service de transfert de stockage à votre liste d'adresses IP autorisées.

Étant donné que ces plages d'adresses IP peuvent changer, nous publions les valeurs actuelles sous forme de fichier JSON à une adresse permanente :

https://www.gstatic.com/storage-transfer-service/ipranges.json

Lorsqu'une nouvelle plage est ajoutée au fichier, nous attendons au moins sept jours avant de l'utiliser pour les requêtes du service de transfert de stockage.

Nous vous recommandons d'extraire les données de ce document au moins une fois par semaine pour maintenir votre configuration de sécurité à jour. Pour obtenir un exemple de script Python qui récupère des plages d'adresses IP à partir d'un fichier JSON, consultez cet article de la documentation cloud privé virtuel documentation.

Pour ajouter ces plages en tant qu'adresses IP autorisées, suivez les instructions de l'article Microsoft Azure, Configurer des pare-feu et des réseaux virtuels Azure Storage.