Télécharger des packages Python à l'aide d'un accès direct au dépôt

Une fois que vous avez intégré Assured OSS à Security Command Center, les packages Assured Open Source Software sont hébergés dans un dépôt Artifact Registry créé dans un projet que vous contrôlez.

Cette page explique comment vous connecter au dépôt Artifact Registry pour Assured OSS afin d'accéder directement aux packages Python et de les télécharger.

Ce document ne s'applique qu'au niveau premium d'Assured OSS. Pour le niveau sans frais, consultez Télécharger des packages Python en utilisant un accès direct au dépôt pour le niveau sans frais.

Avant de commencer

  1. Demandez à votre administrateur de vous accorder le rôle IAM Administrateur de clé de compte de service (roles/iam.serviceAccountKeyAdmin) dans votre organisation. Vous avez besoin de cette autorisation pour obtenir la chaîne encodée en base64 de la clé de compte de service. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

  2. Intégrez Assured OSS à Security Command Center.

  3. Validez la connectivité à Assured OSS pour les comptes de service demandés.

  4. Installez la dernière version de la Google Cloud CLI. Si vous avez déjà installé Google Cloud CLI, assurez-vous de disposer de la dernière version en exécutant la commande suivante :

    gcloud components update

Configurer l'authentification

Vous pouvez vous authentifier auprès du dépôt de packages Python Assured OSS à l'aide de l'une des méthodes suivantes :

  • S'authentifier avec un trousseau Python
  • S'authentifier avec une clé de compte de service

Les sections suivantes expliquent comment configurer ces méthodes d'authentification.

S'authentifier avec un trousseau Python

Pour utiliser le trousseau Python afin de vous authentifier auprès d'Artifact Registry, consultez S'authentifier avec un trousseau et Ordre de recherche des identifiants. Nous vous recommandons d'utiliser le trousseau Python pour l'authentification.

Pour configurer le trousseau Python pour l'authentification, procédez comme suit :

  1. Installez la bibliothèque keyring :

    pip install keyring

  2. Installez le backend Artifact Registry :

    pip install keyrings.google-artifactregistry-auth

  3. Répertoriez les backends pour confirmer l'installation :

    keyring --list-backends

    La liste doit inclure les éléments suivants :

    • ChainerBackend(priority:10)
    • GooglePythonAuth(priority:9)

  4. Pour en savoir plus sur la configuration des identifiants par défaut d'une application, consultez Configurer l'authentification.

    Cette étape permet de s'assurer que l'assistant d'identification Assured OSS obtient votre clé lors de la connexion aux dépôts.

S'authentifier avec une clé de compte de service

Authentifiez-vous avec une clé de compte de service lorsque l'application nécessite une authentification avec un nom d'utilisateur et un mot de passe.

Remplacez l'URL du dépôt de packages https://us-python.pkg.dev/PROJECT_ID/assuredoss-python/simple par l'URL https://_json_key_base64:$BASE64_KEY@us-python.pkg.dev/PROJECT_ID/assuredoss-python/simple

Remplacez PROJECT_ID par l'ID du projet que vous avez sélectionné lors de la configuration d'Assured Open Source Software.

Installer des packages

Les instructions suivantes supposent que vous utilisez PyPI et requirements.txt pour télécharger et gérer vos dépendances. Si vous utilisez un autre processus de gestion des dépendances, vous devez suivre d'autres étapes.

Installer des packages dans Assured OSS

Pour spécifier les packages Python Assured OSS que vous souhaitez télécharger, créez deux fichiers requirements.txt. Voici les exemples de fichiers :

  • requirements-google.txt

    # Packages present in Google's Artifact Registry

urllib3==1.26.11 --hash=sha256:1cffe1aa066363a75c856f261c8fce62d87f7c40ce0f46453ea12bf652b12a13
jsonschema==4.13.0 --hash=sha256:29895bfe55b93b75552fbdd1e09aa0c82b7c1c9395d4f267e10c7d43cd31a74e

  • requirements-pypi.txt

    # Packages present in Google's Artifact Registry are mentioned here so that pip
# downloads their dependencies from PyPI.

urllib3==1.26.11
jsonschema==4.13.0

# Below this comment, add any package version which you need but is NOT
# present in Google's Artifact Registry and therefore needs to be downloaded from
# PyPI.

Pour télécharger les packages, exécutez les commandes suivantes :

  • Pour télécharger les packages requis qui se trouvent dans le Artifact Registry pour Assured OSS, exécutez la commande suivante :

     pip install --require-hashes --requirement=requirements-google.txt \
     --index-url https://_json_key_base64:$BASE64_KEY@us-python.pkg.dev/PROJECT_ID/assuredoss-python repo/simple -v \
     --no-deps

    Réfléchissez aux éléments suivants :

    • --require-hashes est facultatif. Si cette option est incluse, les hachages sont spécifiés pour tous les packages et pour toutes les versions de package dans le fichier requirements.txt. Nous vous recommandons d'épingler les dépendances avec des hachages SHA-256 dans votre requirements.txt fichier pour garantir la sécurité et la reproductibilité.
    • -v est facultatif. Si cette option est spécifiée, la commande génère plus de résultats.

  • Pour télécharger les packages requis qui ne se trouvent pas dans le Artifact Registry pour Assured OSS, exécutez la commande suivante :

     pip install --requirement=requirements-pypi.txt --index-url https://pypi.org/simple -v

    Cette commande télécharge également les dépendances manquantes des packages que vous avez téléchargés à l'aide de la commande précédente.

Répertorier tous les packages Python disponibles dans Assured OSS

Pour utiliser une API afin d'obtenir la liste de tous les packages Python dans le dépôt Artifact Registry, consultez Répertorier tous les packages Python disponibles dans Assured OSS.

Générer le fichier requirements-google.txt

Cette section fournit des informations supplémentaires sur la génération du fichier requirements-google.txt dont vous avez besoin pour télécharger les packages Python. Pour télécharger le hachage et générer le fichier requirements-google.txt pour votre environnement, vous pouvez utiliser l'une des deux options suivantes :

  • Utiliser un script pour générer un seul fichier d'exigences pour tous les artefacts.

  • Télécharger un fichier d'exigences distinct pour chaque artefact.

Les sections suivantes fournissent plus d'informations sur ces options.

Option 1 : Utiliser un script pour générer un seul fichier d'exigences pour tous les artefacts

Utilisez le script generator.sh pour générer un seul fichier requirements-google.txt pour tous les packages Python (ainsi que leurs hachages) disponibles avec Assured OSS pour le système d'exploitation Linux. Les packages doivent respecter des contraintes telles que la version de Python, l'architecture de la machine et le système d'exploitation. Vous pouvez ensuite supprimer les versions de package dont vous n'avez pas besoin et utiliser le fichier obtenu.

Le script generator.sh est utile de deux manières :

  • Il génère la liste la plus récente des versions de package Python disponibles avec Assured OSS qui peuvent être installées sur votre système.
  • Il génère le fichier requirements-google.txt avec tous les hachages.

Le script requis et son fichier README.md sont disponibles dans un bucket Cloud Storage (gs://cloud-aoss/utils/python-requirements-txt/v1.0) qui peut être téléchargé à l'aide de Google Cloud CLI.

Pour télécharger le script et le fichier README.md, procédez comme suit :

  1. Authentifiez-vous auprès du compte de service pour accéder au bucket Cloud Storage à l'aide de la commande suivante :

    gcloud auth activate-service-account --key-file KEY_FILE

    Remplacez KEY_FILE par le chemin d'accès au fichier contenant les identifiants du compte de service fournis lors de la configuration.

  2. Téléchargez le fichier generator.sh sur votre machine à l'aide de la commande suivante :

    gcloud storage cp gs://cloud-aoss/utils/python-requirements-txt/v1.0/generator.sh PATH_TO_LOCAL_STORE --recursive

    Remplacez PATH_TO_LOCAL_STORE par le chemin d'accès local où vous souhaitez enregistrer le fichier téléchargé.

  3. Téléchargez le fichier README.md à l'aide de la commande suivante :

    gcloud storage cp gs://cloud-aoss/utils/python-requirements-txt/v1.0/README.md PATH_TO_LOCAL_STORE --recursive

    Remplacez PATH_TO_LOCAL_STORE par le chemin d'accès local où vous souhaitez enregistrer le fichier téléchargé. Le fichier README.md contient des instructions sur l'utilisation du script.

Pour exécuter le script, utilisez les commandes suivantes :

  • Pour générer le fichier requirements-google.txt, exécutez la commande suivante :

     chmod +x generator.sh
 ./generator.sh

  • Pour obtenir les informations du package dans un fichier CSV, exécutez la commande suivante :

    chmod +x generator.sh
./generator.sh -i

Option 2 : Télécharger requirements.txt pour chaque artefact requis

Vous pouvez également télécharger un fichier requirements.txt distinct (contenant le hachage) pour chaque artefact Python, puis les combiner en un seul fichier requirements.txt.

Les hachages d'artefacts sont disponibles dans un bucket Cloud Storage qui peut être téléchargé à l'aide de gcloud CLI. Les hachages de chaque package et d'une version se trouvent à l'emplacement du bucket Cloud Storage gs://cloud-aoss/python/PACKAGE_NAME/VERSION.

Pour télécharger le fichier requirements.txt, procédez comme suit :

  1. Authentifiez-vous auprès du compte de service pour accéder au bucket Cloud Storage à l'aide de la commande suivante :

    gcloud auth activate-service-account --key-file KEY_FILE

    Remplacez KEY_FILE par le chemin d'accès au fichier contenant les identifiants du compte de service.

  2. Téléchargez le fichier requirements.txt d'un package et d'une version spécifiques sur votre machine locale à l'aide de la commande suivante :

    gcloud storage cp gs://cloud-aoss/python/PACKAGE_NAME/VERSION PATH_TO_LOCAL_STORE --recursive

    Remplacez les éléments suivants :

    • PACKAGE_NAME : nom du package
    • VERSION : version du package
    • PATH_TO_LOCAL_STORE: chemin d'accès local où vous souhaitez télécharger le fichier

    Exemple de commande :

    gcloud storage cp gs://cloud-aoss/python/bleach/5.0.0 /tmp/bleach --recursive

    Exemple de fichier requirements.txt :

    bleach==5.0.0 \
 --hash=sha256:6d286e765bfd3e309209cfa1d063e4d46afa966dea8cb97431c02b1e3067d812

    Le contenu de chaque fichier requirements.txt peut être combiné en un seul fichier requirements-google.txt.

Étape suivante