Guide de déploiement

Cette page vous guide tout au long des étapes de déploiement de Cortex Framework pour les déploiements en production.

Avant de commencer

Avant de procéder au déploiement, assurez-vous d'avoir rempli les conditions préalables décrites sur la page Prérequis.

Avant de déployer Cortex Framework, choisissez et préparez l'intégration du système source.

Configurer les rôles IAM

Configurez les autorisations Identity and Access Management (IAM) requises pour déployer le contenu de Cortex Framework dans les projets requis Google Cloud .

Rôles pour le projet de compilation

Pour obtenir les autorisations nécessaires pour compiler Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur de job de données BigQuery (roles/bigquery.jobUser) sur votre projet de compilation. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour accorder les rôles demandés à un utilisateur, vous pouvez utiliser le script suivant :

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

Rôles pour le projet source

Pour obtenir les autorisations nécessaires pour déployer Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur votre projet source. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

Rôles pour les projets cibles

Pour obtenir les autorisations nécessaires pour déployer Cortex Framework, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets cibles :

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour accorder les rôles demandés à un utilisateur, vous pouvez utiliser le script suivant :

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

Configuration du déploiement

Avant le déploiement, les couches de base de données et de produit de données sont configurées via une approche centralisée de configuration en tant que code. Cortex Framework utilise un fichier config/config.yaml pour configurer le déploiement de Cortex Framework. Nous vous recommandons de commencer par créer une copie de config/config.yaml.example comme point de départ. Ce fichier contient le mappage essentiel entre vos données sources et l'environnement Google Cloud cible. Une configuration appropriée permet à Cortex Framework de savoir exactement où trouver vos données brutes et où matérialiser les couches résultantes.

Pour un déploiement réussi de Cortex Framework, vous devez ajouter les valeurs obligatoires suivantes :

  • YOUR_BUILD_PROJECT_ID: projet dans lequel l'orchestration du déploiement et les scripts uv sont exécutés.
  • YOUR_SOURCE_PROJECT_ID : projet contenant vos données sources brutes.
  • YOUR_TARGET_PROJECT_ID: projet de destination dans lequel résideront les produits de données traités et les ensembles de données BigQuery.
  • YOUR_REPO_PROJECT_ID: projet hébergeant le dépôt Dataform et les artefacts de déploiement.

Pour obtenir des informations détaillées sur le fichier de configuration, consultez Configuration du déploiement.

Exécuter le déploiement

Exécutez la commande suivante pour déclencher le déploiement de Cortex Framework. Ce processus effectuera les actions suivantes :

  • Vérifier que toutes les conditions préalables sont remplies.
  • Se connecter à l'ensemble de données brutes, puis compiler les scripts .sqlx en fonction des informations de schéma.
  • Créer le dépôt et l'espace de travail Dataform, puis synchroniser les artefacts compilés avec le dépôt.
uv run cortex-build-and-deploy --config config/config.yaml

Paramètres de la CLI uv run cortex-build-and-deploy : vous pouvez éventuellement afficher la liste des paramètres possibles compatibles avec le script cortex-demo en exécutant la commande uv run cortex-build-and-deploy -h. Pour en savoir plus, consultez CLI Cortex Framework uv run cortex-build-and-deploy.

Options de ligne de commande

L'interface de ligne de commande (CLI) uv run est compatible avec les actions suivantes :

  • uv run cortex-build: exécute la compilation de l'espace de travail Dataform, en traduisant les configurations YAML et les modèles SQLX/JS en éléments Dataform déployables. Pour en savoir plus, consultez CLI Cortex build.
  • uv run cortex-deploy: envoie les éléments compilés à l'espace de travail Dataform cible. Pour en savoir plus, consultez CLI Cortex deploy.
  • uv run cortex-build-and-deploy: combine la compilation et l'envoi des éléments de compilation dans l'espace de travail Dataform. Pour en savoir plus, consultez CLI Cortex build and deploy.

Étapes suivantes

  • Suivez les étapes post-déploiement pour exécuter les actions Dataform et vérifier les résultats dans BigQuery.

  • Découvrez l'intégration de Knowledge Catalog pour enregistrer, gérer et synchroniser vos produits de données d'entreprise dans votre organisation.

  • Créez des produits de données personnalisés : consultez le Guide d'extensibilité : Produit de données pour créer des produits de données ou étendre des schémas.