Déploiement

Cette page vous guide à travers les étapes de déploiement de Cortex Framework pour vos données d'entreprise.

Avant de commencer

Avant de poursuivre le déploiement, assurez-vous d'avoir rempli les conditions préalables décrites sur la page Conditions préalables.

Avant de déployer Cortex Framework, les tables SAP ERP concernées doivent être répliquées dans BigQuery. Pour en savoir plus, consultez la page Source de données SAP ERP.

Déploiement

Une fois votre environnement préparé, vous pouvez exécuter le déploiement. Utilisez les scripts uv de Cortex Framework pour créer et transférer vos composants de données vers votre projet Google Cloud , en transformant vos configurations locales en une architecture de données évolutive et en direct.

Configuration

Avant le déploiement, les couches de base de données et de produits de données sont configurées à l'aide d'une approche centralisée de configuration en tant que code. Cortex Framework utilise un fichier config/config.yaml pour configurer le déploiement de Cortex Framework. Ce fichier contient le mappage essentiel entre vos données sources et l'environnement cible Google Cloud. Une configuration appropriée permet au Cortex Framework de savoir exactement où trouver vos données brutes et où matérialiser les couches résultantes.

Pour déployer correctement le Cortex Framework, vous devez ajouter les valeurs obligatoires suivantes :

  • YOUR_BUILD_PROJECT_ID : projet dans lequel l'orchestration du déploiement et les scripts uv sont exécutés.
  • YOUR_SOURCE_PROJECT_ID : projet contenant vos données sources brutes.
  • YOUR_TARGET_PROJECT_ID : projet de destination dans lequel résideront les produits de données traitées et les ensembles de données BigQuery.
  • YOUR_REPO_PROJECT_ID : projet hébergeant le dépôt Dataform et les artefacts de déploiement.

Pour en savoir plus sur le fichier de configuration, consultez Configuration du déploiement.

Configurer les rôles IAM

Configurez les autorisations Identity and Access Management (IAM) requises pour déployer le contenu Cortex Framework dans les projets Google Cloud requis.

Rôles pour le projet de compilation

Pour obtenir les autorisations nécessaires pour créer Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur de job de données BigQuery (roles/bigquery.jobUser) sur votre projet de compilation. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour le projet source

Pour obtenir les autorisations nécessaires pour déployer Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur votre projet source. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour les projets cibles

Pour obtenir les autorisations nécessaires pour déployer Cortex Framework, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets cibles :

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Exécuter le déploiement

Exécutez la commande suivante pour déclencher le déploiement du Cortex Framework. Ce processus effectue les actions suivantes :

  • Vérifiez que toutes les conditions préalables sont remplies.
  • Connectez-vous à l'ensemble de données brutes, puis, en fonction des informations du schéma, créez et compilez les scripts .sqlx.
  • Créez le dépôt et l'espace de travail Dataform, puis synchronisez les artefacts compilés avec le dépôt.
uv run cortex-build-and-deploy --config "config/config.yaml"

Options de ligne de commande

L'interface de ligne de commande (CLI) uv run est compatible avec les actions suivantes :

  • uv run cortex-build : exécute la compilation de l'espace de travail Dataform, en traduisant les configurations YAML et les modèles SQLX/JS en éléments Dataform déployables. Pour en savoir plus, consultez CLI Cortex build.
  • uv run cortex-deploy : envoie les éléments compilés à l'espace de travail Dataform cible. Pour en savoir plus, consultez CLI Cortex deploy.
  • uv run cortex-build-and-deploy : combine la compilation et l'envoi des éléments de compilation dans l'espace de travail Dataform. Pour en savoir plus, consultez Créer et déployer Cortex à l'aide de la CLI.

Exécuter le pipeline de l'infrastructure de données et des produits de données

Une fois le déploiement terminé, la dernière étape consiste à exécuter toutes les actions dans le dépôt Dataform. En exécutant le pipeline dans l'espace de travail Dataform, vous lancez la transformation logique des données brutes en produits de données structurés et prêts pour l'IA, qui peuvent être utilisés immédiatement par l'entreprise. Procédez comme suit :

  1. Accédez à Dataform.
  2. Assurez-vous de vous trouver dans le bon projet.
  3. Cliquez sur le nom du dépôt créé.
  4. Cliquez sur le nom de l'espace de travail.
  5. Cliquez sur Démarrer l'exécution.
  6. Cliquez sur Actions à exécuter.
  7. Sélectionnez Toutes les actions. Vous pouvez également sélectionner les étapes qui vous intéressent.
  8. Cliquez sur Start Execution (Démarrer l'exécution).

Vérifiez que le déploiement a réussi :

  1. Cliquez sur Exécutions.
  2. Vérifiez que l'état est "Terminé".
  3. Cliquez sur le lien d'exécution pour en savoir plus.

Vous pouvez désormais examiner les composants de données BigQuery déployés dans l'ensemble de données configuré dans le fichier de configuration. Par exemple, CORTEX_SAP_DATAFOUNDATION et CORTEX_SAP_DATAPRODUCTS.