Présentation du déploiement

Cette page vous guide tout au long des étapes de déploiement de Cortex Framework pour vos données d'entreprise.

Avant de commencer

Avant de poursuivre le déploiement, assurez-vous d'avoir rempli les conditions préalables décrites sur la page Conditions préalables.

Avant de déployer Cortex Framework, les tables SAP ERP pertinentes doivent être répliquées dans BigQuery. Pour en savoir plus, consultez la page Source de données SAP ERP.

Déploiement

Une fois votre environnement préparé, vous pouvez exécuter le déploiement. Utilisez les scripts uvde Cortex Framework pour créer et envoyer vos éléments de données à votre Google Cloud projet, en transformant vos configurations locales en une architecture de données évolutive et en direct.

Configuration

Avant le déploiement, les couches de base de données et de produit de données sont configurées à l'aide d'une approche centralisée de configuration en tant que code. Cortex Framework utilise un fichier config/config.yaml pour configurer le déploiement de Cortex Framework. Ce fichier contient le mappage essentiel entre vos données sources et l'environnement Google Cloud cible. Une configuration appropriée garantit que Cortex Framework sait exactement où trouver vos données brutes et où matérialiser les couches résultantes.

Pour que le déploiement de Cortex Framework réussisse, vous devez ajouter les valeurs obligatoires suivantes :

• YOUR_BUILD_PROJECT_ID: projet dans lequel l'orchestration du déploiement et les scripts uv sont exécutés.
• YOUR_SOURCE_PROJECT_ID : projet contenant vos données sources brutes.
• YOUR_TARGET_PROJECT_ID: projet de destination dans lequel résideront les produits de données traités et les ensembles de données BigQuery.
• YOUR_REPO_PROJECT_ID: projet hébergeant le dépôt Dataform et les artefacts de déploiement.

Pour en savoir plus sur le fichier de configuration, consultez Configuration du déploiement.

Configurer les rôles IAM

Configurez les autorisations Identity and Access Management (IAM) requises pour déployer le contenu de Cortex Framework dans les projets requis Google Cloud .

Rôles pour le projet de compilation

Pour obtenir les autorisations nécessaires à la compilation de Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur de job BigQuery (roles/bigquery.jobUser) sur votre projet de compilation. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour le projet source

Pour obtenir les autorisations nécessaires au déploiement de Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) sur votre projet source. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles pour les projets cibles

Pour obtenir les autorisations nécessaires au déploiement de Cortex Framework, demandez à votre administrateur de vous accorder les rôles IAM suivants sur vos projets cibles :

• Éditeur de données BigQuery (roles/bigquery.dataEditor)
• Administrateur Dataform (roles/dataform.admin)
• Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Remarque : Le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin) est utilisé lors de l'exécution du script de déploiement de Cortex Framework pour l'activation automatique des API suivantes : Google Cloud dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Si les stratégies de votre organisation n'autorisent pas l'octroi de ce privilège aux utilisateurs, vous pouvez également activer manuellement les API mentionnées avant l'exécution du script de déploiement de Cortex Framework.

Exécuter le déploiement

Exécutez la commande suivante pour déclencher le déploiement de Cortex Framework. Ce processus effectuera les actions suivantes :

• Vérifier que toutes les conditions préalables sont remplies.
• Se connecter à l'ensemble de données brutes et, en fonction des informations de schéma, compiler les scripts .sqlx.
• Créer le dépôt et l'espace de travail Dataform, puis synchroniser les artefacts compilés avec le dépôt.

uv run cortex-build-and-deploy --config "config/config.yaml"

• Suivez les étapes de post-déploiement pour exécuter les actions Dataform et vérifier les résultats dans BigQuery

Options de ligne de commande

L'interface de ligne de commande (CLI) uv run est compatible avec les actions suivantes :

• uv run cortex-build: exécute la compilation de l'espace de travail Dataform, en traduisant les configurations YAML et les modèles SQLX/JS en éléments Dataform déployables. Pour en savoir plus, consultez Compilation Cortex à l'aide de la CLI.
• uv run cortex-deploy: envoie les éléments compilés à l'espace de travail Dataform cible. Pour en savoir plus, consultez Déploiement Cortex à l'aide de la CLI.
• uv run cortex-build-and-deploy: combine la compilation et l'envoi des éléments de compilation dans l'espace de travail Dataform. Pour en savoir plus, consultez Compilation et déploiement Cortex à l'aide de la CLI.