Déploiement de démonstration

Le déploiement de démonstration offre une expérience simplifiée à l'aide d'un exemple d'ensemble de données prédéfini. Il fournit un workflow de bout en bout pour déployer les pipelines Dataform du Cortex Framework pour l'orchestration et pour initialiser les ensembles de données BigQuery correspondants avec des exemples de données.

Attention : Le déploiement de démonstration ne convient pas aux environnements de production. Pour les déploiements en production, consultez Déploiement de Cortex Framework.

Avant de commencer

Avant de poursuivre le déploiement de la démo, assurez-vous d'avoir rempli les conditions préalables décrites sur la page Conditions préalables.

Obtenir les rôles et autorisations IAM requis

Obtenez les autorisations IAM (Identity and Access Management) requises pour déployer le contenu Cortex Framework dans le projet Google Cloud cible.

Rôles pour le projet cible

Pour obtenir les autorisations nécessaires pour déployer Cortex Framework, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet cible :

• Utilisateur de job BigQuery (roles/bigquery.jobUser)
• Éditeur de données BigQuery (roles/bigquery.dataEditor)
• Éditeur Dataform (roles/dataform.editor)
• Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Remarque : Le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin) est utilisé lors de l'exécution du script de déploiement Cortex Framework pour l'activation automatique des API suivantes : dataform.googleapis.com, bigquery.googleapis.com et cloudresourcemanager.googleapis.com. Google Cloud Si les règles d'administration de votre organisation n'autorisent pas l'octroi de ce droit aux utilisateurs, vous pouvez également activer manuellement les API mentionnées avant l'exécution du script de déploiement du Cortex Framework.

Facultatif : Obtenir les rôles IAM requis pour un déploiement de démonstration à l'aide d'un compte de service

Les rôles suivants ne sont requis qu'en cas de déploiement de démonstration avec le paramètre facultatif --service_account activé. Fournir un compte de service lors du déploiement de la démo simplifie l'exécution post-déploiement des pipelines de données en créant une configuration de planification de l'exécution des workflows. Ces rôles ne sont pas requis pour les déploiements sans la configuration --service_account.

Pour obtenir les autorisations nécessaires pour déployer la version de démonstration de Cortex Framework, demandez à votre administrateur de vous accorder le rôle IAM Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator) sur votre projet source et votre projet cible. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Déploiement

Suivez ces étapes pour créer un environnement Python virtuel, synchroniser les dépendances et déclencher les pipelines de données. N'oubliez pas d'utiliser les scripts uv du Cortex Framework pour créer et transférer vos composants de données vers votre projet Google Cloud , en transformant vos configurations locales en une architecture de données évolutive et en direct. Pour en savoir plus, consultez la section Installation de uv dans la section Conditions préalables.

Exécuter le déploiement de démonstration

Exécutez la commande suivante pour déclencher le déploiement. Ce processus effectue les actions suivantes :

• Vérifiez que toutes les conditions préalables sont remplies.
• Chargez des exemples de données dans un ensemble de données BigQuery pour qu'elles servent de couche brute à des fins de démonstration.
• Créez des pipelines Dataform pour traiter les exemples de données via les couches de données du Cortex Framework.
• Créez le dépôt et l'espace de travail Dataform, puis synchronisez les artefacts compilés avec le dépôt.
• Créez une planification de workflow et déclenchez l'exécution initiale du workflow Dataform.

Pour un déploiement de démonstration sans compte de service, exécutez la commande suivante :

uv run cortex-demo --project_id=PROJECT_ID

Pour un déploiement de démonstration avec un compte de service, exécutez la commande suivante :

Remarque : --service_account est un paramètre facultatif.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Pour en savoir plus, consultez Emplacements BigQuery compatibles et Régions Dataform compatibles.

Déploiement de la démo de la CLI : vous pouvez éventuellement afficher une liste des paramètres possibles en exécutant la commande uv run cortex-demo -h. Pour en savoir plus, consultez Déploiement de démonstration du framework Cortex avec la CLI.

Validation

Une fois le déploiement terminé :

1. Ouvrez Dataform pour inspecter le nouveau code créé dans le dépôt :

   1. Vous avez créé un dépôt Dataform.
   2. Espace de travail de développement Dataform créé.
   3. Code compilé et synchronisé.

2. Exécutez les actions Dataform :

   Remarque : Cette étape est facultative si le paramètre --service_account a été utilisé lors du déploiement.
   1. Ouvrez l'espace de travail Dataform.
   2. Cliquez sur Démarrer l'exécution.
   3. Cliquez sur Actions à exécuter.
   4. Cliquez sur Toutes les actions.

   5. Cliquez sur Démarrer l'exécution.

   6. Surveillez l'exécution réussie de toutes les actions dans votre dépôt Dataform.

3. Accédez à la console BigQuery pour afficher les ensembles de données créés, puis vérifiez le schéma et les données. Ensembles de données créés :

   • cortex_demo_sap_ecc_raw : cet ensemble de données contient les données brutes du système source (SAP S/4HANA dans cet exemple).
   • cortex_demo_sap_ecc_data_foundation : cet ensemble de données représente la couche de base des données, où les données brutes de la couche brute sont traitées par CDC.
   • cortex_demo_data_product : cet ensemble de données contient les produits de données de démonstration, c'est-à-dire des vues ou des tables affinées et performantes conçues pour les utilisateurs finaux.