Étapes post-déploiement

Cette page vous guide à travers les étapes post-déploiement de Cortex Framework pour exécuter vos pipelines de données et vérifier les résultats.

Une fois votre déploiement exécuté, tous les modèles et configurations de transformation sont compilés et déployés dans votre dépôt Dataform cible. Toutefois, pour matérialiser les tables et les vues dans BigQuery, vous devez d'abord exécuter les actions du pipeline Dataform.

Exécuter les transformations dans Dataform

En exécutant le pipeline, vous lancez la transformation logique des données brutes en couches de base de données standardisées et prêtes pour l'IA, ainsi qu'en produits de données prêts à être utilisés immédiatement par l'entreprise.

Vous pouvez exécuter des actions manuellement dans la Google Cloud console pour la validation ou configurer des programmations récurrentes pour la production.

Exécution manuelle pour la validation

Pour exécuter une validation manuelle de l'ensemble du pipeline dans votre espace de travail Dataform, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la pageDataform.
  2. Assurez-vous d'avoir sélectionné le projet concerné dans le menu déroulant. Google Cloud
  3. Cliquez sur le nom du dépôt créé lors du déploiement (par exemple, cortex).
  4. Cliquez sur le nom de l'espace de travail (par exemple, cortex).
  5. Cliquez sur Démarrer l'exécution.
  6. Cliquez sur Actions à exécuter.
  7. Sélectionnez Toutes les actions. Vous pouvez également choisir des sous-ensembles clés de transformations en sélectionnant des tags ou des actions spécifiques.
  8. Cliquez sur Démarrer l'exécution.

Vérifier le bon déroulement de l'exécution

Pour surveiller la progression et vérifier si le pipeline s'est terminé correctement, procédez comme suit :

  1. Cliquez sur l'onglet Exécutions pour afficher l'historique des exécutions.
  2. Vérifiez que l'état est Terminé.
  3. Cliquez sur le lien d'exécution pour inspecter les détails d'actions spécifiques, les erreurs de compilation ou les durées d'exécution.

Examiner les actifs de données dans BigQuery

Une fois votre pipeline Dataform exécuté, vérifiez les ensembles de données générés et examinez les tables matérialisées dans BigQuery.

  1. Dans la Google Cloud console, accédez à BigQuery.
  2. Recherchez les ensembles de données cibles configurés dans votre fichier config.yaml (par exemple, l'ensemble de données identifié par datasetId dans l'entrée data.targets référencée par le dataTargetId du module). Par exemple, dans les configurations de modèle, il peut s'agir des éléments suivants :
    • Couche de base de données : recherchez l'ensemble de données correspondant à l'ID de votre cible de base (configuré sur cortex7_sap_data_foundation par défaut).
    • Couche de produits de données : recherchez l'ensemble de données correspondant à l'ID de votre cible de produit (configuré sur cortex7_data_products par défaut).
  3. Prévisualisez les tables et exécutez des exemples de requêtes pour vérifier qu'elles sont remplies avec les enregistrements attendus.

Étapes suivantes

Maintenant que vos systèmes de données sont opérationnels, vous pouvez explorer les éléments suivants :