Présentation
Google Cloud Cortex Framework fournit des accélérateurs de produits de données conçus pour transformer les données brutes provenant de systèmes d'entreprise stratégiques en actifs de données fiables et de haute qualité, prêts pour l'analyse avancée et l'IA.
Fourni sous forme de code Open Source personnalisable déployable de manière sécurisée dans votre propre Google Cloud environnement, Google Cloud Cortex Framework propose un modèle d'exécution sans serveur et natif de BigQuery, optimisé par Google Cloud Dataform.
En simplifiant la façon dont les équipes créent, orchestrent et déploient des pipelines de données, Cortex Framework accélère la rentabilité et fournit une base haute fidélité pour la prochaine génération d'agents d'IA d'entreprise.
Architecture de données
Cortex Framework standardise le traitement des données dans BigQuery en trois couches architecturales distinctes à l'aide d'une méthodologie d'extraction, de chargement et de transformation (ELT). Cette stratégie de superposition de données standardisée s'aligne sur les concepts de maillage de données d'entreprise.
Système source
Les systèmes sources sont à l'origine des données ingérées. Ils peuvent inclure diverses applications, bases de données ou plates-formes d'entreprise à partir desquelles les données sont extraites. Pour tous les systèmes sources compatibles, consultez Systèmes sources compatibles.
Couche brute
La couche brute représente l'ensemble de données de zone d'atterrissage immuable dans BigQuery pour les données sources, qu'il s'agisse de journaux de capture des données modifiées (CDC) ou d'extraits par lot. Bien qu'elle stocke fréquemment des journaux CDC (par exemple, à partir de SAP ECC ou S/4HANA à l'aide d'outils de réplication tels que BigQuery Connector for SAP ou BigQuery Toolkit for SAP), elle est conçue pour représenter n'importe quel format brut. Pour les sources qui ne fournissent pas de journaux CDC, telles que Salesforce ou les flux d'API externes, cette couche représente les extraits par lot complets ou les charges utiles d'événements bruts exactement tels qu'ils arrivent, avec peu ou pas de modifications structurelles. Cette couche alimente la couche de base de données.
Couche de base de données
La couche de base de données est une représentation standardisée et propre des derniers enregistrements des données sources. Elle alimente la couche de produit de données. Cette couche est mise à jour de manière incrémentielle pour les sources compatibles avec la CDC et utilise des vues pour les sources non compatibles avec la CDC, ainsi que pour les sources CDC implémentées en externe. L'implémentation s'adapte aux capacités du système source. Pour en savoir plus, consultez Base de données.
Couche de produit de données
La couche de produit de données fournit des agrégations, des calculs de KPI, une logique métier et une logique de connexion entre les applications. Les vues et les tables exposées par la couche de produit de données sont conçues pour être consommées directement par les agents BigQuery Conversational Analytics, Gemini Enterprise, les modèles de machine learning, les tableaux de bord et rapports de BI, ainsi que les intégrations d'applications. Pour en savoir plus, consultez Produits de données.
Gestion des données
Cortex Framework utilise Dataform pour gérer le cycle de vie des données. Dataform vous permet de gérer la transformation des données pour l'intégration des données. Il fournit un service permettant aux analystes de données de développer, de tester, de contrôler les versions et de planifier des workflows complexes pour la transformation de données dans BigQuery. Pour s'adapter de manière dynamique aux personnalisations et aux extensions, Cortex Framework crée le code Dataform lors de la phase de compilation et le met en scène dans le dépôt Dataform en Google Cloud.
En déclenchant une exécution des pipelines dans l'interface utilisateur Dataform, les tables et vues BigQuery des couches de base de données et de produit de données sont créées et remplies avec des données.
Étapes suivantes
Prêt à créer et à déployer ? Consultez les guides suivants pour configurer votre environnement :
- Déploiement de démonstration : déployez le contenu de la solution exemple en quelques minutes pour voir Cortex Framework en action.
- Déploiement : suivez les instructions détaillées pour configurer et déployer Cortex Framework pour vos données d'entreprise.