Ringkasan solusi
Google Cloud Cortex Framework menyediakan akselerator solusi yang membantu Anda membangun produk data tepercaya dan berkualitas tinggi yang siap untuk analisis lanjutan dan kasus penggunaan agentic. Framework ini menggunakan Google Cloudproduk Google Cloud termasuk BigQuery, Dataform, Knowledge Catalog, dan Gemini Enterprise Agent Platform.
Akselerator solusi Cortex Framework tersedia sebagai modul open source yang dapat disesuaikan yang Anda deploy dengan aman dalam lingkungan Anda sendiri Google Cloud untuk membangun, menyesuaikan, dan memperluas produk data dengan cepat dari sistem sumber perusahaan.
Dengan menyederhanakan cara tim membangun, mengatur, dan men-deploy, Cortex Framework mempercepat waktu untuk mendapatkan nilai dan menyediakan fondasi berkualitas tinggi untuk analisis perusahaan tepercaya dan kasus penggunaan agentic.
Sumber data yang didukung
Akselerator solusi Cortex Framework tersedia untuk sumber data berikut:
Komponen penting
Cortex Framework terdiri dari komponen solusi tingkat tinggi berikut:
Framework build dan deployment
Framework build dan deployment mengatur transisi dari konfigurasi lokal ke pipeline Dataform, set data BigQuery aktif, dan dijalankan menggunakan skrip command-line interface (CLI) (cortex-build, cortex-deploy, cortex-build-and-deploy) yang didukung oleh alat Python standar (uv).
Anda dapat menjalankan skrip ini di berbagai lingkungan:
- Mesin pengembangan lokal: Untuk penyiapan awal, penyesuaian, pengujian, dan proses debug.
- Google Cloud **Cloud Shell / workstation virtual**: Lingkungan developer yang aman dan dihosting di cloud.
- Pipeline CI/CD: Mengotomatiskan build dan deployment melalui sistem seperti Cloud Build atau GitHub Actions untuk memastikan continuous integration.
Framework ini mengompilasi file konfigurasi (seperti config.yaml dan table_settings.yaml), menganalisis skema aset data sumber (termasuk kolom kustom), dan membuat kode JavaScript dan SQLX Dataform secara dinamis. Kode tersebut kemudian dikirim ke repositori Dataform di Google Cloud dan segera siap untuk eksekusi pipeline.
Modul data
Modul data menyediakan framework build dan deployment dengan metadata solusi yang dikemas yang menentukan struktur dan komponen pipeline data Dataform. Ada berbagai jenis modul:
- Modul fondasi data: Menentukan set data yang mewakili status terbaru tabel operasional mentah. Modul ini menstandarkan jenis data, mengganti nama kolom data menjadi istilah bisnis yang mudah dibaca, menangani perubahan data, dan menjalankan penyesuaian zona waktu.
- Modul produk data: Menentukan model analisis yang dibangun di atas konten modul fondasi data. Modul ini menerapkan aturan bisnis, KPI, agregasi, dan gabungan lintas fungsi yang kompleks (misalnya, menggabungkan catatan penjualan dengan nilai tukar mata uang) untuk mengekspos set data yang bersih dan siap digunakan.
- Modul katalog data: Menentukan katalog lakehouse eksternal yang didukung untuk referensi tabel eksternal tanpa manifes fisik.
Modul bersifat open source dan dapat disesuaikan, sehingga Anda dapat menyesuaikannya dengan persyaratan bisnis unik Anda.
Katalog data eksternal
Cortex Framework mendukung integrasi langsung dengan katalog data eksternal menggunakan modul katalog data. Dengan menggunakan katalog runtime Lakehouse, framework ini dapat membuat kueri tabel yang dikelola di data lake eksternal atau delta share (seperti produk data yang bersumber menggunakan SAP Business Data Cloud Connect untuk BigQuery) tanpa overhead salinan.
Hal ini memungkinkan organisasi menggabungkan konten yang disediakan Cortex Framework dengan produk data eksternal, sehingga membuat insight bisnis terpadu tanpa penyimpanan duplikat atau pemeliharaan pipeline.
Orkestrasi Dataform
Cortex Framework menggunakan Dataform untuk mengelola siklus proses transformasi data. Dataform menyediakan lingkungan tanpa server untuk membangun, menguji, mengontrol versi, dan menjadwalkan pipeline SQL yang kompleks di dalam BigQuery.
Daripada menulis SQL statis, framework ini membuat kode Dataform secara dinamis selama fase build untuk mencerminkan konfigurasi dan penyesuaian spesifik Anda. Setelah di-staging ke repositori Dataform target di Google Cloud, Anda dapat menjalankan pipeline yang dihasilkan untuk mewujudkan dan mengisi tabel dan tampilan yang sesuai.
Model data BigQuery
Semua data yang diproses oleh Cortex Framework diatur dan disimpan di BigQuery. Framework ini mendukung:
- Tabel dan tampilan BigQuery standar: Set data BigQuery virtual atau yang sepenuhnya terwujud yang dioptimalkan dengan partisi dan clustering untuk meningkatkan performa kueri dan mengontrol biaya.
- Sumber data gabungan: Kueri yang mencakup set data eksternal, sehingga Anda dapat menggabungkan penyimpanan BigQuery dengan tabel eksternal gabungan.
- Katalog runtime Lakehouse: Kueri langsung tanpa salinan katalog eksternal (seperti delta sharing) yang diekspos sebagai tabel di BigQuery, yang mendukung pembuatan produk data di seluruh sumber data.
Integrasi Knowledge Catalog
Knowledge Catalog berfungsi sebagai katalog tata kelola dan penemuan terpadu untuk semua aset data di seluruh perusahaan Anda. Cortex Framework terintegrasi secara native dengan Knowledge Catalog menggunakan alat sinkronisasi khusus cortex-kc-sync.
Saat dijalankan, alat ini secara otomatis mendaftarkan produk data yang di-deploy di katalog, mengimpor nama yang mudah dibaca, deskripsi bisnis mendetail, dan link dokumentasi. Alat ini menautkan tabel BigQuery fisik ke domain bisnis logis, sehingga aset data dapat ditemukan oleh analis bisnis, pengelola data, dan agen AI sekaligus memastikan pelacakan silsilah yang andal. Untuk mengetahui informasi selengkapnya, lihat Integrasi Knowledge Catalog.
Arsitektur data
Cortex Framework menstandarkan pemrosesan data dalam BigQuery. Arsitektur ini diatur ke dalam tiga lapisan data terstruktur yang berbeda yang selaras dengan prinsip mesh data perusahaan, sehingga mendorong kepemilikan yang jelas, penggunaan ulang yang tinggi, dan pemisahan lapisan data yang ketat.
Sistem Sumber
Sistem sumber adalah asal data bisnis Anda. Sistem ini dapat mencakup berbagai aplikasi, database, atau platform perusahaan tempat data diekstrak. Untuk mengetahui daftar lengkap sumber yang didukung, lihat sumber data yang didukung.
Lapisan mentah
Lapisan mentah mewakili set data zona pendaratan yang tidak dapat diubah di BigQuery untuk data sumber, baik log change data capture (CDC) maupun batch yang diproses CDC. Meskipun sering menyimpan log CDC (misalnya, dari SAP ECC atau S/4HANA menggunakan alat replikasi seperti BigQuery Connector untuk SAP atau BigQuery Toolkit untuk SAP), lapisan ini dirancang untuk mewakili format mentah apa pun. Untuk sumber yang tidak menyediakan log CDC, seperti Salesforce atau feed API eksternal, lapisan ini mewakili ekstrak batch lengkap atau payload peristiwa mentah persis seperti yang diterima. Lapisan ini memberi data ke lapisan fondasi data.
Lapisan fondasi data
Lapisan fondasi data membersihkan, menstandarkan, dan menyesuaikan data pendaratan mentah ke dalam satu representasi yang andal dari data sumber terbaru. Lapisan ini memetakan tabel mentah ke struktur yang sesuai, menstandarkan jenis data, mengoptimalkan performa dengan partisi dan clustering, menggabungkan skema untuk memastikan konsistensi, dan menambah aset dengan anotasi metadata. Untuk sumber change data capture (CDC), lapisan ini menggabungkan data masuk secara bertahap untuk mengoptimalkan performa dan mengurangi biaya kueri. Untuk mengetahui informasi selengkapnya, lihat Fondasi data.
Lapisan produk data
Lapisan produk data menyimpan aset data siap pakai yang dirancang untuk pengambilan keputusan bisnis. Lapisan ini menerapkan logika bisnis, mengganti nama kolom sistem yang kompleks menjadi istilah bisnis yang mudah dibaca, menerjemahkan kode status, melakukan penyesuaian zona waktu dan mata uang, menggabungkan metrik, dan menggabungkan data di beberapa tabel mentah. Tabel dan tampilan yang dihasilkan dioptimalkan untuk penggunaan langsung oleh dasbor BI, alat pelaporan, pipeline machine learning, dan platform AI seperti Gemini Enterprise Agent Platform dan agen analisis percakapan BigQuery. Untuk mengetahui informasi selengkapnya, lihat Produk data.
Memperluas solusi
Cortex Framework menggabungkan fleksibilitas berbasis konfigurasi dengan otomatisasi yang dibantu AI untuk menyederhanakan cara Anda memperluas lanskap data. Baik Anda menggunakan asisten coding AI otonom untuk membangun tabel kustom atau menulis logika kompilasi kustom untuk sumber data baru, framework ini menyediakan alat, isolasi, dan gerbang keamanan yang diperlukan untuk menskalakan produk data Anda dengan aman.
Framework ekstensibilitas
Framework ekstensibilitas menyediakan metode terstruktur untuk menyesuaikan fondasi data dan membangun produk data baru. Kemampuan utama mencakup:
- Namespace kustom: Mengisolasi perubahan Anda dalam direktori kustom (Misalnya,
src/data_modules/custom_namespace/) untuk melindungi penyesuaian Anda dari penimpaan saat paket framework inti diperbarui. - Konfigurasi sebagai kode: Mendaftarkan sumber data, target, dan modul kustom baru langsung di file konfigurasi global
config/config.yaml. - Builder kompilasi kustom: Menerapkan class builder Python kustom (
builder.py) dalam modul Anda untuk mengotomatiskan pembuatan SQL dinamis, aturan pembersihan kustom, atau transformasi khusus sumber selama fase kompilasi.
Untuk mengetahui informasi selengkapnya, lihat Panduan ekstensibilitas.
Builder produk data agentic
Untuk membantu developer dan analis bisnis memperluas framework, Cortex Framework menyediakan keterampilan yang dikemas. Keterampilan ini memandu asisten coding AI (seperti Antigravity yang dipasangkan dengan Gemini) untuk:
- Memeriksa skema fisik: Mengambil nama, jenis, dan deskripsi kolom yang akurat langsung dari tabel SAP Data Dictionary (DDIC) yang direplikasi tanpa halusinasi.
- Membuat modul template: Membuat namespace, manifes, setelan tabel, model SQLX/JS, dan anotasi secara otomatis.
- Memvalidasi perubahan: Menjalankan aturan linting, audit penamaan, dan pemeriksaan kompilasi yang meningkatkan kualitas kode sebelum deployment.
Untuk mengetahui informasi selengkapnya, lihat Kemampuan agentic.
Langkah berikutnya
Siap membangun dan men-deploy? Jelajahi panduan berikut untuk menyiapkan dan menjalankan lingkungan Anda:
- Produk data: Jelajahi katalog produk data yang tersedia.
- Fondasi data: Pahami tabel dan kolom fondasi yang mendasarinya.
- Deployment demo: Deploy konten solusi dengan data demo dalam hitungan menit untuk melihat Cortex Framework beraksi dengan cepat.
- Deployment produksi: Ikuti petunjuk langkah demi langkah untuk mengonfigurasi dan men-deploy Cortex Framework untuk data perusahaan Anda.