Ringkasan
Google Cloud Cortex Framework menyediakan akselerator produk data yang dirancang untuk mengubah data mentah dari sistem perusahaan strategis menjadi aset data tepercaya dan berkualitas tinggi yang siap untuk analisis dan AI lanjutan.
Google Cloud Cortex Framework, yang dikirimkan sebagai kode open source yang dapat disesuaikan dan dapat di-deploy dengan aman dalam lingkungan Anda sendiri Google Cloud , menawarkan model eksekusi serverless dan native BigQueryyang didukung oleh Google Cloud Dataform.
Dengan menyederhanakan cara tim membangun, mengatur, dan men-deploy pipeline data, Cortex Framework mempercepat waktu untuk mendapatkan nilai dan memberikan fondasi dengan fidelitas tinggi untuk agen AI perusahaan generasi berikutnya.
Arsitektur data
Cortex Framework menstandarkan pemrosesan data di dalam BigQuery menjadi tiga lapisan arsitektur yang berbeda menggunakan metodologi Extract, Load, and Transform (ELT). Strategi pelapisan data standar ini selaras dengan konsep data mesh perusahaan.
Sistem Sumber
Sistem sumber adalah asal data yang di-ingest. Sistem sumber dapat mencakup berbagai aplikasi, database, atau platform perusahaan tempat data diekstrak. Untuk semua sistem sumber yang didukung, lihat sistem sumber yang didukung.
Lapisan mentah
Lapisan mentah mewakili set data zona pendaratan yang tidak dapat diubah di BigQuery untuk data sumber, baik log Change Data Capture (CDC) maupun ekstrak batch. Meskipun sering menyimpan log CDC (misalnya, dari SAP ECC atau S/4HANA menggunakan alat replikasi seperti BigQuery Connector untuk SAP atau BigQuery Toolkit untuk SAP), lapisan ini dirancang untuk mewakili format mentah apa pun. Untuk sumber yang tidak menyediakan log CDC, seperti Salesforce atau feed API eksternal, lapisan ini mewakili ekstrak batch lengkap atau payload peristiwa mentah persis seperti yang diterima, dengan sedikit atau tanpa perubahan struktural. Lapisan ini menyediakan data untuk lapisan fondasi data.
Lapisan fondasi data
Lapisan fondasi data adalah representasi standar dan bersih dari data sumber terbaru dan menyediakan data untuk lapisan produk data. Lapisan ini diperbarui secara inkremental untuk sumber yang mendukung CDC dan menggunakan tampilan untuk sumber yang tidak mendukung CDC serta sumber CDC yang diterapkan secara eksternal. Implementasi ini disesuaikan dengan kemampuan sistem sumber. Untuk mengetahui informasi selengkapnya, lihat Fondasi data.
Lapisan produk data
Lapisan produk data menyediakan agregasi, perhitungan KPI, logika bisnis, dan logika koneksi lintas aplikasi. Tampilan dan tabel yang diekspos oleh lapisan produk data dirancang untuk penggunaan langsung oleh BigQuery Conversational Analytics Agents, Gemini Enterprise, Model Machine Learning, dasbor dan laporan BI, serta integrasi aplikasi. Untuk mengetahui informasi selengkapnya, lihat Produk data.
Pengelolaan data
Cortex Framework uses Dataform untuk mengelola siklus proses data. Dataform memungkinkan Anda mengelola transformasi data untuk integrasi data. Dataform menyediakan layanan bagi analis data untuk mengembangkan, menguji, mengontrol versi, dan menjadwalkan alur kerja yang kompleks untuk transformasi data di BigQuery. Untuk beradaptasi secara dinamis dengan penyesuaian dan ekstensi, Cortex Framework membuat kode Dataform selama fase build, dan menahapkannya ke repositori Dataform di Google Cloud.
Dengan memicu eksekusi pipeline di UI Dataform, tabel dan tampilan BigQuery dari lapisan fondasi data dan produk data akan dibuat dan diisi dengan data.
Langkah berikutnya
Siap membangun dan men-deploy? Jelajahi panduan berikut untuk menyiapkan dan menjalankan lingkungan Anda:
- Demo deployment: Deploy konten solusi contoh dalam hitungan menit untuk melihat cara kerja Cortex Framework.
- Deployment: Ikuti petunjuk langkah demi langkah untuk mengonfigurasi dan men-deploy Cortex Framework untuk data perusahaan Anda.