Ringkasan
Google Cloud Cortex Framework menyediakan akselerator produk data yang dirancang untuk mengubah data mentah dari sistem perusahaan strategis menjadi aset data berkualitas tinggi yang tepercaya dan siap untuk analisis dan AI tingkat lanjut.
Google Cloud Cortex Framework, yang dikirimkan sebagai kode open source yang dapat disesuaikan dan di-deploy dengan aman dalam lingkungan Anda sendiri Google Cloud , menawarkan model eksekusi serverless dan BigQuery native yang didukung oleh Google Cloud Dataform.
Dengan menyederhanakan cara tim membuat, mengatur, dan men-deploy pipeline data, Cortex Framework mempercepat waktu untuk mendapatkan nilai dan memberikan fondasi dengan fidelitas tinggi untuk agen AI perusahaan generasi berikutnya.
Arsitektur data
Cortex Framework menstandarkan pemrosesan data di dalam BigQuery menjadi tiga lapisan arsitektur yang berbeda menggunakan metodologi Extract, Load, and Transform (ELT). Strategi pelapisan data yang distandarkan ini selaras dengan konsep mesh data perusahaan.
Sistem Sumber
Sistem sumber adalah asal data yang di-ingest. Sistem sumber dapat mencakup berbagai aplikasi, database, atau platform perusahaan tempat data diekstrak. Untuk semua sistem sumber yang didukung, lihat sistem sumber yang didukung.
Lapisan mentah
Lapisan mentah mewakili set data zona landing yang tidak dapat diubah di BigQuery untuk data sumber, baik log Change Data Capture (CDC) maupun ekstrak batch. Meskipun sering menyimpan log CDC (misalnya, dari SAP ECC atau S/4HANA menggunakan alat replikasi seperti BigQuery Connector untuk SAP atau BigQuery Toolkit untuk SAP), lapisan ini dirancang untuk mewakili format mentah apa pun. Untuk sumber yang tidak menyediakan log CDC, seperti Salesforce atau feed API eksternal, lapisan ini mewakili ekstrak batch lengkap atau payload peristiwa mentah persis seperti yang diterima, dengan perubahan struktural minimal hingga tidak ada. Lapisan ini menyediakan data untuk lapisan fondasi data.
Lapisan fondasi data
Lapisan fondasi data adalah representasi yang distandarkan dan bersih dari kumpulan data sumber terbaru dan menyediakan data untuk lapisan produk data. Lapisan ini diperbarui secara inkremental untuk sumber yang mendukung CDC dan menggunakan tampilan untuk sumber yang tidak mendukung CDC serta sumber CDC yang diterapkan secara eksternal. Implementasi ini beradaptasi dengan kemampuan sistem sumber. Untuk mengetahui informasi selengkapnya, lihat Fondasi data.
Lapisan produk data
Lapisan produk data menyediakan agregasi, perhitungan KPI, logika bisnis, dan logika koneksi lintas aplikasi. Tampilan dan tabel yang diekspos oleh lapisan produk data dirancang untuk penggunaan langsung oleh Agen analisis percakapan BigQuery, Gemini Enterprise, Model Machine Learning, dasbor dan laporan BI, serta integrasi aplikasi. Untuk mengetahui informasi selengkapnya, lihat Produk data.
Pengelolaan data
Cortex Framework uses Dataform untuk mengelola siklus proses data. Dataform memungkinkan Anda mengelola transformasi data untuk integrasi data. Layanan ini menyediakan layanan bagi analis data untuk mengembangkan, menguji, mengontrol versi, dan menjadwalkan alur kerja yang kompleks untuk transformasi data di BigQuery. Untuk beradaptasi secara dinamis dengan penyesuaian dan ekstensi, Cortex Framework membuat kode Dataform selama fase build, dan menahapkannya ke repositori Dataform di Google Cloud.
Dengan memicu eksekusi pipeline di UI Dataform, tabel dan tampilan BigQuery dari lapisan fondasi data dan produk data akan dibuat dan diisi dengan data.
Langkah berikutnya
Siap membangun dan men-deploy? Jelajahi panduan berikut untuk menyiapkan dan menjalankan lingkungan Anda:
- Deployment demo: Deploy konten solusi dengan data demo dalam hitungan menit untuk melihat Cortex Framework beraksi dengan cepat.
- Deployment: Ikuti petunjuk langkah demi langkah untuk mengonfigurasi dan men-deploy Cortex Framework untuk data perusahaan Anda.