Dokumen ini membahas bahwa tujuan pola hybrid dan multicloud analytics adalah untuk memanfaatkan pemisahan antara beban kerja transaksional dan analisis.
Dalam sistem perusahaan, sebagian besar workload termasuk dalam kategori berikut:
- Workload transaksional mencakup aplikasi interaktif seperti penjualan, pemrosesan keuangan, perencanaan sumber daya perusahaan, atau komunikasi.
- Workload analytics mencakup aplikasi yang mengubah, menganalisis, meningkatkan kualitas, atau memvisualisasikan data untuk membantu proses pengambilan keputusan.
Sistem analisis mendapatkan datanya dari sistem transaksional dengan membuat kueri API atau mengakses database. Di sebagian besar perusahaan, sistem analytics dan transaksi cenderung dipisahkan dan dikaitkan secara longgar. Tujuan pola hybrid dan multicloud analytics adalah untuk memanfaatkan pemisahan yang sudah ada ini dengan menjalankan beban kerja transaksional dan analisis di dua lingkungan komputasi yang berbeda. Data mentah diekstrak terlebih dahulu dari workload yang berjalan di lingkungan komputasi pribadi, lalu dimuat keGoogle Cloud, tempat data tersebut digunakan untuk pemrosesan analytics. Beberapa hasilnya mungkin dimasukkan kembali ke sistem transaksional.
Diagram berikut mengilustrasikan kemungkinan arsitektur secara konseptual dengan menunjukkan potensi pipeline data. Setiap jalur/panah mewakili kemungkinan opsi pipeline transformasi dan pemindahan data yang dapat didasarkan pada ETL atau ELT, bergantung pada kualitas data yang tersedia dan kasus penggunaan yang ditargetkan.
Untuk memindahkan data Anda ke Google Cloud dan mengoptimalkan manfaat dari data tersebut, gunakan layanan pemindahan data, rangkaian lengkap layanan penyerapan, integrasi, dan replikasi data.
Seperti yang ditunjukkan pada diagram sebelumnya, menghubungkan Google Cloud dengan lingkungan lokal dan lingkungan cloud lainnya dapat memungkinkan berbagai kasus penggunaan analisis data, seperti streaming data dan pencadangan database. Untuk mendukung transportasi dasar pola analisis hybrid dan multicloud yang memerlukan transfer data bervolume tinggi, Cloud Interconnect dan Cross-Cloud Interconnect menyediakan konektivitas khusus ke penyedia cloud lokal dan lainnya.
Kelebihan
Menjalankan workload analytics di cloud memiliki beberapa keuntungan utama:
- Traffic masuk, yang memindahkan data dari lingkungan komputasi pribadi atau cloud lain ke Google Cloud—mungkin tidak dikenai biaya.
- Workload analytics sering kali perlu memproses data dalam jumlah besar dan dapat mengalami lonjakan, sehingga sangat cocok untuk di-deploy di lingkungan cloud publik. Dengan menskalakan resource komputasi secara dinamis, Anda dapat memproses set data besar dengan cepat sambil menghindari investasi di muka atau penyediaan peralatan komputasi secara berlebihan.
- Google Cloud menyediakan serangkaian layanan lengkap untuk mengelola data di sepanjang siklus prosesnya, mulai dari akuisisi awal hingga pemrosesan dan analisis hingga visualisasi akhir.
- Layanan perpindahan data di Google Cloud menyediakan rangkaian produk lengkap untuk memindahkan, mengintegrasikan, dan mengubah data dengan lancar dalam berbagai cara.
- Cloud Storage sangat cocok untuk mem-build data lake.
Google Cloud membantu Anda memodernisasi dan mengoptimalkan platform data untuk mengatasi data silo. Penggunaan lakehouse data membantu menstandardisasi berbagai format penyimpanan. Lakehouse data juga dapat memberikan fleksibilitas, skalabilitas, dan ketangkasan yang diperlukan untuk membantu memastikan data Anda menghasilkan nilai bagi bisnis Anda, bukan inefisiensi. Untuk mengetahui informasi selengkapnya, lihat BigLake.
BigQuery Omni menyediakan daya komputasi yang berjalan secara lokal ke penyimpanan di AWS atau Azure. Selain itu, alat ini juga membantu Anda membuat kueri data Anda sendiri yang disimpan di Amazon Simple Storage Service (Amazon S3) atau Azure Blob Storage. Kemampuan analisis multicloud ini memungkinkan tim data mengurai silo data. Untuk mengetahui informasi selengkapnya tentang cara membuat kueri data yang disimpan di luar BigQuery, lihat Pengantar sumber data eksternal.
Praktik terbaik
Untuk menerapkan pola arsitektur hybrid dan multicloud analytics, pertimbangkan praktik terbaik umum berikut:
- Gunakan pola jaringan peralihan untuk memungkinkan penyerapan data. Jika hasil analisis perlu dimasukkan kembali ke sistem transaksional, Anda dapat menggabungkan pola handover dan traffic keluar dengan akses terbatas.
- Gunakan antrean Pub/Sub atau bucket Cloud Storage untuk menyerahkan data ke Google Cloud dari sistem transaksional yang berjalan di lingkungan komputasi pribadi Anda. Antrean atau bucket ini dapat berfungsi sebagai sumber untuk pipeline dan workload pemrosesan data.
- Untuk men-deploy pipeline data ETL dan ELT, pertimbangkan untuk menggunakan Cloud Data Fusion atau Dataflow bergantung pada persyaratan kasus penggunaan spesifik Anda. Keduanya adalah layanan pemrosesan data yang terkelola sepenuhnya dan mengutamakan cloud untuk membangun dan mengelola pipeline data.
- Untuk menemukan, mengklasifikasikan, dan melindungi aset data berharga Anda, pertimbangkan untuk menggunakan Google Cloud kemampuan Sensitive Data Protection, seperti teknik de-identifikasi. Teknik ini memungkinkan Anda menyamarkan, mengenkripsi, dan mengganti data sensitif—seperti informasi identitas pribadi (PII)—menggunakan kunci yang dibuat secara acak atau ditentukan sebelumnya, jika berlaku dan sesuai.
Saat Anda melakukan transfer data awal dari lingkungan komputasi pribadi Anda ke Google Cloud, pilih pendekatan transfer yang paling sesuai dengan ukuran set data dan bandwidth yang tersedia. Untuk mengetahui informasi selengkapnya, lihat Migrasi ke Google Cloud: Mentransfer set data besar.
Jika transfer atau pertukaran data antara Google Cloud dan cloud lain diperlukan dalam jangka panjang dengan volume traffic yang tinggi, Anda harus mengevaluasi penggunaan Google Cloud Cross-Cloud Interconnect untuk membantu Anda membangun konektivitas khusus bandwidth tinggi antaraGoogle Cloud dan penyedia layanan cloud lainnya (tersedia di lokasi tertentu).
Jika enkripsi diperlukan di lapisan konektivitas, berbagai opsi tersedia berdasarkan solusi konektivitas hybrid yang dipilih. Opsi ini mencakup tunnel VPN, VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect, dan MACsec untuk Cross-Cloud Interconnect.
Gunakan alat dan proses yang konsisten di seluruh lingkungan. Dalam skenario hybrid analytics, praktik ini dapat membantu meningkatkan efisiensi operasional, meskipun bukan prasyarat.