Pengantar tata kelola data di BigQuery

BigQuery memiliki kemampuan tata kelola bawaan yang menyederhanakan cara Anda menemukan, mengelola, memantau, mengatur, dan menggunakan aset data dan AI.

Administrator, pengelola data, pengelola tata kelola data, dan kustodian data dapat menggunakan kemampuan tata kelola di BigQuery untuk melakukan hal berikut:

• Menemukan data.
• Menyeleksi data.
• Mengumpulkan dan memperkaya metadata.
• Mengelola kualitas data.
• Memastikan data digunakan secara konsisten dan sesuai dengan kebijakan organisasi.
• Membagikan data dalam skala besar dan dengan cara yang aman.

Kemampuan tata kelola BigQuery didukung oleh Knowledge Catalog, inventaris terpusat dari semua aset data di organisasi Anda. Knowledge Catalog menyimpan metadata bisnis, teknis, dan operasional untuk semua data Anda. Knowledge Catalog membantu Anda menemukan hubungan dan semantik dalam metadata dengan menerapkan kecerdasan buatan dan machine learning.

Katalog runtime lakehouse memungkinkan Anda menggunakan beberapa mesin pemrosesan data untuk membuat kueri satu salinan data dengan satu skema, tanpa duplikasi data. Mesin pemrosesan data yang dapat Anda gunakan mencakup BigQuery, Apache Spark, Apache Flink, dan Apache Hive. Data Anda dapat disimpan di lokasi seperti tabel penyimpanan BigQuery, tabel terkelola Apache Iceberg, atau tabel eksternal BigLake.

BigQuery mendukung siklus proses data end-to-end, mulai dari penemuan hingga penggunaan data. Fitur tata kelola juga tersedia di Knowledge Catalog.

Penemuan data

BigQuery menemukan data di seluruh organisasi di Google Cloud, baik data berada di BigQuery, Spanner, Cloud SQL, Pub/Sub, atau Cloud Storage. Metadata diekstrak dan disimpan secara otomatis di Knowledge Catalog. Misalnya, Anda dapat mengekstrak metadata untuk data terstruktur dan tidak terstruktur dari Cloud Storage, dan Anda dapat membuat tabel BigLake yang siap kueri secara otomatis dalam skala besar. Hal ini memungkinkan Anda melakukan analisis dengan mesin open source tanpa duplikasi data.

Anda juga dapat mengekstrak dan mengatalogkan metadata dari sumber data pihak ketiga menggunakan konektor kustom.

BigQuery menawarkan kemampuan penemuan data berikut:

• Penelusuran. Telusuri data dan resource AI di seluruh project dan organisasi. Dalam BigQuery di Google Cloud konsol, gunakan penelusuran semantik (Pratinjau) untuk menelusuri resource menggunakan bahasa sehari-hari. Atau, temukan resource menggunakan penelusuran kata kunci di Knowledge Catalog.
• Penemuan data Cloud Storage otomatis. Pindai data di bucket Cloud Storage untuk mengekstrak, lalu mengatalogkan metadata. Penemuan otomatis membuat tabel untuk data terstruktur dan tidak terstruktur.
• Impor metadata. Impor metadata dalam skala besar dari sistem pihak ketiga ke Knowledge Catalog. Anda dapat membuat konektor kustom untuk mengekstrak data dari sumber data, lalu menjalankan pipeline konektivitas terkelola yang mengatur alur kerja impor metadata.
• Ekspor metadata. Ekspor metadata dalam skala besar dari Knowledge Catalog. Anda dapat menganalisis metadata yang diekspor dengan BigQuery, atau mengintegrasikan metadata ke dalam aplikasi kustom atau alur kerja pemrosesan terprogram.

Kurasi dan data stewardship

Untuk meningkatkan kemampuan penemuan dan kegunaan data, pengelola data dan administrator dapat menggunakan BigQuery untuk meninjau, memperbarui, dan menganalisis metadata. Kemampuan seleksi dan pengelolaan data BigQuery membantu Anda memastikan bahwa data Anda akurat, konsisten, dan selaras dengan kebijakan organisasi Anda.

BigQuery menawarkan kemampuan seleksi dan pengelolaan data berikut:

• Glosarium bisnis. Tingkatkan konteks, kolaborasi, dan penelusuran dengan menentukan terminologi organisasi Anda dalam glosarium. Identifikasi pengelola data untuk istilah tersebut, dan lampirkan istilah ke kolom aset data.
• Insight data. Gemini menggunakan metadata untuk membuat pertanyaan dalam bahasa alami tentang tabel Anda dan kueri SQL untuk menjawabnya. Insight data ini membantu Anda menemukan pola, menilai kualitas data, dan melakukan analisis statistik.
• Pembuatan profil data. Identifikasi karakteristik statistik umum kolom dalam tabel BigQuery untuk memahami dan menganalisis data Anda dengan lebih efektif.
• Kualitas data. Tentukan dan jalankan pemeriksaan kualitas data di seluruh tabel di BigQuery dan Cloud Storage, serta terapkan kontrol data reguler dan berkelanjutan di lingkungan BigQuery.
• Urutan data. Lacak pergerakan data melalui sistem Anda: dari mana asalnya, ke mana data diteruskan, dan transformasi apa yang diterapkan padanya. BigQuery mendukung urutan data di tingkat tabel dan kolom.

Langkah berikutnya untuk seleksi dan pengelolaan data

Tabel berikut menguraikan langkah-langkah berikutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur seleksi dan pengelolaan data:

Level pengalaman	Jalur pembelajaran
Pengguna cloud baru	Jalankan pemindaian profil data data untuk mendapatkan insight tentang data Anda, termasuk batas atau rata-rata data Anda.
Pengguna cloud berpengalaman	Aktifkan urutan data di project BigQuery Anda untuk mencatat informasi urutan secara otomatis untuk operasi BigQuery seperti pemuatan, penyalinan, dan modifikasi data. Catatan: Anda dapat mengonfigurasi penyerapan urutan data untuk mengaktifkan atau menonaktifkan penyerapan urutan otomatis untuk BigQuery. Siapkan pemindaian kualitas data berulang untuk memberi tahu Anda tentang kemungkinan masalah data menggunakan aturan pemindaian yang telah ditentukan. Siapkan aturan kualitas data kustom untuk pemindaian kualitas data Anda sehingga pemindaian disesuaikan dengan kebutuhan spesifik Anda.

Kontrol keamanan dan akses

Pengelolaan akses data adalah proses menentukan, menerapkan, dan memantau aturan dan kebijakan yang mengatur siapa yang memiliki akses ke data. Pengelolaan akses memastikan bahwa data hanya dapat diakses oleh orang yang memiliki izin untuk mengaksesnya.

BigQuery menawarkan kemampuan kontrol keamanan dan akses berikut:

• Identity and Access Management (IAM). IAM memungkinkan Anda mengontrol siapa yang memiliki akses ke resource BigQuery Anda, seperti project, set data, tabel, dan tampilan. Anda dapat memberikan peran IAM kepada pengguna, grup, dan akun layanan. Peran ini menentukan apa yang dapat mereka lakukan dengan resource Anda.
• Kontrol akses tingkat kolom dan kontrol akses tingkat baris. Kontrol akses tingkat kolom dan tingkat baris memungkinkan Anda membatasi akses ke kolom dan baris tertentu dalam tabel, berdasarkan atribut pengguna atau nilai data. Kontrol ini memungkinkan Anda menerapkan akses terperinci untuk membantu melindungi data sensitif dari akses yang tidak sah.
• Pengelolaan transfer data. Kontrol Layanan VPC memungkinkan Anda membuat perimeter di sekitar Google Cloud resource dan mengontrol akses ke resource tersebut berdasarkan kebijakan organisasi Anda.
• Log audit. Log audit memberi Anda catatan mendetail tentang aktivitas pengguna dan peristiwa sistem di organisasi Anda. Log ini membantu Anda menerapkan kebijakan tata kelola data dan mengidentifikasi potensi risiko keamanan.
• Data masking. Data masking memungkinkan Anda mengaburkan data sensitif dalam tabel sambil tetap mengizinkan pengguna yang diberi otorisasi untuk mengakses data di sekitarnya. Data masking juga dapat mengaburkan data yang cocok dengan pola data sensitif, sehingga melindungi dari pengungkapan data yang tidak disengaja.
• Enkripsi. BigQuery otomatis mengenkripsi semua data dalam penyimpanan dan pengiriman, sekaligus memungkinkan Anda menyesuaikan setelan enkripsi untuk memenuhi persyaratan spesifik Anda.

Langkah berikutnya untuk kontrol keamanan dan akses

Tabel berikut menguraikan langkah-langkah berikutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur kontrol akses:

Level pengalaman	Jalur pembelajaran
Pengguna cloud baru	Lihat peran yang telah ditentukan di BigQuery dan pertimbangkan cara menetapkannya berdasarkan prinsip hak istimewa terendah. Pelajari cara Google mengenkripsi data Anda dalam penyimpanan dan dalam pengiriman secara default.
Pengguna cloud berpengalaman	Untuk fleksibilitas dan detail yang lebih besar dalam mengelola izin, pertimbangkan untuk membuat peran kustom yang sesuai dengan kebutuhan Anda. Tambahkan kontrol baris dan kontrol kolom untuk membantu mengontrol akses ke baris dan kolom tertentu dalam tabel Anda. Buat perimeter akses di sekitar Google Cloud resource Anda dengan menyiapkan Kontrol Layanan VPC. Tambahkan data masking tingkat kolom ke tabel Anda untuk membagikan informasi melalui organisasi Anda tanpa mengungkapkan data sensitif. Gunakan Sensitive Data Protection untuk memindai data Anda guna menemukan informasi sensitif dan berisiko tinggi, seperti informasi identitas pribadi (PII), data keuangan, dan informasi kesehatan.

Data dan insight bersama

BigQuery memungkinkan Anda membagikan data dan insight dalam skala besar di dalam dan di seluruh batas organisasi. BigQuery memiliki framework keamanan dan privasi yang kuat melalui platform pertukaran data bawaan. Dengan BigQuery sharing, Anda dapat menemukan, mengakses, dan menggunakan library data yang dikelola oleh berbagai penyedia data.

BigQuery menawarkan kemampuan berbagi berikut:

• Membagikan lebih dari sekadar data. Anda dapat membagikan berbagai aset data dan AI seperti set data BigQuery, tabel, tampilan, streaming real-time dengan topik Pub/Sub, prosedur tersimpan SQL, dan model BigQuery ML.
• Mengakses set data Google. Perkaya inisiatif analisis dan ML Anda dengan set data Google dari Tren Penelusuran, model DeepMind WeatherNext, Google Maps Platform, Google Earth Engine, dan lainnya.
• Mengintegrasikan dengan prinsip tata kelola data. Pemilik data mempertahankan kontrol atas data mereka dan memiliki kemampuan untuk menentukan dan mengonfigurasi aturan atau kebijakan untuk membatasi akses dan penggunaan.
• Berbagi data langsung tanpa salinan. Data dibagikan di tempat tanpa perlu integrasi, pemindahan data, atau replikasi, sehingga analisis didasarkan pada informasi terbaru. Set data tertaut yang dibuat adalah pointer langsung ke aset bersama.
• Meningkatkan postur keamanan. Anda dapat menggunakan kontrol akses untuk mengurangi akses yang berlebihan, termasuk dukungan Kontrol Layanan VPC bawaan.
• Meningkatkan visibilitas dengan metrik penggunaan penyedia. Penayang data dapat melihat dan memantau penggunaan aset bersama seperti jumlah tugas yang dijalankan, total byte yang dipindai, dan pelanggan untuk setiap organisasi.
• Berkolaborasi pada data sensitif dengan ruang bersih data. Ruang bersih data menyediakan lingkungan yang ditingkatkan keamanan tempat beberapa pihak dapat berbagi, menggabungkan, dan menganalisis aset data mereka tanpa memindahkan atau mengungkapkan data yang mendasarinya.
• Dibuat di BigQuery. Anda dapat memanfaatkan skalabilitas dan kemampuan pemrosesan besar di BigQuery, sehingga memungkinkan kolaborasi skala besar.

Langkah berikutnya untuk berbagi

Tabel berikut menguraikan langkah-langkah berikutnya yang dapat Anda lakukan untuk mempelajari lebih lanjut fitur berbagi:

Level pengalaman	Jalur pembelajaran
Pengguna cloud baru	Pelajari cara membuat dan mengelola pertukaran dan listingan untuk mulai berbagi di dalam atau di luar organisasi Anda.
Pengguna cloud berpengalaman	Bagikan data streaming real-time dengan topik Pub/Sub. Bagikan dan berkolaborasi pada data sensitif dengan ruang bersih data. Lindungi lebih lanjut eksfiltrasi data dengan mengonfigurasi Kontrol Layanan VPC di sekitar aset bersama Anda. Komersialkan dan jual aset Anda di Google Cloud Marketplace

Langkah berikutnya

• Pelajari tentang autentikasi di Google.
• Pelajari tentang penghapusan data di Google Cloud.
• Pelajari lebih lanjut praktik terbaik IAM.
• Pelajari hierarki resource di Google Cloud.
• Pelajari tentang IAM di Google Cloud.