Membangun mesh data

Anda dapat menggunakan Dataplex Universal Catalog untuk membangun arsitektur mesh data. Panduan memulai cepat ini menunjukkan cara menggunakan fitur Dataplex Universal Catalog, seperti lake, zona, dan aset, untuk membangun mesh data.

Mesh data adalah pendekatan organisasi dan teknis yang mendesentralisasi kepemilikan data di antara pemilik data domain. Pemilik ini menyediakan data sebagai produk dengan cara standar dan memfasilitasi komunikasi di antara berbagai bagian organisasi untuk mendistribusikan set data di berbagai lokasi. Pelajari lebih lanjut arsitektur data mesh.

Membuat domain

1. Di konsol Google Cloud , buka halaman Lakes Dataplex Universal Catalog.

   Buka Lakes

2. Klik Create untuk membuat lake baru, yang berfungsi sebagai mesh data Anda.

3. Di kolom Nama tampilan, masukkan My data mesh.

   Catatan: Dataplex Universal Catalog otomatis membuat ID data lake.

4. Untuk Region, pilih us-central1.

   Catatan: Region yang Anda pilih untuk data mesh Anda menentukan lokasi data (tidak termasuk aset terlampir) yang dikelola oleh Katalog Universal Dataplex. Region yang sama digunakan saat Dataplex Universal Catalog membuat resource di layanan lain, tetapi tidak untuk data yang ada dalam aset.

5. Pilih layanan Dataproc Metastore yang Anda buat dan konfigurasi sebelumnya sebagai metastore terkait.

6. Klik Buat.

Membuat zona di data lake

Setelah membuat domain dengan membuat data lake Dataplex Universal Catalog, Anda dapat menghosting kontrak data terkelola dan tim individual dalam domain menggunakan zona. Ada dua jenis zona:

• Zona mentah biasanya digunakan untuk menyimpan data dalam format apa pun dari sumber eksternal di Cloud Storage. Zona mentah berguna untuk data yang memerlukan pemrosesan lebih lanjut sebelum siap digunakan.

• Zona yang dikurasi digunakan untuk data terstruktur di Cloud Storage yang harus sesuai dengan format file tertentu, dan disusun dalam tata letak direktori yang kompatibel dengan Hive. Objek ini paling berguna untuk data yang siap digunakan dan dianalisis.

Setiap domain (misalnya, sales, customers, products) harus memiliki setidaknya zona mentah dan zona pilihan.

Zona tambahan digunakan untuk mengelola kontrak data antar-tim atau untuk memberikan perincian yang lebih terperinci bagi tim dalam domain tertentu. Misalnya, pengelolaan inventaris dalam domain produk. Pemilik data dapat mengelola data dalam domain mereka dan mengaksesnya.

1. Di konsol Google Cloud , buka tampilan Dataplex Universal Catalog Kelola.

2. Klik nama danau (My data mesh) yang ingin Anda tambahi zona.

3. Di tab Zones, klik Add Zone.

4. Di kolom Nama tampilan, masukkan My sub domain. Dataplex Universal Catalog akan otomatis membuat ID untuk zona Anda.

   Catatan: Nama zona menjadi nama set data BigQuery. Oleh karena itu, semua zona yang dihosting dalam Google Cloud project yang sama harus memiliki ID yang unik, meskipun berada dalam danau yang berbeda.

5. Untuk Type, pilih Raw zone.

6. Klik Buat.

Menghubungkan aset ke zona Anda

Lampirkan aset data ke zona Anda. Aset data, yaitu resource penyimpanan yang berisi data Anda, dapat berupa bucket Cloud Storage atau set data BigQuery. Ini adalah langkah terakhir dalam membuat arsitektur jaring data Anda.

1. Di tampilan Kelola Dataplex Universal Catalog, klik lake yang Anda buat (My data mesh).

2. Di tab Zones, klik zona (My sub domain) yang akan ditambahkan asetnya.

3. Di tab Aset, klik Tambahkan aset

4. Klik Tambahkan Aset.

5. Untuk Type, pilih Cloud Storage bucket.

6. Di kolom Nama tampilan , masukkan Data mesh asset. Dataplex Universal Catalog membuat ID aset secara otomatis untuk Anda.

7. Di kolom Bucket, klik Browse.

   1. Pilih bucket Anda dari daftar.
   2. Klik Pilih.

8. Klik Selesai, lalu klik Lanjutkan.

9. Klik Lanjutkan untuk menerima Setelan lanjutan default.

10. Klik Kirim.