Tentang produk data

Dokumen ini menjelaskan arsitektur dan konsep utama produk data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog).

Produk data adalah kumpulan aset data yang logis dan diseleksi, yang dikemas secara formal untuk memastikan produk tersebut dapat ditemukan, tepercaya, dan dapat diakses. Kemampuan utama produk data meliputi hal berikut:

  • Atur aset katalog ke dalam unit logis yang memecahkan masalah bisnis tertentu dan memungkinkan waktu yang lebih cepat untuk mendapatkan insight.
  • Bagikan dengan konteks yang mencakup deskripsi, dokumentasi, dan aspek.
  • Membangun kepercayaan dengan kontrak yang memungkinkan produsen data memberikan jaminan kepada konsumen data.
  • Menyediakan alur kerja layanan mandiri bagi konsumen data untuk mengevaluasi produk data dan mendapatkan akses ke data.

Konsep utama

Bagian ini menjelaskan konsep dan terminologi utama yang terkait dengan produk data.

Produk data

Pengelompokan aset data yang dikurasi dan logis, yang dikemas secara formal agar dapat ditemukan, tepercaya, dan dapat diakses untuk memecahkan masalah bisnis tertentu.

Aset

Penunjuk ke resource data fisik, seperti set data, tabel, atau tampilan BigQuery. Produk data berisi satu atau beberapa aset.

Grup akses

Grup akses menyederhanakan pengelolaan izin untuk produk data Anda. Peran ini memetakan peran yang mudah digunakan (seperti Reader atau Analyst) ke akun layanan atau Google Grup yang mendasarinya. Abstraksi ini memungkinkan pemilik produk data mengelola akses di tingkat konseptual, dan membantu konsumen produk data meminta tingkat akses yang sesuai.

  • Pemilik produk data mengonfigurasi grup akses dan menetapkan izin aset tertentu ke grup tersebut.

  • Konsumen produk data menggunakan grup ini untuk meminta akses ke produk data.

Pemilik produk data atau produser data

Individu atau tim yang bertanggung jawab atas pembuatan dan pengelolaan produk data. Hal ini mencakup pengelolaan kualitas, akses, dan dokumentasi.

Pengguna produk data

Individu, tim, atau agen AI yang menggunakan produk data untuk menghasilkan insight.

Kontrak

Perjanjian antara pemilik produk data dan konsumennya. Perjanjian ini menetapkan ekspektasi yang jelas dengan menentukan persyaratan khusus tentang cara data akan diberikan dan digunakan, seperti jadwal pembaruan dan standar kualitasnya.

Contoh kasus penggunaan

Pertimbangkan seorang ilmuwan data yang menganalisis bisnis e-commerce. Tujuannya adalah menemukan nilai pesanan rata-rata (AOV) menurut sumber traffic dan melihat apakah ada korelasi antara usia pengguna dan ukuran pesanan. Untuk melakukannya, ia perlu menggabungkan data dari beberapa tabel, seperti order_details, user_traffic, dan user_demographics.

Dalam penyiapan konvensional, proses ini menimbulkan gesekan. Untuk menghasilkan insight, ilmuwan data harus terlebih dahulu menemukan tabel yang tepat dalam lanskap data organisasi yang luas, lalu menghubungi setiap pemilik data, membenarkan permintaan akses mereka, dan menunggu persetujuan.

Dengan produk data, pemilik data dapat menyederhanakan pengalaman ini dengan mengemas aset yang relevan ke dalam satu produk bernama "Data Bisnis E-commerce". Paket ini mencakup hal berikut:

  • Aset

    • Tabel BigQuery order_details dan user_traffic (berisi data historis pesanan dan sumber traffic)
    • Tampilan BigQuery user_demographics (memberikan detail pengguna dengan PII yang dikecualikan)

  • Grup akses

    • Grup Reader dan Writer yang telah ditentukan untuk menyederhanakan permintaan akses

  • Kontrak

    • Kontrak yang menentukan frekuensi pembaruan data (misalnya, mingguan pada pukul 08.00 PST)

  • Konteks

    • Dokumentasi dengan contoh kueri dan detail lainnya
    • Metadata tambahan untuk menggambarkan sensitivitas data

Ilmuwan data kini dapat menemukan produk data ini sebagai satu unit logis. Hal ini memungkinkan mereka dengan yakin menghasilkan insight untuk menjawab pertanyaan seperti, 'Berapa nilai pesanan rata-rata untuk setiap sumber traffic?'—yang pada akhirnya mengungkapkan sumber mana yang menghasilkan pelanggan bernilai tertinggi.

Alur penggunaan produk data

Siklus proses produk data di Knowledge Catalog melibatkan dua perjalanan pengguna utama: satu untuk pemilik (atau produsen) produk data yang membuat dan mengelola data, dan satu untuk konsumen produk data yang menemukan dan menggunakannya.

Perjalanan pemilik produk data

Perjalanan ini berfokus pada pengemasan, pengamanan, dan pengelolaan produk data untuk memastikan produk data tersebut tepercaya dan dapat diakses.

  • Buat: Tentukan produk data dan sertakan aset. Hal ini melibatkan tindakan berikut:

    • Konfigurasi nama unik, project, region, dan deskripsi.
    • Tambahkan aset seperti tabel, set data, atau tampilan BigQuery.
    • Konfigurasi grup akses (misalnya, Analyst atau Reader) dan petakan ke akun layanan atau Google Grup yang mendasarinya untuk menyederhanakan pengelolaan izin.
    • Tetapkan peran IAM yang diperlukan ke grup akses ini untuk aset tertentu.
    • Tambahkan kontrak (aspek sistem) untuk secara resmi mengomunikasikan irama, frekuensi, dan nilai minimum pemuatan ulang data yang disepakati.

    Untuk mengetahui informasi selengkapnya, lihat Membuat produk data.

  • Mengelola: Memperbarui produk data dan memastikan visibilitasnya. Hal ini melibatkan tindakan berikut:

    • Perbarui detail dasar, aset, izin, dan aspek tambahan (metadata), serta dokumentasi teks kaya.
    • Memberikan akses kepada konsumen untuk menemukan dan meminta akses ke produk data.

    Untuk mengetahui informasi selengkapnya, lihat Mengelola produk data.

Perjalanan konsumen produk data

Perjalanan ini berfokus pada cara menemukan data tepercaya dengan cepat dan mendapatkan izin yang diperlukan untuk menggunakannya.

  • Temukan: Temukan data yang relevan dan tepercaya untuk masalah bisnis tertentu. Hal ini melibatkan tindakan berikut:

    • Gunakan Penelusuran Knowledge Catalog dengan kata kunci atau bahasa alami untuk menemukan produk data yang dikemas.
    • Tinjau ringkasan, aset, kontrak, dan aspek lain dari produk data untuk menentukan kesesuaiannya untuk digunakan.

    Untuk mengetahui informasi selengkapnya, lihat Menelusuri produk data.

  • Minta akses: Minta izin kepada pemilik produk data untuk mengakses data.

    Untuk mengetahui informasi selengkapnya, lihat Meminta akses ke produk data.

  • Penggunaan: Akses aset pokok untuk menghasilkan insight. Hal ini melibatkan tindakan berikut:

    • Setelah disetujui, Anda dapat mengakses produk dan asetnya. Misalnya, jika aset adalah tabel BigQuery, Anda dapat membuka BigQuery Studio dan membuat kueri data secara langsung.

    • Untuk aplikasi dan alur kerja pengembangan yang beroperasi di luar Google Cloud, Anda dapat mengekspos produk data menggunakan gateway metadata eksternal. Untuk mengetahui informasi selengkapnya, lihat Menggunakan server MCP jarak jauh Knowledge Catalog.

    Untuk mengetahui informasi selengkapnya, lihat Menggunakan produk data.

Aset yang didukung

Produk data dapat terdiri dari satu atau beberapa aset data. Aset data berikut didukung:

  • Set data BigQuery
  • Tabel BigQuery
  • Tampilan BigQuery
  • Rutinitas BigQuery
  • Model BigQuery
  • Tabel eksternal BigQuery
  • Dataset Gemini Enterprise Agent Platform
  • Model Gemini Enterprise Agent Platform
  • Bucket Cloud Storage

Batasan

  • Lokasi: Produk data dan aset dasarnya harus berada diGoogle Cloud lokasi yang sama.
  • Metadata otomatis: Dokumentasi dan insight otomatis tidak mendukung multi-region us (Amerika Serikat) dan eu (Uni Eropa).
  • Model BigQuery: Akses ke model BigQuery dalam produk data dikelola melalui kondisi IAM yang diterapkan ke kebijakan IAM set data induk. Berbagi model BigQuery tunduk pada batasan kondisi IAM.
  • Kuota dan batas: Untuk mengetahui daftar lengkap batas kapasitas API dan kuota kapasitas, lihat Kuota untuk permintaan API produk data.
  • Bucket zonal tidak didukung.

Langkah berikutnya