Pengantar framework resolusi entity BigQuery

Penyelesaian entitas BigQuery memungkinkan Anda mencocokkan data di seluruh set data bersama yang tidak memiliki ID umum. Anda juga dapat menggunakan penyedia identitas dari partner Google Cloud untuk melengkapi data bersama Anda dengan atribut tambahan. Misalnya, Anda dapat menautkan catatan pelanggan di seluruh set data untuk membuat profil pelanggan terpadu, mendeteksi penipuan keuangan, atau menganalisis rantai pasokan.

Sebelum berkontribusi data ke ruang bersih data, Anda dapat menggunakan penyelesaian entitas untuk menyiapkan dan mencocokkan data Anda. Penyelesaian entitas tersedia dalam model harga on-demand dan berbasis kapasitas di semua edisi BigQuery. Untuk mengetahui informasi selengkapnya tentang penerapan, lihat Mengonfigurasi dan menggunakan penyelesaian entitas di BigQuery.

Manfaat penyelesaian entity

Resolusi entitas memberikan keuntungan operasional dan berbagi data bagi pengguna akhir dan penyedia identitas.

Manfaat bagi pengguna akhir

Saat Anda menyelesaikan entitas di BigQuery, Anda akan mendapatkan manfaat pengguna akhir berikut:

  • Resolusi di tempat: Anda menyelesaikan entitas di tempat tanpa biaya transfer data. Penyedia identitas mencocokkan data Anda dengan grafik identitas mereka dan menulis hasil resolusi entity ke set data di Google Cloud project Anda.
  • Operasi yang disederhanakan: Anda tidak perlu mengelola pipeline ekstrak, transformasi, dan pemuatan (ETL) atau alur kerja replikasi data kustom.

Manfaat penyedia identitas

Saat menawarkan layanan identitas di BigQuery, Anda akan mendapatkan manfaat penyedia identitas berikut:

  • Integrasi Marketplace: Anda dapat menawarkan penyelesaian entitas sebagai produk software as a service (SaaS) terkelola di Google Cloud Marketplace.
  • Perlindungan kekayaan intelektual: Anda menggunakan grafik identitas dan logika pencocokan eksklusif Anda tanpa mengungkapkannya kepada pengguna akhir. Arsitektur ini membantu melindungi kekayaan intelektual Anda.

Arsitektur resolusi entitas

BigQuery menerapkan resolusi entity dengan memanggil fungsi jarak jauh yang menjalankan proses pencocokan di lingkungan penyedia identitas. BigQuery tidak menyalin atau memindahkan data Anda selama proses ini.

Diagram berikut menggambarkan alur kerja penyelesaian entity antara project pengguna akhir Google Cloud dan project penyedia identitas Google Cloud :

Diagram yang menunjukkan alur kerja penyelesaian entitas BigQuery antara project Google Cloud pengguna akhir dan project Google Cloud penyedia identitas.

Alur kerja penyelesaian entitas melibatkan langkah-langkah berikut:

  1. Anda memberikan akses baca ke akun layanan penyedia identitas untuk set data input dan akses tulis ke set data output.
  2. Anda memanggil fungsi jarak jauh untuk mencocokkan data input dengan data grafik identitas penyedia identitas. Fungsi jarak jauh meneruskan parameter pencocokan Anda ke penyedia identitas.
  3. Akun layanan penyedia identitas membaca dan memproses set data input Anda.
  4. Akun layanan penyedia identitas menulis hasil penyelesaian entitas ke set data output Anda.

Untuk menjalankan alur kerja ini, penyelesaian entitas mengandalkan komponen di seluruh lingkungan Anda dan lingkungan penyedia identitas.

Komponen pengguna akhir

Project Google Cloud Anda berisi komponen pengguna akhir berikut:

  • Panggilan fungsi jarak jauh: panggilan yang menjalankan prosedur yang ditentukan dan diterapkan oleh penyedia identitas. Panggilan ini memulai proses penyelesaian entitas.
  • Set data input: set data sumber yang berisi data yang ingin Anda cocokkan. Secara opsional, set data input dapat berisi tabel metadata dengan parameter tambahan. Penyedia identitas menentukan persyaratan skema untuk set data input.
  • Set data output: set data tujuan tempat penyedia identitas menulis hasil yang cocok sebagai tabel output. Secara opsional, penyedia identitas dapat menulis tabel status tugas dengan detail tugas ke set data ini. Set data output dapat berupa set data yang sama dengan set data input.

Komponen penyedia identitas

Lingkungan penyedia identitas berisi komponen berikut:

  • Bidang kontrol: berisi fungsi jarak jauh BigQuery yang mengatur proses pencocokan. Penyedia identitas dapat menerapkan fungsi ini sebagai tugas Cloud Run atau Cloud Run Function. Control plane juga dapat berisi layanan autentikasi dan otorisasi.
  • Data plane: berisi set data grafik identitas dan prosedur tersimpan yang menjalankan logika pencocokan. Grafik identitas adalah database referensi ID dan atribut entity yang diketahui. Penyedia identitas dapat menerapkan prosedur tersimpan sebagai prosedur tersimpan SQL atau prosedur tersimpan Apache Spark. Set data grafik identitas berisi tabel yang dicocokkan penyedia identitas dengan data Anda.

Pertimbangan

Saat Anda merencanakan deployment penyelesaian entitas, pertimbangkan faktor-faktor berikut:

  • Koordinasi penyedia identitas: sebelum menjalankan tugas pencocokan, Anda harus berkoordinasi dengan penyedia identitas yang didukung untuk mendapatkan kredensial akun layanan dan tanda tangan fungsi jarak jauhnya.
  • Database eksternal: penyedia identitas biasanya menghosting grafik identitas di BigQuery, tetapi mereka juga dapat menyimpan grafik identitas di database eksternal.

Langkah berikutnya