Mengonfigurasi dan menggunakan resolusi entity di BigQuery

Resolusi entity di BigQuery memungkinkan Anda mencocokkan, menghapus duplikat, dan menambah data di seluruh set data tanpa memindahkan data pokok Anda. Sebagai pengguna akhir, Anda dapat menghubungkan set data BigQuery ke penyedia identitas seperti LiveRamp atau TransUnion dan memanggil fungsi jarak jauh untuk me-resolve identitas di tempat. Sebagai penyedia identitas, Anda dapat mengonfigurasi endpoint fungsi jarak jauh dan memublikasikan layanan resolusi entity di Google Cloud Marketplace.

Mengonfigurasi resolusi entity untuk pengguna akhir

Untuk me-resolve entity sebagai pengguna akhir, Anda menyiapkan set data input dan output di BigQuery, memberikan akses set data kepada penyedia identitas, dan memanggil layanan pencocokan mereka. Untuk mengetahui informasi selengkapnya tentang arsitektur, lihat Arsitektur resolusi entity.

Sebelum memulai

  1. Hubungi penyedia identitas. BigQuery mendukung resolusi entity dengan LiveRamp dan TransUnion.
  2. Dapatkan item berikut dari penyedia identitas:
    • Kredensial akun layanan
    • Tanda tangan fungsi jarak jauh
  3. Buat set data berikut di project Google Cloud Anda:
    • Set data input
    • Set data output

Peran yang diperlukan

Untuk memastikan bahwa akun layanan penyedia identitas memiliki izin yang diperlukan untuk membaca set data input dan menulis ke set data output, minta administrator untuk memberikan peran IAM berikut ke akun layanan penyedia identitas:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan penyedia identitas melalui peran khusus atau peran bawaan lainnya.

Menyelesaikan entitas dengan penyedia identitas

Setelah membuat set data dan memberikan peran yang diperlukan, Anda dapat mengonfigurasi tabel dan menjalankan tugas pencocokan dengan penyedia identitas yang Anda pilih. Tabel berikut merangkum metode integrasi dan tabel yang diperlukan untuk setiap penyedia identitas yang didukung:

Penyedia identitas Metode integrasi Tabel yang diperlukan dalam set data Anda Pemanggilan tugas
LiveRamp Identitas Tersemat LiveRamp Tabel input dengan RampID, tabel metadata Permintaan email ke dukungan LiveRamp
TransUnion Fungsi jarak jauh TruAudience melalui koneksi eksternal BigQuery Tabel input dengan atribut entity, tabel metadata, tabel status tugas, tabel output yang cocok Panggilan prosedur tersimpan SQL menggunakan CALL

Pilih penyedia identitas untuk melihat petunjuk penyiapan dan eksekusi tugas tertentu:

LiveRamp

Prasyarat LiveRamp

Sebelum mengonfigurasi resolusi entity LiveRamp di BigQuery, selesaikan prasyarat berikut:

  • Mengonfigurasi Identitas Tersemat LiveRamp di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Identitas Tersemat LiveRamp di BigQuery.
  • Bekerjasamalah dengan LiveRamp untuk mengaktifkan kredensial API yang berfungsi dengan Embedded Identity. Untuk mengetahui informasi selengkapnya, lihat Autentikasi.

Menyiapkan resolusi entity LiveRamp

Saat Anda menggunakan LiveRamp Embedded Identity untuk pertama kalinya, selesaikan langkah-langkah penyiapan berikut. Untuk operasi berikutnya, Anda hanya perlu memperbarui tabel input dan tabel metadata.

Membuat tabel input LiveRamp

Buat tabel di set data input Anda dan isi dengan kolom berikut:

  • RampIDs
  • Domain target
  • Jenis target

Untuk mengetahui informasi selengkapnya tentang skema tabel input, lihat Kolom dan Deskripsi Tabel Input.

Membuat tabel metadata LiveRamp

Untuk mengontrol eksekusi LiveRamp Embedded Identity di BigQuery, buat tabel metadata di set data input Anda. Isi tabel metadata dengan kolom konfigurasi berikut:

  • Client ID
  • Mode eksekusi
  • Domain target
  • Jenis target

Untuk mengetahui informasi selengkapnya tentang skema tabel metadata, lihat Kolom dan Deskripsi Tabel Metadata.

Memberikan akses set data ke LiveRamp

Setelah Anda membuat tabel yang diperlukan, beri LiveRamp akses untuk melihat dan memproses data dalam set data input Anda. Berikan akses set data ke akun layananGoogle Cloud LiveRamp. Untuk mengetahui informasi selengkapnya tentang cara membagikan set data, lihat Membagikan Tabel dan Set Data dengan LiveRamp.

Menjalankan tugas resolusi entity LiveRamp

Setelah mengonfigurasi tabel dan memberikan akses set data, jalankan tugas resolusi entity dengan LiveRamp di BigQuery:

  1. Di tabel input, pastikan semua RampID untuk domain Anda ada.
  2. Sebelum menjalankan tugas, pastikan konfigurasi tabel metadata Anda akurat.
  3. Untuk mengirimkan permintaan pemrosesan tugas, kirim email ke LiveRampIdentitySupport@liveramp.com. Dalam permintaan Anda, sertakan project ID, ID set data, dan ID tabel yang berlaku untuk tabel input, tabel metadata, dan set data output.

LiveRamp biasanya mengirimkan hasil yang cocok ke set data output Anda dalam waktu tiga hari kerja.

Mendapatkan dukungan dan informasi penagihan LiveRamp

LiveRamp mengelola dukungan teknis dan penagihan untuk Identitas Tersemat di BigQuery:

  • Dukungan teknis: hubungi Dukungan Identitas LiveRamp untuk mendapatkan bantuan terkait penyiapan atau eksekusi tugas.
  • Penagihan: LiveRamp menagih Anda secara langsung untuk penggunaan resolusi entity.

TransUnion

Prasyarat TransUnion

Sebelum mengonfigurasi resolusi entitas TransUnion di BigQuery, kirim email ke Dukungan Cloud TransUnion untuk menandatangani perjanjian akses layanan. Dalam permintaan Anda, berikan informasi berikut:

  • Project ID Google Cloud Anda
  • Jenis data input
  • Kasus penggunaan yang dimaksudkan
  • Perkiraan volume data

Setelah TransUnion Cloud Support menyetujui permintaan Anda, mereka akan mengaktifkan layanan untuk project Google Cloud Anda dan membagikan panduan penerapan yang mencakup skema output yang tersedia.

Menyiapkan resolusi entity TransUnion

Saat Anda menggunakan layanan TransUnion TruAudience Identity Resolution and Enrichment di BigQuery untuk pertama kalinya, selesaikan langkah-langkah penyiapan berikut.

Membuat koneksi eksternal

Untuk menghubungkan akun Google Cloud Anda ke layanan resolusi identitas yang dihosting di akun TransUnion Google Cloud , buat koneksi resource Cloud. Saat mengonfigurasi koneksi, pilih Vertex AI model jarak jauh, fungsi jarak jauh, BigLake dan Spanner (Cloud Resource) sebagai jenis koneeksi.

Setelah Anda membuat koneksi, salin ID koneksi dan ID akun layanan, lalu bagikan ID ini kepada tim pengiriman pelanggan TransUnion.

Membuat fungsi jarak jauh

Untuk meneruskan pemetaan skema dan metadata konfigurasi ke endpoint orchestrator layanan TransUnion, buat fungsi jarak jauh. Saat Anda membuat fungsi jarak jauh, tentukan ID koneksi dari koneksi eksternal Anda dan URL endpoint fungsi Cloud Run yang dibagikan oleh tim pengiriman pelanggan TransUnion kepada Anda.

Membuat tabel input TransUnion

Buat tabel input di set data input Anda. TransUnion mendukung atribut entitas berikut sebagai kolom input:

  • Nama
  • Alamat pos
  • Alamat email
  • Nomor telepon
  • Tanggal lahir
  • Alamat IPv4
  • ID Perangkat

Ikuti panduan skema dan pemformatan dalam panduan penerapan yang dibagikan TransUnion kepada Anda. Jika Anda memetakan setiap tabel input ke parameter config_id yang berbeda dalam tabel metadata, Anda dapat menggunakan beberapa tabel input.

Membuat tabel metadata TransUnion

Untuk menyimpan pemetaan dan konfigurasi skema yang diperlukan layanan resolusi identitas, buat tabel metadata di set data input Anda. Untuk mengetahui informasi selengkapnya tentang skema metadata, lihat panduan penerapan yang dibagikan TransUnion kepada Anda.

Membuat tabel status tugas

Untuk menerima update pemrosesan batch, buat tabel status tugas di set data Anda. Untuk memantau tugas dan memicu proses downstream di pipeline Anda, buat kueri tabel status tugas ini. Tabel ini mencatat status berikut:

  • RUNNING: layanan resolusi identitas sedang memproses batch.
  • COMPLETED: layanan selesai memproses batch dan menulis hasilnya ke tabel output.
  • ERROR: layanan mengalami error saat memproses batch.
Membuat prosedur pemanggilan layanan

Prosedur tersimpan TransUnion_get_identities mengemas metadata konfigurasi Anda dan memanggil endpoint fungsi Cloud Run TransUnion. Untuk membuat prosedur tersimpan ini, jalankan pernyataan SQL berikut:

-- create service invocation procedure
CREATE OR REPLACE PROCEDURE
  `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
BEGIN
  DECLARE sql_query STRING;
  DECLARE json_result STRING;
  DECLARE base64_result STRING;

  SET sql_query =
    '''SELECT TO_JSON_STRING(ARRAY_AGG(STRUCT(config_id, key, value))) FROM `''' || metadata_table
    || '''` WHERE config_id="''' || config_id || '''" ''';

  EXECUTE IMMEDIATE sql_query INTO json_result;

  SET base64_result = (SELECT TO_BASE64(CAST(json_result AS BYTES)));

  SELECT
    `PROJECT_ID.DATASET_ID.remote_call_TransUnion_er`(
      base64_result);
END;

Ganti kode berikut:

  • PROJECT_ID: Project ID Google Cloud Anda.
  • DATASET_ID: ID set data tempat Anda membuat prosedur dan fungsi jarak jauh.
Membuat tabel output yang cocok

Tabel output pencocokan menyimpan hasil resolusi entity dari TransUnion, termasuk tanda kecocokan, skor keterkaitan, ID individu persisten, dan ID keluarga. Untuk membuat tabel output yang cocok, jalankan pernyataan SQL berikut:

-- create output table
CREATE TABLE `PROJECT_ID.DATASET_ID.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);

Ganti kode berikut:

  • PROJECT_ID: Project ID Google Cloud Anda.
  • DATASET_ID: ID set data tempat Anda membuat tabel output yang cocok.
Mengonfigurasi metadata pemetaan skema

Untuk memetakan skema input Anda ke skema aplikasi TransUnion, ikuti petunjuk dalam panduan penerapan yang dibagikan TransUnion kepada Anda. Metadata ini juga mengonfigurasi cara layanan menghasilkan ID kolaborasi, yang merupakan ID yang dapat dibagikan dan tidak persisten yang dapat Anda gunakan di ruang bersih data.

Memberikan akses set data ke TransUnion

Setelah Anda membuat tabel dan prosedur tersimpan yang diperlukan, beri TransUnion akses untuk membaca data input dan menulis hasil pencocokan. Dapatkan ID akun layanan koneksi Apache Spark dari tim pengiriman pelanggan TransUnion. Kemudian, berikan peran BigQuery Data Editor (roles/bigquery.dataEditor) ke akun layanan tersebut pada set data yang berisi tabel input dan output Anda.

Menjalankan tugas resolusi entity TransUnion

Setelah mengonfigurasi tabel dan memberikan akses set data, Anda dapat memulai batch run resolusi entity. Untuk memanggil layanan resolusi entity, panggil prosedur tersimpan TransUnion_get_identities:

CALL `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(
  "PROJECT_ID.DATASET_ID.TransUnion_er_metadata",
  "CONFIG_ID");

Ganti kode berikut:

  • PROJECT_ID: Project ID Google Cloud Anda.
  • DATASET_ID: ID set data yang berisi tabel metadata dan prosedur tersimpan Anda.
  • CONFIG_ID: ID konfigurasi untuk operasi batch, seperti "1".

Mendapatkan dukungan dan informasi penagihan TransUnion

Untuk mendapatkan bantuan terkait masalah teknis atau pertanyaan penagihan terkait TruAudience Identity Resolution and Enrichment di BigQuery, hubungi TransUnion secara langsung:

  • Dukungan teknis: hubungi Dukungan Cloud TransUnion untuk mendapatkan bantuan terkait penyiapan, pemetaan skema, atau pemecahan masalah.
  • Penagihan: TransUnion melacak penggunaan layanan untuk tujuan penagihan. Hubungi perwakilan pengiriman TransUnion Anda untuk mengetahui detail akun dan harga.

Mengonfigurasi resolusi entity untuk penyedia identitas

Sebagai penyedia identitas, Anda dapat menawarkan layanan resolusi entity kepada pengguna akhir BigQuery. Arsitektur ini membantu melindungi kekayaan intelektual Anda karena Anda tidak mengekspos grafik identitas atau logika pencocokan eksklusif Anda.

Untuk mengonfigurasi layanan, Anda men-deploy endpoint orchestrator, membuat fungsi jarak jauh BigQuery, memberikan peran yang diperlukan, dan membagikan tanda tangan fungsi jarak jauh kepada pengguna akhir. Untuk mengetahui informasi selengkapnya tentang arsitektur, lihat Arsitektur resolusi entity.

Sebelum memulai

Sebelum mengonfigurasi layanan resolusi entity di BigQuery, pastikan Anda memiliki hal berikut:

  • Set data grafik identitas dan logika pencocokan yang di-deploy di projectGoogle Cloud Anda atau di database eksternal.
  • ID akun utama pengguna akhir, seperti alamat email pengguna, akun layanan, atau Google Grup, yang Anda peroleh dari pengguna akhir.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan penyedia identitas memiliki izin yang diperlukan untuk menjalankan tugas resolusi entity, minta administrator untuk memberikan peran IAM berikut ke akun layanan penyedia identitas:

  • Agar akun layanan yang terkait dengan fungsi Anda dapat membaca dan menulis ke set data terkait serta meluncurkan tugas:
  • Agar akun utama pengguna akhir dapat melihat dan terhubung ke fungsi jarak jauh:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan penyedia identitas melalui peran khusus atau peran bawaan lainnya.

Menyiapkan endpoint fungsi jarak jauh

Untuk memproses permintaan resolusi entity dari pengguna akhir, deploy endpoint orchestrator dan hubungkan ke fungsi jarak jauh BigQuery:

  1. Untuk memproses panggilan yang cocok dari fungsi jarak jauh, buat tugas Cloud Run atau fungsi Cloud Run. Anda dapat menggunakan salah satu opsi untuk endpoint Anda.

  2. Untuk menemukan alamat email akun layanan yang terkait dengan tugas Cloud Run atau fungsi Cloud Run Anda, selesaikan langkah-langkah berikut:

    1. Di konsol Google Cloud , buka halaman Cloud Run.

      Buka Cloud Run

    2. Klik nama fungsi atau tugas Anda, lalu klik tab Security.

    3. Di kolom Service account, temukan dan catat alamat email akun layanan untuk fungsi jarak jauh.

  3. Di set data bidang kontrol, buat fungsi jarak jauh yang terhubung ke tugas Cloud Run atau endpoint fungsi Cloud Run Anda.

Membagikan fungsi jarak jauh resolusi entity

Setelah Anda membuat fungsi jarak jauh dan memberikan peran yang diperlukan kepada pengguna akhir, bagikan tanda tangan fungsi jarak jauh berikut kepada mereka. Pengguna akhir memanggil fungsi jarak jauh ini untuk memulai tugas resolusi entity.

`PARTNER_PROJECT_ID.DATASET_ID.match`(LIST_OF_PARAMETERS)

Ganti kode berikut:

  • PARTNER_PROJECT_ID: Project ID Google Cloud dari penyedia identitas.
  • DATASET_ID: ID set data yang berisi fungsi jarak jauh.
  • LIST_OF_PARAMETERS: daftar parameter yang akan diteruskan ke fungsi jarak jauh.

Opsional: Memberikan metadata tugas resolusi entity

Untuk memberikan metadata tugas kepada pengguna akhir, Anda dapat mengekspos fungsi jarak jauh terpisah atau menulis tabel status tugas ke set data output pengguna akhir. Misalnya, Anda dapat melaporkan status eksekusi seperti RUNNING, COMPLETED, atau ERROR, beserta metrik pemrosesan.

Berintegrasi dengan Cloud Marketplace untuk penagihan

Untuk mengelola penagihan dan orientasi pelanggan melalui Google, integrasikan layanan resolusi entity Anda dengan Cloud Marketplace. Integrasi ini memungkinkan Anda mengonfigurasi model harga berdasarkan penggunaan tugas resolusi entity, sementara Google menangani penagihan untuk layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Menawarkan produk software as a service (SaaS).

Langkah berikutnya