Mengonfigurasi dan menggunakan penyelesaian entitas di BigQuery

Dokumen ini menunjukkan cara menerapkan penyelesaian entity untuk pengguna akhir penyelesaian entity (selanjutnya disebut sebagai pengguna akhir) dan penyedia identitas.

Pengguna akhir dapat menggunakan dokumen ini untuk terhubung dengan penyedia identitas dan menggunakan layanan penyedia untuk mencocokkan data. Penyedia identitas dapat menggunakan dokumen ini untuk menyiapkan dan mengonfigurasi layanan yang akan dibagikan kepada pengguna akhir di Google Cloud Marketplace.

Alur kerja untuk pengguna akhir

Bagian berikut menunjukkan kepada pengguna akhir cara mengonfigurasi resolusi entity di BigQuery. Untuk representasi visual penyiapan lengkap, lihat arsitektur untuk penyelesaian entitas.

Sebelum memulai

  1. Hubungi dan jalin hubungan dengan penyedia identitas. BigQuery mendukung resolusi entity dengan LiveRamp dan TransUnion.
  2. Dapatkan item berikut dari penyedia identitas:
    • Kredensial akun layanan
    • Tanda tangan fungsi jarak jauh
  3. Buat dua set data di project Anda:
    • Set data input
    • Set data output

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna menjalankan tugas penyelesaian entitas, minta administrator untuk memberi Anda peran IAM berikut:

  • Agar akun layanan penyedia identitas dapat membaca set data input dan menulis ke set data output:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, baca artikel Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Menerjemahkan atau menyelesaikan entitas

Untuk mengetahui petunjuk penyedia identitas tertentu, lihat bagian berikut.

LiveRamp

Prasyarat

  • Mengonfigurasi Identitas Tersemat LiveRamp di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Identitas Tersemat LiveRamp di BigQuery.
  • Bekerjasamalah dengan LiveRamp untuk mengaktifkan kredensial API agar dapat digunakan dengan Embedded Identity. Untuk mengetahui informasi selengkapnya, lihat Autentikasi.

Penyiapan

Langkah-langkah berikut diperlukan saat Anda menggunakan Identitas Tersemat LiveRamp untuk pertama kalinya. Setelah penyiapan selesai, hanya tabel input dan tabel metadata yang perlu diubah di antara sesi.

Membuat tabel input

Buat tabel dalam set data input. Isi tabel dengan RampID, domain target, dan jenis target. Untuk mengetahui detail dan contohnya, lihat Kolom dan Deskripsi Tabel Input.

Membuat tabel metadata

Tabel metadata digunakan untuk mengontrol eksekusi LiveRamp Embedded Identity di BigQuery. Buat tabel metadata di set data input. Isi tabel metadata dengan client ID, mode eksekusi, domain target, dan jenis target. Untuk mengetahui detail dan contohnya, lihat Kolom dan Deskripsi Tabel Metadata.

Berbagi tabel dengan LiveRamp

Beri akun layanan Google Cloud LiveRamp akses untuk melihat dan memproses data dalam set data input Anda. Untuk mengetahui detail dan contohnya, lihat Membagikan Tabel dan Set Data dengan LiveRamp.

Menjalankan tugas identitas tersemat

Untuk menjalankan tugas identitas tersemat dengan LiveRamp di BigQuery, lakukan hal berikut:

  1. Pastikan semua RampID yang dienkode di domain Anda ada di tabel input.
  2. Pastikan tabel metadata Anda masih akurat sebelum menjalankan tugas.
  3. Hubungi LiveRampIdentitySupport@liveramp.com untuk menyampaikan permintaan proses pekerjaan. Sertakan project ID, ID set data, dan ID tabel (jika ada) untuk tabel input, tabel metadata, dan set data output. Untuk mengetahui informasi selengkapnya, lihat Memberi tahu LiveRamp untuk Memulai Transcoding.

Hasil biasanya dikirimkan ke set data output Anda dalam waktu tiga hari kerja.

Dukungan LiveRamp

Untuk masalah dukungan, hubungi Dukungan Identitas LiveRamp.

Penagihan LiveRamp

LiveRamp menangani penagihan untuk resolusi entity.

TransUnion

Prasyarat

  • Hubungi TransUnion Cloud Support untuk menandatangani perjanjian guna mengakses layanan. Berikan detail Google Cloud project ID, jenis data input, kasus penggunaan, dan volume data Anda.
  • TransUnion Cloud Support mengaktifkan layanan untuk Google Cloud project Anda dan membagikan panduan penerapan mendetail yang mencakup data output yang tersedia.

Penyiapan

Langkah-langkah berikut diperlukan saat Anda menggunakan layanan Identity Resolution and Enrichment TruAudience dari TransUnion di lingkungan BigQuery Anda.

Membuat koneksi eksternal

Buat koneksi ke sumber data eksternal dari jenis Vertex AI remote models, remote functions and BigLake (Cloud Resource). Anda akan menggunakan koneksi ini untuk memicu layanan penyelesaian identitas yang dihosting di akun TransUnion Google Cloud dari akunGoogle Cloud Anda.

Salin ID koneksi dan ID akun layanan, lalu bagikan ID ini kepada tim pengiriman pelanggan TransUnion.

Membuat fungsi jarak jauh

Buat fungsi jarak jauh yang berinteraksi dengan endpoint orkestrator layanan yang dihosting di project TransUnion Google Cloud untuk meneruskan metadata yang diperlukan (termasuk pemetaan skema) ke layanan TransUnion. Gunakan ID koneksi dari koneksi eksternal yang Anda buat dan endpoint Cloud Function yang dihosting TransUnion yang dibagikan oleh tim pengiriman pelanggan TransUnion.

Membuat tabel input

Buat tabel dalam set data input. TransUnion mendukung nama, alamat pos, email, telepon, tanggal lahir, alamat IPv4, dan ID perangkat sebagai input. Ikuti pedoman pemformatan dalam panduan penerapan yang dibagikan TransUnion kepada Anda.

Membuat tabel metadata

Buat tabel metadata yang akan menyimpan konfigurasi yang diperlukan oleh layanan penyelesaian identitas untuk memproses data, termasuk pemetaan skema. Untuk detail dan contohnya, lihat panduan penerapan yang dibagikan TransUnion kepada Anda.

Membuat tabel status tugas

Buat tabel yang akan menerima update tentang pemrosesan batch input. Anda dapat membuat kueri tabel ini untuk memicu proses hilir lainnya di pipeline Anda. Kemungkinan status tugas adalah sebagai berikut: RUNNING, COMPLETED, atau ERROR.

Membuat pemanggilan layanan

Gunakan prosedur berikut untuk memanggil layanan penyelesaian identitas TransUnion setelah mengumpulkan semua metadata, mengemasnya, dan meneruskannya ke endpoint fungsi cloud pemanggilan yang dihosting oleh TransUnion.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;
Membuat tabel output yang cocok

Jalankan skrip SQL berikut untuk membuat tabel output yang cocok. Ini adalah output standar aplikasi, yang mencakup tanda kecocokan, skor, ID individu persisten, dan ID keluarga.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);
Mengonfigurasi metadata

Ikuti panduan penerapan yang dibagikan TransUnion kepada Anda untuk memetakan skema input ke skema aplikasi. Metadata ini juga mengonfigurasi pembuatan ID kolaborasi, yang merupakan ID sementara yang dapat dibagikan dan dapat digunakan di ruang bersih data.

Memberikan akses baca dan tulis

Dapatkan ID akun layanan koneksi Apache Spark dari tim pengiriman pelanggan TransUnion dan berikan akses baca dan tulis ke set data yang berisi tabel input dan output. Sebaiknya berikan ID akun layanan dengan peran BigQuery Data Editor pada set data.

Memanggil aplikasi

Anda dapat memanggil aplikasi dari dalam lingkungan dengan menjalankan skrip berikut.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

Dukungan

Untuk masalah teknis, hubungi Dukungan TransUnion Cloud.

Penagihan dan penggunaan

TransUnion melacak penggunaan aplikasi dan menggunakannya untuk tujuan penagihan. Pelanggan aktif dapat menghubungi perwakilan pengiriman TransUnion mereka untuk mengetahui informasi selengkapnya.

Alur kerja untuk penyedia identitas

Bagian berikut menunjukkan cara penyedia identitas mengonfigurasi penyelesaian entitas di BigQuery. Untuk representasi visual penyiapan lengkap, lihat arsitektur untuk penyelesaian entitas.

Sebelum memulai

  1. Buat tugas Cloud Run atau Cloud Run function untuk berintegrasi dengan fungsi jarak jauh. Kedua opsi tersebut cocok untuk tujuan ini.
  2. Catat nama akun layanan yang terkait dengan fungsi Cloud Run atau Cloud Run:

    1. Di konsol Google Cloud , buka halaman Cloud Functions.

      Buka Cloud Functions

    2. Klik nama fungsi, lalu klik tab Detail.

    3. Di panel General Information, temukan dan catat nama akun layanan untuk fungsi jarak jauh.

  3. Buat fungsi jarak jauh.

  4. Kumpulkan prinsipal pengguna akhir dari pengguna akhir.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna menjalankan tugas penyelesaian entitas, minta administrator untuk memberi Anda peran IAM berikut:

  • Agar akun layanan yang terkait dengan fungsi Anda dapat membaca dan menulis pada set data terkait serta meluncurkan tugas:
  • Agar akun utama pengguna akhir dapat melihat dan terhubung ke fungsi jarak jauh:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, baca artikel Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membagikan fungsi jarak jauh penyelesaian entity

Ubah dan bagikan kode antarmuka jarak jauh berikut kepada pengguna akhir. Pengguna akhir memerlukan kode ini untuk memulai tugas penyelesaian entitas.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

Ganti LIST_OF_PARAMETERS dengan daftar parameter yang diteruskan ke fungsi jarak jauh.

Opsional: Berikan metadata tugas

Secara opsional, Anda dapat memberikan metadata tugas menggunakan fungsi jarak jauh terpisah atau dengan menulis tabel status baru di set data output pengguna. Contoh metadata mencakup status dan metrik tugas.

Penagihan untuk penyedia identitas

Untuk menyederhanakan penagihan dan aktivasi pelanggan, sebaiknya integrasikan layanan penyelesaian entitas Anda dengan Google Cloud Marketplace. Dengan begitu, Anda dapat menyiapkan model harga berdasarkan penggunaan tugas penyelesaian entitas, dengan Google yang menangani penagihan untuk Anda. Untuk mengetahui informasi selengkapnya, lihat Menawarkan produk software sebagai layanan (SaaS).