Mengonfigurasi dan menggunakan penyelesaian entitas di BigQuery
Dokumen ini menunjukkan cara menerapkan penyelesaian entity untuk pengguna akhir penyelesaian entity (selanjutnya disebut sebagai pengguna akhir) dan penyedia identitas.
Pengguna akhir dapat menggunakan dokumen ini untuk terhubung dengan penyedia identitas dan menggunakan layanan penyedia untuk mencocokkan data. Penyedia identitas dapat menggunakan dokumen ini untuk menyiapkan dan mengonfigurasi layanan yang akan dibagikan kepada pengguna akhir di Google Cloud Marketplace.
Alur kerja untuk pengguna akhir
Bagian berikut menunjukkan kepada pengguna akhir cara mengonfigurasi resolusi entity di BigQuery. Untuk representasi visual penyiapan lengkap, lihat arsitektur untuk penyelesaian entitas.
Sebelum memulai
- Hubungi dan jalin hubungan dengan penyedia identitas. BigQuery mendukung resolusi entity dengan LiveRamp dan TransUnion.
- Dapatkan item berikut dari penyedia identitas:
- Kredensial akun layanan
- Tanda tangan fungsi jarak jauh
- Buat dua set data di project Anda:
- Set data input
- Set data output
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan guna menjalankan tugas penyelesaian entitas, minta administrator untuk memberi Anda peran IAM berikut:
-
Agar akun layanan penyedia identitas dapat membaca set data input dan menulis ke set data output:
-
BigQuery Data Viewer (
roles/bigquery.dataViewer) di set data input -
BigQuery Data Editor (
roles/bigquery.dataEditor) di set data output
-
BigQuery Data Viewer (
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, baca artikel Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Menerjemahkan atau menyelesaikan entitas
Untuk mengetahui petunjuk penyedia identitas tertentu, lihat bagian berikut.
LiveRamp
Prasyarat
- Mengonfigurasi Identitas Tersemat LiveRamp di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Identitas Tersemat LiveRamp di BigQuery.
- Bekerjasamalah dengan LiveRamp untuk mengaktifkan kredensial API agar dapat digunakan dengan Embedded Identity. Untuk mengetahui informasi selengkapnya, lihat Autentikasi.
Penyiapan
Langkah-langkah berikut diperlukan saat Anda menggunakan Identitas Tersemat LiveRamp untuk pertama kalinya. Setelah penyiapan selesai, hanya tabel input dan tabel metadata yang perlu diubah di antara sesi.
Membuat tabel input
Buat tabel dalam set data input. Isi tabel dengan RampID, domain target, dan jenis target. Untuk mengetahui detail dan contohnya, lihat Kolom dan Deskripsi Tabel Input.
Membuat tabel metadata
Tabel metadata digunakan untuk mengontrol eksekusi LiveRamp Embedded Identity di BigQuery. Buat tabel metadata di set data input. Isi tabel metadata dengan client ID, mode eksekusi, domain target, dan jenis target. Untuk mengetahui detail dan contohnya, lihat Kolom dan Deskripsi Tabel Metadata.
Berbagi tabel dengan LiveRamp
Beri akun layanan Google Cloud LiveRamp akses untuk melihat dan memproses data dalam set data input Anda. Untuk mengetahui detail dan contohnya, lihat Membagikan Tabel dan Set Data dengan LiveRamp.
Menjalankan tugas identitas tersemat
Untuk menjalankan tugas identitas tersemat dengan LiveRamp di BigQuery, lakukan hal berikut:
- Pastikan semua RampID yang dienkode di domain Anda ada di tabel input.
- Pastikan tabel metadata Anda masih akurat sebelum menjalankan tugas.
- Hubungi LiveRampIdentitySupport@liveramp.com untuk menyampaikan permintaan proses pekerjaan. Sertakan project ID, ID set data, dan ID tabel (jika ada) untuk tabel input, tabel metadata, dan set data output. Untuk mengetahui informasi selengkapnya, lihat Memberi tahu LiveRamp untuk Memulai Transcoding.
Hasil biasanya dikirimkan ke set data output Anda dalam waktu tiga hari kerja.
Dukungan LiveRamp
Untuk masalah dukungan, hubungi Dukungan Identitas LiveRamp.
Penagihan LiveRamp
LiveRamp menangani penagihan untuk resolusi entity.
TransUnion
Prasyarat
- Hubungi TransUnion Cloud Support untuk menandatangani perjanjian guna mengakses layanan. Berikan detail Google Cloud project ID, jenis data input, kasus penggunaan, dan volume data Anda.
- TransUnion Cloud Support mengaktifkan layanan untuk Google Cloud project Anda dan membagikan panduan penerapan mendetail yang mencakup data output yang tersedia.
Penyiapan
Langkah-langkah berikut diperlukan saat Anda menggunakan layanan Identity Resolution and Enrichment TruAudience dari TransUnion di lingkungan BigQuery Anda.
Membuat koneksi eksternal
Buat koneksi ke sumber data eksternal dari jenis Vertex AI remote models, remote functions and BigLake (Cloud Resource). Anda akan menggunakan koneksi ini untuk memicu layanan penyelesaian identitas yang dihosting di akun TransUnion Google Cloud dari akunGoogle Cloud Anda.
Salin ID koneksi dan ID akun layanan, lalu bagikan ID ini kepada tim pengiriman pelanggan TransUnion.
Membuat fungsi jarak jauh
Buat fungsi jarak jauh yang berinteraksi dengan endpoint orkestrator layanan yang dihosting di project TransUnion Google Cloud untuk meneruskan metadata yang diperlukan (termasuk pemetaan skema) ke layanan TransUnion. Gunakan ID koneksi dari koneksi eksternal yang Anda buat dan endpoint Cloud Function yang dihosting TransUnion yang dibagikan oleh tim pengiriman pelanggan TransUnion.
Membuat tabel input
Buat tabel dalam set data input. TransUnion mendukung nama, alamat pos, email, telepon, tanggal lahir, alamat IPv4, dan ID perangkat sebagai input. Ikuti pedoman pemformatan dalam panduan penerapan yang dibagikan TransUnion kepada Anda.
Membuat tabel metadata
Buat tabel metadata yang akan menyimpan konfigurasi yang diperlukan oleh layanan penyelesaian identitas untuk memproses data, termasuk pemetaan skema. Untuk detail dan contohnya, lihat panduan penerapan yang dibagikan TransUnion kepada Anda.
Membuat tabel status tugas
Buat tabel yang akan menerima update tentang pemrosesan batch input. Anda dapat membuat kueri tabel ini untuk memicu proses hilir lainnya di pipeline Anda. Kemungkinan status tugas adalah sebagai berikut: RUNNING,
COMPLETED, atau ERROR.
Membuat pemanggilan layanan
Gunakan prosedur berikut untuk memanggil layanan penyelesaian identitas TransUnion setelah mengumpulkan semua metadata, mengemasnya, dan meneruskannya ke endpoint fungsi cloud pemanggilan yang dihosting oleh TransUnion.
-- create service invocation procedure
CREATE OR REPLACE
PROCEDURE
`<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
begin
declare sql_query STRING;
declare json_result STRING;
declare base64_result STRING;
SET sql_query =
'''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
|| '''` where config_id="''' || config_id || '''" ''';
EXECUTE immediate sql_query INTO json_result;
SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));
SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);
END;
Membuat tabel output yang cocok
Jalankan skrip SQL berikut untuk membuat tabel output yang cocok. Ini adalah output standar aplikasi, yang mencakup tanda kecocokan, skor, ID individu persisten, dan ID keluarga.
-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
batchid STRING,
uniqueid STRING,
ekey STRING,
hhid STRING,
collaborationid STRING,
firstnamematch STRING,
lastnamematch STRING,
addressmatches STRING,
addresslinkagescores STRING,
phonematches STRING,
phonelinkagescores STRING,
emailmatches STRING,
emaillinkagescores STRING,
dobmatches STRING,
doblinkagescore STRING,
ipmatches STRING,
iplinkagescore STRING,
devicematches STRING,
devicelinkagescore STRING,
lastprocessed STRING);
Mengonfigurasi metadata
Ikuti panduan penerapan yang dibagikan TransUnion kepada Anda untuk memetakan skema input ke skema aplikasi. Metadata ini juga mengonfigurasi pembuatan ID kolaborasi, yang merupakan ID sementara yang dapat dibagikan dan dapat digunakan di ruang bersih data.
Memberikan akses baca dan tulis
Dapatkan ID akun layanan koneksi Apache Spark dari tim pengiriman pelanggan TransUnion dan berikan akses baca dan tulis ke set data yang berisi tabel input dan output. Sebaiknya berikan ID akun layanan dengan peran BigQuery Data Editor pada set data.
Memanggil aplikasi
Anda dapat memanggil aplikasi dari dalam lingkungan dengan menjalankan skrip berikut.
call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run
Dukungan
Untuk masalah teknis, hubungi Dukungan TransUnion Cloud.
Penagihan dan penggunaan
TransUnion melacak penggunaan aplikasi dan menggunakannya untuk tujuan penagihan. Pelanggan aktif dapat menghubungi perwakilan pengiriman TransUnion mereka untuk mengetahui informasi selengkapnya.
Alur kerja untuk penyedia identitas
Bagian berikut menunjukkan cara penyedia identitas mengonfigurasi penyelesaian entitas di BigQuery. Untuk representasi visual penyiapan lengkap, lihat arsitektur untuk penyelesaian entitas.
Sebelum memulai
- Buat tugas Cloud Run atau Cloud Run function untuk berintegrasi dengan fungsi jarak jauh. Kedua opsi tersebut cocok untuk tujuan ini.
Catat nama akun layanan yang terkait dengan fungsi Cloud Run atau Cloud Run:
Di konsol Google Cloud , buka halaman Cloud Functions.
Klik nama fungsi, lalu klik tab Detail.
Di panel General Information, temukan dan catat nama akun layanan untuk fungsi jarak jauh.
Buat fungsi jarak jauh.
Kumpulkan prinsipal pengguna akhir dari pengguna akhir.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan guna menjalankan tugas penyelesaian entitas, minta administrator untuk memberi Anda peran IAM berikut:
-
Agar akun layanan yang terkait dengan fungsi Anda dapat membaca dan menulis pada set data terkait serta meluncurkan tugas:
-
BigQuery Data Editor (
roles/bigquery.dataEditor) di project -
BigQuery Job User (
roles/bigquery.jobUser) di project
-
BigQuery Data Editor (
-
Agar akun utama pengguna akhir dapat melihat dan terhubung ke fungsi jarak jauh:
-
BigQuery Connection User (
roles/bigquery.connectionUser) pada koneksi -
BigQuery Data Viewer (
roles/bigquery.dataViewer) di set data bidang kontrol dengan fungsi jarak jauh
-
BigQuery Connection User (
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, baca artikel Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Membagikan fungsi jarak jauh penyelesaian entity
Ubah dan bagikan kode antarmuka jarak jauh berikut kepada pengguna akhir. Pengguna akhir memerlukan kode ini untuk memulai tugas penyelesaian entitas.
`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)
Ganti LIST_OF_PARAMETERS dengan daftar parameter yang diteruskan ke fungsi jarak jauh.
Opsional: Berikan metadata tugas
Secara opsional, Anda dapat memberikan metadata tugas menggunakan fungsi jarak jauh terpisah atau dengan menulis tabel status baru di set data output pengguna. Contoh metadata mencakup status dan metrik tugas.
Penagihan untuk penyedia identitas
Untuk menyederhanakan penagihan dan aktivasi pelanggan, sebaiknya integrasikan layanan penyelesaian entitas Anda dengan Google Cloud Marketplace. Dengan begitu, Anda dapat menyiapkan model harga berdasarkan penggunaan tugas penyelesaian entitas, dengan Google yang menangani penagihan untuk Anda. Untuk mengetahui informasi selengkapnya, lihat Menawarkan produk software sebagai layanan (SaaS).