Mengonfigurasi dan menggunakan penyelesaian entitas di BigQuery

Penyelesaian entitas di BigQuery memungkinkan Anda mencocokkan, menghapus duplikat, dan memperkaya data di seluruh set data tanpa memindahkan data pokok Anda. Sebagai pengguna akhir, Anda dapat menghubungkan set data BigQuery ke penyedia identitas seperti LiveRamp atau TransUnion dan memanggil fungsi jarak jauh untuk menyelesaikan identitas di tempat. Sebagai penyedia identitas, Anda dapat mengonfigurasi endpoint fungsi jarak jauh dan memublikasikan layanan penyelesaian entitas Anda di Google Cloud Marketplace.

Mengonfigurasi penyelesaian entitas untuk pengguna akhir

Untuk menyelesaikan entity sebagai pengguna akhir, Anda menyiapkan set data input dan output di BigQuery, memberikan akses set data ke penyedia identitas Anda, dan memanggil layanan pencocokannya. Untuk mengetahui informasi selengkapnya tentang arsitektur, lihat Arsitektur penyelesaian entitas.

Sebelum memulai

1. Hubungi penyedia identitas. BigQuery mendukung resolusi entity dengan LiveRamp dan TransUnion.
2. Dapatkan item berikut dari penyedia identitas:
   • Kredensial akun layanan
   • Tanda tangan fungsi jarak jauh
3. Buat set data berikut di project Google Cloud Anda:
   • Set data input
   • Set data output

Peran yang diperlukan

Untuk memastikan bahwa akun layanan penyedia identitas memiliki izin yang diperlukan untuk membaca set data input dan menulis ke set data output, minta administrator Anda untuk memberikan peran IAM berikut kepada akun layanan penyedia identitas:

Penting: Anda harus memberikan peran ini ke akun layanan penyedia identitas, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• BigQuery Data Viewer (roles/bigquery.dataViewer) pada set data input
• BigQuery Data Editor (roles/bigquery.dataEditor) di set data output

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan penyedia identitas melalui peran khusus atau peran yang telah ditetapkan lainnya.

Menyelesaikan entitas dengan penyedia identitas

Setelah membuat set data dan memberikan peran yang diperlukan, Anda dapat mengonfigurasi tabel dan menjalankan tugas pencocokan dengan penyedia identitas yang dipilih. Tabel berikut merangkum metode integrasi dan tabel yang diperlukan untuk setiap penyedia identitas yang didukung:

Penyedia identitas	Metode integrasi	Tabel yang diperlukan dalam set data Anda	Pemanggilan tugas
LiveRamp	Identitas Tersemat LiveRamp	Tabel input dengan RampID, tabel metadata	Mengirim permintaan email ke dukungan LiveRamp
TransUnion	Fungsi jarak jauh TruAudience melalui koneksi eksternal BigQuery	Tabel input dengan atribut entitas, tabel metadata, tabel status tugas, tabel output pencocokan	Panggilan prosedur tersimpan SQL menggunakan CALL

Pilih penyedia identitas untuk melihat petunjuk penyiapan dan eksekusi tugas tertentu:

LiveRamp

Prasyarat LiveRamp

Sebelum mengonfigurasi resolusi entity LiveRamp di BigQuery, selesaikan prasyarat berikut:

• Mengonfigurasi Identitas Tersemat LiveRamp di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan Identitas Tersemat LiveRamp di BigQuery.
• Bekerjasamalah dengan LiveRamp untuk mengaktifkan kredensial API yang kompatibel dengan Embedded Identity. Untuk mengetahui informasi selengkapnya, lihat Autentikasi.

Menyiapkan resolusi entitas LiveRamp

Saat Anda menggunakan Identitas Tersemat LiveRamp untuk pertama kalinya, selesaikan langkah-langkah penyiapan berikut. Untuk sesi berikutnya, Anda hanya perlu memperbarui tabel input dan tabel metadata.

Membuat tabel input LiveRamp

Buat tabel di set data input Anda dan isi dengan kolom berikut:

• RampIDs
• Domain target
• Jenis target

Untuk mengetahui informasi selengkapnya tentang skema tabel input, lihat Kolom dan Deskripsi Tabel Input.

Membuat tabel metadata LiveRamp

Untuk mengontrol eksekusi LiveRamp Embedded Identity di BigQuery, buat tabel metadata di set data input Anda. Isi tabel metadata dengan kolom konfigurasi berikut:

• Client ID
• Mode eksekusi
• Domain target
• Jenis target

Untuk mengetahui informasi selengkapnya tentang skema tabel metadata, lihat Kolom dan Deskripsi Tabel Metadata.

Memberikan akses set data ke LiveRamp

Setelah membuat tabel yang diperlukan, beri LiveRamp akses untuk melihat dan memproses data dalam set data input Anda. Beri akses set data ke akun layananGoogle Cloud LiveRamp. Untuk mengetahui informasi selengkapnya tentang berbagi set data, lihat Membagikan Tabel dan Set Data dengan LiveRamp.

Menjalankan tugas resolusi entity LiveRamp

Setelah mengonfigurasi tabel dan memberikan akses set data, jalankan tugas penyelesaian entitas dengan LiveRamp di BigQuery:

1. Di tabel input, pastikan semua RampID untuk domain Anda ada.
2. Sebelum menjalankan tugas, pastikan konfigurasi tabel metadata Anda akurat.
3. Untuk mengirimkan permintaan pemrosesan tugas, kirim email ke [e-mail]. Dalam permintaan Anda, sertakan project ID, ID set data, dan ID tabel yang berlaku untuk tabel input, tabel metadata, dan set data output.

LiveRamp biasanya mengirimkan hasil pencocokan ke set data output Anda dalam waktu tiga hari kerja.

Mendapatkan dukungan LiveRamp dan informasi penagihan

LiveRamp mengelola dukungan teknis dan penagihan untuk Identitas Tersemat di BigQuery:

• Dukungan teknis: hubungi Dukungan Identitas LiveRamp untuk mendapatkan bantuan terkait penyiapan atau eksekusi tugas.
• Penagihan: LiveRamp menagih Anda secara langsung untuk penggunaan resolusi entitas.

TransUnion

Prasyarat TransUnion

Sebelum mengonfigurasi penyelesaian entitas TransUnion di BigQuery, kirim email ke TransUnion Cloud Support untuk menandatangani perjanjian akses layanan. Dalam permintaan Anda, berikan informasi berikut:

• Google Cloud Project ID Anda
• Jenis data input
• Kasus penggunaan yang dimaksudkan
• Perkiraan volume data

Setelah Dukungan Cloud TransUnion menyetujui permintaan Anda, mereka akan mengaktifkan layanan untuk project Google Cloud Anda dan membagikan panduan penerapan yang mencakup skema output yang tersedia.

Menyiapkan penyelesaian entity TransUnion

Saat Anda menggunakan layanan TransUnion TruAudience Identity Resolution and Enrichment di BigQuery untuk pertama kalinya, selesaikan langkah-langkah penyiapan berikut.

Membuat koneksi eksternal

Untuk menghubungkan akun Google Cloud Anda ke layanan penyelesaian identitas yang dihosting di akun Google Cloud TransUnion, buat koneksi resource Cloud. Saat mengonfigurasi koneksi, pilih Vertex AI model jarak jauh, fungsi jarak jauh, dan BigLake (Cloud Resource) sebagai jenis koneksi.

Setelah membuat koneksi, salin ID koneksi dan ID akun layanan, lalu bagikan ID ini kepada tim pengiriman pelanggan TransUnion.

Membuat fungsi jarak jauh

Untuk meneruskan pemetaan skema dan metadata konfigurasi ke endpoint pengelola layanan TransUnion, buat fungsi jarak jauh. Saat membuat fungsi jarak jauh, tentukan ID koneksi dari koneksi eksternal Anda dan URL endpoint fungsi Cloud Run yang dibagikan oleh tim pengiriman pelanggan TransUnion kepada Anda.

Membuat tabel input TransUnion

Buat tabel input di set data input Anda. TransUnion mendukung atribut entitas berikut sebagai kolom input:

• Nama
• Alamat pos
• Alamat email
• Nomor telepon
• Tanggal lahir
• Alamat IPv4
• ID Perangkat

Ikuti pedoman skema dan pemformatan dalam panduan penerapan yang dibagikan TransUnion kepada Anda. Jika memetakan setiap tabel input ke parameter config_id yang berbeda dalam tabel metadata, Anda dapat menggunakan beberapa tabel input.

Membuat tabel metadata TransUnion

Untuk menyimpan pemetaan dan konfigurasi skema yang diperlukan oleh layanan resolusi identitas, buat tabel metadata di set data input Anda. Untuk mengetahui informasi selengkapnya tentang skema metadata, lihat panduan penerapan yang dibagikan TransUnion kepada Anda.

Membuat tabel status tugas

Untuk menerima update pemrosesan batch, buat tabel status tugas di set data Anda. Untuk memantau tugas dan memicu proses downstream di pipeline Anda, buat kueri tabel status tugas ini. Tabel mencatat status berikut:

• RUNNING: layanan penyelesaian identitas sedang memproses batch.
• COMPLETED: layanan selesai memproses batch dan menulis hasil ke tabel output.
• ERROR: layanan mengalami error saat memproses batch.

Buat prosedur pemanggilan layanan

Prosedur tersimpan TransUnion_get_identities mengemas metadata konfigurasi Anda dan memanggil endpoint fungsi Cloud Run TransUnion. Untuk membuat prosedur tersimpan ini, jalankan pernyataan SQL berikut:

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT
  `PROJECT_ID.DATASET_ID.remote_call_TransUnion_er`(
    base64_result);
END;

Ganti kode berikut:

• PROJECT_ID: Google Cloud Project ID Anda.
• DATASET_ID: ID set data tempat Anda membuat prosedur dan fungsi jarak jauh.

Membuat tabel output yang cocok

Tabel output yang cocok menyimpan hasil penyelesaian entitas dari TransUnion, termasuk tanda kecocokan, skor penautan, ID individu persisten, dan ID keluarga. Untuk membuat tabel output yang cocok, jalankan pernyataan SQL berikut:

-- create output table
CREATE TABLE `PROJECT_ID.DATASET_ID.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);

Ganti kode berikut:

• PROJECT_ID: Google Cloud Project ID Anda.
• DATASET_ID: ID set data tempat Anda membuat tabel output yang cocok.

Mengonfigurasi metadata pemetaan skema

Untuk memetakan skema input Anda ke skema aplikasi TransUnion, ikuti petunjuk dalam panduan penerapan yang dibagikan TransUnion kepada Anda. Metadata ini juga mengonfigurasi cara layanan membuat ID kolaborasi, yang merupakan ID yang dapat dibagikan dan tidak persisten yang dapat Anda gunakan di ruang bersih data.

Memberikan akses set data ke TransUnion

Setelah membuat tabel dan prosedur tersimpan yang diperlukan, berikan akses TransUnion untuk membaca data input Anda dan menulis hasil yang cocok. Dapatkan ID akun layanan koneksi Apache Spark dari tim pengiriman pelanggan TransUnion. Kemudian, berikan peran BigQuery Data Editor (roles/bigquery.dataEditor) untuk akun layanan tersebut di set data yang berisi tabel input dan output Anda.

Menjalankan tugas penyelesaian entity TransUnion

Setelah mengonfigurasi tabel dan memberikan akses set data, Anda dapat memulai batch run penyelesaian entitas. Untuk memanggil layanan penyelesaian entity, panggil prosedur tersimpan TransUnion_get_identities:

CALL `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(
  "PROJECT_ID.DATASET_ID.TransUnion_er_metadata",
  "CONFIG_ID");

Ganti kode berikut:

• PROJECT_ID: Google Cloud Project ID Anda.
• DATASET_ID: ID set data yang berisi tabel metadata dan prosedur tersimpan.
• CONFIG_ID: ID konfigurasi untuk batch run, seperti "1".

Mendapatkan dukungan TransUnion dan informasi penagihan

Untuk mendapatkan bantuan terkait masalah teknis atau pertanyaan penagihan yang terkait dengan TruAudience Identity Resolution and Enrichment di BigQuery, hubungi TransUnion secara langsung:

• Dukungan teknis: hubungi Dukungan TransUnion Cloud untuk mendapatkan bantuan terkait penyiapan, pemetaan skema, atau pemecahan masalah.
• Penagihan: TransUnion melacak penggunaan layanan untuk tujuan penagihan. Hubungi perwakilan pengiriman TransUnion Anda untuk mengetahui detail akun dan harga.

Mengonfigurasi penyelesaian entitas untuk penyedia identitas

Sebagai penyedia identitas, Anda dapat menawarkan layanan resolusi entity kepada pengguna akhir BigQuery. Arsitektur ini membantu melindungi kekayaan intelektual Anda karena Anda tidak mengekspos grafik identitas atau logika pencocokan eksklusif Anda.

Untuk mengonfigurasi layanan, Anda men-deploy endpoint pengelola, membuat fungsi jarak jauh BigQuery, memberikan peran yang diperlukan, dan membagikan tanda tangan fungsi jarak jauh kepada pengguna akhir. Untuk mengetahui informasi selengkapnya tentang arsitektur, lihat Arsitektur penyelesaian entitas.

Sebelum memulai

Sebelum mengonfigurasi layanan penyelesaian entitas di BigQuery, pastikan Anda memiliki hal berikut:

• Set data grafik identitas dan logika pencocokan yang di-deploy di projectGoogle Cloud Anda atau di database eksternal.
• ID akun utama pengguna akhir, seperti alamat email pengguna, akun layanan, atau Grup Google, yang Anda peroleh dari pengguna akhir Anda.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan penyedia identitas memiliki izin yang diperlukan untuk menjalankan tugas penyelesaian entitas, minta administrator untuk memberikan peran IAM berikut kepada akun layanan penyedia identitas:

Penting: Anda harus memberikan peran ini ke akun layanan penyedia identitas, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• Agar akun layanan yang terkait dengan fungsi Anda dapat membaca dan menulis ke set data terkait serta meluncurkan tugas:
  • BigQuery Data Editor (roles/bigquery.dataEditor) di project
  • BigQuery Job User (roles/bigquery.jobUser) di project
• Agar akun utama pengguna akhir dapat melihat dan terhubung ke fungsi jarak jauh:
  • BigQuery Connection User (roles/bigquery.connectionUser) pada koneksi
  • BigQuery Data Viewer (roles/bigquery.dataViewer) di set data bidang kontrol dengan fungsi jarak jauh

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan penyedia identitas melalui peran khusus atau peran yang telah ditetapkan lainnya.

Menyiapkan endpoint fungsi jarak jauh

Untuk memproses permintaan penyelesaian entitas dari pengguna akhir, deploy endpoint pengelola dan hubungkan ke fungsi jarak jauh BigQuery:

1. Untuk memproses permintaan pencocokan dari fungsi jarak jauh, buat tugas Cloud Run atau fungsi Cloud Run. Anda dapat menggunakan salah satu opsi untuk endpoint.

2. Untuk menemukan alamat email akun layanan yang terkait dengan tugas Cloud Run atau fungsi Cloud Run, selesaikan langkah-langkah berikut:

   1. Di konsol Google Cloud , buka halaman Cloud Functions.

      Buka Cloud Functions

   2. Untuk membuka detail fungsi, klik nama fungsi Anda, lalu klik tab Detail.

   3. Di panel General Information, temukan dan catat alamat email akun layanan untuk fungsi jarak jauh.

3. Di set data bidang kontrol Anda, buat fungsi jarak jauh yang terhubung ke endpoint tugas Cloud Run atau Cloud Run Function Anda.

Membagikan fungsi jarak jauh penyelesaian entity

Setelah membuat fungsi jarak jauh dan memberikan peran yang diperlukan kepada pengguna akhir, bagikan tanda tangan fungsi jarak jauh berikut kepada mereka. Pengguna akhir memanggil fungsi jarak jauh ini untuk memulai tugas penyelesaian entity.

`PARTNER_PROJECT_ID.DATASET_ID.match`(LIST_OF_PARAMETERS)

Ganti kode berikut:

• PARTNER_PROJECT_ID: Google Cloud project ID penyedia identitas.
• DATASET_ID: ID set data yang berisi fungsi jarak jauh.
• LIST_OF_PARAMETERS: daftar parameter yang akan diteruskan ke fungsi jarak jauh.

Opsional: Berikan metadata tugas penyelesaian entitas

Untuk memberikan metadata tugas kepada pengguna akhir, Anda dapat mengekspos fungsi jarak jauh terpisah atau menulis tabel status tugas ke set data output pengguna akhir. Misalnya, Anda dapat melaporkan status eksekusi seperti RUNNING, COMPLETED, atau ERROR, beserta metrik pemrosesan.

Berintegrasi dengan Cloud Marketplace untuk penagihan

Untuk mengelola penagihan dan orientasi pelanggan melalui Google, integrasikan layanan penyelesaian entitas Anda dengan Cloud Marketplace. Integrasi ini memungkinkan Anda mengonfigurasi model harga berdasarkan penggunaan tugas penyelesaian entitas, sementara Google menangani penagihan untuk layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Menawarkan produk software as a service (SaaS).

Langkah berikutnya

• Pelajari tentang penyelesaian entitas dalam BigQuery sharing.
• Pelajari cara membuat fungsi jarak jauh.
• Pelajari cara membuat koneksi resource Cloud.
• Untuk penyedia identitas, pelajari cara menyediakan layanan penentuan entitas Anda di Google Cloud Marketplace.