Entitätsauflösung in BigQuery konfigurieren und verwenden

Mit der Entitätsauflösung in BigQuery können Sie Datensätze in verschiedenen Datasets abgleichen, deduplizieren und erweitern, ohne die zugrunde liegenden Daten zu verschieben. Als Endnutzer können Sie Ihre BigQuery-Datasets mit einem Identitätsanbieter wie LiveRamp oder TransUnion verbinden und eine Remote-Funktion aufrufen, um Identitäten direkt aufzulösen. Als Identitätsanbieter können Sie Remote-Funktionsendpunkte konfigurieren und Ihre Dienste zur Entitätsauflösung im Google Cloud Marketplace veröffentlichen.

Entitätsauflösung für Endnutzer konfigurieren

Wenn Sie Entitäten als Endnutzer auflösen möchten, bereiten Sie Eingabe- und Ausgabe-Datasets in BigQuery vor, gewähren Ihrem Identitätsanbieter Zugriff auf das Dataset und rufen seinen Abgleichsdienst auf. Weitere Informationen zur Architektur finden Sie unter Architektur für die Entitätsauflösung.

Hinweis

  1. Wenden Sie sich an einen Identitätsanbieter. BigQuery unterstützt die Entitätsauflösung mit LiveRamp und TransUnion.
  2. Erhalten Sie die folgenden Elemente vom Identitätsanbieter:
    • Dienstkonto-Anmeldedaten
    • Signatur der Remote-Funktion
  3. Erstellen Sie die folgenden Datasets in Ihrem Google Cloud -Projekt:
    • Eingabe-Dataset
    • Ausgabe-Dataset

Erforderliche Rollen

Damit das Dienstkonto des Identitätsanbieters die erforderlichen Berechtigungen zum Lesen des Eingabe-Datasets und zum Schreiben in das Ausgabe-Dataset hat, bitten Sie Ihren Administrator, dem Dienstkonto des Identitätsanbieters die folgenden IAM-Rollen zu gewähren:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Dienstkonto des Identitätsanbieters möglicherweise auch die erforderlichen Berechtigungen über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.

Entitäten mit einem Identitätsanbieter auflösen

Nachdem Sie Ihre Datasets erstellt und die erforderlichen Rollen zugewiesen haben, können Sie Ihre Tabellen konfigurieren und Abgleichjobs mit dem ausgewählten Identitätsanbieter ausführen. In der folgenden Tabelle sind die Integrationsmethode und die erforderlichen Tabellen für jeden unterstützten Identitätsanbieter zusammengefasst:

Identitätsanbieter Integrationsmethode Erforderliche Tabellen in Ihrem Dataset Jobaufruf
LiveRamp LiveRamp Embedded Identity Eingabetabelle mit RampIDs, Metadatentabelle E-Mail-Anfrage an den LiveRamp-Support senden
TransUnion TruAudience-Remote-Funktion über externe BigQuery-Verbindung Eingabetabelle mit Entitätsattributen, Metadatentabelle, Jobstatustabelle, übereinstimmende Ausgabetabelle Aufruf einer gespeicherten SQL-Prozedur mit CALL

Wählen Sie einen Identitätsanbieter aus, um die entsprechende Anleitung für die Einrichtung und Jobausführung aufzurufen:

LiveRamp

LiveRamp-Voraussetzungen

Bevor Sie die LiveRamp-Entitätsauflösung in BigQuery konfigurieren, müssen die folgenden Voraussetzungen erfüllt sein:

LiveRamp-Entitätsauflösung einrichten

Wenn Sie LiveRamp Embedded Identity zum ersten Mal verwenden, führen Sie die folgenden Einrichtungsschritte aus. Für nachfolgende Ausführungen müssen Sie nur die Eingabetabelle und die Metadatentabelle aktualisieren.

LiveRamp-Eingabetabelle erstellen

Erstellen Sie eine Tabelle in Ihrem Eingabe-Dataset und füllen Sie sie mit den folgenden Spalten:

  • RampIDs
  • Zieldomains
  • Zieltypen

Weitere Informationen zum Schema der Eingabetabelle finden Sie unter Spalten und Beschreibungen in Eingabetabellen.

LiveRamp-Metadatentabelle erstellen

Wenn Sie die Ausführung von LiveRamp Embedded Identity in BigQuery steuern möchten, erstellen Sie eine Metadatentabelle in Ihrem Eingabe-Dataset. Füllen Sie die Metadatentabelle mit den folgenden Konfigurationsspalten:

  • Client-IDs
  • Ausführungsmodi
  • Zieldomains
  • Zieltypen

Weitere Informationen zum Metadatentabellenschema finden Sie unter Spalten und Beschreibungen in Metadatentabellen.

LiveRamp Zugriff auf das Dataset gewähren

Nachdem Sie die erforderlichen Tabellen erstellt haben, gewähren Sie LiveRamp die Berechtigung, Daten in Ihrem Eingabe-Dataset aufzurufen und zu verarbeiten. Gewähren Sie dem LiveRamp-DienstkontoGoogle Cloud Zugriff auf das Dataset. Weitere Informationen zum Freigeben von Datasets finden Sie unter Tabellen und Datasets für LiveRamp freigeben.

LiveRamp-Entitätsauflösungsjob ausführen

Nachdem Sie Ihre Tabellen konfiguriert und den Zugriff auf das Dataset gewährt haben, führen Sie einen Job zur Entitätsauflösung mit LiveRamp in BigQuery aus:

  1. Prüfen Sie, ob alle RampIDs für Ihre Domain in der Eingabetabelle enthalten sind.
  2. Prüfen Sie vor dem Ausführen des Jobs, ob die Konfiguration der Metadatentabelle korrekt ist.
  3. Wenn Sie eine Anfrage zur Jobverarbeitung senden möchten, senden Sie eine E-Mail an LiveRampIdentitySupport@liveramp.com. Geben Sie in Ihrer Anfrage die Projekt-ID, die Dataset-ID und alle anwendbaren Tabellen-IDs für Ihre Eingabetabelle, Metadatentabelle und Ihr Ausgabe-Dataset an.

LiveRamp liefert die Abgleichergebnisse in der Regel innerhalb von drei Arbeitstagen an Ihr Ausgabe-Dataset.

LiveRamp-Support und ‑Abrechnungsinformationen erhalten

LiveRamp übernimmt den technischen Support und die Abrechnung für Embedded Identity in BigQuery:

  • Technischer Support: Wenden Sie sich an den LiveRamp Identity Support, wenn Sie Hilfe bei der Einrichtung oder Jobausführung benötigen.
  • Abrechnung: LiveRamp stellt Ihnen die Nutzung der Entitätsauflösung direkt in Rechnung.

TransUnion

Voraussetzungen für TransUnion

Bevor Sie die TransUnion-Entitätsauflösung in BigQuery konfigurieren, senden Sie eine E-Mail an den TransUnion-Cloud-Support, um eine Dienstzugriffsvereinbarung zu unterzeichnen. Geben Sie in Ihrer Anfrage die folgenden Informationen an:

  • Ihre Projekt-ID in Google Cloud
  • Eingabedatentypen
  • Vorgesehener Anwendungsfall
  • Geschätztes Datenvolumen

Nachdem der TransUnion Cloud-Support Ihre Anfrage genehmigt hat, aktiviert er den Dienst für Ihr Google Cloud -Projekt und stellt einen Implementierungsleitfaden mit verfügbaren Ausgabeschemas bereit.

TransUnion-Entitätsauflösung einrichten

Wenn Sie den TransUnion TruAudience Identity Resolution and Enrichment-Dienst zum ersten Mal in BigQuery verwenden, führen Sie die folgenden Einrichtungsschritte aus.

Externe Verbindung erstellen

Wenn Sie Ihr Google Cloud -Konto mit dem im TransUnion- Google Cloud -Konto gehosteten Dienst zur Identitätsauflösung verbinden möchten, erstellen Sie eine Cloud-Ressourcenverbindung. Wählen Sie beim Konfigurieren der Verbindung Vertex AI-Remote-Modelle, Remote-Funktionen, BigLake und Cloud Spanner (Cloud-Ressource) als Verbindungstyp aus.

Nachdem Sie die Verbindung erstellt haben, kopieren Sie die Verbindungs-ID und die Dienstkonto-ID und geben Sie diese IDs an das TransUnion-Kundenserviceteam weiter.

Remote-Funktion erstellen

Erstellen Sie eine Remote-Funktion, um Schemazuordnungen und Konfigurationsmetadaten an den Endpunkt des TransUnion-Dienstorchestrators zu übergeben. Geben Sie beim Erstellen der Remote-Funktion die Verbindungs-ID aus Ihrer externen Verbindung und die Endpunkt-URL der Cloud Run-Funktion an, die Sie vom TransUnion-Kundenserviceteam erhalten haben.

TransUnion-Eingabetabelle erstellen

Erstellen Sie eine Eingabetabelle in Ihrem Eingabe-Dataset. TransUnion unterstützt die folgenden Entitätsattribute als Eingabespalten:

  • Name
  • Postanschrift
  • E-Mail-Adresse
  • Telefonnummer
  • Geburtsdatum
  • IPv4-Adresse
  • Geräte-ID

Folgen Sie den Schema- und Formatierungsrichtlinien im Implementierungsleitfaden, den TransUnion Ihnen zur Verfügung gestellt hat. Wenn Sie jede Eingabetabelle einem separaten config_id-Parameter in Ihrer Metadatentabelle zuordnen, können Sie mehrere Eingabetabellen verwenden.

TransUnion-Metadatentabelle erstellen

Erstellen Sie in Ihrem Eingabe-Dataset eine Metadatentabelle, um die Schemazuordnungen und die Konfiguration zu speichern, die der Dienst zur Identitätsauflösung benötigt. Weitere Informationen zum Metadatenschema finden Sie im Implementierungsleitfaden, den TransUnion Ihnen zur Verfügung gestellt hat.

Tabelle für den Jobstatus erstellen

Wenn Sie Updates zur Batchverarbeitung erhalten möchten, erstellen Sie in Ihrem Dataset eine Jobstatustabelle. Wenn Sie Jobs überwachen und nachgelagerte Prozesse in Ihrer Pipeline auslösen möchten, fragen Sie diese Jobstatustabelle ab. In der Tabelle werden die folgenden Status erfasst:

  • RUNNING: Der Dienst zur Identitätsauflösung verarbeitet den Batch.
  • COMPLETED: Der Dienst hat die Verarbeitung des Batches abgeschlossen und die Ergebnisse in die Ausgabetabelle geschrieben.
  • ERROR: Beim Verarbeiten des Batches ist ein Fehler aufgetreten.
Prozedur für den Dienstaufruf erstellen

Die gespeicherte Prozedur TransUnion_get_identities verpackt Ihre Konfigurationsmetadaten und ruft den Endpunkt der TransUnion Cloud Run-Funktion auf. Führen Sie die folgende SQL-Anweisung aus, um diese gespeicherte Prozedur zu erstellen:

-- create service invocation procedure
CREATE OR REPLACE PROCEDURE
  `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
BEGIN
  DECLARE sql_query STRING;
  DECLARE json_result STRING;
  DECLARE base64_result STRING;

  SET sql_query =
    '''SELECT TO_JSON_STRING(ARRAY_AGG(STRUCT(config_id, key, value))) FROM `''' || metadata_table
    || '''` WHERE config_id="''' || config_id || '''" ''';

  EXECUTE IMMEDIATE sql_query INTO json_result;

  SET base64_result = (SELECT TO_BASE64(CAST(json_result AS BYTES)));

  SELECT
    `PROJECT_ID.DATASET_ID.remote_call_TransUnion_er`(
      base64_result);
END;

Ersetzen Sie Folgendes:

  • PROJECT_ID: Projekt-ID in Google Cloud .
  • DATASET_ID: die ID des Datasets, in dem Sie die Prozedur und die Remote-Funktion erstellen.
Ausgabetabelle für Abgleiche erstellen

In der Ausgabetabelle mit den Übereinstimmungen werden die Ergebnisse der Entitätsauflösung von TransUnion gespeichert, einschließlich Übereinstimmungs-Flags, Verknüpfungswerten, dauerhaften individuellen IDs und Haushalts-IDs. Führen Sie die folgende SQL-Anweisung aus, um die entsprechende Ausgabetabelle zu erstellen:

-- create output table
CREATE TABLE `PROJECT_ID.DATASET_ID.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Projekt-ID in Google Cloud .
  • DATASET_ID: die ID des Datasets, in dem Sie die übereinstimmende Ausgabetabelle erstellen.
Metadaten für die Schemazuordnung konfigurieren

Folgen Sie der Anleitung im Implementierungsleitfaden, den Sie von TransUnion erhalten haben, um Ihr Eingabeschema dem TransUnion-Anwendungsschema zuzuordnen. Diese Metadaten konfigurieren auch, wie der Dienst Kollaborations-IDs generiert. Das sind freigebbare, nicht persistente Kennungen, die Sie in Data-Clean-Rooms verwenden können.

TransUnion Zugriff auf das Dataset gewähren

Nachdem Sie die erforderlichen Tabellen und die gespeicherte Prozedur erstellt haben, gewähren Sie TransUnion Zugriff, um Ihre Eingabedaten zu lesen und übereinstimmende Ergebnisse zu schreiben. Rufen Sie die Dienstkonto-ID für die Apache Spark-Verbindung vom TransUnion-Kundenserviceteam ab. Weisen Sie diesem Dienstkonto dann die Rolle „BigQuery-Datenbearbeiter“ (roles/bigquery.dataEditor) für das Dataset zu, das Ihre Eingabe- und Ausgabetabellen enthält.

TransUnion-Job zur Entitätsauflösung ausführen

Nachdem Sie Ihre Tabellen konfiguriert und Dataset-Zugriff gewährt haben, können Sie einen Batchlauf für die Entitätsauflösung starten. Rufen Sie die gespeicherte Prozedur TransUnion_get_identities auf, um den Dienst zur Entitätsauflösung aufzurufen:

CALL `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(
  "PROJECT_ID.DATASET_ID.TransUnion_er_metadata",
  "CONFIG_ID");

Ersetzen Sie Folgendes:

  • PROJECT_ID: Projekt-ID in Google Cloud .
  • DATASET_ID: die ID des Datasets, das Ihre Metadatentabelle und die gespeicherte Prozedur enthält.
  • CONFIG_ID: die Konfigurations-ID für die Batchausführung, z. B. "1".

Support und Abrechnungsinformationen von TransUnion erhalten

Wenn Sie Hilfe bei technischen Problemen oder Abrechnungsfragen im Zusammenhang mit TruAudience Identity Resolution and Enrichment in BigQuery benötigen, wenden Sie sich direkt an TransUnion:

  • Technischer Support: Wenden Sie sich an den TransUnion Cloud-Support, wenn Sie Hilfe bei der Einrichtung, der Schemazuordnung oder der Fehlerbehebung benötigen.
  • Abrechnung: TransUnion erfasst die Dienstnutzung zu Abrechnungszwecken. Wenden Sie sich an Ihren TransUnion-Ansprechpartner, um Details zu Konto und Preisen zu erhalten.

Entitätsauflösung für Identitätsanbieter konfigurieren

Als Identitätsanbieter können Sie Ihren Entitätsauflösungsdienst BigQuery-Endnutzern anbieten. Diese Architektur trägt zum Schutz Ihres geistigen Eigentums bei, da Sie Ihren proprietären Identitätsgraphen oder Ihre Abgleichslogik nicht offenlegen.

Zum Konfigurieren Ihres Dienstes stellen Sie einen Orchestrator-Endpunkt bereit, erstellen eine BigQuery-Remote-Funktion, weisen die erforderlichen Rollen zu und geben die Signatur der Remote-Funktion für Ihre Endnutzer frei. Weitere Informationen zur Architektur finden Sie unter Architektur für die Entitätsauflösung.

Hinweis

Bevor Sie den Dienst zur Entitätsauflösung in BigQuery konfigurieren, müssen Sie Folgendes tun:

  • Ein Identitätsdiagramm-Dataset und eine Abgleichslogik, die in IhremGoogle Cloud -Projekt oder in einer externen Datenbank bereitgestellt werden.
  • Endnutzer-Hauptkonto-IDs, z. B. E-Mail-Adressen von Nutzern, Dienstkonten oder Google-Gruppen, die Sie von Ihren Endnutzern erhalten haben.

Erforderliche Rollen

Damit das Dienstkonto des Identitätsanbieters die erforderlichen Berechtigungen zum Ausführen von Entitätsauflösungsjobs hat, bitten Sie Ihren Administrator, dem Dienstkonto des Identitätsanbieters die folgenden IAM-Rollen zuzuweisen:

  • Für das Dienstkonto, das mit Ihrer Funktion verknüpft ist, um auf verknüpften Datasets zu lesen und zu schreiben und Aufträge zu starten:
  • Damit das Hauptkonto des Endnutzers die Remote-Funktion sehen und eine Verbindung zu ihr herstellen kann:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Dienstkonto des Identitätsanbieters möglicherweise auch die erforderlichen Berechtigungen über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.

Endpunkt der Remote-Funktion einrichten

Wenn Sie Anfragen zur Entitätsauflösung von Endnutzern verarbeiten möchten, stellen Sie einen Orchestrator-Endpunkt bereit und verbinden Sie ihn mit einer BigQuery-Remote-Funktion:

  1. Wenn Sie übereinstimmende Anfragen von Ihrer Remote-Funktion verarbeiten möchten, erstellen Sie einen Cloud Run-Job oder eine Cloud Run-Funktion. Sie können beide Optionen für Ihren Endpunkt verwenden.

  2. So finden Sie die E-Mail-Adresse des Dienstkontos, das mit Ihrem Cloud Run-Job oder Ihrer Cloud Run-Funktion verknüpft ist:

    1. Rufen Sie in der Google Cloud Console die Seite Cloud Run auf.

      Zu Cloud Run

    2. Klicken Sie auf den Namen Ihrer Funktion oder Ihres Jobs und dann auf den Tab Sicherheit.

    3. Suchen Sie im Feld Dienstkonto die E-Mail-Adresse des Dienstkontos für die Remote-Funktion und notieren Sie sie.

  3. Erstellen Sie in Ihrem Dataset auf der Steuerungsebene eine Remote-Funktion, die eine Verbindung zu Ihrem Cloud Run-Job oder Cloud Run-Funktionsendpunkt herstellt.

Remote-Funktion zur Entitätsauflösung freigeben

Nachdem Sie die Remote-Funktion erstellt und Ihren Endnutzern die erforderlichen Rollen zugewiesen haben, geben Sie die folgende Remote-Funktionssignatur für sie frei. Endnutzer rufen diese Remote-Funktion auf, um einen Entitätsauflösungsjob zu starten.

`PARTNER_PROJECT_ID.DATASET_ID.match`(LIST_OF_PARAMETERS)

Ersetzen Sie Folgendes:

  • PARTNER_PROJECT_ID: die Google Cloud -Projekt-ID des Identitätsanbieters.
  • DATASET_ID: die ID des Datasets, das die Remote-Funktion enthält.
  • LIST_OF_PARAMETERS: die Liste der Parameter, die an die Remote-Funktion übergeben werden sollen.

Optional: Metadaten für den Job zur Entitätsauflösung angeben

Wenn Sie Ihren Endnutzern Jobmetadaten zur Verfügung stellen möchten, können Sie eine separate Remote-Funktion bereitstellen oder eine Jobstatustabelle in das Ausgabedataset des Endnutzers schreiben. Sie können beispielsweise Ausführungsstatus wie RUNNING, COMPLETED oder ERROR zusammen mit Verarbeitungsmesswerten melden.

In Cloud Marketplace für die Abrechnung einbinden

Wenn Sie die Abrechnung und das Onboarding von Kunden über Google verwalten möchten, binden Sie Ihren Dienst zur Entitätsauflösung in den Cloud Marketplace ein. Mit dieser Integration können Sie ein Preismodell basierend auf der Nutzung von Jobs zur Entitätsauflösung konfigurieren, während Google die Abrechnung für Ihren Dienst übernimmt. Weitere Informationen finden Sie unter Software-as-a-Service-Produkte (SaaS) anbieten.

Nächste Schritte