Entitätsauflösung in BigQuery konfigurieren und verwenden

In diesem Dokument wird beschrieben, wie die Entitätsauflösung für Endnutzer und Identitätsanbieter implementiert wird.

Mit diesem Dokument können Sie eine Verbindung zu einem Identitätsanbieter herstellen und dessen Dienst zum Abgleichen von Datensätzen verwenden. Identitätsanbieter können dieses Dokument verwenden, um Dienste einzurichten, die sie mit Ihnen im Google Cloud Marketplace teilen möchten.

Workflow für Endnutzer

In den folgenden Abschnitten wird beschrieben, wie Sie die Entitätsauflösung in BigQuery konfigurieren. Eine visuelle Darstellung der vollständigen Einrichtung finden Sie unter Architektur für die Entitätsauflösung.

Hinweise

  1. Wenden Sie sich an einen Identitätsanbieter. BigQuery unterstützt die Entitätsauflösung mit LiveRamp und TransUnion.
  2. Rufen Sie die folgenden Elemente vom Identitätsanbieter ab:
    • Dienstkonto-Anmeldedaten
    • Signatur der Remote-Funktion
  3. Erstellen Sie zwei Datasets in Ihrem Google Cloud -Projekt:
    • Eingabe-Dataset
    • Ausgabe-Dataset

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen von Entitätsauflösungsjobs benötigen:

  • Gehen Sie so vor, damit das Dienstkonto des Identitätsanbieters das Eingabe-Dataset lesen und in das Ausgabe-Dataset schreiben kann:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Entitäten übersetzen oder auflösen

Eine anbieterspezifische Anleitung finden Sie in den folgenden Abschnitten.

LiveRamp

Vorbereitung

Einrichtung

Die folgenden Schritte sind erforderlich, wenn Sie LiveRamp Embedded Identity zum ersten Mal verwenden. Nach der Einrichtung müssen Sie nur die Eingabetabelle und die Metadatentabelle zwischen den Ausführungen ändern.

Eingabetabelle erstellen

Erstellen Sie eine Tabelle im Eingabe-Dataset. Füllen Sie die Tabelle mit RampIDs, Zieldomains und Zieltypen. Weitere Informationen und Beispiele finden Sie unter Spalten und Beschreibungen in Eingabetabellen.

Metadatentabelle erstellen

Die Metadatentabelle steuert die Ausführung von LiveRamp Embedded Identity in BigQuery. Erstellen Sie eine Metadatentabelle im Eingabe-Dataset. Füllen Sie die Metadatentabelle mit Client-IDs, Ausführungsmodi, Zieldomains und Zieltypen. Weitere Informationen und Beispiele finden Sie unter Spalten und Beschreibungen in Metadatentabellen.

Tabellen für LiveRamp freigeben

Gewähren Sie dem LiveRamp-Dienstkonto Google Cloud die Berechtigung, Daten in Ihrem Eingabe-Dataset aufzurufen und zu verarbeiten. Weitere Informationen und Beispiele finden Sie unter Tabellen und Datasets für LiveRamp freigeben.

Eingebetteten Identitätsjob ausführen

So führen Sie einen eingebetteten Identitätsjob mit LiveRamp in BigQuery aus:

  1. Prüfen Sie, ob alle RampIDs, die in Ihrer Domain codiert wurden, in Ihrer Eingabetabelle enthalten sind.
  2. Prüfen Sie vor dem Ausführen des Jobs, ob die Metadatentabelle korrekt ist.
  3. Wenden Sie sich an LiveRampIdentitySupport@liveramp.com mit einer Jobverarbeitungsanfrage. Geben Sie dabei die Projekt-ID, die Dataset-ID und die Tabellen-ID (falls zutreffend) für die Eingabetabelle, die Metadatentabelle und das Ausgabe-Dataset an.

Die Ergebnisse werden im Allgemeinen innerhalb von 3 Arbeitstagen an Ihr Ausgabe-Dataset gesendet.

LiveRamp-Unterstützung

Bei Problemen wenden Sie sich bitte an den LiveRamp Identity-Support.

LiveRamp-Abrechnung

LiveRamp übernimmt die Abrechnung für die Entitätsauflösung.

TransUnion

Vorbereitung

  • Wenden Sie sich an den TransUnion Cloud-Support, um eine Vereinbarung für den Zugriff auf den Dienst zu unterzeichnen. Geben Sie Ihre Google Cloud Projekt-ID, Eingabedatentypen, den Anwendungsfall und das Datenvolumen an.
  • Der Cloud-Support von TransUnion aktiviert den Dienst für Ihr Google Cloud -Projekt und stellt einen detaillierten Implementierungsleitfaden mit verfügbaren Ausgabedaten zur Verfügung.

Einrichtung

Die folgenden Schritte sind erforderlich, wenn Sie den Dienst „TruAudience Identity Resolution and Enrichment“ von TransUnion in Ihrer BigQuery-Umgebung verwenden.

Externe Verbindung erstellen

Verbindung zu einer externen Datenquelle vom Typ Remote-Modelle in Vertex AI, Remote-Funktionen und BigLake (Cloud-Ressource) erstellen. Mit dieser Verbindung lösen Sie den in IhremGoogle Cloud -Konto gehosteten Dienst zur Identitätsabgleichung über Ihr TransUnion- Google Cloud -Konto aus.

Kopieren Sie die Verbindungs-ID und die Dienstkonto-ID und geben Sie diese an das TransUnion-Kundenserviceteam weiter.

Remote-Funktion erstellen

Erstellen Sie eine Remote-Funktion, um mit dem Dienst-Orchestrator-Endpunkt zu interagieren, der im TransUnion-Projekt Google Cloud gehostet wird, und die erforderlichen Metadaten (einschließlich Schemazuordnungen) an den TransUnion-Dienst zu übergeben. Verwenden Sie die Verbindungs-ID aus der von Ihnen erstellten externen Verbindung und den vom TransUnion-Kundenserviceteam bereitgestellten Endpunkt der von TransUnion gehosteten Cloud-Funktion.

Eingabetabelle erstellen

Erstellen Sie eine Tabelle im Eingabe-Dataset. TransUnion unterstützt Name, Postanschrift, E-Mail-Adresse, Telefonnummer, Geburtsdatum, IPv4-Adresse und Geräte-IDs als Eingaben. Halten Sie sich an die Formatierungsrichtlinien im Implementierungsleitfaden, den TransUnion Ihnen zur Verfügung gestellt hat.

Metadatentabelle erstellen

Erstellen Sie eine Metadatentabelle, in der die Konfiguration gespeichert wird, die vom Dienst zur Identitätsabgleichung zum Verarbeiten von Daten erforderlich ist, einschließlich Schemazuordnungen. Weitere Informationen und Beispiele finden Sie in der Implementierungsanleitung, die TransUnion für Sie freigegeben hat.

Tabelle mit Jobstatus erstellen

Erstellen Sie eine Tabelle, in der Sie Updates zur Verarbeitung eines Eingabe-Batch erhalten. Sie können diese Tabelle abfragen, um andere Downstream-Prozesse in Ihrer Pipeline auszulösen. Mögliche Jobstatus sind RUNNING, COMPLETED oder ERROR.

Dienstaufruf erstellen

Gehen Sie so vor, um den TransUnion-Identitätsabgleichsdienst aufzurufen, nachdem Sie alle Metadaten erfasst, verpackt und an den von TransUnion gehosteten Cloud Functions-Endpunkt für den Aufruf übergeben haben.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;
Passende Ausgabetabelle erstellen

Führen Sie das folgende SQL-Skript aus, um die entsprechende Ausgabetabelle zu erstellen. Dies ist die Standardausgabe der Anwendung, die unter anderem Abgleichs-Flags, Werte, dauerhafte individuelle IDs und Haushalts-IDs enthält.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);
Metadaten konfigurieren

Folgen Sie dem Implementierungsleitfaden, den TransUnion mit Ihnen geteilt hat, um Ihr Eingabeschema dem Anwendungsschema zuzuordnen. Mit diesen Metadaten wird auch die Generierung von Collaboration-IDs konfiguriert. Das sind nicht dauerhafte IDs, die in Data-Clean-Rooms verwendet werden können.

Lese- und Schreibzugriff gewähren

Fordern Sie die Dienstkonto-ID der Apache Spark-Verbindung vom TransUnion-Kundenserviceteam an und gewähren Sie ihr Lese- und Schreibzugriff auf das Dataset mit den Ein- und Ausgabetabellen. Wir empfehlen, die Dienstkonto-ID mit der Rolle „BigQuery-Datenbearbeiter“ für das Dataset anzugeben.

Anwendung aufrufen

Sie können die Anwendung in Ihrer Umgebung aufrufen, indem Sie das folgende Skript ausführen.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

Support

Bei technischen Problemen wenden Sie sich an den TransUnion Cloud-Support.

Abrechnung und Nutzung

TransUnion erfasst die Nutzung der Anwendung und verwendet sie zu Abrechnungszwecken. Aktive Kunden können sich für weitere Informationen an ihren TransUnion-Vertriebsmitarbeiter wenden.

Workflow für Identitätsanbieter

In den folgenden Abschnitten wird beschrieben, wie Sie die Entitätsauflösung in BigQuery konfigurieren. Eine visuelle Darstellung der vollständigen Einrichtung finden Sie unter Architektur für die Entitätsauflösung.

Hinweise

  1. Erstellen Sie einen Cloud Run-Job oder eine Cloud Run-Funktion, um sie in die Remote-Funktion einzubinden. Beide Optionen sind für diesen Zweck geeignet.

  2. Rufen Sie den Namen des Dienstkontos ab, das dem Cloud Run-Dienst oder der Cloud Run-Funktion zugeordnet ist:

    1. Wechseln Sie in der Google Cloud Console zur Seite Cloud Functions.

      Zu Cloud Functions

    2. Klicken Sie auf den Namen der Funktion und dann auf den Tab Details.

    3. Suchen Sie im Bereich Allgemeine Informationen nach dem Namen des Dienstkontos für die Remotefunktion und notieren Sie ihn.

  3. Erstellen Sie eine Remote-Funktion.

  4. Erfassen Sie die Hauptkonten des Endnutzers.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen von Entitätsauflösungsjobs benötigen:

  • Damit das Dienstkonto, das mit Ihrer Funktion verknüpft ist, auf verknüpften Datasets lesen und schreiben und Aufträge starten kann:
  • Damit das Endnutzer-Hauptkonto die Remote-Funktion sehen und eine Verbindung zu ihr herstellen kann:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Remote-Funktion für die Entitätsauflösung freigeben

Ändern Sie den folgenden Remote-Schnittstellencode und geben Sie ihn an den Endnutzer weiter. Endnutzer benötigt diesen Code, um den Entitätsauflösungsjob zu starten.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

Ersetzen Sie LIST_OF_PARAMETERS durch die Liste der Parameter, die an die Remote-Funktion übergeben werden.

Optional: Jobmetadaten angeben

Optional können Sie Job-Metadaten über eine separate Remote-Funktion oder durch Schreiben einer neuen Statustabelle in das Ausgabedataset des Nutzers bereitstellen. Beispiele für Metadaten sind Jobstatus und ‑messwerte.

Abrechnung für Identitätsanbieter

Um die Abrechnung und das Onboarding von Kunden zu optimieren, empfehlen wir die Integration Ihres Dienstes zur Entitätsauflösung mit dem Google Cloud Marketplace. So können Sie ein Abrechnungsmodell basierend auf der Nutzung des Entity Resolution-Jobs einrichten. Die Abrechnung erfolgt dann über Google. Weitere Informationen finden Sie unter SaaS-Produkte (Software as a Service) anbieten.

Nächste Schritte