Entitätsauflösung in BigQuery konfigurieren und verwenden

In diesem Dokument wird gezeigt, wie die Entitätsauflösung von Endnutzern (im Folgenden als Endnutzer bezeichnet) und Identitätsanbietern implementiert wird.

Endnutzer können dieses Dokument verwenden, um eine Verbindung zu einem Identitätsanbieter herzustellen und den Dienst des Anbieters zum Abgleichen von Datensätzen zu nutzen. Identitätsanbieter können dieses Dokument verwenden, um Dienste einzurichten und zu konfigurieren, die sie für Endnutzer auf Google Cloud Marketplace freigeben möchten.

Workflow für Endnutzer

In den folgenden Abschnitten wird beschrieben, wie Endnutzer die Entitätsauflösung in BigQuery konfigurieren. Eine visuelle Darstellung der vollständigen Einrichtung finden Sie unter Architektur für die Entitätsauflösung.

Hinweise

  1. Nehmen Sie Kontakt zu einem Identitätsanbieter auf und bauen Sie eine Beziehung zu ihm auf. BigQuery unterstützt die Entitätsauflösung mit LiveRamp und TransUnion.
  2. Erhalten Sie die folgenden Elemente vom Identitätsanbieter:
    • Dienstkonto-Anmeldedaten
    • Signatur der Remote-Funktion
  3. Erstellen Sie zwei Datasets in Ihrem Projekt:
    • Eingabe-Dataset
    • Ausgabe-Dataset

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Ausführen von Entitätsauflösungsjobs benötigen, bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren:

  • Gehen Sie so vor, damit das Dienstkonto des Identitätsanbieters das Eingabe-Dataset lesen und in das Ausgabe-Dataset schreiben kann:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Entitäten übersetzen oder auflösen

Eine spezifische Anleitung für Identitätsanbieter finden Sie in den folgenden Abschnitten.

LiveRamp

Vorbereitung

Einrichtung

Die folgenden Schritte sind erforderlich, wenn Sie LiveRamp Embedded Identity zum ersten Mal verwenden. Nach Abschluss der Einrichtung müssen nur die Eingabetabelle und die Metadatentabelle zwischen den Ausführungen geändert werden.

Eingabetabelle erstellen

Erstellen Sie eine Tabelle im Eingabe-Dataset. Füllen Sie die Tabelle mit RampIDs, Zieldomains und Zieltypen. Weitere Informationen und Beispiele finden Sie unter Spalten und Beschreibungen in Eingabetabellen.

Metadatentabelle erstellen

Die Metadatentabelle wird verwendet, um die Ausführung von LiveRamp Embedded Identity in BigQuery zu steuern. Erstellen Sie eine Metadatentabelle im Eingabe-Dataset. Füllen Sie die Metadatentabelle mit Client-IDs, Ausführungsmodi, Zieldomains und Zieltypen. Weitere Informationen und Beispiele finden Sie unter Spalten und Beschreibungen in Metadatentabellen.

Tabellen für LiveRamp freigeben

Gewähren Sie dem LiveRamp-Dienstkonto Google Cloud die Berechtigung, Daten in Ihrem Eingabe-Dataset aufzurufen und zu verarbeiten. Weitere Informationen und Beispiele finden Sie unter Tabellen und Datasets für LiveRamp freigeben.

Eingebetteten Identitätsjob ausführen

So führen Sie einen eingebetteten Identitätsjob mit LiveRamp in BigQuery aus:

  1. Prüfen Sie, ob alle RampIDs, die in Ihrer Domain codiert wurden, in Ihrer Eingabetabelle enthalten sind.
  2. Prüfen Sie vor dem Ausführen des Jobs, ob die Metadatentabelle korrekt ist.
  3. Wenden Sie sich an LiveRampIdentitySupport@liveramp.com mit einer Jobverarbeitungsanfrage. Geben Sie dabei die Projekt-ID, die Dataset-ID und die Tabellen-ID (falls zutreffend) für die Eingabetabelle, die Metadatentabelle und das Ausgabe-Dataset an. Weitere Informationen finden Sie unter LiveRamp bitten, die Transcodierung zu starten.

Die Ergebnisse werden im Allgemeinen innerhalb von 3 Arbeitstagen an Ihr Ausgabe-Dataset gesendet.

LiveRamp-Unterstützung

Bei Problemen wenden Sie sich bitte an den LiveRamp Identity-Support.

LiveRamp-Abrechnung

LiveRamp übernimmt die Abrechnung für die Entitätsauflösung.

TransUnion

Vorbereitung

  • Wenden Sie sich an den TransUnion Cloud-Support, um eine Vereinbarung für den Zugriff auf den Dienst zu treffen. Geben Sie die Details zu IhrerGoogle Cloud Projekt-ID, den Eingabedatentypen, dem Anwendungsfall und dem Datenvolumen an.
  • Der Cloud-Support von TransUnion aktiviert den Dienst für Ihr Google Cloud -Projekt und stellt einen detaillierten Implementierungsleitfaden mit verfügbaren Ausgabedaten zur Verfügung.

Einrichtung

Die folgenden Schritte sind erforderlich, wenn Sie den Dienst „TruAudience Identity Resolution and Enrichment“ von TransUnion in Ihrer BigQuery-Umgebung verwenden.

Externe Verbindung erstellen

Verbindung zu einer externen Datenquelle vom Typ Vertex AI-Remote-Modelle, Remote-Funktionen und BigLake (Cloud-Ressource) erstellen. Sie verwenden diese Verbindung, um den in IhremGoogle Cloud -Konto gehosteten Dienst zur Identitätsabgleichung über Ihr TransUnion- Google Cloud -Konto auszulösen.

Kopieren Sie die Verbindungs-ID und die Dienstkonto-ID und geben Sie diese an das TransUnion-Kundenserviceteam weiter.

Remote-Funktion erstellen

Erstellen Sie eine Remote-Funktion, die mit dem Dienst-Orchestrator-Endpunkt interagiert, der im TransUnion- Google Cloud -Projekt gehostet wird, um die erforderlichen Metadaten (einschließlich Schemazuordnungen) an den TransUnion-Dienst zu übergeben. Verwenden Sie die Verbindungs-ID aus der von Ihnen erstellten externen Verbindung und den von TransUnion gehosteten Cloud Functions-Endpunkt, der vom TransUnion-Kundenserviceteam bereitgestellt wurde.

Eingabetabelle erstellen

Erstellen Sie eine Tabelle im Eingabe-Dataset. TransUnion unterstützt Name, Postanschrift, E-Mail-Adresse, Telefonnummer, Geburtsdatum, IPv4-Adresse und Geräte-IDs als Eingaben. Halten Sie sich an die Formatierungsrichtlinien im Implementierungsleitfaden, den TransUnion Ihnen zur Verfügung gestellt hat.

Metadatentabelle erstellen

Erstellen Sie eine Metadatentabelle, in der die Konfiguration gespeichert wird, die der Dienst zur Identitätsabgleichung zum Verarbeiten von Daten benötigt, einschließlich Schemazuordnungen. Weitere Informationen und Beispiele finden Sie im Implementierungsleitfaden, den TransUnion mit Ihnen geteilt hat.

Tabelle mit Jobstatus erstellen

Erstellen Sie eine Tabelle, in der Aktualisierungen zur Verarbeitung eines Eingabe-Batch empfangen werden. Sie können diese Tabelle abfragen, um andere Downstream-Prozesse in Ihrer Pipeline auszulösen. Mögliche Jobstatus sind RUNNING, COMPLETED oder ERROR.

Dienstaufruf erstellen

Gehen Sie so vor, um den TransUnion-Identitätsabgleichsdienst aufzurufen, nachdem Sie alle Metadaten erfasst, verpackt und an den von TransUnion gehosteten Aufruf-Cloud Functions-Endpunkt übergeben haben.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;
Abgestimmte Ausgabetabelle erstellen

Führen Sie das folgende SQL-Skript aus, um die entsprechende Ausgabetabelle zu erstellen. Dies ist die Standardausgabe der Anwendung, die unter anderem Abgleichs-Flags, Werte, dauerhafte individuelle IDs und Haushalts-IDs enthält.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);
Metadaten konfigurieren

Folgen Sie dem Implementierungsleitfaden, den TransUnion mit Ihnen geteilt hat, um Ihr Eingabeschema dem Anwendungsschema zuzuordnen. Mit diesen Metadaten wird auch die Generierung von Collaboration-IDs konfiguriert. Das sind nicht dauerhafte IDs, die in Data-Clean-Rooms verwendet werden können.

Lese- und Schreibzugriff gewähren

Fordern Sie die Dienstkonto-ID der Apache Spark-Verbindung vom TransUnion-Kundenserviceteam an und gewähren Sie ihr Lese- und Schreibzugriff auf das Dataset mit den Ein- und Ausgabetabellen. Wir empfehlen, die Dienstkonto-ID mit der Rolle „BigQuery-Dateneditor“ für das Dataset anzugeben.

Anwendung aufrufen

Sie können die Anwendung in Ihrer Umgebung aufrufen, indem Sie das folgende Skript ausführen.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

Support

Bei technischen Problemen wenden Sie sich an den TransUnion Cloud-Support.

Abrechnung und Nutzung

TransUnion erfasst die Nutzung der Anwendung und verwendet sie zu Abrechnungszwecken. Aktive Kunden können sich für weitere Informationen an ihren TransUnion-Vertriebsmitarbeiter wenden.

Workflow für Identitätsanbieter

In den folgenden Abschnitten wird beschrieben, wie Identitätsanbieter die Entitätsauflösung in BigQuery konfigurieren. Eine visuelle Darstellung der vollständigen Einrichtung finden Sie unter Architektur für die Entitätsauflösung.

Hinweise

  1. Erstellen Sie einen Cloud Run-Job oder eine Cloud Run-Funktion, um sie in die Remote-Funktion einzubinden. Beide Optionen sind für diesen Zweck geeignet.

  2. Notieren Sie sich den Namen des Dienstkontos, das mit dem Cloud Run-Dienst oder der Cloud Run-Funktion verknüpft ist:

    1. Wechseln Sie in der Google Cloud Console zur Seite Cloud Functions.

      Zu Cloud Functions

    2. Klicken Sie auf den Namen der Funktion und dann auf den Tab Details.

    3. Suchen Sie im Bereich Allgemeine Informationen nach dem Namen des Dienstkontos für die Remotefunktion und notieren Sie ihn.

  3. Erstellen Sie eine Remote-Funktion.

  4. Erfassen Sie die Hauptkonten des Endnutzers.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Ausführen von Entitätsauflösungsjobs benötigen, bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren:

  • Für das Dienstkonto, das mit Ihrer Funktion verknüpft ist, um auf verknüpften Datasets zu lesen und zu schreiben und Aufträge zu starten:
  • Damit das Endnutzer-Prinzip die Remote-Funktion sehen und eine Verbindung zu ihr herstellen kann:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Remote-Funktion für die Entitätsauflösung freigeben

Ändern Sie den folgenden Remote-Schnittstellencode und geben Sie ihn an den Endnutzer weiter. Endnutzer benötigt diesen Code, um den Entitätsauflösungsjob zu starten.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

Ersetzen Sie LIST_OF_PARAMETERS durch die Liste der Parameter, die an die Remote-Funktion übergeben werden.

Optional: Jobmetadaten angeben

Optional können Sie Job-Metadaten über eine separate Remote-Funktion oder durch Schreiben einer neuen Statustabelle in das Ausgabedataset des Nutzers bereitstellen. Beispiele für Metadaten sind Jobstatus und ‑messwerte.

Abrechnung für Identitätsanbieter

Um die Abrechnung und das Onboarding von Kunden zu optimieren, empfehlen wir die Integration Ihres Dienstes zur Entitätsauflösung mit dem Google Cloud Marketplace. So können Sie ein Abrechnungsmodell basierend auf der Nutzung des Entity Resolution-Jobs einrichten. Die Abrechnung erfolgt dann über Google. Weitere Informationen finden Sie unter SaaS-Produkte (Software as a Service) anbieten.