איך מגדירים ומשתמשים בפתרון הישויות ב-BigQuery

זיהוי ישויות ב-BigQuery מאפשר לכם להתאים, להסיר כפילויות ולהוסיף רשומות במערכי נתונים בלי להעביר את הנתונים הבסיסיים. כמשתמשי קצה, אתם יכולים לקשר את מערכי הנתונים של BigQuery לספק זהויות כמו LiveRamp או TransUnion, ולקרוא לפונקציה מרוחקת כדי לפתור זהויות במקום. כספקי זהויות, אתם יכולים להגדיר נקודות קצה של פונקציות מרוחקות ולפרסם את שירותי פתרון הישויות שלכם ב-Google Cloud Marketplace.

הגדרת פתרון ישויות למשתמשי קצה

כדי לפתור ישויות כמשתמשי קצה, אתם צריכים להכין מערכי נתונים של קלט ופלט ב-BigQuery, לתת לספק הזהויות גישה למערך הנתונים ולהפעיל את שירות ההתאמה שלו. למידע נוסף על הארכיטקטורה, ראו ארכיטקטורה של פתרון ישויות.

לפני שמתחילים

  1. פנו לספק זהויות. ב-BigQuery אפשר לפתור ישויות באמצעות LiveRamp ו-TransUnion.
  2. מבקשים מספק הזהויות את הפרטים הבאים:
    • פרטי כניסה לחשבון שירות
    • חתימת הפונקציה המרוחקת
  3. יוצרים את מערכי הנתונים הבאים בפרויקט ב- Google Cloud :
    • קבוצת נתוני הקלט
    • קבוצת נתוני הפלט

התפקידים הנדרשים

כדי לוודא שלחשבון השירות של ספק הזהויות יש את ההרשאות שנדרשות לקריאת קבוצת הנתונים של הקלט ולכתיבה בקבוצת הנתונים של הפלט, צריך לבקש מהאדמין להקצות לחשבון השירות של ספק הזהויות את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות של ספק הזהויות את ההרשאות שנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

פתרון ישויות באמצעות ספק זהויות

אחרי שיוצרים את מערכי הנתונים ומקצים את התפקידים הנדרשים, אפשר להגדיר את הטבלאות ולהריץ משימות התאמה עם ספק הזהויות שבחרתם. בטבלה הבאה מפורטות שיטת השילוב והטבלאות הנדרשות לכל ספק זהויות נתמך:

ספק הזהויות שיטת השילוב הטבלאות הנדרשות במערך הנתונים הפעלת משימה
LiveRamp ‫LiveRamp Embedded Identity טבלת קלט עם מזהי RampID, טבלת מטא-נתונים שליחת בקשה באימייל לתמיכה של LiveRamp
TransUnion פונקציה מרוחקת של TruAudience דרך חיבור חיצוני של BigQuery טבלת קלט עם מאפייני ישויות, טבלת מטא-נתונים, טבלת סטטוס משימה, טבלת פלט תואמת קריאה לתהליך מאוחסן ב-SQL באמצעות CALL

בוחרים ספק זהויות כדי לראות הוראות ספציפיות להגדרה ולהרצת משימות:

LiveRamp

דרישות מוקדמות של LiveRamp

לפני שמגדירים את פתרון הישויות של LiveRamp ב-BigQuery, צריך לבצע את הפעולות הבאות:

  • מגדירים את LiveRamp Embedded Identity ב-BigQuery. מידע נוסף זמין במאמר הפעלת LiveRamp Embedded Identity ב-BigQuery.
  • צריך לתאם עם LiveRamp כדי להפעיל פרטי כניסה ל-API שפועלים עם Embedded Identity. למידע נוסף, קראו את המאמר אימות.

הגדרת פתרון הישויות של LiveRamp

בפעם הראשונה שמשתמשים ב-LiveRamp Embedded Identity, צריך לבצע את השלבים הבאים. בהרצות הבאות, צריך לעדכן רק את טבלת הקלט ואת טבלת המטא-נתונים.

יצירת טבלת קלט של LiveRamp

יוצרים טבלה במערך הנתונים של הקלט ומאכלסים אותה בעמודות הבאות:

  • RampIDs
  • דומיינים לטירגוט
  • סוגי יעדים

למידע נוסף על סכימת טבלת הקלט, ראו עמודות ותיאורים של טבלת הקלט.

יצירת טבלת מטא-נתונים של LiveRamp

כדי לשלוט בהפעלה של LiveRamp Embedded Identity ב-BigQuery, צריך ליצור טבלת מטא-נתונים במערך הנתונים של הקלט. מאכלסים את טבלת המטא-נתונים בעמודות ההגדרות הבאות:

  • מזהי לקוח
  • מצבי הפעלה
  • דומיינים לטירגוט
  • סוגי יעדים

למידע נוסף על הסכימה של טבלת המטא-נתונים, ראו עמודות ותיאורים של טבלת המטא-נתונים.

מתן גישה ל-LiveRamp למערך הנתונים

אחרי שיוצרים את הטבלאות הנדרשות, נותנים ל-LiveRamp גישה לצפייה בנתונים ולעיבוד שלהם במערך נתוני הקלט. נותנים לחשבון השירות של LiveRamp גישה למערך הנתונים שלGoogle Cloud . מידע נוסף על שיתוף מערכי נתונים זמין במאמר שיתוף טבלאות ומערכי נתונים עם LiveRamp.

הרצת משימה של פתרון ישויות ב-LiveRamp

אחרי שמגדירים את הטבלאות ונותנים גישה למערך הנתונים, מריצים משימה של פתרון ישויות באמצעות LiveRamp ב-BigQuery:

  1. בטבלת הקלט, מוודאים שכל מזהי ה-RampID של הדומיין מופיעים.
  2. לפני שמריצים את המשימה, חשוב לוודא שהגדרת טבלת המטא-נתונים מדויקת.
  3. כדי לשלוח בקשה לעיבוד משימה, שולחים אימייל לכתובת LiveRampIdentitySupport@liveramp.com. בבקשה צריך לציין את מזהה הפרויקט, מזהה מערך הנתונים וכל מזהה רלוונטי של טבלת הקלט, טבלת המטא-נתונים ומערך הנתונים של הפלט.

בדרך כלל, LiveRamp מעבירה את תוצאות ההתאמה למערך הנתונים של הפלט תוך שלושה ימי עסקים.

קבלת תמיכה ופרטי חיוב מ-LiveRamp

‫LiveRamp מנהלת את התמיכה הטכנית ואת החיוב על Embedded Identity ב-BigQuery:

  • תמיכה טכנית: פנו אל LiveRamp Identity Support כדי לקבל עזרה בהגדרה או בהרצת משימות.
  • חיוב: החיוב על השימוש ב-Entity Resolution מתבצע ישירות דרך LiveRamp.

TransUnion

דרישות מוקדמות של TransUnion

לפני שמגדירים את פתרון הישויות של TransUnion ב-BigQuery, צריך לשלוח אימייל לתמיכה בענן של TransUnion כדי לחתום על הסכם גישה לשירות. בבקשה, צריך לציין את הפרטים הבאים:

  • מזהה הפרויקט שלכם ב- Google Cloud
  • סוגי נתוני הקלט
  • תרחיש השימוש המיועד
  • נפח הנתונים המשוער

אחרי שצוות התמיכה של TransUnion Cloud יאשר את הבקשה, הוא יפעיל את השירות בפרויקט Google Cloud וישתף מדריך הטמעה שכולל סכימות פלט זמינות.

הגדרת פתרון הישויות של TransUnion

בפעם הראשונה שמשתמשים בשירות TransUnion TruAudience Identity Resolution and Enrichment ב-BigQuery, צריך לבצע את השלבים הבאים.

יצירת חיבור חיצוני

כדי לקשר את החשבון שלכם ב- Google Cloud לשירות לזיהוי ישויות שמתארח בחשבון של TransUnion ב- Google Cloud , צרו קישור למשאבים ב-Cloud. כשמגדירים את החיבור, בוחרים באפשרות Vertex AI remote models, remote functions, BigLake and Spanner (Cloud Resource) כסוג החיבור.

אחרי שיוצרים את החיבור, מעתיקים את מזהה החיבור ואת מזהה חשבון השירות ומשתפים את המזהים האלה עם צוות ה-customer delivery של TransUnion.

יצירת פונקציה מרוחקת

כדי להעביר מיפויים של סכימות ומטא-נתונים של הגדרות לנקודת הקצה של מתזמן השירות של TransUnion, יוצרים פונקציה מרוחקת. כשיוצרים את הפונקציה המרוחקת, מציינים את מזהה החיבור מהחיבור החיצוני ואת כתובת ה-URL של נקודת הקצה של פונקציית Cloud Run שצוות ה-Customer Delivery של TransUnion שיתף איתכם.

יצירת טבלת קלט של TransUnion

יוצרים טבלת קלט במערך נתוני הקלט. ‫TransUnion תומכת במאפייני הישויות הבאים כעמודות קלט:

  • שם
  • כתובת למשלוח דואר
  • כתובת האימייל
  • מספר טלפון
  • תאריך לידה
  • כתובת IPv4
  • מזהה המכשיר

פועלים לפי הסכימה וההנחיות בנושא פורמט במדריך ההטמעה שקיבלתם מ-TransUnion. אם ממפים כל טבלת קלט לפרמטר config_id נפרד בטבלת המטא-נתונים, אפשר להשתמש בכמה טבלאות קלט.

יצירת טבלת מטא-נתונים של TransUnion

כדי לאחסן את מיפויי הסכימה וההגדרות שנדרשים לשירות זיהוי הזהויות, צריך ליצור טבלת מטא-נתונים במערך הנתונים של הקלט. למידע נוסף על סכימת המטא-נתונים, עיינו במדריך ההטמעה שקיבלתם מ-TransUnion.

יצירת טבלה של סטטוס המשימות

כדי לקבל עדכונים על עיבוד באצווה, צריך ליצור טבלת סטטוס של משימות במערך הנתונים. כדי לעקוב אחרי משימות ולהפעיל תהליכים במורד הצינור, אפשר לשלוח שאילתות לטבלת סטטוס המשימות. בטבלה מתועדים הסטטוסים הבאים:

  • ‫RUNNING: שירות פתרון הזהויות מעבד את הנתונים.
  • ‫COMPLETED: השירות סיים לעבד את ה-batch וכתב את התוצאות בטבלת הפלט.
  • ‫ERROR: אירעה שגיאה בשירות במהלך עיבוד הקבוצה.
יצירת ההליך להפעלת השירות

הפרוצדורה המאוחסנת TransUnion_get_identities אורזת את המטא-נתונים של ההגדרות האישיות ומפעילה את נקודת הקצה של פונקציית Cloud Run של TransUnion. כדי ליצור את התהליך המאוחסן הזה, מריצים את הצהרת ה-SQL הבאה:

-- create service invocation procedure
CREATE OR REPLACE PROCEDURE
  `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
BEGIN
  DECLARE sql_query STRING;
  DECLARE json_result STRING;
  DECLARE base64_result STRING;

  SET sql_query =
    '''SELECT TO_JSON_STRING(ARRAY_AGG(STRUCT(config_id, key, value))) FROM `''' || metadata_table
    || '''` WHERE config_id="''' || config_id || '''" ''';

  EXECUTE IMMEDIATE sql_query INTO json_result;

  SET base64_result = (SELECT TO_BASE64(CAST(json_result AS BYTES)));

  SELECT
    `PROJECT_ID.DATASET_ID.remote_call_TransUnion_er`(
      base64_result);
END;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫DATASET_ID: המזהה של מערך הנתונים שבו יוצרים את הפרוצדורה והפונקציה המרוחקת.
יצירת טבלת הפלט התואמת

בטבלת הפלט של ההתאמה נשמרות תוצאות פתרון הישויות מ-TransUnion, כולל דגלי התאמה, ציוני קישור, מזהים אישיים קבועים ומזהים של המשתמשים מאותו בית. כדי ליצור את טבלת הפלט התואמת, מריצים את הצהרת ה-SQL הבאה:

-- create output table
CREATE TABLE `PROJECT_ID.DATASET_ID.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫DATASET_ID: המזהה של מערך הנתונים שבו יוצרים את טבלת הפלט התואמת.
הגדרת מטא-נתונים של מיפוי סכימה

כדי למפות את סכימת הקלט לסכימת האפליקציה של TransUnion, פועלים לפי ההוראות במדריך ההטמעה שקיבלתם מ-TransUnion. המטא-נתונים האלה גם קובעים איך השירות יוצר מזהי שיתוף פעולה – מזהים שניתנים לשיתוף ולא נשמרים, שאפשר להשתמש בהם בחדרים נקיים לנתונים.

מתן גישה למערך הנתונים ל-TransUnion

אחרי שיוצרים את הטבלאות הנדרשות ואת הפרוצדורה המאוחסנת, נותנים ל-TransUnion גישה לקריאת נתוני הקלט ולכתיבת תוצאות ההתאמה. משיגים את מזהה חשבון השירות של החיבור ל-Apache Spark מצוות השירות של TransUnion. אחר כך, מקצים לחשבון השירות את התפקיד "עריכת נתונים ב-BigQuery" (roles/bigquery.dataEditor) במערך הנתונים שמכיל את טבלאות הקלט והפלט.

הפעלת משימה לזיהוי ישויות ב-TransUnion

אחרי שמגדירים את הטבלאות ונותנים גישה למערך הנתונים, אפשר להתחיל הרצה של התאמת ישויות באצווה. כדי להפעיל את שירות פתרון הישויות, צריך להפעיל את הפרוצדורה המאוחסנת TransUnion_get_identities:

CALL `PROJECT_ID.DATASET_ID.TransUnion_get_identities`(
  "PROJECT_ID.DATASET_ID.TransUnion_er_metadata",
  "CONFIG_ID");

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫DATASET_ID: המזהה של מערך הנתונים שמכיל את טבלת המטא-נתונים ואת הפרוצדורה המאוחסנת.
  • ‫CONFIG_ID: מזהה ההגדרה של הרצת האצווה, למשל "1".

קבלת תמיכה ופרטי חיוב מ-TransUnion

כדי לקבל עזרה בבעיות טכניות או בשאלות בנושא חיוב שקשורות ל-TruAudience Identity Resolution and Enrichment ב-BigQuery, פנו ישירות אל TransUnion:

  • תמיכה טכנית: פנו אל התמיכה של TransUnion Cloud כדי לקבל עזרה בהגדרה, במיפוי סכימות או בפתרון בעיות.
  • חיוב: חברת TransUnion עוקבת אחרי השימוש בשירות לצורכי חיוב. כדי לקבל פרטים על החשבון והתמחור, פנו לנציג של TransUnion.

הגדרת פתרון ישויות לספקי זהויות

כספקי זהויות, אתם יכולים להציע את שירות פתרון הישויות שלכם למשתמשי הקצה של BigQuery. הארכיטקטורה הזו עוזרת להגן על הקניין הרוחני שלכם, כי אתם לא חושפים את תרשים הזהויות או את לוגיקת ההתאמה הקנייניים שלכם.

כדי להגדיר את השירות, אתם צריכים לפרוס נקודת קצה (endpoint) של תזמור, ליצור פונקציה מרוחקת של BigQuery, להקצות את התפקידים הנדרשים ולשתף את החתימה של הפונקציה המרוחקת עם משתמשי הקצה. למידע נוסף על הארכיטקטורה, קראו את המאמר ארכיטקטורה של פתרון ישויות.

לפני שמתחילים

לפני שאתם מגדירים את שירות פתרון הישויות ב-BigQuery, ודאו שיש לכם את הדברים הבאים:

  • קבוצת נתונים של תרשים זהויות ולוגיקת התאמה שפרוסים בפרויקט ב-Google Cloud או במסד נתונים חיצוני.
  • מזהי חשבונות של משתמשי קצה, כמו כתובות אימייל של משתמשים, חשבונות שירות או קבוצות Google, שקיבלתם ממשתמשי הקצה.

התפקידים הנדרשים

כדי לוודא שלחשבון השירות של ספק הזהויות יש את ההרשאות שנדרשות להרצת משימות של פתרון ישויות, צריך לבקש מהאדמין להקצות לחשבון השירות של ספק הזהויות את תפקידי ה-IAM הבאים:

  • כדי שחשבון השירות שמשויך לפונקציה יוכל לקרוא ולכתוב למערכי הנתונים המשויכים ולהפעיל משימות:
  • כדי שמשתמש הקצה יוכל לראות את הפונקציה המרוחקת ולהתחבר אליה:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שהאדמין גם יוכל לתת לחשבון השירות של ספק הזהויות את ההרשאות הנדרשות באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הגדרת נקודת הקצה של הפונקציה המרוחקת

כדי לעבד בקשות לזיהוי ישויות ממשתמשי קצה, צריך לפרוס נקודת קצה (endpoint) של מתזמר ולחבר אותה לפונקציה מרוחקת של BigQuery:

  1. כדי לעבד בקשות שמולאו מהפונקציה המרוחקת, יוצרים משימת Cloud Run או פונקציית Cloud Run. אפשר להשתמש בכל אחת מהאפשרויות לנקודת הקצה (endpoint).

  2. כדי למצוא את כתובת האימייל של חשבון השירות שמשויך למשימה או לפונקציית Cloud Run:

    1. נכנסים לדף Cloud Run במסוף Google Cloud .

      כניסה ל-Cloud Run

    2. לוחצים על שם הפונקציה או המשימה, ואז על הכרטיסייה Security.

    3. בשדה Service account, מאתרים את כתובת האימייל של חשבון השירות של הפונקציה המרוחקת ורושמים אותה.

  3. במערך הנתונים של מישור הבקרה, יוצרים פונקציה מרוחקת שמקושרת לנקודת הקצה של משימת Cloud Run או של פונקציית Cloud Run.

שיתוף הפונקציה המרוחקת לזיהוי ישויות

אחרי שיוצרים את הפונקציה המרוחקת ומקצים את התפקידים הנדרשים למשתמשי הקצה, משתפים איתם את החתימה הבאה של הפונקציה המרוחקת. משתמשי קצה קוראים לפונקציה המרוחקת הזו כדי להתחיל משימה של פתרון ישויות.

`PARTNER_PROJECT_ID.DATASET_ID.match`(LIST_OF_PARAMETERS)

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PARTNER_PROJECT_ID: מזהה הפרויקט ב- Google Cloud של ספק הזהויות.
  • ‫DATASET_ID: המזהה של קבוצת הנתונים שמכילה את הפונקציה המרוחקת.
  • ‫LIST_OF_PARAMETERS: רשימת הפרמטרים שצריך להעביר לפונקציה המרוחקת.

אופציונלי: מספקים מטא-נתונים של משימת פתרון הישויות

כדי לספק למשתמשי הקצה מטא-נתונים של משימות, אתם יכולים לחשוף פונקציה מרוחקת נפרדת או לכתוב טבלת סטטוס של משימות בקבוצת הנתונים של הפלט של משתמש הקצה. לדוגמה, אתם יכולים לדווח על סטטוסים של ביצוע כמו RUNNING,‏ COMPLETED או ERROR, יחד עם מדדי עיבוד.

שילוב עם Cloud Marketplace לצורך חיוב

כדי לנהל את החיוב וההצטרפות של הלקוחות דרך Google, צריך לשלב את שירות פתרון הישויות עם Cloud Marketplace. השילוב הזה מאפשר לכם להגדיר מודל תמחור שמבוסס על השימוש במשימות של פתרון ישויות, בזמן ש-Google מטפלת בחיוב על השירות שלכם. למידע נוסף, קראו את המאמר הצעת מוצרי תוכנה כשירות (SaaS).

המאמרים הבאים