הגדרה ושימוש בפתרון ישויות ב-BigQuery

במסמך הזה מוסבר איך להטמיע זיהוי ישויות עבור משתמשי קצה וספקי זהויות.

אפשר להשתמש במסמך הזה כדי להתחבר לספק זהויות ולהשתמש בשירות שלו כדי להתאים רשומות. ספקי זהויות יכולים להשתמש במסמך הזה כדי להגדיר שירותים לשיתוף איתכם ב-Google Cloud Marketplace.

תהליך העבודה למשתמשי קצה

בקטעים הבאים מוסבר איך להגדיר את פתרון הישויות ב-BigQuery. כאן אפשר לראות ייצוג חזותי של ההגדרה המלאה.

לפני שמתחילים

1. פונים לספק הזהויות. ‫BigQuery תומך בהפרדה של ישויות באמצעות LiveRamp ו-TransUnion.
2. מקבלים את הפריטים הבאים מספק הזהויות:
   • פרטי כניסה לחשבון שירות
   • חתימת פונקציה מרוחקת
3. יוצרים שני מערכי נתונים בפרויקט Google Cloud :
   • קבוצת נתונים של קלט
   • מערך נתונים של פלט

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלת משימות של זיהוי ישויות, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• כדי שחשבון השירות של ספק הזהויות יוכל לקרוא את מערך נתוני הקלט ולכתוב למערך נתוני הפלט:
  • ‫BigQuery Data Viewer (צפייה בנתוני BigQuery) roles/bigquery.dataViewer) במערך הנתונים של הקלט
  • ‫BigQuery Data Editor (roles/bigquery.dataEditor) במערך הנתונים של הפלט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

תרגום או פתרון של ישויות

הוראות ספציפיות לספקי זהויות מפורטות בקטעים הבאים.

LiveRamp

דרישות מוקדמות

• הגדרת LiveRamp Embedded Identity ב-BigQuery. מידע נוסף זמין במאמר בנושא הפעלת LiveRamp Embedded Identity ב-BigQuery.
• צריך לתאם עם LiveRamp כדי להפעיל את פרטי הכניסה ל-API לשימוש ב-Embedded Identity. מידע נוסף זמין במאמר בנושא אימות.

הגדרה

כשמשתמשים ב-LiveRamp Embedded Identity בפעם הראשונה, צריך לבצע את השלבים הבאים. אחרי ההגדרה, צריך לשנות רק את טבלת הקלט ואת טבלת המטא-נתונים בין הרצות.

יצירת טבלת קלט

יוצרים טבלה במערך הנתונים של הקלט. מאכלסים את הטבלה עם מזהי RampID, דומיינים לטירגוט וסוגי טירגוט. לפרטים נוספים ולדוגמאות, ראו תיאורים של עמודות בטבלת הקלט.

יצירת טבלת מטא-נתונים

טבלת המטא-נתונים שולטת בהרצה של LiveRamp Embedded Identity ב-BigQuery. יוצרים טבלת מטא-נתונים במערך הנתונים של הקלט. מאכלסים את טבלת המטא-נתונים במזהי לקוחות, במצבי הפעלה, בדומיינים של היעד ובסוגי היעד. לפרטים נוספים ולעיון בדוגמאות, ראו תיאורים של עמודות בטבלת מטא-נתונים.

שיתוף טבלאות עם LiveRamp

נותנים לחשבון השירות של LiveRamp Google Cloud גישה לצפייה ולעיבוד של נתונים במערך נתוני הקלט. לפרטים נוספים ולדוגמאות, ראו שיתוף טבלאות ומערכי נתונים עם LiveRamp.

הרצת משימה עם זהות מוטמעת

כדי להריץ ב-BigQuery עבודה של שילוב זהויות עם LiveRamp, צריך לבצע את השלבים הבאים:

1. מוודאים שכל מזהי RampID שהוצפנו בדומיין מופיעים בטבלת הקלט.
2. לפני שמריצים את העבודה, צריך לוודא שטבלת המטא-נתונים עדיין מדויקת.
3. כדי לבקש תהליך של משימה, צריך לפנות לכתובת [e-mail]. כוללים את מזהה הפרויקט, מזהה קבוצת הנתונים ומזהה הטבלה (אם רלוונטי) עבור טבלת הקלט, טבלת המטא-נתונים וקבוצת נתוני הפלט.

בדרך כלל התוצאות מועברות למערך הנתונים של הפלט תוך שלושה ימי עסקים.

תמיכה ב-LiveRamp

לבעיות שקשורות לתמיכה, אפשר לפנות אל התמיכה של LiveRamp Identity.

חיוב ב-LiveRamp

‫LiveRamp מטפלת בחיוב על פתרון ישויות.

TransUnion

דרישות מוקדמות

• כדי לחתום על הסכם לגישה לשירות, צריך לפנות אל התמיכה של TransUnion Cloud. צריך לספק את Google Cloud מזהה הפרויקט, סוגי נתוני הקלט, תרחיש השימוש ונפח הנתונים.
• צוות התמיכה של TransUnion Cloud יפעיל את השירות בפרויקט Google Cloud שלכם וישתף מדריך הטמעה מפורט שכולל את נתוני הפלט הזמינים.

הגדרה

השלבים הבאים נדרשים כשמשתמשים בשירות TruAudience Identity Resolution and Enrichment של TransUnion בסביבת BigQuery.

יצירת חיבור חיצוני

יוצרים חיבור למקור נתונים חיצוני מסוג מודלים מרוחקים של Vertex AI, פונקציות מרוחקות ו-BigLake (משאב Cloud). אתם משתמשים בחיבור הזה כדי להפעיל את שירות זיהוי הזהויות שמתארח בחשבון TransUnion Google Cloud מהחשבון שלכם ב-Google Cloud .

מעתיקים את מזהה החיבור ואת מזהה חשבון השירות ומשתפים את המזהים האלה עם צוות המסירה ללקוחות של TransUnion.

יצירת פונקציה מרוחקת

יוצרים פונקציה מרוחקת כדי ליצור אינטראקציה עם נקודת הקצה של כלי תזמור השירותים שמתארחת בפרויקט TransUnion Google Cloud כדי להעביר את המטא-נתונים הנדרשים (כולל מיפויי סכימות) לשירות TransUnion. משתמשים במזהה החיבור מהחיבור החיצוני שיצרתם ובנקודת הקצה של פונקציית הענן שמתארחת ב-TransUnion, ששותפה על ידי צוות מסירת הנתונים ללקוחות של TransUnion.

יצירת טבלת קלט

יוצרים טבלה במערך הנתונים של הקלט. ‫TransUnion תומכת בשם, בכתובת למשלוח דואר, בכתובת אימייל, במספר טלפון, בתאריך לידה, בכתובת IPv4 ובמזהי מכשירים כקלט. פועלים לפי הנחיות הפורמט במדריך ההטמעה ש-TransUnion שיתפה איתכם.

יצירת טבלת מטא-נתונים

יוצרים טבלת מטא-נתונים לאחסון ההגדרות שנדרשות לשירות לזיהוי זהויות כדי לעבד נתונים, כולל מיפוי סכימות. לפרטים נוספים ולדוגמאות, אפשר לעיין במדריך ההטמעה ש-TransUnion שיתפה איתכם.

יצירת טבלה של סטטוס המשימות

תיצור טבלה לקבלת עדכונים לגבי העיבוד של קבוצת קלט. אפשר להריץ שאילתות בטבלה הזו כדי להפעיל תהליכים אחרים ב-downstream בצינור. הסטטוסים האפשריים של המשרות הם RUNNING, COMPLETED או ERROR.

יצירת קריאה לשירות

כדי להפעיל את שירות זיהוי הזהויות של TransUnion, צריך קודם לאסוף את כל המטא-נתונים, לארוז אותם ולהעביר אותם לנקודת הקצה של פונקציית הענן להפעלה, שמארחת TransUnion.

-- create service invocation procedure
CREATE OR REPLACE
  PROCEDURE
    `<project_id>.<dataset_id>.TransUnion_get_identities`(metadata_table STRING, config_id STRING)
      begin
        declare sql_query STRING;

declare json_result STRING;
declare base64_result STRING;

SET sql_query =
  '''select to_json_string(array_agg(struct(config_id,key,value))) from `''' || metadata_table
  || '''` where  config_id="''' || config_id || '''" ''';

EXECUTE immediate sql_query INTO json_result;

SET base64_result = (SELECT to_base64(CAST(json_result AS bytes)));

SELECT `<project_id>.<dataset_id>.remote_call_TransUnion_er`(base64_result);

END;

יצירת טבלת הפלט התואמת

מריצים את סקריפט ה-SQL הבא כדי ליצור את טבלת הפלט התואמת. זה הפלט הרגיל של האפליקציה, שכולל דגלי התאמה, ציונים, מזהים קבועים של אנשים ומזהים של משקי בית.

-- create output table
CREATE TABLE `<project_id>.<dataset_id>.TransUnion_identity_output`(
  batchid STRING,
  uniqueid STRING,
  ekey STRING,
  hhid STRING,
  collaborationid STRING,
  firstnamematch STRING,
  lastnamematch STRING,
  addressmatches STRING,
  addresslinkagescores STRING,
  phonematches STRING,
  phonelinkagescores STRING,
  emailmatches STRING,
  emaillinkagescores STRING,
  dobmatches STRING,
  doblinkagescore STRING,
  ipmatches STRING,
  iplinkagescore STRING,
  devicematches STRING,
  devicelinkagescore STRING,
  lastprocessed STRING);

הגדרת מטא-נתונים

פועלים לפי מדריך ההטמעה ש-TransUnion שיתפה איתכם כדי למפות את סכמת הקלט לסכמת האפליקציה. המטא-נתונים האלה מגדירים גם את יצירת מזהי שיתוף הפעולה, שהם מזהים לא קבועים שאפשר לשתף ושאפשר להשתמש בהם בחדרים בטוחים לשיתוף נתונים.

הענקת גישת קריאה וכתיבה

מקבלים את מזהה חשבון השירות של חיבור Apache Spark מצוות העברת הנתונים ללקוחות של TransUnion ומעניקים לו גישת קריאה וכתיבה למערך הנתונים שמכיל את טבלאות הקלט והפלט. מומלץ לספק את מזהה חשבון השירות עם התפקיד BigQuery Data Editor (עריכת נתונים ב-BigQuery) במערך הנתונים.

הפעלת האפליקציה

אפשר להפעיל את האפליקציה מתוך הסביבה על ידי הפעלת הסקריפט הבא.

הערה: אפשר להשתמש בכמה טבלאות קלט, כל עוד הן ממופות להגדרות שונות של מטא-נתונים.

call `<project_id>.<dataset_id>.TransUnion_get_identities`("<project_id>.<dataset_id>.TransUnion_er_metadata","1");
-- using metadata table, and 1 = config_id for the batch run

תמיכה

לבעיות טכניות, אפשר לפנות אל התמיכה של TransUnion Cloud.

חיוב ושימוש

חברת TransUnion עוקבת אחרי השימוש באפליקציה ומשתמשת בנתונים האלה לחיוב. לקוחות פעילים יכולים לפנות לנציג המסירה שלהם ב-TransUnion כדי לקבל מידע נוסף.

תהליך העבודה של ספקי הזהויות

בקטעים הבאים מוסבר איך להגדיר את הפעולה של זיהוי ישויות ב-BigQuery. כאן אפשר לראות ייצוג חזותי של ההגדרה המלאה.

לפני שמתחילים

1. יוצרים משימת Cloud Run או פונקציית Cloud Run כדי לשלב אותה עם הפונקציה המרוחקת. שתי האפשרויות מתאימות למטרה הזו.

2. מקבלים את השם של חשבון השירות שמשויך לפונקציית Cloud Run או Cloud Run:

   1. נכנסים לדף Cloud Functions במסוף Google Cloud .

      כניסה לדף Cloud Functions

   2. לוחצים על שם הפונקציה ואז על הכרטיסייה פרטים.

   3. בחלונית General Information, מוצאים את השם של חשבון השירות של הפונקציה המרוחקת ורושמים אותו.

3. יוצרים פונקציה מרחוק.

4. קבלת נתוני משתמש הקצה ממשתמש הקצה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלת משימות של זיהוי ישויות, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• כדי שחשבון השירות שמשויך לפונקציה יוכל לקרוא ולכתוב במערכי נתונים משויכים ולהפעיל משימות:
  • BigQuery Data Editor (roles/bigquery.dataEditor) בפרויקט
  • BigQuery Job User (roles/bigquery.jobUser) בפרויקט
• כדי שישות מורשית של משתמש הקצה תוכל לראות את הפונקציה המרוחקת ולהתחבר אליה:
  • BigQuery Connection User (roles/bigquery.connectionUser) בחיבור
  • ‫BigQuery Data Viewer (roles/bigquery.dataViewer) במערך הנתונים של מישור הבקרה עם הפונקציה המרוחקת

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

שיתוף פונקציה מרוחקת של זיהוי ישויות

משנים ומשתפים את קוד הממשק המרוחק הבא עם משתמש הקצה. משתמש הקצה צריך את הקוד הזה כדי להתחיל את משימת זיהוי הישות.

`PARTNER_PROJECT_ID.DATASET_ID`.match`(LIST_OF_PARAMETERS)

מחליפים את LIST_OF_PARAMETERS ברשימת הפרמטרים שמועברים לפונקציה המרוחקת.

אופציונלי: מספקים מטא-נתונים של המשימה

אם רוצים, אפשר לספק מטא-נתונים של העבודה באמצעות פונקציה מרוחקת נפרדת או באמצעות כתיבה של טבלת סטטוס חדשה במערך נתוני הפלט של המשתמש. דוגמאות למטא-נתונים: סטטוסים ומדדים של משימות.

חיוב על ספקי זהויות

כדי לייעל את החיוב של הלקוחות ואת תהליך ההצטרפות שלהם, כדאי לשלב את שירות זיהוי הישויות עם Google Cloud Marketplace. כך תוכלו להגדיר מודל תמחור על סמך השימוש בעבודת זיהוי הישות, ו-Google תטפל בחיוב בשבילכם. מידע נוסף זמין במאמר בנושא הצעת מוצרי תוכנה כשירות (SaaS).

המאמרים הבאים

• מידע נוסף על זיהוי ישויות ב-BigQuery sharing
• איך יוצרים פונקציה מרוחקת
• איך יוצרים חיבור למקור נתונים חיצוני
• ספקי זהויות יכולים ללמוד איך להפוך את שירות זיהוי הישויות שלהם לזמין ב-Google Cloud Marketplace.