הוספת היבטים של Knowledge Catalog על סמך תובנות מפרופילי נתונים

בדף הזה מוסבר איך להוסיף באופן אוטומטי היבטים של Knowledge Catalog לנתונים שלכם אחרי שפרופילים של Sensitive Data Protection מנתחים את המשאבים שלכם. בדף הזה מופיעות גם דוגמאות לשאילתות שבהן אפשר להשתמש כדי למצוא נתונים בארגון ובפרויקטים עם ערכי היבטים ספציפיים.

התכונה הזו שימושית אם רוצים להעשיר את המטא-נתונים ב-Knowledge Catalog בתובנות שנאספו מפרופילי נתונים של Sensitive Data Protection. ההיבטים שנוצרים כוללים את התובנות הבאות:

  • רמת הרגישות המחושבת של הטבלה או של מערך הנתונים
  • רמת הסיכון המחושבת של הטבלה או מערך הנתונים
  • סוגי המידע (infoTypes) שזוהו בטבלה או במערך הנתונים

תובנות מפרופילי נתונים של Sensitive Data Protection יכולות לעזור לכם להשתמש ב-Knowledge Catalog כדי לגלות נתונים רגישים ונתונים בסיכון גבוה בארגון. התובנות האלה יעזרו לכם לקבל החלטות מושכלות לגבי ניהול הנתונים והשליטה בהם.

מידע על פרופילי נתונים

אתם יכולים להגדיר את Sensitive Data Protection כך שייווצרו פרופילים באופן אוטומטי לגבי נתונים בארגון, בתיקייה או בפרויקט. פרופילי נתונים מכילים מדדים ומטא-נתונים על הנתונים שלכם, ועוזרים לכם לקבוע איפה נמצאים נתונים רגישים ונתונים בסיכון גבוה. המדדים האלה מדווחים ב-Sensitive Data Protection ברמות פירוט שונות.

אתם יכולים לשלוח פרופילי נתונים לשירותים אחרים של Google Cloud , כמו Knowledge Catalog,‏ Pub/Sub, ‏ Security Command Center ו-Google Security Operations, כדי להעשיר את תהליכי העבודה שלכם בתחום משילות המידע (data governance), ההתראות והאבטחה.

מידע על Knowledge Catalog

Knowledge Catalog מספק מלאי מאוחד של Google Cloud משאבים.

בעזרת Knowledge Catalog אפשר להשתמש בהיבטים כדי להוסיף מטא-נתונים עסקיים וטכניים לנתונים, וכך לתעד הקשר וידע לגבי המשאבים. לאחר מכן תוכלו לחפש ולגלות נתונים בארגון שלכם ולהפעיל משילות מידע (data governance) בנכסי הנתונים שלכם. למידע נוסף, ראו היבטים.

משאבים נתמכים

‫Sensitive Data Protection יכול להוסיף מאפיינים אוטומטית לרשומות ב-Knowledge Catalog עבור המשאבים הבאים:

ב-Knowledge Catalog לא מתבצעת הטמעה של קטגוריות של Cloud Storage, ולכן התכונה הזו לא זמינה כשיוצרים פרופיל של נתונים ב-Cloud Storage.

איך זה עובד

תהליך העבודה הכללי ליצירה אוטומטית של היבטים ב-Knowledge Catalog על סמך פרופילי נתונים הוא:

  1. יוצרים או עורכים הגדרת סריקה לסוג משאב נתמך.

  2. בשלב Add actions, מוודאים שהפעולה Send to Dataplex Catalog as aspects מופעלת.

    אם יוצרים הגדרת סריקה, הפעולה הזו מופעלת כברירת מחדל.

    אם אתם עורכים הגדרת סריקה, אתם צריכים להפעיל את הפעולה הזו.

Sensitive Data Protection מוסיף או מעדכן את Sensitive Data Protection profile ה-aspect של Knowledge Catalog entry לכל משאב נתמך שיוצרים לו פרופיל. אחרי מכן תוכלו לחפש ב-Knowledge Catalog את כל הנתונים בארגון או בפרויקט עם ערכים ספציפיים של aspect.

כשמפעילים את הפעולה שליחה לקטלוג Dataplex כהיבטים, Sensitive Data Protection מחילה את הפעולה הזו רק על פרופילים חדשים ומעודכנים. פרופילים קיימים שלא עודכנו לא נשלחים אל Knowledge Catalog.

שדות ברמה העליונה

ההיבט שנוצר לטבלה שעברה יצירת פרופיל יכול לכלול את השדות הבאים ברמה העליונה:

השם המוצג ערך לדוגמה תיאור
Sensitivity MODERATE רמת הרגישות המחושבת של הטבלה
Risk MODERATE רמת הסיכון של הנתונים שחושבו בטבלה
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: ‏PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
 רשימה של כל סוגי המידע שנמצאו בטבלה, כולל סוגי מידע חזויים וסוגי מידע אחרים. השדה הזה נכלל אם זוהה בטבלה לפחות infoType אחד.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
 רשימה של כל סוגי המידע החזויים שנמצאו בכל העמודות בטבלה. השדה הזה נכלל אם זוהה לפחות infoType חזוי אחד בטבלה.
Project Profile אפשר לקרוא פרטים נוספים בקטע פרופיל הפרויקט ופרופיל הארגון שבדף הזה. נכלל אם המשאב עבר יצירת פרופיל באמצעות הגדרת סריקה ברמת הפרויקט.
Organization Profile אפשר לקרוא פרטים נוספים בקטע פרופיל הפרויקט ופרופיל הארגון שבדף הזה. נכלל אם המשאב עבר יצירת פרופיל באמצעות הגדרת סריקה ברמת הארגון או ברמת התיקייה.

אם המשאב עבר פרופיל ברמת הפרויקט וברמת הארגון או התיקייה, Sensitive Data Protection יצבור את הערכים של שני הפרופילים. ההיבט מספק איחוד של סוגי המידע שזוהו, ומשתמש בדירוגים הגבוהים ביותר של רגישות וסיכון לנתונים משני הפרופילים.

לדוגמה, נניח שהפרופיל ברמת הפרויקט מדרג את רמת הרגישות של המשאב כ-MODERATE, והפרופיל ברמת הארגון מדרג את רמת הרגישות כ-LOW. במקרה הזה, הערך בשדה Sensitivity ברמה העליונה של ההיבט הוא MODERATE.

שדות בפרופיל הפרויקט ובפרופיל הארגון

ההיבט Sensitive Data Protection profile שנוצר כולל אחד או שניים מהשדות הבאים ברמה העליונה, בהתאם לרמה שבה נוצר הפרופיל של המשאב:

Project Profile
כלול בהיבט אם המשאב נותח באמצעות הגדרת סריקה ברמת הפרויקט
Organization Profile
כלול בהיבט אם המשאב עבר פרופיל באמצעות הגדרת סריקה ברמת הארגון או התיקייה

אם המשאב עבר פרופיילינג גם ברמת הפרויקט וגם ברמת הארגון או התיקייה, ההיבט שנוצר כולל גם את השדה Project Profile וגם את השדה Organization Profile.

כל שדה Project Profile או Organization Profile מכיל שדות Sensitivity ו-Risk בתצוגת עץ עם הערכים שמופיעים בפרופיל הנתונים. אם בפרופיל הנתונים מופיעים סוגי מידע חזויים וסוגי מידע אחרים, הם זמינים גם כשדות מקוננים Column InfoTypes ו-InfoTypes. בנוסף, כל שדה Project Profile או Organization Profile מכיל את השדות המקוננים הבאים:

Profile

השם המלא של המשאב של פרופיל הנתונים. דוגמאות:

  • פרופיל ברמת הפרויקט: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • פרופיל ברמת הארגון או התיקייה: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

קישור לפרופיל במסוף Google Cloud . דוגמאות:

  • פרופיל ברמת הפרויקט: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • פרופיל ברמת הארגון או התיקייה: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

הפעלת Dataplex API

צריך להפעיל את Dataplex API בכל פרויקט שמכיל נתונים שרוצים להוסיף להם היבטים. בקטע הזה מוסבר איך להפעיל את Dataplex API בפרויקט אחד או בכל הפרויקטים בארגון או בתיקייה.

הפעלת Dataplex API בפרויקט יחיד

  1. בוחרים את הפרויקט שבו רוצים להפעיל את Dataplex API.

    כניסה לדף לבחירת הפרויקט

  2. מפעילים את Dataplex API, אם הוא עדיין לא מופעל.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

הפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה

בקטע הזה מופיע סקריפט שמחפש את כל הפרויקטים בארגון או בתיקייה ומפעיל את Dataplex API בכל אחד מהפרויקטים האלה.

כדי לקבל את ההרשאות שדרושות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלו מכילים את ההרשאות שנדרשות כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה, נדרשות ההרשאות הבאות:

  • כדי לחפש את כל הפרויקטים בארגון או בתיקייה: cloudasset.assets.searchAllResources בארגון או בתיקייה
  • כדי להפעיל את Dataplex API: serviceusage.services.use בכל פרויקט שבו רוצים להפעיל את Dataplex API

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה:

  1. מפעילים את Cloud Shell במסוף Google Cloud .

    הפעלת Cloud Shell

    בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

  2. מריצים את הסקריפט הבא:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫RESOURCE_ID: מספר הארגון או מספר התיקייה של המשאב שמכיל את הפרויקטים
    • ‫RESOURCE_TYPE: סוג המשאב שמכיל את הפרויקטים – organizations או folders

תפקידים והרשאות לצפייה בהיבטים

כדי לקבל את ההרשאות שדרושות לחיפוש היבטים שמשויכים למשאבים, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM במשאבים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לחיפוש היבטים שמשויכים למשאבים שלכם. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לחפש היבטים שמשויכים למשאבים, נדרשות ההרשאות הבאות:

  • הצגת הרשומות ב-Knowledge Catalog:
    • dataplex.entries.list
    • dataplex.entries.get
  • הצגת מערכי נתונים וטבלאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.tables.get
  • הצגת מערכי הנתונים של Vertex AI: aiplatform.datasets.get

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על ההרשאות שנדרשות לשימוש ב-Knowledge Catalog זמין במאמר הרשאות IAM ב-Knowledge Catalog.

איך מוצאים את ההיבט שנוצר לפרופיל נתונים של טבלה מסוימת

  1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. בוחרים את הארגון או הפרויקט.

  3. בקטע בחירת פלטפורמת חיפוש, בוחרים באפשרות Knowledge Catalog כמצב החיפוש.

  4. בשדה חיפוש, מזינים את הפרטים הבאים:

    name:TABLE_ID

    מחליפים את TABLE_ID במזהה של הטבלה שנוצר לה פרופיל.

  5. ברשימה שמופיעה, לוחצים על שם הטבלה. יוצגו הפרטים של טבלת BigQuery. כל Sensitive Data Protection profile שמשויך אליו מוצג בקטע Optional aspects.

למידע נוסף על חיפוש משאבים, ראו חיפוש משאבים ב-Knowledge Catalog.

שאילתות חיפוש לדוגמה

בקטע הזה מופיעות דוגמאות לשאילתות חיפוש שאפשר להשתמש בהן ב-Knowledge Catalog כדי למצוא נתונים בארגון או בפרויקט עם ערכי היבטים ספציפיים.

תוכלו לראות רק את הנתונים שיש לכם גישה אליהם. הגישה לנתונים נשלטת באמצעות הרשאות IAM. מידע נוסף זמין בקטע תפקידים והרשאות לצפייה בהיבטים בדף הזה.

אפשר להזין את השאילתות לדוגמה האלה בשדה חיפוש בדף חיפוש של Knowledge Catalog.

מעבר לחיפוש

במאמר תחביר החיפוש של Knowledge Catalog מוסבר איך ליצור את השאילתות.

מציאת כל המשאבים שיש להם את ההיבט של פרופיל Sensitive Data Protection

aspect:sensitive-data-protection-profile

חיפוש כל המשאבים עם ציון רגישות מסוים

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

מחליפים את SENSITIVITY_SCORE ב-HIGH,‏ MODERATE,‏ UNKNOWN או LOW.

מידע נוסף זמין במאמר רמות רגישות וסיכון של נתונים.

איתור כל המשאבים עם ציון סיכון נתון

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

מחליפים את DATA_RISK_LEVEL ב-HIGH,‏ MODERATE,‏ UNKNOWN או LOW.

מידע נוסף זמין במאמר רמות רגישות וסיכון של נתונים.

חיפוש כל המשאבים שיש להם פרופיל ברמת הפרויקט

aspect:sensitive-data-protection-profile.projectProfile

מציאת כל המשאבים שיש להם פרופיל ברמת הארגון

aspect:sensitive-data-protection-profile.organizationProfile

מעבר לפעולה "שליחה לקטלוג Dataplex כהיבטים"

כדי להעביר הגדרת גילוי שמוגדרת להשתמש בפעולה שהוצאה משימוש Send to Dataplex as tags, מבצעים את השלבים הבאים:

  1. עורכים את הגדרות הגילוי שהוגדרו לשליחת תוצאות הגילוי ל-Data Catalog כתגים.
  2. מפעילים את האפשרות Send to Dataplex Catalog as aspects.
  3. לוחצים על Save.