שליחת תוצאות הבדיקה ל-Knowledge Catalog כהיבטים

במאמר הזה מוסבר איך לבדוק אם יש מידע אישי רגיש בטבלה ב-BigQuery ולשלוח את תוצאות הבדיקה אל Knowledge Catalog. הפעולה הזו מוסיפה באופן אוטומטי היבט לרשומה ב-Knowledge Catalog שמשויכת לטבלה ב-BigQuery.

במסמך הזה מופיעות גם דוגמאות לשאילתות שאפשר להשתמש בהן כדי למצוא נתונים בארגון ובפרויקטים עם ערכים ספציפיים של היבטים.

התכונה הזו שימושית אם רוצים להוסיף למטא-נתונים בקטלוג Knowledge Catalog סיווגים של מידע אישי רגיש מתוך משימות ביקורת של Sensitive Data Protection.

ההיבטים שנוצרים כוללים את הפרטים הבאים:

• השם של משימת הבדיקה
• סוגי המידע (infoTypes) שזוהו בטבלה

מידע על Knowledge Catalog

Knowledge Catalog מספק מלאי מאוחד של משאבי Google Cloud .

ב-Knowledge Catalog אתם יכולים להשתמש בהיבטים כדי להוסיף מטא-נתונים עסקיים וטכניים לנתונים שלכם, וכך לתעד את ההקשר והידע לגבי המשאבים. לאחר מכן תוכלו לחפש ולגלות נתונים בארגון שלכם ולהפעיל משילות מידע (data governance) בנכסי הנתונים שלכם. למידע נוסף, ראו היבטים.

איך זה עובד

כדי ליצור באופן אוטומטי היבטים של Knowledge Catalog על סמך תוצאות של משימת בדיקה, פועלים לפי תהליך העבודה הכללי הבא:

1. יוצרים או עורכים משימת בדיקה שבודקת טבלה ב-BigQuery. הוראות מפורטות זמינות במאמר בדיקת טבלה ב-BigQuery.

2. בשלב Add actions (הוספת פעולות), מפעילים את האפשרות Publish to Knowledge Catalog (פרסום בקטלוג הידע).

‫Sensitive Data Protection מוסיף או מעדכן את ההיבט Sensitive Data Protection job result של הרשומה ב-Knowledge Catalog שמשויכת לטבלה ב-BigQuery. אחרי מכן תוכלו לחפש ב-Knowledge Catalog את כל הנתונים בארגון או בפרויקט עם ערכים ספציפיים של aspect. כאן תוכלו למצוא דוגמאות לשאילתות חיפוש.

ההיבט שנוצר ב-Knowledge Catalog מאוחסן באותו פרויקט ובאותו אזור כמו הטבלה ב-BigQuery.

הערה: כשמפעילים את הפעולה Publish to Knowledge Catalog בטריגר קיים של משימה, Sensitive Data Protection מחיל את הפעולה הזו רק על משימות הביקורת החדשות של הטריגר, ולא על משימות ביקורת קודמות.

שדות של היבטים

ההיבט Sensitive Data Protection job result כולל את השדות הבאים:

שם המשימה

‫

השם המלא של משימת הבדיקה, לדוגמה projects/example-project/locations/us/dlpJobs/i-8992079400000000000.

ספירות של InfoType

שמות של infoType שמשימת הביקורת חיפשה, כפי שצוין בהגדרת הבדיקה, ומספר הממצאים לכל infoType. אם אין ממצאים ל-infoType, הערך שמוצג הוא 0.

שעת הסיום

התאריך והשעה שבהם הסתיימה משימת הבדיקה.

האם זו סריקה מלאה

אם משימת הביקורת סרקה את כל השורות בטבלה. אם הדגימה מופעלת במשימת הבדיקה, למשל, הערך של השדה הזה הוא False.

יש ממצאים

אם משימת הביקורת זיהתה אחד מסוגי ה-infoType שהיא סרקה.

הפעלת Dataplex API

צריך להפעיל את Dataplex API בכל פרויקט שמכיל נתונים שרוצים להוסיף להם היבטים. בקטע הזה מוסבר איך להפעיל את Dataplex API בפרויקט אחד או בכל הפרויקטים בארגון או בתיקייה.

הפעלת Dataplex API בפרויקט יחיד

1. בוחרים את הפרויקט שבו רוצים להפעיל את Dataplex API.

   כניסה לדף לבחירת הפרויקט

2. מפעילים את Dataplex API, אם הוא עדיין לא מופעל.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

הפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה

בקטע הזה מופיע סקריפט שמחפש את כל הפרויקטים בארגון או בתיקייה ומפעיל את Dataplex API בכל אחד מהפרויקטים האלה.

כדי לקבל את ההרשאות שדרושות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

• צפייה בנכסים בענן (roles/cloudasset.viewer) בארגון או בתיקייה
• ‫DLP User (roles/dlp.user) בכל פרויקט שבו רוצים להפעיל את Dataplex API

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלו מכילים את ההרשאות שנדרשות כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה, נדרשות ההרשאות הבאות:

• כדי לחפש את כל הפרויקטים בארגון או בתיקייה: cloudasset.assets.searchAllResources בארגון או בתיקייה
• כדי להפעיל את Dataplex API: serviceusage.services.use בכל פרויקט שבו רוצים להפעיל את Dataplex API

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הסקריפט הבא:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫RESOURCE_ID: מספר הארגון או מספר התיקייה של המשאב שמכיל את הפרויקטים
   • ‫RESOURCE_TYPE: סוג המשאב שמכיל את הפרויקטים – organizations או folders

תפקידים והרשאות לצפייה בהיבטים

כדי לקבל את ההרשאות שדרושות לחיפוש היבטים שמשויכים לטבלה ב-BigQuery, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בטבלה:

• צפייה ב-Dataplex Catalog ‏ (roles/dataplex.catalogViewer)
• BigQuery Data Viewer (roles/bigquery.dataViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לחיפוש היבטים שמשויכים לטבלה ב-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לחפש היבטים שמשויכים לטבלה ב-BigQuery, נדרשות ההרשאות הבאות:

• הצגת רשומות ב-Knowledge Catalog:
  • dataplex.entries.list
  • dataplex.entries.get
• הצגת מערכי נתונים וטבלאות ב-BigQuery:
  • bigquery.datasets.get
  • bigquery.tables.get

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על ההרשאות שנדרשות לשימוש ב-Knowledge Catalog זמין במאמר הרשאות IAM ב-Knowledge Catalog.

הגדרה והרצה של משימת בדיקה של Sensitive Data Protection

אתם יכולים להגדיר ולהריץ משימת ביקורת של Sensitive Data Protection באמצעות Google Cloud המסוף או DLP API.

המסוף

1. נכנסים לדף Create job or job trigger במסוף Google Cloud .

   כניסה לדף Create job or job trigger

2. בוחרים את הפרויקט הרצוי.
3. מזינים את הפרטים הנדרשים של משימת הבדיקה ואת הפרטים של הטבלה ב-BigQuery שרוצים לבדוק. הוראות מפורטות מופיעות במאמר בדיקת טבלה ב-BigQuery. בחומר העזר בנושא גילוי Infotype אפשר למצוא רשימה מלאה של סוגי המידע ש-Sensitive Data Protection יכול לבדוק.
4. בקטע הוספת פעולות, מפעילים את האפשרות פרסום ב-Knowledge Catalog.
5. לוחצים על יצירה. המשימה תתחיל לפעול באופן מיידי.

REST

בדוגמה הבאה נשלחת בקשת projects.locations.dlpJobs.create לבדיקת טבלה ב-BigQuery ושליחת התוצאות אל Knowledge Catalog.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי פרויקטים הם מחרוזות אלפאנומריות
• ‫LOCATION: האזור או מספר אזורים שבהם רוצים לעבד את הבקשה, לדוגמה europe-west1 או us. במאמר מיקומים של Sensitive Data Protection מפורטים המיקומים הזמינים.
• ‫BIGQUERY_DATASET_NAME: השם של מערך הנתונים ב-BigQuery שמכיל את הטבלה שרוצים לבדוק.
• ‫BIGQUERY_TABLE_NAME: השם של הטבלה ב-BigQuery שרוצים לבדוק

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs

תוכן בקשת JSON:

{
              "inspectJob":
              {
                "storageConfig":
                {
                  "bigQueryOptions":
                  {
                    "tableReference":
                    {
                      "projectId": "PROJECT_ID",
                      "datasetId": "BIGQUERY_DATASET_NAME",
                      "tableId": "BIGQUERY_TABLE_NAME"
                    }
                  }
                },
                "inspectConfig":
                {
                  "infoTypes":
                  [
                    {
                      "name": "EMAIL_ADDRESS"
                    },
                    {
                      "name": "PERSON_NAME"
                    },
                    {
                      "name": "US_SOCIAL_SECURITY_NUMBER"
                    },
                    {
                      "name": "PHONE_NUMBER"
                    }
                  ],
                  "includeQuote": true,
                  "minLikelihood": "UNLIKELY",
                  "limits":
                  {
                    "maxFindingsPerRequest": 100
                  }
                },
                "actions":
                [
                  {
                    "publishFindingsToDataplexCatalog": {}
                  }
                ]
              }
            }

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם inspect-request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @inspect-request.json \
     "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם inspect-request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile inspect-request.json `
    -Uri "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "PROJECT_ID",
              "datasetId": "BIGQUERY_DATASET_NAME",
              "tableId": "BIGQUERY_TABLE_NAME"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "minLikelihood": "UNLIKELY",
          "limits": {
            "maxFindingsPerRequest": 100
          },
          "includeQuote": true
        },
        "actions": [
          {
            "publishFindingsToDataplexCatalog": {}
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2025-09-09T00:29:55.951374Z",
  "lastModified": "2025-09-09T00:29:58.022967Z"
}

במאמר קבלת משימה מוסבר איך מקבלים את תוצאות משימת הבדיקה באמצעות DLP API..

שאילתות חיפוש לדוגמה

בקטע הזה מופיעות דוגמאות לשאילתות חיפוש שאפשר להשתמש בהן ב-Knowledge Catalog כדי למצוא נתונים בארגון או בפרויקט עם ערכים ספציפיים של היבטים.

אתם יכולים למצוא רק את הנתונים שיש לכם גישה אליהם. הגישה לנתונים נשלטת באמצעות הרשאות IAM. מידע נוסף זמין בקטע תפקידים והרשאות לצפייה בהיבטים במאמר הזה.

אפשר להזין את השאילתות לדוגמה האלה בשדה חיפוש בדף חיפוש של קטלוג הידע.

מעבר לחיפוש

במאמר תחביר החיפוש של Knowledge Catalog מוסבר איך ליצור את השאילתות.

חיפוש הרשומות של כל הטבלאות שכוללות את ההיבט של תוצאת המשימה של Sensitive Data Protection

aspect:sensitive-data-protection-job-result

חיפוש הרשומות של הטבלאות שנבדקו ויש בהן ממצאים

aspect:sensitive-data-protection-job-result.hasFindings=True

חיפוש רשומות של טבלאות שנבדקו ולא נמצאו בהן ממצאים

aspect:sensitive-data-protection-job-result.hasFindings=False

חיפוש הרשומות של הטבלאות שנבדקו באופן מלא

השאילתה הבאה מחזירה את הרשומות של הטבלאות ש-Sensitive Data Protection בדק שורה אחר שורה.

aspect:sensitive-data-protection-job-result.isFullScan=True

איך למצוא את הרשומות של הטבלאות שלא נבדקו באופן מלא

השאילתה הבאה מחזירה את הרשומות של הטבלאות ש-Sensitive Data Protection בדק באמצעות דגימה.

aspect:sensitive-data-protection-job-result.isFullScan=False

מעבר לפעולה "פרסום ב-Knowledge Catalog"

כדי להעביר טריגר של משימה שמוגדר להשתמש בפעולה Publish to Data Catalog שהוצאה משימוש, מבצעים את השלבים הבאים:

1. עורכים את הטריגר של המשימה שמוגדר לפרסם את תוצאות הבדיקה ב-Data Catalog. במאמר עדכון של טריגר קיים להפעלת משימה מוסבר איך לפתוח ולערוך טריגר להפעלת משימה.
2. מפעילים את האפשרות Publish to Knowledge Catalog.
3. לוחצים על Save.