שימוש במוצרי נתונים

המסמך הזה מיועד לצרכני מוצרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) שרוצים לגלות מוצרי נתונים ולהשתמש בהם לתרחישי השימוש שלהם.

מידע נוסף על הארכיטקטורה ומושגי המפתח של מוצרי נתונים זמין במאמר מידע על מוצרי נתונים.

לפני שמתחילים

  1. מפעילים את ממשקי ה-API של Dataplex ו-BigQuery, אם הם לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לחיפוש מוצרי נתונים, לגישה אליהם ולשימוש בהם, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במוצר הנתונים או בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כצרכני מוצרי נתונים, כדי להציג את המטא-נתונים של נכס, צריכה להיות לכם ההרשאה viewer לגשת לנכס המתאים במערכת המקור. לדוגמה, כדי לחפש מטא-נתונים של מערך נתונים או טבלה במוצר נתונים, צריך את התפקיד BigQuery Metadata Viewer (צפייה במטא-נתונים של BigQuery) ‏(roles/bigquery.metadataViewer). מידע נוסף זמין במאמר תפקידים שנדרשים כדי לגשת לתוצאות חיפוש.

המסוף

  1. נכנסים לדף Search בקטלוג הידע במסוף Google Cloud .

    מעבר אל חיפוש

  2. אפשר לחפש באמצעות מילות מפתח או שפה טבעית. מידע נוסף זמין במאמר בנושא חיפוש משאבים.

  3. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים לראות את הפרטים שלו. אתם יכולים לעיין בתיאור, בנכסים, בחוזה, בהיבטים, בפרטי הקשר ובמסמכים אחרים שמשויכים למוצר הנתונים.

REST

כדי לחפש מוצר נתונים, משתמשים בשיטה searchEntries.

לדוגמה, שולחים את הבקשה הבאה POST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
  '{
  "query": "ADDITIONAL_KEYWORDS (type=(DATA_PRODUCT))",
  "pageSize": 10
  }' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/global:searchEntries"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ADDITIONAL_KEYWORDS (אופציונלי): מילות מפתח נוספות או קריטריונים לחיפוש כדי לצמצם את התוצאות (לדוגמה, displayName:'My Data Product' או description:'sales')
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloudשבו נוצר מוצר הנתונים

בקשת גישה למוצרי נתונים

אם אתם צורכים נתוני מוצרים ואין לכם הרשאות IAM לגשת לנתוני מוצרים, אתם יכולים לבקש גישה באמצעות תהליכי העבודה המשולבים לאישור גישה.

שליחת בקשת גישה

המסוף

  1. נכנסים לדף Knowledge Catalog Data products במסוף Google Cloud .

    מעבר אל 'מוצרי נתונים'

  2. לוחצים על מוצר הנתונים שרוצים לגשת אליו.

  3. לחץ על שלח בקשת גישה.

  4. בחלונית Request details (פרטי הבקשה), מציינים את הפרמטרים הבאים:

    • קבוצות גישה: בוחרים את קבוצת הגישה הפונקציונלית שרוצים להצטרף אליה.

    • Self או חשבון שירות: בוחרים את סוג הישות המורשית:

      • אם אתם מבקשים גישה לעצמכם, בוחרים באפשרות עצמי.

      • אם אתם מבקשים גישה לזהות פרוגרמטית, בוחרים באפשרות חשבון שירות. האפשרות הזו זמינה רק אם מוצר הנתונים תומך בחשבונות שירות.

    • הצדקה: מזינים הצדקה עסקית לבקשה.

  5. לוחצים על שליחה.

נוצרת בקשה חדשה לשינוי, והיא נשלחת לבעלים של מוצר הנתונים לבדיקה. אחרי שהבקשה תאושר או תידחה, תקבלו התראה באימייל עם הסטטוס הסופי.

REST

צרכני מוצרי נתונים שיש להם הרשאה dataplex.dataProducts.get יכולים לבקש גישה על ידי יצירת משאב ChangeRequest. שליחת בקשת POST לנקודת הקצה של משאב מוצר הנתונים באמצעות השיטה המותאמת אישית :requestAccess:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
  "change_request": {
    "justification": "JUSTIFICATION_TEXT",
    "data_product_access_request": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
      "access_group_id": "DATA_PRODUCT_ACCESS_GROUP_ID"
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID:requestAccess"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו קיים מוצר הנתונים (לדוגמה, us-central1)

  • ‫DATA_PRODUCT_ID: המזהה הייחודי של מוצר הנתונים של היעד

  • ‫JUSTIFICATION_TEXT: הסיבה העסקית שמסבירה למה נדרשת גישה

  • ‫DATA_PRODUCT_ACCESS_GROUP_ID: המזהה של קבוצת הגישה הספציפית שרוצים להצטרף אליה

צפייה בסטטוס של בקשות גישה

כצרכני מוצרי נתונים, אתם יכולים לעקוב אחרי ההתקדמות ומחזור החיים של בקשות הגישה ששלחתם. Knowledge Catalog עוקב ומציג את הבקשות האלה באמצעות סטטוסים שונים, בהתאם למה שאתם רואים: רשימת תהליכי עבודה מאוחדת או סיכום גישה למוצר ספציפי.

צפייה ברשימה מאוחדת של בקשות הגישה

כדי לראות רשימה מקיפה של כל בקשות הגישה שנשלחו בכל מוצרי הנתונים:

המסוף

  1. במסוף Google Cloud , נכנסים לדף Knowledge Catalog (קטלוג הידע) Governance workflows (תהליכי עבודה של ניהול).

    מעבר אל 'תהליכי עבודה של ניהול'

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. בודקים את הרשימה המאוחדת שבה מוצגות הבקשות הקודמות והבקשות שממתינות לאישור, יחד עם הסטטוסים הנוכחיים שלהן בתהליך העבודה:

    • חדשה: בקשת הגישה נוצרה והיא בהמתנה לבדיקה על ידי מי שמאשר.

    • אושרה: הבקשה אושרה, אבל מערכות העורף עדיין מקצות גישה.

    • נדחתה: הבקשה נדחתה. בודקים את ההערות של המאשר כדי להבין את הסיבה לדחייה.

REST

שליחת GET בקשה באמצעות שיטת האיסוף בהתאמה אישית :listMine:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listMine"

הצגת סיכום הגישה למוצר נתונים ספציפי

בנוסף לרשימה הגלובלית של תהליכי העבודה, אפשר לבדוק את מצב האבטחה שלכם עבור מוצר נתונים ספציפי. כך תוכלו לבדוק אם כבר יש לכם גישה שעברה בירושה לקבוצת נכסים בלי שתצטרכו לשלוח בקשה חדשה.

כדי לראות את סיכום הגישה למוצר נתונים:

המסוף

  1. נכנסים לדף Knowledge Catalog Data products במסוף Google Cloud .

    מעבר אל 'מוצרי נתונים'

  2. לוחצים על מוצר הנתונים הספציפי שרוצים לבדוק.

  3. לוחצים על הכרטיסייה סיכום הגישה. בודקים את הסטטוס שלכם בכל קבוצות הגישה של אותו מוצר נתונים.

    בכרטיסייה Access summary מופיעים סטטוסי הגישה הבאים:

    סטטוס תיאור
    אין גישה אין לכם גישה לקבוצת הגישה, ועדיין לא ביקשתם גישה.
    בבדיקה שלחת בקשת גישה, והבקשה ממתינה לבדיקה של מי שאחראי על האישור.
    אושר בקשת הגישה שלך אושרה, אבל עדיין מתבצע עיבוד של העברת חברות לקבוצת Google הבסיסית.
    הגישה אושרה הגישה פעילה באופן מלא. אתם חברים בקבוצת הגישה ויכולים ליצור אינטראקציה עם הנכסים של מוצר הנתונים.
    נדחה בקשת הגישה שלך לקבוצת הגישה הזו נדחתה.

REST

שולחים בקשת GET באמצעות המזהה הייחודי שהוחזר כשנוצרה הבקשה המקורית:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו קיים מוצר הנתונים (לדוגמה, us-central1)

  • ‫CHANGE_REQUEST_ID: המזהה הייחודי של בקשת השינוי שנשלחה

מחיקת בקשת גישה

  1. במסוף Google Cloud , נכנסים לדף Knowledge Catalog (קטלוג הידע) Governance workflows (תהליכי עבודה של ניהול).

    מעבר אל 'תהליכי עבודה של ניהול'

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. מאתרים את השורה שמכילה את הבקשה שלכם למוצר נתונים. במקרה הצורך, מחילים מסנן כדי לבודד את הרשומה.

  4. לוחצים על פעולות ואז על מחיקה.

צריכת מוצרי נתונים

כדי להשתמש במוצר נתונים, צריך לוודא שקיבלתם את ההרשאות הנדרשות. איך מבקשים גישה למוצרי נתונים

אחרי שבעלי מוצר הנתונים מעניק לכם הרשאה, אתם יכולים לגשת למוצר הנתונים ולנכסים שלו. לדוגמה, אם קיבלתם הרשאות גישה לטבלה ב-BigQuery, תוכלו לשלוח אליה שאילתה ישירות ב-BigQuery כדי ליצור תובנות.

גישה לנכסים באמצעות פרטי כניסה של משתמש

אם בקשת הגישה שלכם אושרה לפרטי הכניסה של המשתמש, צריך לפעול לפי השלבים הבאים כדי לגשת לנכסים:

  1. מחפשים את מוצר הנתונים.
  2. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים להשתמש בו.
  3. לוחצים על הכרטיסייה נכסים.

  4. לוחצים על הנכס שרוצים לראות את הפרטים שלו. ייפתח דף הפרטים של הרשומה.

    אתם יכולים לגשת לפרטים כמו סכימה, תובנות וקשר בין נתונים. אם הנכס הוא טבלה או תצוגה ב-BigQuery, אפשר ללחוץ על Open in BigQuery כדי לעבור ל-BigQuery Studio ולהריץ שאילתה על התוצאות.

גישה לנכסים באמצעות חשבון שירות

אם בקשת הגישה שלכם אושרה לחשבון שירות, תקבלו את תפקיד ה-IAM ‏Service Account Token Creator (roles/iam.serviceAccountTokenCreator) בחשבון השירות של יצרן הנתונים. כך תוכלו ליצור שרשרת התחזויות כדי לגשת לנכסי הבסיס.

כדי לגשת לנכסים באמצעות חשבון שירות:

  1. כדי לזהות את חשבונות השירות שהוגדרו למוצר הנתונים, עוברים לכרטיסייה נכסי נתונים בדף הפרטים של מוצר הנתונים.

  2. כדי להתחזות לחשבון השירות של יוצר הנתונים, יוצרים שרשרת התחזות לחשבון השירות באמצעות הפקודה הבאה ב-Google Cloud CLI:

    gcloud config set auth/impersonate_service_account CONSUMER_SERVICE_ACCOUNT,PRODUCER_SERVICE_ACCOUNT

    מחליפים את מה שכתוב בשדות הבאים:

    • CONSUMER_SERVICE_ACCOUNT: כתובת האימייל המלאה של חשבון השירות ששייך לצרכן של מוצר הנתונים

    • PRODUCER_SERVICE_ACCOUNT: כתובת האימייל המוגדרת במלואה של חשבון השירות שממופה לקבוצת הגישה למוצר הנתונים

    מידע נוסף מופיע במאמר שימוש בהתחזות לחשבון שירות.

גישה למוצרי נתונים באמצעות שרת MCP מרוחק

כדי שאפליקציות לקוח וכלי פיתוח יקיימו אינטראקציה עם מוצרי הנתונים שלכם מחוץ למערכת האקולוגית של Google Cloud , אתם יכולים להשתמש בשרת Model Context Protocol‏ (MCP) מרוחק. דפוס הארכיטקטורה הזה מאפשר ללקוחות חיצוניים של מפתחים לבצע שאילתות בנכסי נתונים שמקוטלגים ולגלות אותם בצורה בטוחה, תוך שמירה על גבולות מאוחדים של ניהול.

מידע על פריסה וחיבור לשרת חיצוני מופיע במאמר בנושא שימוש בשרת MCP מרוחק של Knowledge Catalog.

המאמרים הבאים