שימוש במוצרי נתונים

המסמך הזה מיועד לצרכני מוצרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) שרוצים לגלות מוצרי נתונים ולהשתמש בהם לתרחישי השימוש שלהם.

מידע נוסף על הארכיטקטורה ומושגי המפתח של מוצרי נתונים זמין במאמר מידע על מוצרי נתונים.

לפני שמתחילים

  1. מפעילים את ממשקי ה-API של Dataplex ו-BigQuery.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לחיפוש מוצרי נתונים, לגישה אליהם ולשימוש בהם, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במוצר הנתונים או בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כצרכנים של מוצרי נתונים, כדי לראות את המטא-נתונים של נכס, צריכה להיות לכם הרשאה viewer לגשת לנכס המתאים במערכת המקור. לדוגמה, כדי לחפש מטא-נתונים של מערך נתונים או טבלה במוצר נתונים, צריך את התפקיד BigQuery Metadata Viewer (צפייה במטא-נתונים של BigQuery) ‏(roles/bigquery.metadataViewer). מידע נוסף זמין במאמר תפקידים שנדרשים כדי לגשת לתוצאות חיפוש.

המסוף

  1. נכנסים לדף Search בקטלוג הידע במסוף Google Cloud .

    מעבר אל חיפוש

  2. אפשר לחפש באמצעות מילות מפתח או שפה טבעית. מידע נוסף זמין במאמר חיפוש משאבים.

  3. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים לראות את הפרטים שלו. אתם יכולים לעיין בתיאור, בנכסים, בחוזה, בהיבטים, בפרטי הקשר ובמסמכים אחרים שמשויכים למוצר הנתונים.

REST

כדי לחפש מוצר נתונים, משתמשים בשיטה searchEntries.

לדוגמה, שולחים את הבקשה הבאה POST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
  '{
  "query": "ADDITIONAL_KEYWORDS (type=(DATA_PRODUCT))",
  "pageSize": 10
  }' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/global:searchEntries"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ADDITIONAL_KEYWORDS (אופציונלי): מילות מפתח נוספות או קריטריונים לחיפוש כדי לצמצם את התוצאות (לדוגמה, displayName:'My Data Product' או description:'sales')
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloudשבו נוצר מוצר הנתונים

בקשת גישה למוצרי נתונים

אם אתם צורכים מוצר נתונים ואין לכם הרשאות IAM לגשת אליו, אתם יכולים לבקש גישה באמצעות תהליכי העבודה המשולבים לאישור גישה.

שליחת בקשת גישה

המסוף

  1. נכנסים לדף Knowledge Catalog Data products במסוף Google Cloud .

    מעבר אל 'מוצרי נתונים'

  2. לוחצים על מוצר הנתונים שאליו רוצים לגשת.

  3. לחץ על שלח בקשת גישה.

  4. בחלונית פרטי הבקשה, מציינים את הפרמטרים הבאים:

    • קבוצות גישה: בוחרים את קבוצת הגישה הפונקציונלית שרוצים להצטרף אליה.

    • Self או חשבון שירות: בוחרים את סוג הישות המורשית:

      • אם אתם מבקשים גישה לעצמכם, בוחרים באפשרות Self (עצמי).

      • אם אתם מבקשים גישה לזהות פרוגרמטית, בוחרים באפשרות חשבון שירות. האפשרות הזו זמינה רק אם מוצר הנתונים תומך בחשבונות שירות.

    • הצדקה: מזינים הצדקה עסקית לבקשה.

  5. לוחצים על שליחה.

נוצרת בקשה חדשה לשינוי, והיא נשלחת לבעלים של מוצר הנתונים לבדיקה. אחרי שהבקשה תאושר או תידחה, תקבלו התראה באימייל עם הסטטוס הסופי.

REST

צרכנים של מוצרי נתונים שיש להם הרשאה dataplex.dataProducts.get יכולים לבקש גישה על ידי יצירת משאב ChangeRequest. שולחים בקשת POST לנקודת הקצה של משאב מוצר הנתונים באמצעות השיטה המותאמת אישית :requestAccess:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
  "change_request": {
    "justification": "JUSTIFICATION_TEXT",
    "data_product_access_request": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
      "access_group_id": "DATA_PRODUCT_ACCESS_GROUP_ID"
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID:requestAccess"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו קיים מוצר הנתונים (לדוגמה, us-central1)

  • ‫DATA_PRODUCT_ID: המזהה הייחודי של מוצר הנתונים של היעד

  • ‫JUSTIFICATION_TEXT: הסיבה העסקית שמסבירה למה נדרשת גישה

  • ‫DATA_PRODUCT_ACCESS_GROUP_ID: המזהה של קבוצת הגישה הספציפית שרוצים להצטרף אליה

צפייה בסטטוס של בקשות גישה

כצרכני מוצרי נתונים, אתם יכולים לעקוב אחרי ההתקדמות ומחזור החיים של בקשות הגישה ששלחתם. Knowledge Catalog עוקב ומציג את הבקשות האלה באמצעות סטטוסים שונים, בהתאם למה שאתם רואים: רשימה מאוחדת של תהליכי עבודה או סיכום גישה למוצר ספציפי.

צפייה ברשימה מאוחדת של בקשות הגישה

כדי לראות רשימה מקיפה של כל בקשות הגישה שנשלחו בכל מוצרי הנתונים, מבצעים את הפעולות הבאות:

המסוף

  1. במסוף Google Cloud , נכנסים לדף Knowledge Catalog (קטלוג הידע) Governance workflows (תהליכי עבודה של ניהול).

    מעבר אל 'תהליכי עבודה של ניהול'

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. בודקים את הרשימה המאוחדת שבה מוצגות הבקשות הקודמות והבקשות שממתינות לאישור, יחד עם הסטטוסים הנוכחיים של זרימות העבודה:

    • חדש: בקשת הגישה נוצרה והיא בהמתנה לבדיקה על ידי מי שמאשר.

    • אושרה: הבקשה אושרה, אבל מערכות העורף עדיין מקצות גישה.

    • נדחתה: הבקשה נדחתה. בודקים את ההערות של המאשר כדי להבין את הסיבה לדחייה.

REST

שליחת GET בקשה באמצעות שיטת האיסוף בהתאמה אישית :listMine:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listMine"

הצגת סיכום הגישה למוצר נתונים ספציפי

בנוסף לרשימת זרימות העבודה הגלובלית, אפשר לבדוק את רמת הגישה שלכם למוצר נתונים ספציפי. כך תוכלו לבדוק אם כבר יש לכם גישה שעברה בירושה לקבוצת נכסים בלי שתצטרכו לשלוח בקשה חדשה.

כדי לראות את סיכום הגישה למוצר נתונים:

המסוף

  1. נכנסים לדף Knowledge Catalog Data products במסוף Google Cloud .

    מעבר אל 'מוצרי נתונים'

  2. לוחצים על מוצר הנתונים הספציפי שרוצים לבדוק.

  3. לוחצים על הכרטיסייה סיכום הגישה. בודקים את הסטטוס שלכם בכל קבוצות הגישה למוצר הנתונים הזה.

    בכרטיסייה סיכום הגישה מופיעים הסטטוסים הבאים:

    סטטוס תיאור
    אין גישה אין לכם גישה לקבוצת הגישה, ולא הגשתם עדיין בקשת גישה.
    בבדיקה שלחת בקשת גישה, והבקשה ממתינה לבדיקה של הגורם המאשר.
    אושר הבקשה שלך לגישה אושרה, אבל העברת החברות לקבוצת Google הבסיסית עדיין בעיבוד.
    הגישה אושרה הגישה פעילה באופן מלא. אתם חברים בקבוצת הגישה ויכולים לבצע אינטראקציה עם הנכסים של מוצר הנתונים.
    נדחתה בקשת הגישה שלך לקבוצת הגישה הזו נדחתה.

REST

שולחים בקשת GET באמצעות המזהה הייחודי שמוחזר כשיוצרים את הבקשה:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו קיים מוצר הנתונים (לדוגמה, us-central1)

  • ‫CHANGE_REQUEST_ID: המזהה הייחודי של בקשת השינוי שנשלחה

מחיקת בקשת גישה

  1. במסוף Google Cloud , נכנסים לדף Knowledge Catalog (קטלוג הידע) Governance workflows (תהליכי עבודה של ניהול).

    מעבר אל 'תהליכי עבודה של ניהול'

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. מאתרים את השורה שמכילה את בקשת המוצר לנתונים שרוצים להוריד. אם צריך, מחילים מסנן כדי לבודד את הרשומה.

  4. לוחצים על פעולות ואז על מחיקה.

צריכת מוצרי נתונים

כדי להשתמש במוצר נתונים, צריך לוודא שקיבלתם את ההרשאות הנדרשות. איך שולחים בקשת גישה למוצרי נתונים

אחרי שבעלי מוצר הנתונים מעניק לכם הרשאה, אתם יכולים לגשת למוצר הנתונים ולנכסים שלו. לדוגמה, אם קיבלתם הרשאות גישה לטבלה ב-BigQuery, תוכלו לשלוח אליה שאילתה ישירות ב-BigQuery כדי ליצור תובנות.

גישה לנכסים באמצעות פרטי כניסה של משתמש

אם בקשת הגישה שלכם אושרה לפרטי הכניסה של המשתמש, צריך לפעול לפי השלבים הבאים כדי לגשת לנכסים:

  1. מחפשים את מוצר הנתונים.
  2. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים להשתמש בו.
  3. לוחצים על הכרטיסייה נכסים.

  4. לוחצים על הנכס שרוצים לראות את הפרטים שלו. ייפתח הדף עם פרטי הרשומה.

    אתם יכולים לגשת לפרטים כמו סכימה, תובנות וקשר בין נתונים. אם הנכס הוא טבלה ב-BigQuery או תצוגה, אפשר ללחוץ על Open in BigQuery כדי לעבור ל-BigQuery Studio ולהריץ שאילתה על התוצאות.

גישה לנכסים באמצעות חשבון שירות

אם בקשת הגישה שלכם אושרה לחשבון שירות, תקבלו את תפקיד ה-IAM ‏Service Account Token Creator (roles/iam.serviceAccountTokenCreator) בחשבון השירות של יצרן הנתונים. כך תוכלו ליצור שרשרת התחזות כדי לגשת לנכסים הבסיסיים.

כדי לגשת לנכסים באמצעות חשבון שירות:

  1. כדי לזהות את חשבונות השירות שהוגדרו למוצר הנתונים, עוברים לכרטיסייה נכסי נתונים בדף הפרטים של מוצר הנתונים.

  2. כדי להתחזות לחשבון השירות של יוצר הנתונים, יוצרים שרשרת התחזויות לחשבון השירות באמצעות הפקודה הבאה ב-Google Cloud CLI:

    gcloud config set auth/impersonate_service_account CONSUMER_SERVICE_ACCOUNT,PRODUCER_SERVICE_ACCOUNT

    מחליפים את מה שכתוב בשדות הבאים:

    • CONSUMER_SERVICE_ACCOUNT: כתובת האימייל המלאה של חשבון השירות ששייך לצרכן של מוצר הנתונים

    • PRODUCER_SERVICE_ACCOUNT: כתובת האימייל המוגדרת במלואה של חשבון השירות שממופה לקבוצת הגישה למוצר הנתונים

    מידע נוסף מופיע במאמר שימוש בהתחזות לחשבון שירות.

גישה למוצרי נתונים באמצעות שרת MCP מרוחק

עבור אפליקציות לקוח וכלי פיתוח שפועלים מול מוצרי הנתונים שלכם מחוץ למערכת האקולוגית של Google Cloud , אתם יכולים להשתמש בשרת Model Context Protocol‏ (MCP) מרוחק. דפוס הארכיטקטורה הזה מאפשר ללקוחות חיצוניים של מפתחים לבצע שאילתות בנכסי נתונים מקוטלגים ולגלות אותם בצורה בטוחה, תוך שמירה על גבולות מאוחדים של ניהול.

מידע על פריסה וחיבור לשרת חיצוני מופיע במאמר בנושא שימוש בשרת MCP מרוחק של קטלוג הידע.

המאמרים הבאים