שימוש במוצרי נתונים

מוצרי נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרים לכם למצוא אוספי נכסים שנבחרו בקפידה ולבקש גישה באמצעות תהליכי אישור מובְנים. אחרי האישור, תוכלו לשלוח שאילתות לנתונים הבסיסיים, כמו טבלאות ב-BigQuery, באמצעות פרטי הכניסה של המשתמש, חשבון שירות או שרת Model Context Protocol ‏ (MCP) מרוחק.

המסמך הזה מיועד לצרכנים של מוצרי נתונים. למידע נוסף על הארכיטקטורה ומושגי המפתח של מוצרי נתונים, קראו את המאמר מידע על מוצרי נתונים.

לפני שמתחילים

  1. מפעילים את Dataplex ואת BigQuery API, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לחיפוש, גישה ושימוש במוצרי נתונים, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת מוצר הנתונים או הפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לצפות במטא-נתונים של נכס, אתם צריכים את ההרשאה viewer כדי לגשת לנכס המתאים במערכת המקור. לדוגמה, כדי לחפש מטא-נתונים של מערך נתונים או של טבלה במוצר נתונים, צריך את התפקיד BigQuery Metadata Viewer‏ (roles/bigquery.metadataViewer). מידע נוסף זמין במאמר התפקידים הנדרשים כדי לגשת לתוצאות החיפוש.

המסוף

  1. נכנסים לדף Search ב-Knowledge Catalog במסוף Google Cloud .

    מעבר לחיפוש

  2. אפשר לחפש באמצעות מילות מפתח או שפה טבעית. למידע נוסף, קראו את המאמר חיפוש משאבים.

  3. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים לראות את הפרטים שלו. אתם יכולים לעיין בתיאור, בנכסים, בחוזה, בהיבטים, בפרטים ליצירת קשר ובמסמכים אחרים שמשויכים למוצר הנתונים.

REST

כדי לחפש מוצר נתונים, משתמשים ב-method‏ searchEntries.

לדוגמה, שולחים את בקשת ה-POST הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
  '{
  "query": "ADDITIONAL_KEYWORDS (type=(DATA_PRODUCT))",
  "pageSize": 10
  }' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/global:searchEntries"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ADDITIONAL_KEYWORDS (אופציונלי): מילות מפתח או קריטריונים נוספים לחיפוש כדי לצמצם את התוצאות (לדוגמה, displayName:'My Data Product' או description:'sales')
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloudשבו נוצר מוצר הנתונים

בקשת גישה למוצרי נתונים

אם אתם צרכני מוצרי נתונים ואין לכם הרשאות IAM כדי לגשת למוצר נתונים, אתם יכולים לבקש גישה באמצעות תהליכי העבודה המשולבים של אישור הגישה.

שליחת בקשת גישה

המסוף

  1. נכנסים לדף Data products ב-Knowledge Catalog במסוף Google Cloud .

    מעבר אל "מוצרי נתונים"

  2. לוחצים על מוצר הנתונים שרוצים לגשת אליו.

  3. לחץ על שלח בקשת גישה.

  4. בחלונית Request details, מציינים את הפרמטרים הבאים:

    • קבוצות גישה: בוחרים את קבוצת הגישה הפונקציונלית שרוצים להצטרף אליה.

    • ‫Self או Service account: בוחרים את סוג חשבון המשתמש:

      • אם אתם מבקשים גישה לעצמכם, בוחרים באפשרות עצמי.

      • אם אתם מבקשים גישה לזהות פרוגרמטית, בוחרים באפשרות Service account. האפשרות הזו זמינה רק אם מוצר הנתונים תומך בחשבונות שירות.

    • Justification: מזינים הצדקה עסקית לבקשה.

  5. לוחצים על שליחה.

נוצרת בקשת שינוי חדשה לבדיקה של הבעלים של מוצר הנתונים. אחרי שהבקשה תאושר או תידחה, תקבלו התראה באימייל עם פירוט של הסטטוס הסופי.

REST

צרכני מוצרי נתונים שיש להם את ההרשאה dataplex.dataProducts.get יכולים לבקש גישה על ידי יצירת משאב ChangeRequest. שולחים בקשת POST לנקודת הקצה של המשאב של מוצר הנתונים באמצעות השיטה המותאמת אישית :requestAccess:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
  "change_request": {
    "justification": "JUSTIFICATION_TEXT",
    "data_product_access_request": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID",
      "access_group_id": "DATA_PRODUCT_ACCESS_GROUP_ID"
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID:requestAccess"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו נמצא מוצר הנתונים (לדוגמה, us-central1)

  • ‫DATA_PRODUCT_ID: המזהה הייחודי של מוצר הנתונים המטורגט

  • ‫JUSTIFICATION_TEXT: הסיבה העסקית שמסבירה למה נדרשת גישה

  • ‫DATA_PRODUCT_ACCESS_GROUP_ID: המזהה של קבוצת הגישה הספציפית שביקשתם להצטרף אליה

איך בודקים את הסטטוס של בקשות הגישה

כצרכנים של מוצרי נתונים, אתם יכולים לעקוב אחרי ההתקדמות ומחזור החיים של בקשות הגישה ששלחתם. ב-Knowledge Catalog, הבקשות האלה מופיעות עם סטטוסים שונים, בהתאם לרשימה שאתם צופים בה: רשימת תהליכי עבודה מאוחדת או סיכום גישה של מוצר ספציפי.

איך רואים את כל בקשות הגישה במקום אחד

כדי לראות רשימה מקיפה של כל בקשות הגישה ששלחתם לכל מוצרי הנתונים:

המסוף

  1. נכנסים לדף Governance workflows ב-Knowledge Catalog במסוף Google Cloud .

    לדף Governance workflows

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. בודקים את הרשימה המאוחדת שבה מוצגות הבקשות הקודמות והבקשות בהמתנה, יחד עם הסטטוסים הנוכחיים שלהן בתהליך העבודה:

    • חדשה: בקשת הגישה נוצרה וממתינה לבדיקה של הגורם המאשר.

    • אושרה: הבקשה אושרה, אבל מערכות הקצה עדיין מקצות גישה.

    • נדחתה: הבקשה נדחתה. בודקים את ההערות של הגורם המאשר כדי להבין את הסיבה לדחייה.

REST

שולחים בקשת GET באמצעות שיטת האיסוף בהתאמה אישית :listMine:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listMine"

הצגת סיכום הגישה למוצר נתונים ספציפי

בנוסף לרשימת תהליכי העבודה הגלובלית, אתם יכולים לבדוק את מצב הגישה של מוצר נתונים ספציפי. כך תוכלו לבדוק אם כבר יש לכם גישה שעברה בירושה לקבוצת נכסים, בלי שתצטרכו לשלוח בקשה חדשה.

כדי לראות את סיכום הגישה למוצר נתונים:

המסוף

  1. נכנסים לדף Data products ב-Knowledge Catalog במסוף Google Cloud .

    מעבר אל "מוצרי נתונים"

  2. לוחצים על מוצר הנתונים הספציפי שרוצים לבדוק.

  3. לוחצים על הכרטיסייה סיכום גישה. בודקים את הסטטוס בכל קבוצות הגישה של מוצר הנתונים הזה.

    בכרטיסייה סיכום גישה מופיעים הסטטוסים הבאים:

    סטטוס תיאור
    אין גישה אין לכם גישה לקבוצת הגישה ועדיין לא ביקשתם גישה.
    בבדיקה שלחתם בקשת גישה, והבקשה ממתינה לבדיקה של גורם מאשר.
    אושר בקשת הגישה שלכם אושרה, אבל עדיין לא הסתיימה הפצת החברות בקבוצת Google הבסיסית.
    הגישה אושרה הגישה פעילה באופן מלא. אתם חברים בקבוצת הגישה ויכולים לבצע פעולות בנכסים של מוצר הנתונים.
    נדחה בקשת הגישה שלך לקבוצת הגישה הזו נדחתה.

REST

שולחים בקשת GET באמצעות המזהה הייחודי שהוחזר כשהבקשה נוצרה במקור:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud

  • ‫LOCATION: האזור שבו נמצא מוצר הנתונים (לדוגמה, us-central1)

  • ‫CHANGE_REQUEST_ID: המזהה הייחודי של בקשת השינוי ששלחתם

מחיקה של בקשת גישה

  1. נכנסים לדף Governance workflows ב-Knowledge Catalog במסוף Google Cloud .

    לדף Governance workflows

  2. לוחצים על הכרטיסייה הבקשות שלי.

  3. מאתרים את השורה שמכילה את הבקשה לנתוני המוצרים של מדינת היעד. אם צריך, מפעילים מסנן כדי לבודד את הרשומה.

  4. לוחצים על Actions ואז על Delete.

צריכת מוצרי נתונים

כדי להשתמש במוצר נתונים, ודאו שיש לכם את ההרשאות הנדרשות. איך מבקשים גישה למוצרי נתונים

אחרי שהבעלים של מוצר הנתונים יאשר את הבקשה, תוכלו לגשת למוצר הנתונים ולנכסים שלו. לדוגמה, אם יש לכם הרשאות גישה לטבלה ב-BigQuery, אתם יכולים לשלוח שאילתות ישירות ב-BigQuery כדי ליצור תובנות.

גישה לנכסים באמצעות פרטי כניסה של משתמשים

אם בקשת הגישה שלכם אושרה לפרטי הכניסה של המשתמש, בצעו את השלבים הבאים כדי לגשת לנכסים:

  1. מחפשים את מוצר הנתונים.
  2. בתוצאות החיפוש, לוחצים על מוצר הנתונים שרוצים להשתמש בו.
  3. לוחצים על הכרטיסייה נכסים.

  4. לוחצים על הנכס שרוצים לראות את הפרטים שלו. דף הפרטים של הרשומה ייפתח.

    אתם יכולים לגשת לפרטים כמו סכימה, תובנות ושושלת נתונים. אם הנכס הוא טבלה או תצוגה ב-BigQuery, אתם יכולים ללחוץ על Open in BigQuery כדי לעבור ל-BigQuery Studio ולשלוח שאילתה על התוצאות.

גישה לנכסים באמצעות חשבון שירות

אם בקשת הגישה שלכם לחשבון שירות אושרה, תקבלו את התפקיד יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator) ב-IAM בחשבון השירות של מפיק הנתונים. כך תוכלו ליצור שרשרת התחזות כדי לגשת לנכסים הבסיסיים.

כדי לגשת לנכסים באמצעות חשבון שירות:

  1. בכרטיסייה Data Assets בדף פרטי מוצר הנתונים, מזהים את חשבונות השירות שהוגדרו למוצר הנתונים.

  2. כדי להתחזות לחשבון השירות של מפיק הנתונים, יוצרים שרשרת התחזות לחשבון השירות באמצעות הפקודה הבאה של Google Cloud CLI:

    gcloud config set auth/impersonate_service_account CONSUMER_SERVICE_ACCOUNT,PRODUCER_SERVICE_ACCOUNT

    מחליפים את מה שכתוב בשדות הבאים:

    • CONSUMER_SERVICE_ACCOUNT: כתובת האימייל המלאה של חשבון השירות ששייך לצרכן של מוצר הנתונים

    • ‫PRODUCER_SERVICE_ACCOUNT: כתובת האימייל המלאה של חשבון השירות שממופה לקבוצת הגישה למוצר הנתונים

    איך מתחזים לחשבון שירות?

גישה למוצרי נתונים באמצעות שרת MCP מרוחק

באפליקציות לקוח ובכלי למפתחים שמתקשרים עם מוצרי הנתונים שלכם מחוץ לסביבה של Google Cloud , אתם יכולים להשתמש בשרת Model Context Protocol‏ (MCP) מרוחק. התבנית הארכיטקטונית הזו מאפשרת ללקוחות של מפתחים חיצוניים לשלוח שאילתות ולגלות נכסי נתונים מקוטלגים בצורה בטוחה, תוך שמירה על גבולות משילות מאוחדים.

במאמר שימוש בשרת MCP מרוחק של Knowledge Catalog מוסבר איך לפרוס שרת חיצוני ולהתחבר אליו.

המאמרים הבאים