שימוש בדומיינים של נתונים

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

כמשתמשים בדומיין נתונים, אתם יכולים להשתמש בדומיינים של נתונים כדי לצמצם את תוצאות החיפוש להקשרים עסקיים ספציפיים, לחפש מערכי נתונים, טבלאות ומוצרי נתונים ב-BigQuery ולגלות מטא-נתונים בגבולות ספציפיים של הדומיין.

לפני שמתחילים

לפני שמבצעים חיפוש לפי דומיין, צריך לוודא שיש לכם את התפקידים הנדרשים ושהפעלתם את ממשקי ה-API הנדרשים.

הפעלת ממשקי ה-API

מפעילים את Dataplex API, אם הוא עדיין לא מופעל.

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

להפעלת ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לחיפוש ולגילוי מטא-נתונים באמצעות דומיינים של נתונים, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט או הדומיין של הנתונים:

• צפייה במטא-נתונים של רשומות דומיינים לצורך גילוי: Dataplex Data Domain Entry Reader (roles/dataplex.dataDomainEntryReader)
• צפייה בהגדרות ובקישורים של הדומיין: Dataplex Data Domain Configuration Viewer (roles/dataplex.dataDomainViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

עיון בהיררכיית הדומיינים

מידע נוסף על עיון בהיררכיית הדומיין זמין במאמר הצגת דומיינים ותת-דומיינים של נתונים במיקום.

חיפוש משאבים בדומיין נתונים

כדי לחפש משאבים באמצעות דומיין, פועלים לפי השלבים הבאים:

המסוף

1. במסוף Google Cloud , נכנסים לדף Knowledge Catalog > Search.

   מעבר לחיפוש

2. לוחצים על ניסיון חיפוש טבעי כדי להפעיל את התכונה 'חיפוש טבעי'.

3. לוחצים על מסננים.

4. בשדה Scope (היקף), בוחרים באפשרות Domain (דומיין) מהרשימה.

5. בשדה Select domain (בחירת דומיין), בוחרים את הדומיין שרוצים לצמצם את התוצאות אליו. מוסיפים עוד מסננים לפי הצורך.

אפשר גם להשתמש באפשרות התפריט Search within domain כדי למצוא משאבים בדומיין:

1. נכנסים לדף Data domains במסוף Google Cloud .

   מעבר לדומיינים של נתונים

2. בתפריט more_vert, בוחרים באפשרות חיפוש בדומיין. הפעולה הזו פותחת באופן אוטומטי חלון חיפוש עם המסנן domain.

3. משתמשים בשדה החיפוש כדי למצוא משאבים בדומיין.

REST

כדי לחפש רשומות בהיקף של דומיין נתונים, משתמשים בשיטה projects.locations.searchEntries ומספקים את נתיב הדומיין בפרמטר contexts.

הערה: המיקום בנתיב של searchEntries יכול להיות global (לפיזור מלא) או אזור ספציפי, בהתאם להגדרות של הקצה העורפי של החיפוש.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫LOCATION_ID: האזור של שאילתת החיפוש (או global).
• ‫QUERY: מחרוזת שאילתת החיפוש.
• ‫DOMAIN_ID: המזהה הייחודי של דומיין הנתונים שמגדיר את ההקשר של היקף החיפוש.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID:searchEntries

תוכן בקשת JSON:

{
  "query": "QUERY",
  "contexts": [ "projects/PROJECT_ID/locations/LOCATION_ID/dataDomains/DOMAIN_ID" ],
  "semantic_search": true,
  "page_size": 100
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID:searchEntries"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID:searchEntries" | Select-Object -Expand Content

אתם אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

אחזור הקשר של דומיינים של נתונים

אתם יכולים להשתמש ב-lookupContext כדי לבסס את סוכני ה-AI בהקשר העסקי שמתועד בדומיינים של הנתונים. השיטה lookupContext תומכת בדומיינים של נתונים בדרכים הבאות:

• הקשר של דומיין נתונים. אפשר להעביר את הרשומה שמייצגת דומיין נתונים ברשימה resources. התשובה מכילה את המטא-נתונים של תחום הנתונים, כמו התיאור שלו ותחומי הנתונים הראשיים בהיררכיית התחומים.
• החברות בדומיין הנתונים של נכסי הנתונים. כשמאחזרים הקשר של נכס נתונים שנכלל בדומיין נתונים אחד או יותר, התגובה מכילה שדה dataDomains שמפרט את דומייני הנתונים שהנכס שייך אליהם, החל מהדומיין הספציפי ביותר ועד לדומיין ברמה העליונה.

כדי לאחזר הקשר של דומיין נתונים, שולחים את הבקשה הבאה:

curl --request POST \
  'https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupContext' \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H 'Content-Type: application/json' \
  -d '{
    "resources": [
      "projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/PROJECT_NUMBER/locations/LOCATION/dataDomains/DATA_DOMAIN_ID"
    ],
    "options": {
      "format": "yaml"
    }
  }'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט שמכיל את תחום הנתונים.
• ‫PROJECT_NUMBER: מספר הפרויקט שמכיל את דומיין הנתונים.
• ‫LOCATION: המיקום של דומיין הנתונים.
• ‫DATA_DOMAIN_ID: מזהה תחום הנתונים.

מידע נוסף על השיטה lookupContext מופיע במאמר אחזור ההקשר של נכסי נתונים.

מגבלות

כשמחפשים משאבים מחוץ להקשר של הדומיין, למשל כשמשתמשים בחיפוש גלובלי, הרשאות החשיפה של הדומיין לא חלות. אתם יכולים לראות רק משאבים שיש לכם גישה אליהם במערכת הבסיסית, כמו BigQuery.

נניח שמערך נתונים ב-BigQuery נכלל בדומיין נתונים. יש לכם את התפקיד Dataplex Data Domain Entry Reader בדומיין, אבל אין לכם הרשאה ישירה לצפייה בקבוצת הנתונים ב-BigQuery:

• חיפוש בתוך הדומיין: קבוצת הנתונים מופיעה בתוצאות החיפוש כי ההרשאות של הדומיין חלות.
• חיפוש מחוץ לדומיין: קבוצת הנתונים לא מופיעה בתוצאות החיפוש. בחיפוש כללי, הרשאות הדומיין לא חלות, ואין לכם גישה ישירה ב-BigQuery.

המאמרים הבאים

• מידע נוסף על דומיינים של נתונים
• איך יוצרים דומיינים של נתונים
• איך מנהלים משאבים של דומיין נתונים