דומיינים של נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרים לצמצם את תוצאות החיפוש להקשרים עסקיים ספציפיים ולגלות מטא-נתונים בתוך גבולות מוגדרים. כמשתמשים בדומיין נתונים, אתם יכולים לעיין בהיררכיית הדומיינים, לחפש משאבים בדומיין ולאחזר את ההקשר של הדומיין כדי לבסס סוכני AI.
לפני שמתחילים
לפני שמבצעים חיפוש לפי דומיין, צריך לוודא שיש לכם את התפקידים הנדרשים ושהפעלתם את ממשקי ה-API הנדרשים.
הפעלת ממשקי ה-API
מפעילים את Dataplex API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לחיפוש ולגילוי מטא-נתונים באמצעות דומיינים של נתונים, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט או הדומיין של הנתונים:
-
צפייה במטא-נתונים של רשומות דומיינים לצורך גילוי:
Dataplex Data Domain Entry Reader (
roles/dataplex.dataDomainEntryReader) -
צפייה בהגדרות ובקישורים של הדומיין:
Dataplex Data Domain Configuration Viewer (
roles/dataplex.dataDomainViewer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
עיון בהיררכיית הדומיינים
מידע נוסף על הניווט בהיררכיית הדומיינים זמין במאמר הצגת דומיינים ותת-דומיינים של נתונים במיקום.
חיפוש משאבים בדומיין נתונים
אתם יכולים לחפש בתוך דומיין נתונים כדי למצוא משאבים כמו מערכי נתונים, טבלאות ומוצרי נתונים ב-BigQuery, ולראות את המטא-נתונים שלהם. כדי לחפש משאבים בדומיין, מבצעים את השלבים הבאים:
המסוף
במסוף Google Cloud , נכנסים לדף Knowledge Catalog > Search.
לוחצים על אני רוצה לנסות חיפוש טבעי כדי להפעיל את תכונת החיפוש הטבעי.
לוחצים על מסננים.
בשדה Scope (היקף), בוחרים באפשרות Domain (דומיין) מהרשימה.
בשדה Select domain, בוחרים את הדומיין שרוצים לצמצם את התוצאות אליו. מוסיפים עוד מסננים לפי הצורך.
אפשר גם להשתמש באפשרות התפריט Search within domain כדי למצוא משאבים בדומיין:
נכנסים לדף Data domains במסוף Google Cloud .
בתפריט , בוחרים באפשרות חיפוש בדומיין. הפעולה הזו פותחת באופן אוטומטי חלון חיפוש עם המסנן domain.
משתמשים בשדה החיפוש כדי למצוא משאבים בדומיין.
REST
כדי לחפש רשומות שמוגדרות לדומיין נתונים, משתמשים ב-method projects.locations.searchEntries ומציינים את נתיב הדומיין בפרמטר contexts.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
LOCATION_ID: האזור של שאילתת החיפוש (אוglobal). -
QUERY: המחרוזת של שאילתת החיפוש. -
DOMAIN_ID: המזהה הייחודי של דומיין הנתונים שמגדיר את ההקשר של היקף החיפוש.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID:searchEntries
תוכן בקשת JSON:
{
"query": "QUERY",
"contexts": [ "projects/PROJECT_ID/locations/LOCATION_ID/dataDomains/DOMAIN_ID" ],
"semantic_search": true,
"page_size": 100
}
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.
אחזור הקשר של דומיינים של נתונים
אתם יכולים להשתמש ב-lookupContext כדי לבסס את סוכני ה-AI בהקשר העסקי שמתועד בדומיינים של הנתונים. השיטה lookupContext תומכת בדומיינים של נתונים בדרכים הבאות:
- הקשר של דומיין נתונים. אפשר להעביר את הרשומה שמייצגת דומיין נתונים ברשימה
resources. התשובה מכילה את המטא-נתונים של תחום הנתונים, כמו התיאור שלו ותחומי הנתונים הראשיים בהיררכיית התחומים. - החברות בדומיין הנתונים של נכסי הנתונים. כשמאחזרים הקשר של נכס נתונים שנכלל בדומיין נתונים אחד או יותר, התגובה מכילה שדה
dataDomainsשמפרט את דומייני הנתונים שהנכס שייך אליהם, החל מהדומיין הספציפי ביותר ועד לדומיין ברמה העליונה.
כדי לאחזר הקשר של דומיין נתונים, שולחים את הבקשה הבאה:
curl --request POST \
'https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupContext' \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H 'Content-Type: application/json' \
-d '{
"resources": [
"projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/PROJECT_NUMBER/locations/LOCATION/dataDomains/DATA_DOMAIN_ID"
],
"options": {
"format": "yaml"
}
}'
מחליפים את מה שכתוב בשדות הבאים:
- PROJECT_ID: מזהה הפרויקט שמכיל את דומיין הנתונים.
- PROJECT_NUMBER: מספר הפרויקט שמכיל את דומיין הנתונים.
- LOCATION: המיקום של דומיין הנתונים.
- DATA_DOMAIN_ID: המזהה של דומיין הנתונים.
מידע נוסף על השיטה lookupContext מופיע במאמר אחזור ההקשר של נכסי נתונים.
מגבלות
כשמחפשים משאבים מחוץ להקשר של הדומיין, למשל כשמשתמשים בחיפוש גלובלי, הרשאות החשיפה של הדומיין לא חלות. אתם יכולים לראות רק משאבים שיש לכם גישה אליהם במערכת הבסיסית, כמו BigQuery.
נניח שמערך נתונים ב-BigQuery נכלל בדומיין נתונים. יש לכם את התפקיד Dataplex Data Domain Entry Reader בדומיין, אבל אין לכם הרשאה ישירה לצפות בקבוצת הנתונים ב-BigQuery:
- חיפוש בתוך הדומיין: קבוצת הנתונים מופיעה בתוצאות החיפוש כי ההרשאות של הדומיין חלות.
- חיפוש מחוץ לדומיין: קבוצת הנתונים לא מופיעה בתוצאות החיפוש. בחיפוש כללי, הרשאות הדומיין לא חלות, ואין לכם גישה ישירה ב-BigQuery.
המאמרים הבאים
- מידע נוסף על דומיינים של נתונים
- איך יוצרים דומיינים של נתונים
- איך מנהלים את המשאבים של דומיין הנתונים