הנחיות למתן שם למשאב ב-Knowledge Catalog

משאב ב- Google Cloud הוא כל רכיב שיוצרים או משתמשים בו ב-Google Cloud. המשאבים האלה הם אבני הבניין של האפליקציות והמערכות שפועלות בפלטפורמה.

מידע נוסף על מתן שמות כלליים למשאבים ב- Google Cloud זמין במאמר שמות של משאבים.

פורמט השמות של המשאבים

בטבלה הבאה מפורטים הפורמטים של השמות המלאים של המשאבים ב-Knowledge Catalog:

משאב פורמט השם המלא של המשאב
קבוצת רשומות projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}
כניסה projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}/entries/{ENTRY_ID}
סוג רשומה projects/{PROJECT_ID}/locations/{LOCATION}/entryTypes/{ENTRY_TYPE_ID}
סוג ההיבט projects/{PROJECT_ID}/locations/{LOCATION}/aspectTypes/{ASPECT_TYPE_ID}
קישור כניסה projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}/entryLinks/{ENTRY_LINK_ID}
משימת מטא-נתונים projects/{PROJECT_ID}/locations/{LOCATION}/metadataJobs/{METADATA_JOB_ID}
פיד מטא-נתונים projects/{PROJECT_ID}/locations/{LOCATION}/metadataFeeds/{METADATA_FEED_ID}
מילון מונחים projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}
קטגוריית מילון המונחים projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}/categories/{GLOSSARY_CATEGORY_ID}
מונח במילון projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}/terms/{GLOSSARY_TERM_ID}
מוצר נתונים projects/{PROJECT_ID}/locations/{LOCATION}/dataProducts/{DATA_PRODUCT_ID}
דומיין נתונים projects/{PROJECT_ID}/locations/{LOCATION}/dataDomains/{DATA_DOMAIN_ID}
תהליך שושלת היוחסין projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}
הרצת שושלת נתונים projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}/runs/{RUN_ID}
lineage event projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}/runs/{RUN_ID}/lineageEvents/{LINEAGE_EVENT_ID}

רכיבים של שמות משאבים

בקטעים הבאים מפורט כל רכיב.

מזהה פרויקט

הערך צריך להיות מזהה הפרויקט או מספר הפרויקט, שזמינים במסוף Google Cloud . לדוגמה, my-cool-project הוא מזהה פרויקט, ו-123456789123 הוא מספר פרויקט.

מיקום

הערך חייב להיות אחד מהמיקומים הנתמכים של Knowledge Catalog. לרשימת המיקומים הזמינים, קראו את המאמר בנושא מיקומי Knowledge Catalog.

מזהה המשאב

נתיבי המשאבים מכילים קטעים של מזהים ייחודיים (ID) לכל משאב ולמשאבי ההורה שלו בהיררכיה. בקטעים הבאים מוסבר על הנחיות למתן שמות ודרישות פורמט לכל סוג של מזהה משאב.

מזהי משאבים רגילים

חוץ ממזהי רשומות ומזהי משאבים של שושלת נתונים, כל המשתנים של מזהי המשאבים, כמו {ENTRY_GROUP_ID} ו-{GLOSSARY_ID}, צריכים לעמוד בהנחיות הבאות:

  • להתחיל באות קטנה.
  • להכיל בין תו אחד ל-63 תווים.
  • להכיל רק אותיות קטנות, מספרים, מקפים וקווים תחתונים.
  • להסתיים בספרה או באות קטנה.

קבוצות של רשומות מערכת

מזהי רשומות

ההנחיות למתן שמות ל{ENTRY_ID} שונות:

  • הוא יכול לכלול עד 4,000 תווים.

  • משתמשים בפורמט של מזהה רשומה שמבוסס על שם המשאב המלא של Google Cloud. הפורמט הוא השם המלא של המשאב, בלי הקידומת של שני קווים נטויים בחלק של שם השירות ב-API. כך אפשר לאחזר רשומות באמצעות שם המשאב שמשויך אליהן.

    לדוגמה:

    • אם השם המלא של המשאב של מכונת Looker הוא //looker.googleapis.com/projects/my-project/locations/us-central1/instances/my-instance, אז הערך המוצע של {ENTRY_ID} הוא looker.googleapis.com/projects/my-project/locations/us-central1/instances/my-instance.

מזהי המשאבים של שושלת הנתונים

משאבים של שושלת נתונים מייצגים היררכיה של פעולות טרנספורמציה של נתונים:

  • מזהה תהליך ({PROCESS_ID}): מזהה את ההגדרה של טרנספורמציית נתונים (כמו שאילתת SQL ספציפית או צינור עיבוד נתונים של ETL).
  • ‫Run ID ({RUN_ID}): מזהה מופע הרצה יחיד של תהליך הורה.
  • מזהה אירוע של שושלת ({LINEAGE_EVENT_ID}): מזהה אירוע נפרד של העברת נתונים בין מקורות ויעדים שהתרחש במהלך הפעלה.

כשיוצרים משאבי שושלת נתונים בהתאמה אישית באמצעות ה-API, המשתנים {PROCESS_ID},‏ {RUN_ID} ו-{LINEAGE_EVENT_ID} צריכים לעמוד בהנחיות הבאות:

  • הוא יכול לכלול עד 200 תווים.
  • להכיל רק אותיות (תלוי אותיות רישיות), מספרים, מקפים, קווים תחתונים, נקודתיים ונקודות.

במקרה של שושלת נתונים אוטומטית (כמו שאילתות BigQuery, ‏Managed Service for Apache Spark או הטמעת OpenLineage), המערכת של Knowledge Catalog יוצרת את המזהים האלה באופן אוטומטי.

שמות של רשומות ב-BigQuery

כשאתם מבצעים אינטראקציה עם משאבי BigQuery דרך Dataplex API, אתם צריכים להשתמש בפורמט ספציפי למזהה קבוצת הרשומות ולמזהה הרשומה.

  • מזהה קבוצת הרשומות: @bigquery
  • מזהה הרשומה: bigquery.googleapis.com/projects/{PROJECT_ID}/datasets/{DATASET_ID}/tables/{TABLE_ID}

דוגמה

אם הטבלה ב-BigQuery היא projects/test-project/datasets/test_dataset/tables/test_table, השם המלא של הרשומה ב-Knowledge Catalog הוא:

projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/test-project/datasets/test_dataset/tables/test_table