מידע על אמצעי בקרה להטמעה של היסטוריית הנתונים

כדי לנהל את העלויות ואת מדיניות הפיקוח, אתם יכולים להפעיל או להשבית את הטמעת שושלת הנתונים בשירותים ספציפיים של Google Cloud . לדוגמה, אתם יכולים להשבית את איסוף שושלת היוחסין בפרויקטים לפיתוח או בעומסי עבודה בנפח גבוה שלא דורשים מעקב אחרי שושלת היוחסין.

שילובים נתמכים של שירותים

בטבלה הבאה מפורטים השילובים שתומכים בבקרת הטמעת נתונים של שושלת נתונים:

שם השילוב	תמיכה בבקרת הטמעה	ערך ברירת המחדל	פרטי השילוב
‫Managed Service for Apache Spark: אשכולות של Apache Spark	כן	מופעל	שימוש בשושלת נתונים של Spark
‫Managed Service for Apache Spark: אשכולות של Apache Hive	כן	מופעל	הפעלת שושלת נתונים של Hive
‫Managed Service for Apache Spark: פריסה ללא שרת (serverless)	כן	מופעל	שימוש בשושלת נתונים עם Managed Service for Apache Spark
BigQuery	כן	מופעל	מעקב אחרי שושלת נתונים של טבלה ב-BigQuery
Managed Service for Apache Airflow	כן	מופעל	<!--Data lineage with Knowledge Catalog-->שושלת נתונים עם Knowledge Catalog
Looker (Google Cloud core)‎	כן (גרסת טרום-השקה (Preview))	מופעל	lineage נתונים ב-Looker Core
Cloud Data Fusion	לא	מופעל	הצגת שושלת היוחסין ב-Knowledge Catalog
Dataflow	לא	הושבת בצד של Dataflow	שימוש בשושלת נתונים ב-Dataflow
Vertex AI Pipelines	לא	מופעל	מעקב אחרי שושלת היוחסין של פריטי המידע שנוצרו בתהליך

איך פועלת בקרת ההטמעה של שושלת הנתונים

אתם יכולים לשלוט בהטמעת הנתונים ברמת הארגון, התיקייה והפרויקט, ולשלב את ההגדרות האלה עם הגדרות ספציפיות לשירות כדי לקבל שליטה מפורטת על הטמעת שושלת הנתונים.

כדי לקבוע את ההגדרה בפועל, Knowledge Catalog מעריך את היררכיית המשאבים החל מהפרויקט, אחר כך את התיקיות ואז את הארגון. ההגדרה הראשונה שנקבעה באופן מפורש בכל רמה במעבר כלפי מעלה היא זו שנכנסת לתוקף.

• אם מגדירים את התצורה ברמת הפרויקט, המערכת של Knowledge Catalog משתמשת בה.
• אם לא הוגדרה תצורה ברמת הפרויקט, Knowledge Catalog משתמש בתצורה מתיקיית ההורה הקרובה ביותר עם תצורה מפורשת.
• אם לא הוגדרה תצורה ברמת הפרויקט או התיקייה, Knowledge Catalog משתמש בתצורה ברמת הארגון.
• אם לא הוגדרה אף רמה, Knowledge Catalog משתמש בברירת המחדל של המערכת לשילוב.

הערה: ההגדרות שקובעים ברמת הארגון, הפרויקט או התיקייה מקבלות קדימות. לדוגמה, אם משביתים את הטמעת שושלת הנתונים לשירות ברמת הפרויקט, נתוני השושלת לא מוטמעים בשירות הזה, בלי קשר להגדרות הספציפיות לשירות.

כדי לנהל את בקרת הטמעת הנתונים בכמות גדולה, צריך להפעיל את Data Lineage API לכל הפרויקטים בתיקייה או בארגון, בהתאם לכללים של הפעלת שירות היררכית. אחרי שמפעילים את Data Lineage API, אפשר לשלוט באופן פרטני בהטמעה של שושלת הנתונים לכל שילוב של שירות בארגון, בתיקייה או בפרויקט.

איך פועלת הגדרת הטמעת הנתונים בשילובים של שירות יחיד

התרחיש הבא ממחיש איך Knowledge Catalog פותר את הגדרת הטמעת שושלת הנתונים של שירות יחיד בהיררכיית המשאבים.

נניח שיש ארגון test-org עם ההגדרות הבאות של שושלת היוחסין של Managed Service for Apache Spark:

• ארגון test-org: מופעל
  • תיקייה folder-a: מושבתת
    • פרויקט project-a: לא הוגדרה קבוצת הגדרות אישיות
  • תיקייה folder-b: מופעלת
    • פרויקט project-b: מושבת

בתרחיש הזה, ההגדרות הבאות חלות:

• ב-project-a, הטמעת שושלת הנתונים מושבתת. Knowledge Catalog מתחיל לבדוק מ-project-a, לא מוצא הגדרה, עולה ל-folder-a ומחיל את ההגדרה מושבת מ-folder-a.
• ב-project-b, הטמעת שושלת הנתונים מושבתת. ‫Knowledge Catalog מתחיל לבדוק את ההגדרות מ-project-b ומחיל את ההגדרה Disabled, שמבטלת את ההגדרות ב-folder-b וב-test-org.

איך פועלת הגדרת הטמעת הנתונים בשילובים של כמה שירותים

התרחיש הבא ממחיש איך Knowledge Catalog פותר באופן עצמאי הגדרות של כמה שירותים בהיררכיית המשאבים.

נניח שיש לכם ארגון test-org עם הגדרות שושלת היוחסין הבאות, שכוללות כמה שילובים של שירותים:

• ארגון test-org
  • ‫Managed Service for Apache Spark: מופעל
  • תיקייה folder-a
    • ‫BigQuery: מופעל
    • פרויקט project-a
      • ‫BigQuery: מושבת
      • ‫Managed Service for Apache Airflow: מופעל
    • פרויקט project-b: לא הוגדרה קבוצת הגדרות אישיות

בתרחיש הזה, Knowledge Catalog בודק כל שילוב של שירות בנפרד בהיררכיית המשאבים:

• ב-project-a:
  • הטמעת שושלת הנתונים של Managed Service for Apache Spark מופעלת. ‫Knowledge Catalog מתחיל לבדוק את ההגדרות מ-project-a, לא מוצא הגדרה ל-Managed Service for Apache Spark, עובר ל-folder-a (לא הוגדרה מדיניות) ומחיל את ההגדרה מופעל מ-test-org.
  • הטמעת שושלת נתונים ב-BigQuery מושבתת. ב-Knowledge Catalog מופעלת ההגדרה המפורשת ברמת הפרויקט, שמחליפה את ההגדרה Enabled שנקבעה ב-folder-a.
  • הטמעת שושלת הנתונים של Managed Service for Apache Airflow מופעלת. ‫Knowledge Catalog מחיל את ההגדרה המפורשת ברמת הפרויקט.
• ב-project-b:
  • הטמעת שושלת הנתונים של Managed Service for Apache Spark מופעלת (עוברת בירושה מ-test-org).
  • הטמעת שושלת נתונים ב-BigQuery מופעלת (עברה בירושה מ-folder-a).
  • הטמעת שושלת היוחסין של Managed Service for Apache Airflow משתמשת בברירת המחדל של המערכת (מופעלת כברירת מחדל כשה-Data Lineage API פעיל), כי לא הוגדרה הגדרה מפורשת באף רמה בהיררכיה.

המאמרים הבאים

• איך מגדירים הטמעה של שושלת נתונים בשירות