כשמתכננים את אסטרטגיית ניהול הנתונים, חשוב להבין איך פועל מעקב המקורות בקטלוג הידע כדי לקבל החלטות טובות יותר לגבי הארכיטקטורה. חשוב לזכור את הנקודות הבאות:
- הפעלה ברמת הפרויקט: כשמפעילים את Data Lineage API, מעקב אחר מקורות הנתונים מופעל כברירת מחדל בכל הפרויקט, ומדווח אוטומטית על מידע ממערכות שונות בהתאם לאמצעי הבקרה ברמת המוצר. אפשר גם לשלוט בהוספה של נתוני שושלת באופן היררכי לשירותים ספציפיים.
- עמידה בדרישות הרגולטוריות: אתם מקבלים תצוגה ברורה של תנועת הנתונים, ויודעים בדיוק אילו מטא-נתונים מתועדים ואיך הם מאובטחים.
- ניהול עלויות: אתם יכולים לבדוק ולנהל באופן יזום את ההשפעה של מעקב אחר מקורות נתונים על החיוב בפרויקטים שלכם.
אמצעי בקרה על שושלת נתונים ברמת המוצר
כשמפעילים את Data Lineage API, מערכות נתמכות מדווחות על שרשרת המקור לפי אמצעי הבקרה ברמת המוצר:
| מערכת | אמצעי בקרה זמינים לניהול שרשרת המקור |
|---|---|
| BigQuery, Cloud Data Fusion |
אי אפשר להגביל את מעקב המקורות רק ל-Cloud Data Fusion או ל-BigQuery כשממשק Data Lineage API מופעל בפרויקט. אתם יכולים להגדיר הטמעה של שושלת נתונים ב-BigQuery כדי להפעיל או להשבית הטמעה אוטומטית של שושלת נתונים. |
| Managed Service for Apache Airflow | ב-Managed Airflow יש שילוב של נתוני שושלת ברמת הסביבה. האפשרות 'מקורות נתונים' מופעלת אוטומטית בכל סביבות Managed Airflow חדשות שעומדות בדרישות. מידע נוסף זמין במאמר מעקב אחר מקורות נתונים באמצעות Managed Airflow. בסביבות קיימות, משתמשים בהגדרות הסביבה כדי להפעיל או להשבית את השילוב של נתוני שושלת. אתם יכולים להגדיר את הטמעת שרשרת מקורות הנתונים ב-Managed Airflow כדי להפעיל או להשבית את ההטמעה האוטומטית של שרשרת מקורות הנתונים. |
| Dataflow | אתם יכולים לתעד אירועים של שרשרת מקורות נתונים באמצעות משימות Dataflow ולפרסם אותם ב-Data Lineage API. מידע נוסף מופיע במאמר בנושא שימוש בתיעוד מקורות הנתונים ב-Dataflow. |
| Managed Service for Apache Spark | אתם יכולים לתעד אירועים של שרשרת מקורות נתונים באמצעות משימות של Managed Service for Apache Spark ולפרסם אותם ב-Data Lineage API. מידע נוסף מופיע במאמר בנושא שימוש ב-Spark data lineage. אתם יכולים להגדיר את הטמעת שרשרת מקורות הנתונים ב-Managed Service for Apache Spark כדי להפעיל או להשבית את ההטמעה האוטומטית של שרשרת מקורות הנתונים. |
| Looker (Google Cloud Core) (תצוגה מקדימה) | יש תמיכה בהמחשה של מטא-נתונים של Looker (ליבת Google Cloud) ממקורות BigQuery באמצעות מעקב אחר מקורות הנתונים. צריך להפעיל את מעקב מקורות הנתונים ברמת המשאב של Looker (Google Cloud core) וברמת שירות מעקב מקורות הנתונים. מידע נוסף מופיע במאמר בנושא מעקב אחרי שרשרת מקורות הנתונים באמצעות Knowledge Catalog. |
| Vertex AI | התכונה 'מקורות נתונים' מופעלת באופן אוטומטי בצינורות עיבוד נתונים של Vertex AI, ועוקבת אחרי ארטיפקטים של קלט ופרמטרים של ביצוע (כמו מודלים, מערכי נתונים ורכיבים), וגם אחרי נכסים נגזרים במורד הזרם. מידע נוסף זמין במאמר מעקב אחר שושלת הנתונים של פריטי מידע שנוצרו בתהליך הפיתוח (Artifact) של פייפליינים. |
השפעה על החיוב
כשמפעילים את Data Lineage API בפרויקט, חשוב לבדוק את ההשפעה על החיובים, כי Data Lineage API מופעל על בסיס כל פרויקט (פרטים מופיעים בקטע הקודם). מידע נוסף על החיוב על מעקב אחר מקורות נתונים זמין במאמר בנושא תמחור של Knowledge Catalog.
ב-BigQuery Omni, עיבוד שרשרת היוחסין מבוזר לאזורים ספציפיים, והעלויות תלויות באזורים שבהם מתבצע העיבוד.
תאימות של שושלת הנתונים
- שושלת הנתונים מתעדת מטא-נתונים על תנועת הנתונים, אבל לא מתעדת את הנתונים עצמם. למידע נוסף על השדות שכלולים במטא-נתונים, אפשר לעיין במודל המידע של Data Lineage ובהפניה ל-Data Lineage API.
- השירות 'מקורות נתונים' כחלק מ-Knowledge Catalog מציע תמיכה ב-VPC-SC.
- ב-Knowledge Catalog אין אפשרות להשתמש במפתחות הצפנה בניהול הלקוח כדי להגן על מטא-נתונים של שושלת הנתונים שנאספו.
מגבלות של שושלת הנתונים
כשבוחרים צומת בתרשים השושלת, חלונית הצד עם פרטי הצומת תהיה ריקה במקרים הבאים:
- המשאב נמצא בארגון אחר.
- המשתמש לא חבר בארגון שמארח את המשאב.