ניהול משאבים של Looker (Google Cloud Core)‎ באמצעות Knowledge Catalog

אתם יכולים לנהל מטא-נתונים מהמכונות של Looker (Google Cloud core) באמצעות Knowledge Catalog. ניהול המטא-נתונים עוזר לכם לנהל את הנתונים ולקבל החלטות מושכלות.

‫Knowledge Catalog היא פלטפורמה לקטלוג נתונים שמאחסנת ומנהלת את המטא-נתונים שלכם ומספקת גישה אליהם. הוא מוסיף לאינדקס את המטא-נתונים של LookML בסביבת הייצור, של פרויקט LookML ושל מרכז הבקרה מ-Looker (Google Cloud core).

השילוב הזה מספק תצוגה אחת של נכסי הנתונים והקשרים ביניהם, כולל שושלת הנתונים. כשמשתמשים ב-Knowledge Catalog, אפשר לבצע ניתוח השפעה, גילוי נתונים וניהול שינויים, שיכולים לעזור לכם לשלב נתונים בתהליכי עבודה תפעוליים ולמצוא שימושים חדשים לנתונים שלכם.

‫Knowledge Catalog מתעד כמה רמות של ישויות מ-Looker, כולל:

• מכונה של Looker: כולל מזהה מכונה, כתובת URL ומרכזי בקרה קשורים
• סוכן: כולל יוצר, תיאור ומקור נתונים
• לוח בקרה: כולל שם, פריסה, מסננים ורכיבים קשורים בלוח הבקרה
• רכיב בלוח הבקרה: כולל סוג, שאילתה, מודל ו-Explore
• ‫Explore: כולל תווית, שאילתות ברירת מחדל, מפתח זר, תנאי צירוף (sql_on,‏ relationship ו-type), מסננים (always_filter,‏ conditionally_filter,‏ access_filter,‏ sql_always_where ו-sql_always_having), סכימה עם הגדרות של מאפיינים ומדדים, ומילים נרדפות
• Look: כולל פרויקט של יצירה, Explore, מודל ושדות
• מרכז שליטה של LookML: כולל תיאור, שם מרכז הבקרה, פריסה, מסננים ורכיבים קשורים בלוח הבקרה של LookML
• רכיב בלוח הבקרה של LookML: כולל תיאור, שאילתות, שאילתות ממוזגות
• פרויקט של LookML: כולל תיאור ומודלים קשורים
• מודל: כולל נתיב, כתובת URL של פרויקט, חיבור ותצוגות קשורות, Explores ומרכזי שליטה של LookML
• תצוגה: כולל טבלה נגזרת, מפתחות אשכול, מפתח ראשי וסכימה עם הגדרות של מאפיינים ומדדים

השילוב של Knowledge Catalog ו-Looker (Google Cloud core) מייצג גם קשרים מוגדרים, כולל:

• reference קישורים לרשומות שמייצגים קשרים בין אובייקטים של Looker
• schema-join קישורים לרשומות שמייצגים שיוכים של מפתח ראשי ומפתח זר

איך השילוב פועל

השילוב של Looker ו-Knowledge Catalog משתמש במחבר מאינטראקציה ישירה (First-Party) כדי להטמיע מטא-נתונים. ‫Looker (Google Cloud core) מפרסם מטא-נתונים של LookML במאגרי Cloud Storage אזוריים, כדי ש-Knowledge Catalog יוכל לצרוך אותם בתהליך סנכרון בזמן אמת.

העברת הנתונים מ-Looker (Google Cloud core) ל-Knowledge Catalog מתבצעת באופן אוטומטי כברירת מחדל, ולא צריך לשנות את ההגדרות. ב-Looker (Google Cloud core)‎ נעשה שימוש בשירותים פנימיים כדי לבצע סנכרון בזמן אמת.

כשמעדכנים את המודלים של LookML ומעבירים אותם לסביבת הייצור, המערכת מסנכרנת באופן אוטומטי את המטא-נתונים העיקריים עם Knowledge Catalog. המטא-נתונים האלה כוללים פרטים של תצוגות ושל Explore, הגדרות של שדות ומידע על מודלים. באופן דומה, המטא-נתונים של מרכז הבקרה, כולל כותרות, בעלות ונתוני שימוש, מופיעים בקטלוג.

מתי כדאי להשתמש ב-Knowledge Catalog עם Looker

אתם יכולים להשתמש ב-Knowledge Catalog כדי לגלות ולהבין את המטא-נתונים של Looker. הקטלוג עוזר בפעילויות הבאות:

• דיוק של סוכני AI ונתונים: שימוש במודלים, ב-Explores ובתצוגות של LookML שנוספו לאינדקס כהגדרות סמנטיות. כשמבססים את יצירת השאילתות על רשומות Looker ב-Knowledge Catalog, סוכני ה-AI פועלים לפי הלוגיקה העסקית הרשמית (מדדים מאושרים, מאפיינים ונתיבי איחוד תקינים).
• שושלת נתונים מקצה לקצה (ניתוח השפעה ומקור): השתמש ב-שושלת נתונים כדי להמחיש כיצד נתונים זורמים בין מקורות נתונים (כגון BigQuery) לבין נכסי Looker בשני הכיוונים:
  • ניתוח ההשפעה על המשך התהליך: חיזוי של מרכזי הבקרה והניתוחים שיושפעו לפני ביצוע שינויים בסכימה או במודל.
  • ביקורת על נתונים במעלה הזרם: ביקורת על המקור, הטרנספורמציות ושרשרת המשמורת של המדדים שמוצגים במרכזי הבקרה של המנהלים וב-Looks.
• חיפוש ואיחוד נכסים: חיפוש של לוחות בקרה, חקירות ותצוגות מאושרים בארגון כדי למנוע דיווח כפול ויצירת מודלים מיותרים של נתונים.

ב-Knowledge Catalog אתם יכולים גם לאסוף מטא-נתונים על ידי צירוף היבטים לרשומות של מטא-נתונים ב-Looker. כשמצרפים היבטים לנכסים ב-Looker, אפשר להוסיף לנכסים מטא-נתונים עסקיים ולחפש נכסים לפי המטא-נתונים האלה.

ההרשאות הנדרשות

כדי לקבל את ההרשאות שנדרשות לשימוש בשילוב של Knowledge Catalog ו-Looker (Google Cloud core), בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט שבו נמצא המופע של Looker (Google Cloud core):

• כדי לצפות במשאבים של Knowledge Catalog: ‏Dataplex Catalog Viewer ‏ (roles/dataplex.catalogViewer)

• כדי לגשת למטא-נתונים של Looker (Google Cloud core) ב-Knowledge Catalog: צפייה בסכימה של Looker (roles/looker.schemaViewer)

  • התפקיד המוגדר מראש "צפייה בסכימה של Looker" כולל את ההרשאה looker.schemas.view, שנדרשת כדי לגשת למטא-נתונים של Looker (Google Cloud core) ב-Knowledge Catalog.
  הערה: אפשר להוסיף את התפקיד "צפייה בסכימה של Looker" רק באמצעות Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  מידע נוסף זמין במאמרי העזרה בנושא add-iam-policy-binding.

• כדי להשבית או להפעיל את השילוב בין Knowledge Catalog לבין Looker (Google Cloud core): אדמין ב-Looker (roles/looker.admin)

• כדי לצפות בתרשימים של שושלת נתונים: צפייה בשושלת נתונים (roles/datalineage.viewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

זהירות: צריך להקצות את התפקיד "צפייה בסכימה של Looker" או את ההרשאה looker.schema.view ברמת הפרויקט. משתמשים עם ההרשאה הזו יכולים לראות את המטא-נתונים של כל המופעים של Looker (Google Cloud core) בפרויקט שהשילוב מופעל בהם.

הפעלת השילוב של Knowledge Catalog עם המכונה של Looker (Google Cloud core)

כברירת מחדל, Knowledge Catalog מופעל במכונות של Looker (Google Cloud core). כדי להשבית את השילוב, עיינו בקטע השבתת השילוב של Knowledge Catalog והמכונה של Looker (Google Cloud core) בדף התיעוד הזה.

אם השילוב מושבת במופע שלכם ואתם רוצים להפעיל אותו, בצעו את השלבים הבאים:

console

1. מפעילים את Dataplex API. כדי לראות את המטא-נתונים שמועברים, צריך להפעיל את Cloud Dataplex API (dataplex.googleapis.com) בפרויקט ב- Google Cloud שמארח את המכונה של Looker (Google Cloud core).

   הפעלת Dataplex API

2. בכרטיסייה Details בדף Instance של המכונה, לוחצים על Edit.
3. מרחיבים את הקטע Knowledge Catalog integration.
4. מבטלים את הסימון של התיבה ביטול ההסכמה לשילוב עם Knowledge Catalog.
   • הערה: הפעלת ההגדרה הזו מפעילה גם את הטמעת המטא-נתונים וגם את העברת שושלת הנתונים (אם Data Lineage API מופעל).
5. לוחצים על Save.

gcloud

חשוב לוודא ש-Dataplex API מופעל בפרויקט ב- Google Cloud שמארח את המכונה של Looker (ליבה של Google Cloud).

משתמשים בפקודה gcloud looker instances update עם הדגל --catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם של המכונה של Looker (Google Cloud core).

אחרי שמפעילים את השילוב, הנתונים של Looker יהיו זמינים ב-Knowledge Catalog תוך יום.

חיפוש נכסים ב-Looker

כדי לראות את הנתונים של Looker (Google Cloud core) ב-Knowledge Catalog, צריך קודם להפעיל את Dataplex API. כדי לקבל את ההרשאה שנדרשת להפעלת ממשקי API, צריך את התפקיד "אדמין של שימוש בשירות" (roles/serviceusage.serviceUsageAdmin) ב-IAM.

הפעלת Dataplex API

משתמשים בדף Search של Knowledge Catalog במסוף Google Cloud כדי לחפש נכסים של Looker (Google Cloud core).

מעבר לחיפוש

בקטע Filters, אתם יכולים לסנן את הנכסים של Looker (Google Cloud core) באמצעות הקטעים Project,‏ Systems ו-Type aliases. בקטע Systems, אפשר לסנן לפי Looker. בשדה Type aliases, אפשר לסנן את תוצאות החיפוש לפי סוג ספציפי של נכס.

אם הגדרתם את המסנן Systems ל-Looker, אתם יכולים לסנן לפי סוג ספציפי של נכס Looker על ידי בחירה באחת או יותר מהאפשרויות הבאות בקטע Type aliases:

• סוכן
• מרכז שליטה
• רכיב בלוח הבקרה
• שלב שני
• Instance
• טבלת Look
• פרויקט של LookML
• דגם
• הצגה
• אחר

הערה: סינון לפי Dashboard מחזיר גם מרכזי בקרה שמוגדרים על ידי המשתמש וגם מרכזי בקרה של LookML. סינון לפי רכיב בלוח הבקרה מחזיר רכיבים ממרכזי בקרה שמוגדרים על ידי המשתמש וממרכזי בקרה של LookML.

אפשר גם להזין שאילתות חיפוש ישירות בשדה החיפוש באמצעות מילת מפתח או תחביר של שפה טבעית. לדוגמה, כדי לראות את כל הנכסים של Looker, מזינים system=Looker. כדי לראות את כל מרכזי הבקרה של Looker, מזינים את הערך system=Looker AND type=dashboard.

טיפ: המאפיין type וכינויי הסוג לא ספציפיים למערכת מסוימת. לדוגמה, אם מסננים רק לפי type=view (או בוחרים רק באפשרות View ב-Type aliases), מקבלים גם תצוגות של Looker וגם תצוגות של BigQuery. כדי לסנן ספציפית תצוגות של Looker, מסננים לפי מערכת וסוג: בוחרים באפשרות Looker ב-Systems ובאפשרות View ב-Type aliases, או מזינים system=Looker AND type=view בשדה החיפוש.

אפשר להשתמש בערכים הבאים עם המאפיין type:

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

הערה: חיפוש באמצעות dashboard מחזיר גם מרכזי בקרה שמוגדרים על ידי המשתמש וגם מרכזי בקרה של LookML. חיפוש באמצעות dashboard_element מחזיר רכיבים גם ממרכזי שליטה בהגדרת המשתמש וגם ממרכזי שליטה של LookML.

אפשר גם לחפש רשומות של BigQuery שקשורות ל-Looker באמצעות השיטה lookupEntryLinks. הרשומה reference מייצגת את הקישור מרשומות בטבלה ב-BigQuery לרשומות בתצוגה ב-Looker.

למידע נוסף על חיפוש משאבים, ראו חיפוש משאבים ב-Knowledge Catalog. למידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש, ראו תחביר החיפוש של Knowledge Catalog.

השבתת השילוב של Knowledge Catalog עם המכונה של Looker (Google Cloud core)

כדי להשבית את השילוב של Knowledge Catalog עם המכונה של Looker (Google Cloud core):

console

1. בכרטיסייה Details בדף Instance של המכונה, לוחצים על Edit.
2. מרחיבים את הקטע Knowledge Catalog integration.
3. מסמנים את התיבה ביטול ההצטרפות לשילוב עם Knowledge Catalog.
   • הערה: השבתת ההגדרה הזו משביתה גם את הטמעת המטא-נתונים וגם את שושלת הנתונים (אם Data Lineage API מופעל).
4. לוחצים על Save.

gcloud

משתמשים בפקודה gcloud looker instances update עם הדגל --no-catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם של המכונה של Looker (Google Cloud core).

אם משביתים את השילוב אחרי שהוא הופעל, המטא-נתונים של Looker שכבר נמצאים ב-Knowledge Catalog יישארו שם, אבל הם לא יעודכנו במטא-נתונים חדשים.

VPC Service Controls

השילוב בין Looker (Google Cloud core)‎ ל-Knowledge Catalog תומך ב-VPC Service Controls.

אם המכונה של Looker (Google Cloud core) או המשאבים של Knowledge Catalog נמצאים בגבולות גזרה לשירות של VPC Service Controls, אתם צריכים לוודא ש-Dataplex API (dataplex.googleapis.com) מוגדר כשירות מוגבל בגבולות הגזרה.

תמחור

אין חיוב על אחסון מטא-נתונים טכניים של Looker (Google Cloud core) ב-Knowledge Catalog. התמחור הרגיל של Knowledge Catalog חל על קריאות ל-API ועל העשרה נוספת של מטא-נתונים עסקיים. מידע נוסף זמין בדף התמחור של Knowledge Catalog.

המאמרים הבאים

• מעקב אחרי שושלת הנתונים באמצעות Knowledge Catalog.
• מידע ולמידה על ניהול מטא-נתונים ב-Knowledge Catalog
• איך מחפשים משאבים ב-Knowledge Catalog
• איך מנהלים היבטים ומוסיפים מטא-נתונים