ניהול משאבים של Looker (Google Cloud Core)‎ באמצעות Knowledge Catalog

בדף הזה מוסבר איך אפשר לחפש ולנהל את משאבי המטא-נתונים של Looker (Google Cloud core) באמצעות Knowledge Catalog.

Knowledge Catalog היא פלטפורמה שמאחסנת את המטא-נתונים שלכם, מנהלת אותם ומספקת גישה אליהם. הוא משמש ככלי לקטלוג שמבצע אינדקס של מטא נתונים של LookML, פרויקט של LookML ומרכז בקרה של Looker (Google Cloud ליבה) בסביבת הייצור. השילוב הזה מספק תצוגה מאוחדת ומקיפה של נכסי הנתונים והקשרים ביניהם, כולל שושלת הנתונים.

‫Knowledge Catalog מתעד כמה רמות של ישויות מ-Looker, כולל הרמות הבאות:

  • מופע ב-Looker
  • מרכז שליטה
  • רכיב בלוח הבקרה
  • טבלת Look
  • פרויקט של LookML
  • דגם
  • שלב שני
  • תצוגה (שכוללת מאפיינים ומדדים)

איך השילוב פועל

השילוב של Looker ושל Knowledge Catalog משתמש במחבר צד ראשון להטמעה של מטא נתונים. ‫Looker (Google Cloud core) מפרסם מטא-נתונים של LookML במאגרי Cloud Storage אזוריים כדי ש-Knowledge Catalog יוכל להשתמש בהם באמצעות תהליך סנכרון באצ' (batch).

העברת נתונים מ-Looker (Google Cloud core) אל Knowledge Catalog היא אוטומטית כברירת מחדל ולא נדרשים שינויים בהגדרות. ‫Looker (Google Cloud core) משתמש בשירותים פנימיים כדי לבצע את הסנכרון. תהליך הסנכרון הפנימי של האצווה פועל בערך כל ארבע שעות, והנתונים מ-Looker מתעדכנים בערך כל שעה ב-Knowledge Catalog.

כשמעדכנים את מודלים של LookML ומעבירים אותם לסביבת הייצור, המערכת מסנכרנת באופן אוטומטי מטא-נתונים מרכזיים עם Knowledge Catalog. המטא-נתונים האלה כוללים פרטים על התצוגה ועל הכלי 'ניתוח נתונים', הגדרות של שדות ומידע על המודל. באופן דומה, המטא-נתונים של לוחות הבקרה, כולל שמות, בעלות ונתוני שימוש, מופיעים בקטלוג.

מתי כדאי להשתמש ב-Knowledge Catalog עם Looker

אפשר להשתמש ב-Knowledge Catalog כדי לגלות את המטא-נתונים של Looker ולהבין אותם. הקטלוג עוזר בפעולות הבאות:

  • ניתוח השפעה: אפשר להשתמש בשקיפות נתוני המקור כדי להמחיש את זרימת הנתונים מ-BigQuery ללוחות בקרה של Looker.
  • גילוי: חיפוש לוחות בקרה, ניתוחים ותצוגות בארגון.
  • ניהול שינויים: חשוב להבין את התלות בין רכיבים שונים לפני שמבצעים שינויים.
  • צינורות להעברת נתונים: מעקב אחר מקור הנתונים.

באמצעות Knowledge Catalog, אפשר גם לאצור מטא-נתונים על ידי צירוף היבטים לרשומות של מטא-נתונים ב-Looker. כשמצרפים היבטים לנכסי Looker, אפשר להוסיף מטא-נתונים עסקיים לנכסים ולחפש נכסים לפי המטא-נתונים האלה.

ההרשאות הנדרשות

כדי לקבל את ההרשאות שנדרשות לשימוש בשילוב של Knowledge Catalog ו-Looker (Google Cloud core), צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט שבו נמצא מופע Looker (Google Cloud core):

  • כדי לצפות במשאבים של Knowledge Catalog: צפייה ב-Dataplex (roles/dataplex.viewer)
  • כדי לגשת למטא-נתונים של Looker (Google Cloud core) בקטלוג הידע: Looker Schema Viewer (roles/looker.schemaViewer)
    • התפקיד המוגדר מראש Looker Schema Viewer כולל את ההרשאה looker.schemas.view, שנדרשת כדי לגשת למטא-נתונים של Looker (Google Cloud core) ב-Knowledge Catalog.
  • כדי להשבית או להפעיל את השילוב בין Knowledge Catalog לבין Looker (ליבת Google Cloud): אדמין Looker (roles/looker.admin)
  • כדי לצפות בתרשימי שושלת נתונים: צפייה בשושלת נתונים (roles/datalineage.viewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הפעלת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core)

האפשרות 'קטלוג הידע' מופעלת כברירת מחדל במופעים של Looker (Google Cloud core). כדי להשבית את השילוב, אפשר לעיין בקטע השבתת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core) בדף התיעוד הזה.

אם השילוב מושבת במופע שלכם ואתם רוצים להפעיל אותו, צריך לבצע את השלבים הבאים:

console

  1. מפעילים את Dataplex API. כדי לראות את המטא-נתונים שמועברים, צריך להפעיל את Cloud Dataplex API ‏ (dataplex.googleapis.com) בפרויקט Google Cloud שמארח את מופע Looker (Google Cloud core).

    הפעלת Dataplex API

  2. בכרטיסייה פרטים בדף מופע של המופע, לוחצים על עריכה.
  3. מרחיבים את הקטע Knowledge Catalog integration.
  4. מבטלים את הסימון בתיבת הסימון ביטול ההסכמה לשילוב עם Knowledge Catalog.
    • הערה: הפעלת ההגדרה הזו מפעילה גם את הטמעת המטא-נתונים וגם את היסטוריית הנתונים (אם Data Lineage API מופעל).
  5. לוחצים על Save.

gcloud

חשוב לוודא ש-Dataplex API מופעל ב Google Cloud פרויקט שמארח את מופע Looker (Google Cloud core).

משתמשים בפקודה gcloud looker instances update עם הדגל --catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם המכונה של Looker (Google Cloud core).

אחרי שמפעילים את השילוב, עובר עד יום עד שהנתונים של Looker זמינים ב-Knowledge Catalog.

חיפוש נכסים ב-Looker

כדי לראות נתונים של Looker (Google Cloud core) ב-Knowledge Catalog, צריך קודם להפעיל את Dataplex API. כדי לקבל את ההרשאה שנדרשת להפעלת ממשקי API, צריך להיות לכם תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin).

הפעלת Dataplex API

משתמשים בדף Search ב-Knowledge Catalog במסוף Google Cloud כדי לחפש נכסים של Looker (Google Cloud core).

עוברים אל 'חיפוש'

בחלונית Filters (מסננים), אפשר לסנן נכסים של Looker (Google Cloud core) באמצעות הקטעים Project (פרויקט), System (מערכת) ו-Type aliases (כינויי סוג). בקטע System, אפשר לסנן לפי Looker. בקטע Type aliases (כינויי סוגים), אפשר לסנן את תוצאות החיפוש לפי סוג ספציפי של נכס Looker על ידי בחירה של אחת או יותר מהאפשרויות הבאות:

  • מרכז שליטה
  • רכיב בלוח הבקרה
  • שלב שני
  • פרויקט של LookML
  • דגם
  • Instance
  • הצגה
  • אחר

אפשר גם להשתמש בשדה החיפוש כדי לבצע שאילתות חיפוש. אפשר לבצע חיפוש לפי מילת מפתח או בשפה טבעית. לדוגמה, כדי לראות את כל הנכסים של Looker באמצעות חיפוש מילות מפתח, מזינים system=Looker. כדי להציג את כל לוחות הבקרה של Looker, מזינים את השאילתה system=Looker AND type=DASHBOARD. הנכסים הבאים זמינים לחיפוש עם מילת המפתח type:

  • לוח בקרה
  • dashboard_element
  • לחקור
  • מכונה
  • תבנית עיצוב
  • lookml_project
  • מודל
  • תצוגה

מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש זמין בדף התיעוד בנושא תחביר החיפוש ב-Knowledge Catalog.

השבתת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core)

כדי להשבית את השילוב של Knowledge Catalog ומופע Looker (Google Cloud core), מבצעים את השלבים הבאים.

console

  1. בכרטיסייה פרטים בדף מופע של המופע, לוחצים על עריכה.
  2. מרחיבים את הקטע Knowledge Catalog integration.
  3. מסמנים את תיבת הסימון ביטול ההסכמה לשילוב עם Knowledge Catalog.
    • הערה: השבתה של ההגדרה הזו משביתה גם את ההטמעה של מטא-נתונים וגם את שושלת הנתונים (אם Data Lineage API מופעל).
  4. לוחצים על Save.

gcloud

משתמשים בפקודה gcloud looker instances update עם הדגל --no-catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם המכונה של Looker (Google Cloud core).

אם משביתים את השילוב אחרי שהפעלתם אותו, המטא-נתונים של Looker שכבר נמצאים ב-Knowledge Catalog יישארו ב-Knowledge Catalog, אבל הם לא יתעדכנו במטא-נתונים חדשים.

VPC Service Controls

השילוב בין Looker (Google Cloud core) לבין Knowledge Catalog תומך ב-VPC Service Controls.

אם המשאבים של מופע Looker (Google Cloud core) או של Knowledge Catalog נמצאים בגבולות גזרה לשירות של VPC Service Controls, צריך לוודא שיש גישה לשירותים שנדרשים לייצוא מטא-נתונים.

  • מוודאים ש-Dataplex API‏ (dataplex.googleapis.com) מוגדר כשירות מוגבל בגבולות הגזרה שלכם.
  • השילוב משתמש בקטגוריות פנימיות של Cloud Storage כדי להעביר מטא-נתונים. מוודאים שגבולות הגזרה לשירות מאפשרים גישה למשאבים הנדרשים ב-Cloud Storage. אם נתקלתם בשגיאות שקשורות לייצוא מטא-נתונים, אתם יכולים לפנות לצוות ניהול החשבון או לצוות התמיכה. Google Cloud PERMISSION_DENIED

תמחור

לא תחויבו על אחסון מטא-נתונים טכניים של Looker (Google Cloud core) ב-Knowledge Catalog. התמחור הרגיל של Knowledge Catalog חל על קריאות ל-API ועל העשרה נוספת של מטא-נתונים עסקיים. מידע נוסף מופיע בדף המחירון של Knowledge Catalog.

מגבלות

בקטע הזה מפורטות המגבלות של השימוש ב-Looker (Google Cloud core) וב-Knowledge Catalog:

  • הנתונים מהמטא-נתונים של Looker לא זמינים בקטלוג באופן מיידי. תהליך הסנכרון של הקבוצות פועל במרווחי זמן קבועים, ורענון הנתונים מתבצע בערך כל שעה.
  • אין API ציבורי שחשוף לשילוב הזה.
  • מידע על מגבלות של Data Lineage מופיע בדף מעקב אחרי השתלשלות הנתונים באמצעות Knowledge Catalog.

המאמרים הבאים