ניהול משאבים של Looker (Google Cloud Core)‎ באמצעות Knowledge Catalog

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לדווח על בעיות בתכונת התצוגה המקדימה הזו, אפשר להשתמש בטופס הדיווח על בעיות והמשוב.

באמצעות Knowledge Catalog אפשר להוסיף לאינדקס, לאחסן ולנהל מטא-נתונים של LookML, פרויקט של LookML ולוחות בקרה ממופעי Looker (ליבת Google Cloud). השילוב הזה מספק תצוגה יחידה של נכסי הנתונים והקשרים ביניהם, כולל השתלשלות הנתונים, כדי שתוכלו לבצע גילוי נתונים, ניתוח השפעה וניהול שינויים.

איך השילוב פועל

השילוב של Looker וקטלוג הידע משתמש במחבר צד ראשון להטמעה של מטא-נתונים. ‫Looker (Google Cloud core) מפרסם מטא-נתונים של LookML במאגרי Cloud Storage אזוריים כדי ש-Knowledge Catalog יוכל להשתמש בהם באמצעות תהליך סנכרון באצ' (batch).

העברת נתונים מ-Looker (Google Cloud core) אל Knowledge Catalog היא אוטומטית כברירת מחדל ולא נדרשים שינויים בהגדרות. ‫Looker (Google Cloud core) משתמש בשירותים פנימיים כדי לבצע את הסנכרון. תהליך הסנכרון הפנימי של האצווה פועל בערך כל ארבע שעות, והנתונים מ-Looker מתעדכנים בערך כל שעה ב-Knowledge Catalog.

כשמעדכנים את מודלי LookML ומעבירים אותם לסביבת הייצור, המערכת מסנכרנת אוטומטית את המטא-נתונים העיקריים עם Knowledge Catalog. המטא-נתונים האלה כוללים פרטים על התצוגה ועל הכלי 'ניתוח נתונים', הגדרות של שדות ופרטי המודל. באופן דומה, המטא-נתונים של לוחות הבקרה, כולל הכותרות, הבעלות ונתוני השימוש, מופיעים בקטלוג.

‫Knowledge Catalog אוסף את רמות הישות הבאות מ-Looker:

• מופע ב-Looker
• מרכז שליטה
• רכיב בלוח הבקרה
• טבלת Look
• פרויקט של LookML
• דגם
• שלב שני
• תצוגה (כוללת מאפיינים ומדדים)

מתי כדאי להשתמש ב-Knowledge Catalog עם Looker

אתם יכולים להשתמש ב-Knowledge Catalog כדי לגלות את המטא-נתונים של Looker, להבין אותם ולנהל אותם. כך תוכלו לקבל החלטות מושכלות, לשלב נתונים בתהליכי עבודה תפעוליים ולמצוא שימושים חדשים לנתונים שלכם. הקטלוג עוזר בפעילויות הבאות:

• ניתוח השפעה: אפשר להשתמש בשקיפות נתונים כדי לראות איך הנתונים זורמים מ-BigQuery ללוחות בקרה ב-Looker.
• גילוי: חיפוש לוחות בקרה, ניתוחים ותצוגות ברחבי הארגון.
• ניהול שינויים: חשוב להבין את התלות בין הרכיבים לפני שמבצעים שינויים.
• צינורות להעברת נתונים: מעקב אחר מקור הנתונים.

באמצעות Knowledge Catalog, אפשר גם לאצור מטא-נתונים על ידי צירוף היבטים לרשומות של מטא-נתונים ב-Looker. כשמצרפים היבטים לנכסי Looker, אפשר להוסיף מטא-נתונים עסקיים לנכסים ולחפש נכסים לפי המטא-נתונים האלה.

ההרשאות הנדרשות

כדי לקבל את ההרשאות שנדרשות לשימוש בשילוב של Knowledge Catalog ו-Looker (Google Cloud core), צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט שבו נמצא מופע Looker (Google Cloud core):

• כדי לצפות במשאבים של Knowledge Catalog: צפייה ב-Dataplex (roles/dataplex.viewer)

• כדי לגשת למטא-נתונים של Looker (Google Cloud Core)‎ ב-Knowledge Catalog: כלי לצפייה בסכימה של Looker ‏ (roles/looker.schemaViewer)

  • התפקיד המוגדר מראש Looker Schema Viewer כולל את ההרשאה looker.schemas.view, שנדרשת כדי לגשת למטא-נתונים של Looker (Google Cloud core) ב-Knowledge Catalog.
  הערה: אפשר להוסיף את התפקיד Looker Schema Viewer רק באמצעות Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  מידע נוסף זמין במאמרי העזרה בנושא add-iam-policy-binding.

• כדי להשבית או להפעיל את השילוב בין Knowledge Catalog לבין Looker (ליבת Google Cloud): אדמין Looker (roles/looker.admin)

• כדי לראות את הגרפים של שושלת הנתונים: צפייה בשושלת הנתונים (roles/datalineage.viewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

שימו לב: צריך לתת את התפקיד Looker Schema Viewer (צפייה בסכימה של Looker) או את ההרשאה looker.schema.view ברמת הפרויקט. משתמשים עם ההרשאה הזו יכולים לראות את המטא-נתונים של כל המופעים של Looker (Google Cloud core) בפרויקט שבהם השילוב מופעל.

הפעלת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core)

התכונה 'קטלוג הידע' מופעלת כברירת מחדל במופעי Looker (Google Cloud core). כדי להשבית את השילוב, אפשר לעיין בקטע השבתת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core) בדף התיעוד הזה.

אם השילוב מושבת במופע שלכם ואתם רוצים להפעיל אותו, אתם צריכים לבצע את השלבים הבאים:

console

1. מפעילים את Dataplex API. כדי לראות את המטא-נתונים שמועברים, צריך להפעיל את Cloud Dataplex API ‏ (dataplex.googleapis.com) בפרויקט Google Cloud שמארח את מופע Looker (Google Cloud core).

   הפעלת Dataplex API

2. בכרטיסייה פרטים בדף מופע של המופע, לוחצים על עריכה.
3. מרחיבים את הקטע Knowledge Catalog integration.
4. מבטלים את הסימון של תיבת הסימון ביטול ההסכמה לשילוב עם Knowledge Catalog.
   • הערה: הפעלת ההגדרה הזו מפעילה גם את הטמעת המטא-נתונים וגם את היסטוריית הנתונים (אם Data Lineage API מופעל).
5. לוחצים על Save.

gcloud

חשוב לוודא ש-Dataplex API מופעל ב Google Cloud פרויקט שמארח את מופע Looker (Google Cloud core).

משתמשים בפקודה gcloud looker instances update עם הדגל --catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם המכונה של Looker (Google Cloud core).

אחרי שמפעילים את השילוב, יכול לחלוף עד יום עד שהנתונים של Looker יהיו זמינים ב-Knowledge Catalog.

חיפוש נכסים ב-Looker

כדי לראות נתונים של Looker (Google Cloud core) ב-Knowledge Catalog, צריך קודם להפעיל את Dataplex API. כדי לקבל את ההרשאה שנדרשת להפעלת ממשקי API, צריך להיות לכם תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin).

הפעלת Dataplex API

משתמשים בדף Search של Knowledge Catalog במסוף Google Cloud כדי לחפש נכסים של Looker (Google Cloud core).

עוברים אל חיפוש

בחלונית Filters (מסננים), אפשר לסנן נכסים של Looker (Google Cloud core) באמצעות הקטעים Project (פרויקט), System (מערכת) ו-Type aliases (כינויי סוג). בקטע System, אפשר לסנן לפי Looker. בקטע Type aliases (כינויי סוגים), אפשר לסנן את תוצאות החיפוש לפי סוג ספציפי של נכס Looker. כדי לעשות זאת, בוחרים אחת או יותר מהאפשרויות הבאות:

• מרכז שליטה
• רכיב בלוח הבקרה
• שלב שני
• פרויקט של LookML
• דגם
• Instance
• הצגה
• אחר

אפשר גם להשתמש בשדה החיפוש כדי לבצע שאילתות חיפוש. אפשר לבצע חיפוש לפי מילות מפתח או חיפוש בשפה טבעית. לדוגמה, כדי לראות את כל הנכסים של Looker באמצעות חיפוש מילות מפתח, מזינים system=Looker. כדי לראות את כל לוחות הבקרה של Looker, מזינים את השאילתה system=Looker AND type=DASHBOARD. הנכסים הבאים זמינים לחיפוש עם מילת המפתח type:

• לוח בקרה
• dashboard_element
• לחקור
• מכונה
• look
• lookml_project
• מודל
• תצוגה

למידע נוסף על חיפוש משאבים, אפשר לעיין במאמר חיפוש משאבים ב-Knowledge Catalog. במאמר תחביר החיפוש ב-Knowledge Catalog מוסבר על הביטויים שאפשר להשתמש בהם בשדה החיפוש.

השבתת השילוב של Knowledge Catalog ומופע Looker (Google Cloud core)

כדי להשבית את השילוב של Knowledge Catalog ומופע Looker (Google Cloud core), מבצעים את השלבים הבאים.

console

1. בכרטיסייה פרטים בדף מופע של המופע, לוחצים על עריכה.
2. מרחיבים את הקטע Knowledge Catalog integration.
3. מסמנים את תיבת הסימון ביטול ההסכמה לשילוב עם Knowledge Catalog.
   • הערה: השבתה של ההגדרה הזו משביתה גם את ההטמעה של מטא-נתונים וגם את שושלת הנתונים (אם Data Lineage API מופעל).
4. לוחצים על Save.

gcloud

משתמשים בפקודה gcloud looker instances update עם הדגל --no-catalog-integration-enabled כדי להפעיל את השילוב:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

מחליפים את INSTANCE_NAME בשם המכונה של Looker (Google Cloud core).

אם משביתים את השילוב אחרי שהפעלתם אותו, המטא-נתונים של Looker שכבר נמצאים ב-Knowledge Catalog יישארו שם, אבל הם לא יתעדכנו במטא-נתונים חדשים.

VPC Service Controls

השילוב בין Looker (הליבה של Google Cloud) לבין Knowledge Catalog תומך ב-VPC Service Controls.

אם המופע של Looker (Google Cloud core) או המשאבים של Knowledge Catalog נמצאים בגבולות גזרה לשירות של VPC Service Controls, צריך לוודא שיש גישה לשירותים הנדרשים לייצוא מטא-נתונים.

• מוודאים ש-Dataplex API‏ (dataplex.googleapis.com) מוגדר כשירות מוגבל בגבולות הגזרה.
• השילוב משתמש בקטגוריות פנימיות של Cloud Storage כדי להעביר מטא-נתונים. מוודאים שגבולות הגזרה לשירות מאפשרים גישה למשאבים הנדרשים ב-Cloud Storage. אם נתקלתם PERMISSION_DENIEDבשגיאות שקשורות לייצוא מטא-נתונים, אתם יכולים לפנות לצוות Google Cloud ניהול החשבון או לצוות התמיכה.

תמחור

אין חיוב על אחסון מטא-נתונים טכניים של Looker (Google Cloud core) ב-Knowledge Catalog. התמחור הרגיל של Knowledge Catalog חל על קריאות ל-API ועל העשרה של מטא-נתונים עסקיים נוספים. מידע נוסף מופיע בדף המחירון של Knowledge Catalog.

מגבלות

בקטע הזה מפורטות המגבלות של השימוש ב-Looker (Google Cloud core) וב-Knowledge Catalog:

• הנתונים מהמטא-נתונים של Looker לא זמינים בקטלוג באופן מיידי. תהליך הסנכרון של קבוצות הנתונים פועל במרווחי זמן קבועים, ורענון הנתונים מתבצע בערך כל שעה.
• אין API ציבורי שחשוף לשילוב הזה.
• מידע על מגבלות של Data Lineage מופיע בדף מעקב אחרי השתלשלות הנתונים באמצעות Knowledge Catalog.

המאמרים הבאים

• מעקב אחרי השתלשלות הנתונים באמצעות Knowledge Catalog.
• מידע נוסף על ניהול מטא-נתונים ב-Knowledge Catalog
• איך מחפשים משאבים ב-Knowledge Catalog
• איך מנהלים היבטים ומשפרים את המטא-נתונים