ניהול נכסי נתונים באמצעות Knowledge Catalog

ב-Knowledge Catalog מתבצע קטלוג אוטומטי של מטא-נתונים על משאבי Bigtable. התכונה הזו עוזרת לכם לחפש ולנהל את נכסי הנתונים שלכם ב-Bigtable.

המטא-נתונים מסתנכרנים אוטומטית מ-Bigtable אל Knowledge Catalog עבור משאבי Bigtable הבאים:

  • מכונות
  • אשכולות
  • טבלאות, כולל פרטים על קבוצת עמודות

Knowledge Catalog הוא שירות מנוהל לניהול מטא-נתונים. הוא מספק תצוגה מאוחדת ומנגנוני תיוג למטא-נתונים טכניים ועסקיים. מידע נוסף על Knowledge Catalog ועל הסיבות לשימוש בו זמין במאמר סקירה כללית של Knowledge Catalog.

היתרונות של שימוש ב-Knowledge Catalog עם Bigtable

המידע מ-Knowledge Catalog על הנתונים שלכם יכול לעזור לכם בניתוח, בשימוש חוזר בנתונים, בפיתוח אפליקציות ובניהול נתונים.

אפשר לחפש רשומות ב-Knowledge Catalog לפי פרטים, כמו שם המשאב. לדוגמה, אפשר לחפש שם של מופע כדי למצוא את הרשומה של מופע, או לחפש קבוצת עמודות כדי למצוא את הרשומה של טבלה. אפשר גם להשתמש בחיפוש עם היבטים, ולהחיל מסננים כדי לצמצם את החיפוש. מידע נוסף זמין במאמר חיפוש משאבים ב-Knowledge Catalog.

תיוג של נכסי נתונים יכול לעזור לכם להבין ולסווג את הנתונים שזמינים בטבלאות Bigtable, כדי שמשתמשים ב-Knowledge Catalog יוכלו לגלות את הנתונים ולחפש אותם בקלות, וכדי שתוכלו להשתמש בהם כחלק מנכסי הנתונים הגדולים יותר שלכם. אתם יכולים להשתמש בהיבטים כדי להוסיף מטא-נתונים משלכם למטא-נתונים שקוטלגו, ואז להשתמש בהיבטים האלה כדי לבצע חיפושים.

איך מתחילים להשתמש ב-Knowledge Catalog

כדי להתחיל להשתמש ב-Knowledge Catalog לניהול נכסי הנתונים שלכם ב-Bigtable, צריך לבצע את המשימות הבאות:

  1. מפעילים את Dataplex API.

  2. מקצים תפקידי IAM לחשבונות משתמשים שנדרשת להם גישה לרשומות Bigtable ב-Knowledge Catalog.

  3. איך מחפשים נכסי נתונים

  4. כדאי לעיין בתחביר החיפוש ב-Knowledge Catalog כדי להבין איך למצוא את המטא-נתונים.

  5. קריאה של המושגים בנושא תיוג רשומות ב-Knowledge Catalog. מידע נוסף זמין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.

דרכים לחפש מטא-נתונים של Bigtable

אפשר לחפש מטא-נתונים מסונכרנים של Bigtable באמצעות Knowledge Catalog.

בנוסף לפרדיקטים מוסמכים, אפשר לחפש משאבי Bigtable באמצעות שדות המטא-נתונים הבאים:

  • Instance

    • שם המכונה של Bigtable
    • מזהה מכונה של Bigtable
    • מיקום האשכול
    • מזהה אשכול

  • טבלה

    • מזהה טבלה
    • שם קבוצת העמודות
    • שם המכונה של Bigtable
    • מזהה מכונה של Bigtable

התפקידים הנדרשים

כדי לצפות במשאבי Bigtable, לתייג אותם ולחפש אותם ב-Knowledge Catalog, נדרשות הרשאות שונות. באופן כללי, כדאי להקצות לחשבונות של המשתמשים בארגון את התפקיד המינימלי שנדרש לביצוע משימה.

הרשאה לצפייה בהיבטים ציבוריים ופרטיים

כדי לקבל את ההרשאות שדרושות להצגת היבטים ציבוריים ופרטיים במשאבי Bigtable, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לראות את ההיבטים הציבוריים והפרטיים. אלה ההרשאות הנדרשות:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

הרשאה לחיפוש משאבי Bigtable

כדי לקבל את ההרשאות שדרושות לחיפוש משאבי Bigtable ב-Knowledge Catalog, צריך לבקש מהאדמין להקצות את תפקידי ה-IAM הבאים:

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לחיפוש משאבי Bigtable. אלה ההרשאות הנדרשות:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

הרשאה לצרף היבטים למשאבי Bigtable

כדי לקבל את ההרשאות שדרושות לצירוף היבטים למשאבי Bigtable ב-Knowledge Catalog, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות להוספת היבטים ציבוריים ופרטיים. אלה ההרשאות הנדרשות:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

אופציונלי: יצירת תפקיד בהתאמה אישית

אתם יכולים ליצור תפקיד בהתאמה אישית כדי להעניק אותו למשתמשים שזקוקים לגישה מלאה לכל המטא-נתונים של Bigtable ב-Knowledge Catalog בפרויקט או בארגון. אחר כך תוכלו להגדיר כל משתמש או חשבון שירות שזקוקים לגישה כמשתמש ראשי של התפקיד המותאם אישית. מידע נוסף על תפקידים בהתאמה אישית זמין במאמר תפקידים והרשאות.

בוחרים שם משמעותי לתפקיד, כמו Bigtable Dataplex Editor, ואז מקצים רק את החשבונות הראשיים שצריכים גישה לתפקיד. הוראות ההגדרה מופיעות במאמר בנושא יצירה וניהול של תפקידים בהתאמה אישית.

נותנים לתפקיד המותאם אישית את ההרשאות הבאות:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

מידע נוסף זמין במאמר הרשאות IAM ב-Knowledge Catalog. תיאורים של הרשאות Bigtable מופיעים במאמר בנושא הרשאות.

מגבלות

בקטע הבא מפורטות מגבלות שצריך לקחת בחשבון לפני שמשתמשים ב-Knowledge Catalog כדי לנהל את המטא-נתונים של Bigtable.

מגבלות מיקום

אם הארגון שלכם הגדיר אילוצים לגבי מיקום, יכול להיות שרשומות המטא-נתונים של משאבי Bigtable לא יסונכרנו עם Knowledge Catalog. כל הרשומות שנוצרו לפני שהוחלו מגבלות המיקום יישמרו ב-Knowledge Catalog.

כדי לאפשר ל-Knowledge Catalog לטעון משאבים, מומלץ להוסיף את global multi-region למדיניות המיקום.

חריג בשם של קבוצת עמודות

‫Dataplex API דוחה בקשות שבהן שם קבוצת העמודות בבקשה כולל נקודה (.). לדוגמה, אם שם קבוצת העמודות הוא personal.info.

המאמרים הבאים