אבטחת האגם

במאמר הזה מוסבר איך לאבטח ולנהל את הגישה לאגמים של Dataplex Universal Catalog.

מודל האבטחה של Dataplex Universal Catalog מאפשר לכם לנהל את הרשאות המשתמשים למשימות הבאות:

  • ניהול אגם (יצירה וצירוף של נכסים, אזורים ואגמים נוספים)
  • גישה לנתונים שמחוברים לאגם דרך נכס המיפוי (לדוגמה,Google Cloud משאבים כמו קטגוריות של Cloud Storage ומערכי נתונים של BigQuery)
  • גישה למטא-נתונים על הנתונים שמקושרים לאגם

אדמין של אגם שולט בגישה למשאבים של Dataplex Universal Catalog, כמו אגם, אזור ונכסים, על ידי הענקת תפקידים בסיסיים ומוגדרים מראש.

תפקידים מוגדרים מראש

Google Cloud מנהל את התפקידים המוגדרים מראש שמאפשרים גישה פרטנית ל-Dataplex Universal Catalog.

תפקידים ב-Dataplex Universal Catalog

תפקיד תיאור
צפייה ב-Dataplex
(roles/dataplex.viewer)		 אפשרות לצפות באגם (אבל לא לערוך אותו) ובאזורים ובנכסים שהוגדרו בו.
עריכה ב-Dataplex
(roles/dataplex.editor)		 אפשרות לערוך את האגם. אפשרות ליצור ולהגדיר אגמים, אזורים, נכסים ומשימות.
אדמין של Dataplex
(roles/dataplex.administrator)		 אפשרות לנהל אגם באופן מלא.
Dataplex Developer
(roles/dataplex.developer)		 יכולת להריץ עומסי עבודה של ניתוח נתונים באגם. הפעולות האלה כוללות יצירה והגדרה של תוכן ומשימות, והרצת קוד בסביבות המוגדרות. התפקיד הזה לא מעניק הרשאות ליצור טבלאות ב-BigQuery או להריץ משימות Spark. *
* כדי לשלוח שאילתה לטבלה ב-BigQuery, אתם צריכים הרשאה להריץ משימה ב-BigQuery. מגדירים את ההרשאה הזו בפרויקט שרוצים לשייך אליו את ההוצאות על מחשוב של העבודה או לחייב אותו עליהן. מידע נוסף זמין במאמר תפקידים והרשאות של IAM ב-BigQuery.
כדי להריץ משימת Spark, יוצרים אשכולות Dataproc ושולחים משימות Dataproc בפרויקט שרוצים לשייך לו את החיוב על השימוש במחשוב.

תפקידים של מטא-נתונים

תפקידים של מטא-נתונים מאפשרים לצפות במטא-נתונים, כמו סכימות של טבלאות.

תפקיד תיאור
Dataplex Metadata Writer
(roles/dataplex.metadataWriter)		 אפשרות לעדכן את המטא-נתונים של משאב מסוים.
קריאת מטא-נתונים ב-Dataplex
(roles/dataplex.metadataReader)		 יכולת לקרוא את המטא-נתונים (לדוגמה, כדי להריץ שאילתה בטבלה).

תפקידים בנתונים

הקצאת תפקידים לגישה לנתונים לחשבון משתמש מאפשרת לו לקרוא או לכתוב נתונים במשאבים הבסיסיים שאליהם מפנים הנכסים של האגם.

ב-Dataplex Universal Catalog, התפקידים ממופים לתפקידי הנתונים של כל משאב אחסון בסיסי, כמו Cloud Storage ו-BigQuery.

‫Dataplex Universal Catalog מתרגם ומפיץ את תפקידי הנתונים של Dataplex Universal Catalog למשאב האחסון הבסיסי, ומגדיר את התפקידים הנכונים לכל משאב אחסון. אפשר להעניק תפקיד יחיד של נתונים ב-Dataplex Universal Catalog בהיררכיית האגם (לדוגמה, אגם), ו-Dataplex Universal Catalog שומר על הגישה שצוינה לנתונים בכל המשאבים שמחוברים לאותו אגם (לדוגמה, קטגוריות של Cloud Storage ומערכי נתונים ב-BigQuery נקראים נכסים באזורים הבסיסיים).

לדוגמה, אם נותנים לחשבון משתמש את התפקיד dataplex.dataWriter באגם, החשבון מקבל הרשאת כתיבה לכל הנתונים באגם, באזורים ובנכסים הבסיסיים שלו. תפקידים עם גישה לנתונים שניתנו ברמה נמוכה יותר (אזור) עוברים בירושה בהיררכיית האגם לנכסים הבסיסיים.

תפקיד תיאור
קריאת נתונים ב-Dataplex
(roles/dataplex.dataReader)		 אפשרות לקרוא נתונים מאחסון שמצורף לנכסים, כולל מאגרי אחסון ומערכי נתונים ב-BigQuery (והתוכן שלהם). *
Dataplex Data Writer
(roles/dataplex.dataWriter)		 יכולת לכתוב למשאבים הבסיסיים שאליהם מצביע הנכס. *
בעלי נתונים ב-Dataplex
(roles/dataplex.dataOwner)		 מעניק את תפקיד הבעלים למשאבים הבסיסיים, כולל היכולת לנהל משאבי צאצא. לדוגמה, כבעלי הנתונים של מערך נתונים ב-BigQuery, אתם יכולים לנהל את הטבלאות הבסיסיות.

אבטחת האגם

אתם יכולים לאבטח את האגם ולנהל את הגישה אליו ואל הנתונים שמצורפים אליו. במסוף Google Cloud , משתמשים באחד מהתצוגות הבאות:

  • התצוגה Manage של Dataplex Universal Catalog בכרטיסייה Permissions
  • התצוגה Secure ב-Dataplex Universal Catalog

שימוש בתצוגה ניהול

בכרטיסייה הרשאות אפשר לנהל את כל ההרשאות במשאב של אגם נתונים, ומוצגת בה תצוגה לא מסוננת של כל ההרשאות, כולל אלה שמועברות בירושה.

כדי לאבטח את האגם, מבצעים את השלבים הבאים:

  1. במסוף Google Cloud , נכנסים לדף Lakes בקטלוג האוניברסלי של Dataplex.

    כניסה לדף Lakes

  2. לוחצים על השם של האגם שיצרתם.

  3. לוחצים על הכרטיסייה Permissions.

  4. לוחצים על הכרטיסייה View by Roles (תצוגה לפי תפקידים).

  5. לוחצים על הוספה כדי להוסיף תפקיד חדש. מוסיפים את התפקידים Dataplex Data Reader,‏ Data Writer ו-Data Owner.

  6. מוודאים שהתפקידים Dataplex Data Reader,‏ Data Writer ו-Data Owner מופיעים.

שימוש בתצוגה מאובטחת

התצוגה Secure ב-Dataplex Universal Catalog במסוף Google Cloud כוללת את הפרטים הבאים:

  • תצוגה שניתן לסנן בה רק את התפקידים ב-Dataplex Universal Catalog שמתמקדים במשאב ספציפי
  • הפרדה בין תפקידי נתונים לבין תפקידי משאבים באגם הנתונים
דוגמה להרשאות גישה לנתונים שלא מועברות בירושה ממשאבים ברמה גבוהה יותר באגם
איור 1: בדוגמה הזו של אגם, לשני הגורמים המורשים יש הרשאות גישה לנתונים בנכס שנקרא Cloud Storage data (GCS data). ההרשאות האלה לא עוברות בירושה ממשאבי אגם ברמה גבוהה יותר.


דוגמה להרשאות שלא עוברות בירושה ממשאבים ברמה גבוהה יותר של האגם
איור 2: בדוגמה הזו מוצגים:
  1. חשבון שירות שיורש את תפקיד האדמין של Dataplex מהפרויקט.
  2. חשבונות משתמשים (כתובת אימייל) שמקבלים בירושה את התפקידים 'עריכה' ו'צפייה' ב-Dataplex מהפרויקט. אלה התפקידים שחלים על כל המשאבים.
  3. חשבון ראשי (כתובת אימייל) שיורש את התפקיד Dataplex Administrator מהפרויקט.

ניהול המדיניות

אחרי שמציינים את מדיניות האבטחה, Dataplex Universal Catalog מעביר את ההרשאות למדיניות IAM של המשאבים המנוהלים.

מדיניות האבטחה שמוגדרת ברמת האגם מועברת לכל המשאבים שמנוהלים באותו אגם. ב-Dataplex Universal Catalog אפשר לראות את סטטוס ההפצה של ההרשאות האלה. כדי לעשות את זה, עוברים לכרטיסייה Manage > Permissions (ניהול > הרשאות). הוא עוקב באופן רציף אחרי המשאבים המנוהלים כדי לזהות שינויים במדיניות IAM מחוץ ל-Dataplex Universal Catalog.

משתמשים שכבר יש להם הרשאות למשאב מסוים ממשיכים לקבל אותן אחרי שמצרפים את המשאב לאגם של Dataplex Universal Catalog. באופן דומה, תפקידים שאינם Dataplex Universal Catalog שנוצרו או עודכנו אחרי צירוף המשאב ל-Dataplex Universal Catalog לא משתנים.

הגדרת מדיניות ברמת העמודה, השורה והטבלה

לנכסי קטגוריות של Cloud Storage מצורפות טבלאות חיצוניות ב-BigQuery.

אתם יכולים לשדרג נכס של קטגוריה ב-Cloud Storage, כלומר, Dataplex Universal Catalog מסיר את הטבלאות החיצוניות המצורפות ומצרף במקומן טבלאות BigLake.

אתם יכולים להשתמש בטבלאות BigLake במקום בטבלאות חיצוניות כדי לקבל בקרת גישה מדויקת, כולל אמצעי בקרה ברמת השורה, אמצעי בקרה ברמת העמודה ואנונימיזציה של נתוני עמודות.

אבטחת מטא-נתונים

מטא-נתונים מתייחסים בעיקר למידע על סכימה שמשויך לנתוני משתמשים שנמצאים במשאבים שמנוהלים על ידי אגם.

התכונה 'גילוי קטלוג אוניברסלי' ב-Dataplex בודקת את הנתונים במשאבים מנוהלים ומחלצת מידע על סכימות טבלאיות. הטבלאות האלה מתפרסמות במערכות BigQuery,‏ Dataproc Metastore ו-Data Catalog (הוצא משימוש).

BigQuery

לכל טבלה שמתגלה יש טבלה משויכת שרשומה ב-BigQuery. לכל אזור יש מערך נתונים משויך ב-BigQuery שבו רשומות כל הטבלאות החיצוניות שמשויכות לטבלאות שהתגלו באזור הנתונים הזה.

הטבלאות שמתארחות ב-Cloud Storage שמתגלות נרשמות במערך הנתונים שנוצר לאזור.

Dataproc Metastore

מסדי נתונים וטבלאות זמינים ב-Dataproc Metastore שמשויך למופע של אגם Dataplex Universal Catalog. לכל אזור נתונים יש מסד נתונים משויך, ולכל נכס יכולות להיות טבלה משויכת אחת או יותר.

הנתונים בשירות Dataproc Metastore מאובטחים באמצעות הגדרת רשת VPC-SC. מופע Dataproc Metastore מסופק ל-Dataplex Universal Catalog במהלך יצירת אגם הנתונים, ולכן הוא כבר משאב בניהול המשתמש.

Data Catalog

לכל טבלה שמתגלה יש רשומה משויכת ב-Data Catalog (יצא משימוש), כדי לאפשר חיפוש וגילוי.

כשיוצרים רשומה בקטלוג הנתונים, צריך לציין את שמות מדיניות ה-IAM. לכן, Dataplex Universal Catalog מספק את שם מדיניות ה-IAM של משאב הנכס של Dataplex Universal Catalog שאליו צריך לשייך את הרשומה. כתוצאה מכך, ההרשאות ברשומה של Dataplex Universal Catalog מושפעות מההרשאות במשאב הנכס. מעניקים את התפקיד Dataplex Metadata Reader (קורא מטא-נתונים של Dataplex) ‏(roles/dataplex.metadataReader) ואת התפקיד Dataplex Metadata Writer (כותב מטא-נתונים של Dataplex) ‏(roles/dataplex.metadataWriter) במשאב הנכס.

המאמרים הבאים