שיטות מומלצות לשימוש ב-Dataplex Universal Catalog

במסמך הזה מפורטות הנחיות ושיטות מומלצות לשימוש ב-Dataplex Universal Catalog.

בחירת פרויקט לאגם

כשבוחרים את הפרויקט שבו רוצים לארח את האגם, כדאי להביא בחשבון את הגורמים הבאים:

  • הפרויקט צריך להיות שייך לאותו מתחם אבטחה היקפית של VPC Service Controls כמו הנתונים שמיועדים להיכלל באגם.

  • לחשבון השירות של האגם נדרשות הרשאות אדמין בקטגוריות של Cloud Storage או במערכי הנתונים של BigQuery. ב-Dataplex Universal Catalog נוצרות טבלאות חיצוניות ב-BigQuery לטבלאות שמתגלות ב-Cloud Storage. בנוסף, ב-Dataplex Universal Catalog אפשר לקבל מטא-נתונים של טבלאות ב-BigQuery וטבלאות שמתגלות בקטגוריה של Cloud Storage, בשירות Dataproc Metastore. ‫Dataproc Metastore נמצא בפרויקט של אגם הנתונים.

הגדרות ומגבלות של Cloud Storage

  • אזור: Dataplex Universal Catalog תומך בקטגוריות של אזור יחיד ושל מספר אזורים בחלק מGoogle Cloud האזורים.

  • סוג אחסון: נתמכות קטגוריות של Cloud Storage מכל סוגי האחסון (Standard,‏ Nearline,‏ Coldline ו-Archive). יכול להיות שיהיו עלויות נוספות על אחזור נתונים אם תגשו לנתונים ב-Nearline, ב-Coldline או בארכיון או תסרקו אותם.

  • רשימת ACL של קטגוריה: Dataplex Universal Catalog תומך רק בקטגוריות של Cloud Storage עם אמצעי בקרה אחידים לגישה. אין תמיכה באמצעי בקרת גישה פרטניים.

  • מגיש הבקשה משלם: לא ניתן להשתמש בקטגוריות של Cloud Storage שמופעלת בהן התכונה מגיש הבקשה משלם.

הנחיות בנושא אבטחה והרשאות

כדי להשתמש ב-Dataplex Universal Catalog, צריך להוסיף את חשבונות השירות של Dataplex Universal Catalog כחשבון שירות אדמיניסטרטיבי בקטגוריות ובמערכי נתונים מנוהלים.

הקטלוג האוניברסלי של Dataplex מאפשר לאנליסטים לגשת לקטגוריות של Cloud Storage ולמערכי נתונים של BigQuery בפרויקטים רבים. כדי לאפשר את הגישה הזו, צריך להוסיף לפרויקטים האלה את חשבונות השירות של Dataplex Universal Catalog עם אמצעי בקרה אדמיניסטרטיביים.

כדי לאפשר גילוי, Dataplex Universal Catalog מוסיף את חשבון השירות של Dataproc Metastore למאגרי Cloud Storage. אם יש לכם אשכול Dataproc Metastore משלכם, יכול להיות שתרצו להשתמש בשירות Dataproc Metastore שלכם באגם של Dataplex Universal Catalog. זו אפשרות שמופיעה כשיוצרים את האגם.

אם בוחרים להוסיף קטגוריה ב-Cloud Storage עם גישה מפורטת לאגם, Dataplex Universal Catalog יספק גישה מלאה לקטגוריה הזו דרך האגם, כי ההרשאות של Dataplex Universal Catalog מועברות לכל האובייקטים בקטגוריה. אם אתם צריכים גישה עם הרשאות גרנולריות, מומלץ לפצל את הנתונים בקטגוריה לכמה קטגוריות.

המאמרים הבאים