ניהול נכסי נתונים באגם

בדף הזה מוסבר איך להוסיף, לשדרג ולהסיר קטגוריות של Cloud Storage ומערכי נתונים של BigQuery כנכסים באזורים קיימים של Dataplex Universal Catalog.

סקירה כללית

נכס ממופה לנתונים שמאוחסנים ב-Cloud Storage או ב-BigQuery. אפשר למפות נתונים שמאוחסנים בפרויקטים נפרדים כנכסים לאזור יחיד באגם. Google Cloud אתם יכולים לצרף קטגוריות קיימות של Cloud Storage או מערכי נתונים של BigQuery לניהול מתוך האגם.

הערה: אי אפשר לנהל נכסים מצורפים באמצעות אזור נתונים או אגם נתונים אחרים.

לפני שמתחילים

• אם עדיין לא עשיתם זאת, צרו אגם ואזור באגם הזה.

• רוב הפקודות של gcloud lakes דורשות מיקום. אפשר לציין את המיקום באמצעות הדגל --location.

תפקידים והרשאות נדרשים

כדי לנהל נכסים ב-Dataplex Universal Catalog, המשתמשים צריכים הרשאות לביצוע פעולות ניהול, וחשבון השירות של Dataplex Universal Catalog צריך הרשאות גישה למשאבים הבסיסיים.

כדי להוסיף נכסים או להסיר אותם, צריך להקצות למשתמשים תפקידים ב-IAM שכוללים את ההרשאות הנדרשות (למשל dataplex.assets.create ו-dataplex.assets.delete). התפקידים המוגדרים מראש Dataplex Admin (roles/dataplex.admin) ו-Dataplex Editor (roles/dataplex.editor), או התפקידים מדור קודם Owner (roles/owner) ו-Editor (roles/editor), כוללים את ההרשאות האלה.

כשמצרפים משאב (קטגוריה של Cloud Storage או מערך נתונים ב-BigQuery) לאגם, Dataplex Universal Catalog משתמש בחשבון השירות שלו כדי ליצור אינטראקציה עם המשאב הזה.

• אם המשאב נמצא באותו פרויקט כמו האגם, ההרשאות מוענקות לחשבון השירות באופן מרומז.
• אם המשאב נמצא בפרויקט אחר מזה של האגם, צריך להעניק לחשבון השירות הרשאות גישה למשאב באופן מפורש, כמו שמתואר בקטעים הבאים.

מידע נוסף זמין במאמר IAM ובקרת גישה ב-Dataplex Universal Catalog.

הענקת תפקידים לקטגוריות של Cloud Storage

כדי לצרף קטגוריה של Cloud Storage מפרויקט אחר, צריך להעניק הרשאות לחשבון השירות של Dataplex Universal Catalog ([e-mail]) באחת מהדרכים הבאות:

• הרשאות ברמת הפרויקט: מקצים לחשבון השירות את התפקיד roles/dataplex.serviceAgent בפרויקט שמכיל את הקטגוריה. ההרשאה הזו מעניקה ל-Dataplex Universal Catalog הרשאות אדמין בכל הקטגוריות בפרויקט, וכך הוא יכול לנהל את ההרשאות בקטגוריות המצורפות.

• הרשאות ברמת הקטגוריה: כדי לקבל שליטה מדויקת יותר, משתמשים בפקודה gcloud dataplex lakes authorize כדי לתת לחשבון השירות את ההרשאות הנדרשות רק בקטגוריה ספציפית.

הקצאת תפקידים למערכי נתונים ב-BigQuery

כדי לצרף מערך נתונים ב-BigQuery מפרויקט אחר, צריך להעניק לחשבון השירות של Dataplex Universal Catalog את התפקיד BigQuery Administrator (roles/bigquery.admin) במערך הנתונים.

שיקולים לגבי VPC Service Controls

‫Dataplex Universal Catalog לא מפר את היקפי האבטחה של VPC Service Controls. לפני שמוסיפים נכס לאגם, צריך לוודא שהקטגוריה או מערך הנתונים הבסיסיים נמצאים באותה רשת של VPC Service Controls כמו האגם.

מידע נוסף זמין במאמר VPC Service Controls עם Dataplex Universal Catalog.

הוספת נכס

הערה: אפשר ליצור כמה נכסים באזור נתונים בו-זמנית. אפשר להמשיך להשתמש באזור הנתונים בזמן שהנכס מתווסף.

אם אין חפיפה בין האזור של אגם Dataplex Universal Catalog לבין האזור של אחת מקטגוריות Cloud Storage, אי אפשר להוסיף את הקטגוריה לאזור באגם.

מידע נוסף על מיקום האזור של נכס ב-Cloud Storage ועל האופן שבו Dataplex Universal Catalog מטפל במיקום של קטגוריה כשיוצרים את מערך הנתונים לפרסום זמין במאמר משאבים אזוריים.

כדי להוסיף נכס:

המסוף

1. במסוף Google Cloud , נכנסים לדף Lakes בקטלוג האוניברסלי של Dataplex.

   כניסה לדף Lakes

2. לוחצים על האגם שאליו רוצים להוסיף קטגוריה של Cloud Storage או מערך נתונים של BigQuery. ייפתח הדף של האגם.

3. בכרטיסייה אזורים, לוחצים על שם אזור הנתונים שאליו רוצים להוסיף את הנכס. ייפתח הדף Data zone של אזור הנתונים הזה.

4. בכרטיסייה נכסים, לוחצים על + הוספת נכסים. נפתח הדף הוספת נכסים.

5. לוחצים על הוספת נכס.

6. בשדה סוג, בוחרים באפשרות מערך נתונים ב-BigQuery או קטגוריה של Cloud Storage.

7. בשדה שם לתצוגה, מזינים שם לנכס החדש.

8. בשדה מזהה מזינים מזהה ייחודי לנכס.

9. אופציונלי: מזינים תיאור.

10. בשדה מערך נתונים או קטגוריה (בהתאם לסוג הנכס), לוחצים על עיון כדי למצוא ולבחור את הקטגוריה של Cloud Storage או את מערך הנתונים של BigQuery.

11. אופציונלי: אם סוג הנכס הוא קטגוריה של Cloud Storage ואתם רוצים ש-Dataplex Universal Catalog ינהל את הנכס, מסמנים את תיבת הסימון Upgrade to Managed. אם בוחרים באפשרות הזו, לא צריך לשדרג את הנכס בנפרד. האפשרות הזו לא זמינה למערכי נתונים של BigQuery.

12. לוחצים על Continue.

13. בוחרים את שאר ערכי הפרמטר. מידע נוסף על הגדרות האבטחה זמין במאמר בנושא אבטחת Lake.

14. לוחצים על שליחה.

15. מוודאים שחזרתם לדף של אזור הנתונים, ושנכס חדש מופיע ברשימת הנכסים.

REST

כדי להוסיף נכס, משתמשים ב-method‏ lakes.zones.assets.create.

אם ההוספה מצליחה, אזור הנתונים עובר אוטומטית למצב פעיל. אם הפעולה נכשלת, אז אזור הנתונים חוזר למצב תקין קודם.

שדרוג נכס בקטגוריה של Cloud Storage

כשמוסיפים נכס מסוג קטגוריה של Cloud Storage,‏ Dataplex Universal Catalog מפרסם באופן אוטומטי טבלאות חיצוניות ב-BigQuery עבור הטבלאות שמתארחות בנכס.

כשמשדרגים נכס של קטגוריית Cloud Storage, Dataplex Universal Catalog מסיר את הטבלאות החיצוניות המצורפות ויוצר טבלאות BigLake. טבלאות BigLake תומכות באבטחה מדויקת יותר, כולל אבטחה ברמת השורה, ברמת העמודה והסתרה דינמית של נתונים.

הערה: נתונים לא מובנים מסוג Fileset בדליים של Cloud Storage, שמסומנים בסימן Managed, מתפרסמים כטבלאות אובייקטים ב-BigQuery.

כדי לשדרג נכס של קטגוריה ב-Cloud Storage:

המסוף

1. במסוף Google Cloud , נכנסים לדף Lakes בקטלוג האוניברסלי של Dataplex.

   כניסה לדף Lakes

2. לוחצים על שם האגם. ייפתח הדף של האגם.

3. בכרטיסייה אזורים, לוחצים על השם של אזור הנתונים. ייפתח דף אזור הנתונים.

4. בכרטיסייה נכסים, לוחצים על שם הנכס שרוצים לשדרג.

5. לוחצים על שדרוג לניהול.

REST

כדי לשדרג נכס של קטגוריית מידע, משתמשים בשיטה lakes.zones.assets.patch.

הורדת רמת הנכס של קטגוריה של Cloud Storage

כשמבצעים שדרוג לאחור של נכס מסוג קטגוריה של Cloud Storage,‏ Dataplex Universal Catalog מסיר את טבלאות BigLake המצורפות ויוצר טבלאות חיצוניות.

המסוף

1. במסוף Google Cloud , נכנסים לדף Lakes בקטלוג האוניברסלי של Dataplex.

   כניסה לדף Lakes

2. לוחצים על שם האגם. ייפתח הדף של האגם.

3. בכרטיסייה אזורים, לוחצים על השם של אזור הנתונים. ייפתח דף אזור הנתונים.

4. בכרטיסייה נכסים, לוחצים על שם הנכס שרוצים לשדרג.

5. לוחצים על Downgrade from Managed (שדרוג לאחור ממינוי מנוהל).

REST

כדי לשנמך נכס של קטגוריה, משתמשים ב-method ‏lakes.zones.assets.patch. חשוב לוודא שהגדרתם את השדה readAccessMode לערך DIRECT ב-ResourceSpec.

הסרת נכס

כדי לצרף את הנכס לאזור נתונים או לאגם נתונים אחר, קודם צריך להסיר אותו מאזור הנתונים או מאגם הנתונים הנוכחי.

הערה: כשמסירים את קטגוריית Cloud Storage מאזור הנתונים או מאגם הנתונים, היא לא נמחקת. אם צריך, צריך למחוק אותו באופן מפורש.

כדי להסיר נכס:

המסוף

1. במסוף Google Cloud , נכנסים לדף Lakes בקטלוג האוניברסלי של Dataplex.

   כניסה לדף Lakes

2. לוחצים על האגם שממנו רוצים להסיר קטגוריה של Cloud Storage או מערך נתונים של BigQuery. ייפתח דף האגם של אותו אגם.

3. בכרטיסייה אזורים, לוחצים על השם של אזור הנתונים שממנו רוצים להסיר את קטגוריית Cloud Storage או את מערך הנתונים ב-BigQuery. ייפתח הדף Data zone של אזור הנתונים הזה.

4. בכרטיסייה נכסים, מסמנים את התיבה שמימין לשם הנכס כדי לבחור אותו.

5. לוחצים על מחיקת הנכס.

6. בתיבת הדו-שיח לאישור, לוחצים על מחיקה.

REST

כדי להסיר קטגוריה, משתמשים בשיטה lakes.zones,assets.delete.

המאמרים הבאים

• מידע נוסף על גילוי נתונים
• איך יוצרים אגם
• מידע נוסף על יומני ביקורת של Cloud