מסוף Cloud Data Fusion, שנקרא גם מישור הבקרה, מאפשר לנהל מכונה של Cloud Data Fusion באמצעות קבוצה של פעולות API וממשק של מסוף Google Cloud . לדוגמה, אתם יכולים ליצור, למחוק, להפעיל מחדש או לעדכן מופע.
לפני שמתחילים
- מפעילים את Cloud Data Fusion API.
- הסבר על העלויות של מהדורות Cloud Data Fusion
- להבין את בקרת הגישה ואת חשבונות השירות ב-Cloud Data Fusion.
Cloud Data Fusion: סקירה כללית על המסוף
בקטעים הבאים מתוארים היבטים חשובים של המסוף.
מכונות
מכונה היא פריסה ייחודית של Cloud Data Fusion. כדי להתחיל להשתמש ב-Cloud Data Fusion, יוצרים מכונה במסוף Google Cloud . אפשר ליצור כמה מכונות של Cloud Data Fusion בפרויקט אחד ב-Google Cloud . אפשר לציין Google Cloud אזור לכל מופע. כל מכונה היא פריסה ייחודית ועצמאית של Cloud Data Fusion, שמכילה קבוצת שירותים שמטפלים בניהול מחזור החיים של צינור עיבוד הנתונים, בתזמור, בתיאום ובניהול המטא-נתונים. השירותים האלה פועלים באמצעות משאבים לטווח ארוך בפרויקט של דייר.
כשיוצרים את המופע, כדאי לשקול את האפשרויות הבאות.
מהדורה
יוצרים את המכונה באחת מהמהדורות הבאות של Cloud Data Fusion: Developer, Basic או Enterprise. בוחרים את המהדורה בהתאם לקריטריונים הבאים:
- עלות
- מגבלות על מספר ההרצות של צינורות עיבוד נתונים בו-זמנית
- זמינות של בקרת גישה מבוססת-תפקידים (RBAC)
המהדורות מיועדות לתרחישי השימוש הבאים:
| מהדורת Cloud Data Fusion | תרחיש שימוש |
|---|---|
| מהדורת Developer | לפיתוח, לבדיקה או לשילובים בהיקף קטן |
| מהדורה בסיסית | לסביבת ייצור עם צרכים מתונים |
| מהדורת Enterprise | ל-Data pipelines חיוניים בקנה מידה גדול עם RBAC |
מכונה ציבורית או פרטית
בהתאם לדרישות שלכם, החליטו אם אתם צריכים מכונה ציבורית או פרטית. ההבדלים העיקריים בין מופעים פרטיים לציבוריים ב-Cloud Data Fusion הם קישוריות הרשת והאבטחה:
| סוג המכונה של Cloud Data Fusion | התנהגות |
|---|---|
| מופע ציבורי |
|
| מופע פרטי |
|
הרשאה וחשבון שירות
בדרך כלל יש ל-Cloud Data Fusion שני חשבונות שירות:
- חשבון שירות בזמן התכנון
- חשבון השירות הזה, שמנוהל על ידי Google, נקרא "סוכן השירות של Cloud Data Fusion API". הוא משמש בפרויקט הדייר (tenant) של Cloud Data Fusion כדי לגשת למשאבים של פרויקט הלקוח.
- חשבון שירות בזמן הריצה
- זהו חשבון השירות שמשמש כברירת המחדל של Compute Engine, שנוצר על ידי Cloud Data Fusion כדי לפרוס משימות שצריכות לגשת למשאבים אחרים ב-Google Cloud . כברירת מחדל, הוא מחובר למכונה וירטואלית של אשכול Managed Service for Apache Spark כדי לאפשר ל-Cloud Data Fusion לגשת למשאבים של Managed Service for Apache Spark במהלך הרצת צינור עיבוד נתונים.
מידע נוסף זמין במאמר חשבונות שירות ב-Cloud Data Fusion.
רישום ביומן ומעקב
כדי לקבל תובנות לגבי התקינות והביצועים של צינורות הנתונים ב-Cloud Data Fusion, חשוב להשתמש ב-Cloud Logging וב-Cloud Monitoring. מפעילים את Cloud Logging ו-Cloud Monitoring רק כשיוצרים את מכונת Cloud Data Fusion.
הפעלת רישום ביומן ומעקב מאפשרת לכם לצפות ביומנים של צינורות Cloud Data Fusion במסוף Google Cloud בדף מציג היומנים.
ב-Monitoring יש לוחות בקרה מובנים ל-Cloud Data Fusion. אתם יכולים גם ליצור מרכזי בקרה בהתאמה אישית כדי לעקוב אחרי מדדים ספציפיים.
שילוב של שושלת נתונים עם Knowledge Catalog
ב-Cloud Data Fusion יש שילוב עם Knowledge Catalog למעקב אחרי שושלת נתונים. מידע נוסף זמין במאמר בנושא הצגת שרשרת המקורות ב-Knowledge Catalog.
הצפנה
מפתחות הצפנה בניהול הלקוח (CMEK) מאפשרים להצפין נתונים במנוחה באמצעות מפתח שניתן לשלוט בו דרך Cloud Key Management Service. מפתחות CMEK מאפשרים למשתמשים לשלוט בנתונים שנכתבים במשאבים הפנימיים של Google Cloud בפרויקטים של דיירים, ובנתונים שנכתבים על ידי צינורות עיבוד הנתונים של Cloud Data Fusion. מידע נוסף מופיע במאמר הצפנת נתונים בניהול הלקוח.
ניהול הרשאות באמצעות בקרת גישה מבוססת-תפקידים (RBAC)
בעזרת Cloud Data Fusion אפשר לשלוט בגישה באמצעות ניהול זהויות והרשאות גישה (IAM).
כדי להגדיר הרשאות פרטניות לפעולות שמבוצעות ב-Cloud Data Fusion: Studio, צריך להשתמש ב-RBAC. למידע נוסף, קראו את הסקירה הכללית על RBAC.
שדרוגי גרסאות
ל-Cloud Data Fusion יש גרסאות. אפשר לשדרג מכונה לגרסה עדכנית יותר במסוף Cloud Data Fusion. למידע נוסף, קראו את המאמר ניהול גרסאות ב-Cloud Data Fusion.