בדף הזה מוסבר איך ליצור מופע של Cloud Data Fusion.
לפני שמתחילים
- הפעלת Cloud Data Fusion API.
- כדי ליצור מכונות Cloud Data Fusion, צריך את ההרשאה הבאה:
instances.create. מידע נוסף מופיע במאמר בקרת גישה. - מופעים של Cloud Data Fusion פועלים כחשבון השירות שמשמש כברירת המחדל של Compute Engine. מידע על הסוגים והתפקידים שזמינים מופיע במאמר חשבונות שירות.
- כברירת מחדל, צינורות עיבוד הנתונים מופעלים ב-Cloud Data Fusion באמצעות אשכול של Managed Service for Apache Spark בפרויקט. מוודאים שהפרויקט עומד בדרישות הרשת של Managed Service for Apache Spark.
- פרויקטים חדשים מתחילים עם רשת ברירת מחדל. הרשת שמוגדרת כברירת מחדל מאוכלסת מראש בכלל חומת האש default-allow-ssh, שמאפשר חיבורים נכנסים ביציאה 22 ב-TCP מכל מקור לכל מכונה ברשת. בגרסאות קודמות ל-6.2.0, אם הכלל הזה שמאפשר תעבורת נכנסת ביציאת TCP 22 לא קיים ברשת שבה נעשה שימוש במופע Cloud Data Fusion, צריך ליצור את הכלל הזה.
יצירת מופע
המסוף
אם ה-API מופעל, בקטע Cloud Data Fusion במסוף Google Cloud מופיע הדף Instances, שבו אפשר ליצור ולנהל את המופעים של Cloud Data Fusion.
- במסוף, עוברים לדף Cloud Data Fusion.
- לוחצים על Instances (מופעים) ואז על Create an instance (יצירת מופע).
- מזינים שם מכונה.
- מזינים תיאור למופע.
- מציינים את האזור שבו רוצים ליצור את המכונה.
- מציינים את הגרסה של Cloud Data Fusion.
- בוחרים מהדורה. ברירת המחדל היא בסיסי.
- אופציונלי: לוחצים על Add accelerators (הוספת מאיצים) כדי לבחור מאיצים לשימוש במופע.
- מציינים את חשבון השירות של Managed Service for Apache Spark שבו רוצים להשתמש להפעלת צינור Cloud Data Fusion ב-Managed Service for Apache Spark. ברירת המחדל היא חשבון Compute Engine. בכל הגרסאות, צריך לוודא שלחשבון השירות יש תפקידים מתאימים בניהול הזהויות והרשאות הגישה (IAM) בהתאם לצרכים שלכם. מידע נוסף זמין במאמר בנושא מתן הרשאה למשתמש בחשבון שירות.
אופציונלי: מציינים אפשרויות מתקדמות. אם לא תציינו כלום, המערכת תשתמש בערכי ברירת המחדל הבאים:
קטגוריה הגדרה תיאור ברירת מחדל כתובת IP פרטית הפעלת כתובות IP פנימיות יוצרים את מכונת Cloud Data Fusion עם כתובת IP פנימית. מושבת מעקב ורישום ביומן מתקדמים הפעלת Cloud Logging ב-Managed Service for Apache Spark
הפעלת Cloud Monitoring בשירות מנוהל ל-Apache Spark
צפייה ביומנים מתקדמים של צינור עיבוד נתונים ב-Cloud Logging. מושבת שילוב של נתוני שושלת (data lineage) מ-Knowledge Catalog הפעלה או השבתה של שילוב עם Knowledge Catalog מעקב אחר מקורות הנתונים הצגת שושלת נתונים ב-Knowledge Catalog מושבת הצפנה שימוש במפתח הצפנה בניהול הלקוח (CMEK) בגרסה 6.5 ואילך, אפשר להשתמש ב בקרת גישה מבוססת-תפקידים. מושבת תוויות צמד מפתח/ערך תוויות המשאבים של המופע שמשמשות להוספת הערות לכל המשאבים הבסיסיים שקשורים אליו, כמו מכונות וירטואליות של Compute Engine. המפתחות והערכים של התוויות יכולים להכיל רק אותיות, מספרים, מקפים וקווים תחתונים. המפתחות של התוויות צריכים להתחיל באות או במספר. ללא תחזוקה הפעלת חלון זמן לתחזוקה מגדירים את חלון הזמן שבו Cloud Data Fusion יכול לבצע פעולות תחזוקה במופע. מידע נוסף מופיע במאמר הגדרת חלונות תחזוקה. מושבת לוחצים על יצירה. תהליך יצירת המופע נמשך עד 30 דקות.
בזמן שמכונת Cloud Data Fusion נוצרת, גלגל התקדמות מוצג לצד שם המכונה בדף Instances (מכונות). אחרי שהתהליך מסתיים, הסמל הופך לסימן וי ירוק ומציין שאפשר להתחיל להשתמש במופע.
API
יוצרים מופע:
כדי ליצור מכונת Cloud Data Fusion באמצעות Cloud Data Fusion API בארכיטקטורת REST, צריך ליצור בקשת API instances.create ולמלא את פרטי ההגדרה במשאב Instance.
המאמרים הבאים
- מידע נוסף על Cloud Data Fusion
- לעבור על מדריך.