מכונה של Cloud Data Fusion בענן ציבורי מאפשרת ליצור ולנהל צינורות עיבוד נתונים לשילוב נתונים, שמקושרים לנקודות קצה (endpoints) שנגישות לכולם. סוג המכונה הזה משתמש ברשת ה-VPC שמוגדרת כברירת מחדל בפרויקט כדי להריץ אשכולות של ביצועים ולהתחבר לנקודות קצה חיצוניות דרך האינטרנט הציבורי.
לפני שמתחילים
- מפעילים את Cloud Data Fusion API.
- כדי ליצור מכונות של Cloud Data Fusion, צריך את ההרשאה הבאה:
instances.create. מידע נוסף על בקרת גישה - מכונות של Cloud Data Fusion פועלות בתור חשבון השירות שמשמש כברירת המחדל של Compute Engine. למידע נוסף על הסוגים והתפקידים הזמינים, קראו את המאמר חשבונות שירות.
- כברירת מחדל, Cloud Data Fusion מריץ צינורות עיבוד נתונים באמצעות אשכול Managed Service for Apache Spark בפרויקט שלכם. מוודאים שהפרויקט עומד בדרישות הרשת של Managed Service for Apache Spark.
- פרויקטים חדשים מתחילים עם רשת ברירת מחדל. רשת ברירת המחדל מאוכלסת מראש בכלל חומת האש default-allow-ssh, שמאפשר חיבורים נכנסים ביציאת TCP 22 מכל מקור לכל מכונה ברשת. בגרסאות שקודמות ל-6.2.0, אם הכלל הזה שמאפשר תעבורת נתונים נכנסת ביציאת TCP 22 לא קיים ברשת שבה נמצא המכונה של Cloud Data Fusion, צריך ליצור את הכלל הזה.
יצירת מכונה
המסוף
אם ה-API מופעל, בקטע Cloud Data Fusion במסוף Google Cloud מופיע הדף Instances, שבו אפשר ליצור ולנהל את המכונות של Cloud Data Fusion.
- נכנסים לדף Cloud Data Fusion במסוף.
- לוחצים על Instances ואז על Create an instance.
- מזינים Instance name.
- מזינים תיאור למכונה.
- מציינים את האזור שבו רוצים ליצור את המכונה.
- מציינים את הגרסה של Cloud Data Fusion.
- בוחרים מהדורה. ברירת המחדל היא בסיסי.
- אופציונלי: לוחצים על Add accelerators כדי לבחור מאיצים לשימוש במכונה.
- מציינים את חשבון השירות של Managed Service for Apache Spark שבו רוצים להשתמש כדי להריץ את צינור עיבוד הנתונים של Cloud Data Fusion ב-Managed Service for Apache Spark. ברירת המחדל היא החשבון של Compute Engine. לא משנה באיזו גרסה אתם משתמשים, ודאו שלחשבון השירות יש את התפקידים המתאימים בניהול הזהויות והרשאות הגישה (IAM) בהתאם לצרכים שלכם. למידע נוסף, קראו את המאמר מתן הרשאת משתמש לחשבון שירות.
אופציונלי: מציינים אפשרויות מתקדמות. אם לא מציינים ערכים, המערכת משתמשת בערכי ברירת המחדל הבאים:
קטגוריה הגדרה תיאור ברירת מחדל כתובת IP פרטית הפעלת כתובות IP פנימיות יוצרים את מכונת Cloud Data Fusion עם כתובת IP פנימית. מושבת thought מעקב ורישום ביומן ברמה מתקדמת הפעלת Cloud Logging ב-Managed Service for Apache Spark
הפעלת Managed Service for Apache Spark Cloud Monitoring
צפייה ביומנים מתקדמים של צינורות עיבוד נתונים ב-Cloud Logging. מושבת שילוב של שושלת נתונים ב-Knowledge Catalog הפעלה או השבתה של השילוב עם שושלת הנתונים של Knowledge Catalog הצגת שושלת היוחסין ב-Knowledge Catalog מושבת הצפנה שימוש במפתח הצפנה בניהול הלקוח (CMEK) בגרסאות 6.5 ואילך, משתמשים ב בקרת גישה מבוססת-תפקידים. מושבת תוויות צמד מפתח/ערך תוויות המשאבים של המכונה, שמשמשות להוספת הערות לכל המשאבים הבסיסיים הקשורים, כמו מכונות וירטואליות של Compute Engine. המפתחות והערכים של התוויות יכולים להכיל רק אותיות, מספרים, מקפים וקווים תחתונים. המפתחות של התוויות צריכים להתחיל באות או במספר. ללא תחזוקה הפעלת חלון זמן לתחזוקה מגדירים את חלון הזמן שבו Cloud Data Fusion יכול לבצע פעולות תחזוקה במכונה. מידע נוסף זמין במאמר הגדרת חלונות זמן לתחזוקה. מושבת לוחצים על יצירה. תהליך יצירת המכונה נמשך עד 30 דקות.
בזמן ש-Cloud Data Fusion יוצר את המכונה, גלגל התקדמות מוצג לצד שם המכונה בדף Instances. בסיום התהליך, הסמל משתנה לסימן וי ירוק, שמציין שאפשר להתחיל להשתמש במכונה.
API
יוצרים מכונה:
כדי ליצור מכונה של Cloud Data Fusion באמצעות Cloud Data Fusion API בארכיטקטורת REST, יוצרים בקשת API מסוג instances.create וממלאים את המשאב Instance בפרטי ההגדרות האישיות.
המאמרים הבאים
- מידע נוסף על Cloud Data Fusion
- לעיין במדריך.