ניהול מערכות
לחיצה על System admin ב-Cloud Data Fusion Studio מציגה את הכרטיסיות הבאות:
- הכרטיסייה ניהול: כאן אפשר לראות את סטטוס התקינות של שירותים שונים של Cloud Data Fusion. אפשר גם לראות את היומנים של כל אחד מהשירותים.
בכרטיסייה Configuration (הגדרה) אפשר ליצור, להציג ולערוך את אמצעי הבקרה הבאים:
- מרחבי שמות. מידע נוסף מופיע במאמר בקרת גישה באמצעות חשבון שירות של מרחב שמות.
- פרופילים של מחשוב מערכת. פרופילי מחשוב מציינים באיזה ספק הקצאת משאבים להשתמש כשיוצרים אשכול להרצת צינורות ולהחלת ההגדרות המשויכות.
ספקי שירותי הקצאת משאבים אחראים ליצירה, לאתחול ולהשמדה של סביבת הענן שבה צינורות הנתונים פועלים. כל ספק הקצאות חושף קבוצה של הגדרות שמשמשות לשליטה בסוג האשכול שנוצר ונמחק. ספקי הקצאות שונים יוצרים סוגים שונים של אשכולות.
לכל פרופיל מחשוב יש היקף: מערכת או משתמש. אפשר להשתמש בפרופיל חישוב של המערכת לכל מרחבי השמות שמתחתיו. פרופילי משתמשים לחישוב קיימים במרחב שמות, ורק צינורות במרחב השמות הזה יכולים להשתמש בפרופילי המשתמשים לחישוב.
בכרטיסייה Configurations (הגדרות) של אדמין המערכת, אפשר ליצור פרופיל חישוב של המערכת שמוחל על כל מרחבי השמות. Cloud Data Fusion מקצה פרופיל חישוב שמוגדר כברירת מחדל.
כשיוצרים פרופיל מחשוב, בוחרים את מנהל ההקצאות שבו הפרופיל ישתמש כדי ליצור ולהגדיר את פרטי סביבת זמן הריצה בענן.
העדפות המערכת
העדפות הן הגדרות מוגדרות מראש שחלות ברמות שונות ב-Cloud Data Fusion, כולל המערכת עצמה, מרחבי שמות, אפליקציות (שכוללות צינורות) ותוכניות נפרדות בתוך צינורות. ההעדפות מאפשרות להגדיר ערכי ברירת מחדל להגדרות נפוצות. הגדרות ברירת המחדל האלה יכולות לעבור בירושה לצינורות ולתוכניות ברמות נמוכות יותר, וכך לצמצם את כמות משימות ההגדרה שצריך לבצע שוב ושוב. מידע נוסף זמין במאמר בנושא ניהול פקודות מאקרו, העדפות וארגומנטים של זמן ריצה.
פעולה של קריאת HTTP
פעולת הקריאה ל-HTTP בדף System admin מאפשרת לכם ליצור אינטראקציה עם ה-API של Cloud Data Fusion, או עם ממשקי API של שירותים אחרים של Google Cloud , ישירות מממשק Cloud Data Fusion Studio. עם זאת, כדי לבנות צינורות לעיבוד נתונים עם מקורות נתונים חיצוניים, מומלץ להשתמש בתוסף HTTP ובכלי להרצת קריאות HTTP בצינורות, כדי לקבל פתרון מקיף יותר. היא שונה מעט מהפעולה של קריאת HTTP, אבל המושגים הבסיסיים דומים.
הגדרות ותרחישי שימוש
הפעולה של קריאת HTTP משמשת בעיקר למשימות אדמיניסטרטיביות או למטרות הגדרה ב-Cloud Data Fusion. הוא מאפשר אינטראקציה עם Cloud Data Fusion API או עם שירותים אחרים Google Cloud שחושפים HTTP API, ישירות מ-Cloud Data Fusion Studio.
הגדרות אישיות
אפשר להגדיר את הפרטים הבאים לקריאת HTTP:
- URL: נקודת הקצה של שירות האינטרנט שאליו רוצים להתקשר.
- Method: שיטת ה-HTTP לשימוש, כמו
GET,POSTאוPUT. - אופציונלי: כותרות: כותרות בהתאמה אישית שנדרשות לבקשה.
- אופציונלי: Body: נתונים שיישלחו בגוף הבקשה, כמו
בשיחות
POSTו-PUT.
אחר כך תוכלו להפעיל את קריאת ה-HTTP שהגדרתם ולראות את התגובה משירות האינטרנט ב-Cloud Data Fusion Studio.
תרחישים לדוגמה
- בדיקת קריאות ל-Cloud Data Fusion API אתם יכולים להשתמש בפעולה של קריאת HTTP כדי לבדוק או לחקור את הפונקציות של Cloud Data Fusion API ישירות מממשק האינטרנט. הפעולה הזו יכולה לעזור לכם להבין את התנהגות ה-API או לפתור בעיות פוטנציאליות.
- ניהול מרחבי שמות (מתקדם) יש ממשק משתמש ייעודי לניהול מרחבי שמות, אבל אפשר להשתמש בפעולת הקריאה ל-HTTP למשימות מתקדמות על ידי ביצוע קריאות ישירות ל-Cloud Data Fusion API כדי ליצור, למחוק או להגדיר מרחבי שמות.
- אינטראקציה עם שירותים אחרים של Google Cloud (מוגבלת). אם לשירותים אחרים שבהם אתם משתמשים יש HTTP API שמתועד באופן ציבורי, אתם יכולים להשתמש בפעולת הקריאה ל-HTTP כדי לבצע אינטראקציה עם השירותים האלה, אבל זהו תרחיש שימוש לא נפוץ. Google Cloud
שיקולים חשובים
- אבטחה: צריך לנקוט משנה זהירות כשמשתמשים בפעולת הקריאה ל-HTTP, במיוחד עם מידע אישי רגיש או עם קריאות ל-Cloud Data Fusion API שיכולות להשפיע על הסביבה שלכם. חשוב להבין את ההשלכות של כל קריאה ל-API לפני שמבצעים אותה.
- הגבלות: פעולת הקריאה ל-HTTP מיועדת בעיקר למשימות ניהול ולמטרות בדיקה. הוא לא מיועד ליצירת צינורות עיבוד נתונים מורכבים שכוללים מניפולציה של נתונים ב-Cloud Data Fusion.
- חלופה לצינורות נתונים: כדי לשלב מקורות נתונים חיצוניים או שירותים בצינורות הנתונים, משתמשים בתוסף HTTP ובמבצע קריאות ה-HTTP שמשויך אליו בהגדרות של צינור הנתונים. השימוש בשיטה הזו מאפשר לנהל את האינטראקציות של HTTP בתהליכי העבודה של עיבוד הנתונים בצורה חזקה ומבוקרת יותר.
ניהול מרחבי שמות
כשלוחצים על Namespace admin ב-Cloud Data Fusion Studio, אפשר לנהל את ההגדרות של מרחב השמות הספציפי. לכל מרחב שמות, אפשר להגדיר את ההיבטים הבאים:
- פרופילי מחשוב: הפרופילים שמוגדרים בניהול מרחב שמות הם פרופילי מחשוב של משתמשים. רק צינורות במרחב השמות הזה יכולים להשתמש בפרופילי המשתמשים האלה. מידע נוסף זמין במאמר בנושא ניהול פרופילים של מחשוב.
- העדפות: העדפות שמוגדרות ברמת מרחב השמות חלות על מרחב השמות, על האפליקציות (שכוללות צינורות) ועל תוכניות בודדות בתוך צינורות. מידע נוסף זמין במאמר בנושא ניהול פקודות מאקרו, העדפות וארגומנטים של זמן ריצה.
- חיבורים: Cloud Data Fusion מאפשר לכם לעשות שימוש חוזר בחיבורים למקורות וליעדים בצינורות נתונים. אפשר להוסיף חיבורים בדף ניהול חשבון ארגוני של מרחב השמות. מידע נוסף מופיע במאמר בנושא יצירה וניהול של חיבורים.
- מנהלי התקנים (Drivers): חלק מהתוספים ב-Cloud Data Fusion מחייבים הוספה של מנהל התקן JDBC למרחב השמות. לדוגמה, כדי להריץ צינור עם תוסף של מקור אצווה של MySQL, צריך להוסיף את מנהל ההתקן הנתמך של MySQL למרחב השמות. אפשר להעלות או להסיר מנהלי התקנים של JDBC למרחב שמות מהדף Namespace Admin או ישירות מה-Hub. מידע נוסף זמין במאמר בנושא מנהלי התקנים של תוספים.
- ניהול בקרת מקורות: כדי לנהל ביעילות את תהליך הפיתוח של צינורות שהופעלו, ניהול בקרת מקורות מאפשר לכם לקשר מרחב שמות למאגר של מערכת בקרת המקורות שלכם. מידע נוסף זמין במאמר ניהול צינורות באמצעות ניהול בקרת מקור.
- חשבון שירות: כדי לשלוט בגישה למשאבים של מרחבי שמות ב-Cloud Data Fusion, נעשה שימוש בסוכן שירות של Cloud Data Fusion API כברירת מחדל. Google Cloud
כדי לשפר את הבידוד של הנתונים, אפשר לשייך לכל מרחב שמות חשבון שירות מותאם אישית לניהול זהויות והרשאות גישה (IAM) (שנקרא חשבון שירות לכל מרחב שמות). חשבון השירות המותאם אישית של IAM, שיכול להיות שונה עבור מרחבי שמות שונים, מאפשר לכם לשלוט בגישה למשאבי Google Cloud בין מרחבי שמות לפעולות בזמן עיצוב של צינורות ב-Cloud Data Fusion, כמו תצוגה מקדימה של צינורות, Wrangler ואימות צינורות. מידע נוסף מופיע במאמר בקרת גישה באמצעות חשבון שירות של מרחב שמות.