Cloud Data Fusion: Studio מאפשר לכם ליצור, להגדיר ולהריץ צינורות עיבוד נתונים באופן חזותי, באמצעות ממשק של לחיצה וגרירה של פלאגינים מוכנים מראש. אתם יכולים להתחבר למקורות נתונים מקומיים ובענן, להכין את הנתונים ולשנות אותם, ולבדוק או לתזמן את השליחה שלהם ליעדים.
אחרי הפריסה, Studio עוזר לנהל את מחזור החיים של צינור עיבוד הנתונים באמצעות עריכה איטרטיבית, בקרת מקור של Git ופרמטרים והעדפות של זמן ריצה לשימוש חוזר. אתם יכולים גם להתאים אישית פרופילים של משאבי מחשוב, להקצות משאבי ביצוע כדי לשפר את הביצועים ולנהל את ההגדרות באופן מרוכז.
לפני שמתחילים
- מפעילים את Cloud Data Fusion API.
- יוצרים מכונה של Cloud Data Fusion.
- להבין את בקרת הגישה ב-Cloud Data Fusion.
- להבין את המושגים והמונחים העיקריים ב-Cloud Data Fusion.
Cloud Data Fusion: סקירה כללית על Studio
ה-Studio כולל את הרכיבים הבאים.
ניהול
ב-Cloud Data Fusion אפשר להשתמש בכמה מרחבי שמות בכל מכונה. ב-Studio, אדמינים יכולים לנהל את כל מרחבי השמות באופן מרוכז, או כל מרחב שמות בנפרד.
ב-Studio יש את אמצעי הבקרה הבאים לאדמינים:
- ניהול מערכות
- מודול System Admin ב-Studio מאפשר ליצור מרחבי שמות חדשים ולהגדיר את ההגדרות של פרופיל המחשוב המרכזי ברמת המערכת, שחלות על כל מרחב שם באותו מופע. מידע נוסף זמין במאמר בנושא ניהול האדמיניסטרציה של Studio.
- ניהול מרחב שמות
- המודול Namespace Admin ב-Studio מאפשר לכם לנהל את ההגדרות של מרחב השמות הספציפי. לכל מרחב שמות אפשר להגדיר פרופילי מחשוב, העדפות זמן ריצה, מנהלי התקנים, חשבונות שירות והגדרות Git. מידע נוסף זמין במאמר ניהול הניהול של Studio.
Pipeline Design Studio
אתם מתכננים ומריצים צינורות עיבוד נתונים ב-Pipeline Design Studio בממשק האינטרנט של Cloud Data Fusion. תכנון והפעלה של פייפליינים כוללים את השלבים הבאים:
- התחברות למקור: Cloud Data Fusion מאפשר חיבור למקורות נתונים מקומיים ולמקורות נתונים בענן. בממשק של Studio יש פלאגינים של המערכת שמוגדרים כברירת מחדל, והם מותקנים מראש ב-Studio. אפשר להוריד פלאגינים נוספים ממאגר הפלאגינים, שנקרא Hub. מידע נוסף מופיע בסקירה הכללית על פלאגינים.
- הכנת נתונים: ב-Cloud Data Fusion אפשר להכין את הנתונים באמצעות הפלאגין העוצמתי Wrangler. Wrangler עוזר לכם להציג, לבדוק ולשנות מדגם קטן של הנתונים במקום אחד לפני שמריצים את הלוגיקה על מערך הנתונים כולו ב-Studio. כך תוכלו להחיל טרנספורמציות במהירות כדי להבין איך הן משפיעות על מערך הנתונים כולו. אפשר ליצור כמה טרנספורמציות ולהוסיף אותן למתכון. מידע נוסף מופיע בסקירה הכללית על Wrangler.
- טרנספורמציה: תוספי טרנספורמציה משנים את הנתונים אחרי שהם נטענים ממקור. לדוגמה, אפשר לשכפל רשומה, לשנות את פורמט הקובץ ל-JSON או להשתמש בתוסף Javascript כדי ליצור טרנספורמציה בהתאמה אישית. מידע נוסף זמין במאמר סקירה כללית על תוספים.
- קישור ליעד: אחרי שמכינים את הנתונים ומבצעים את השינויים, אפשר לקשר ליעד שאליו רוצים לטעון את הנתונים. Cloud Data Fusion תומך בחיבורים לכמה יעדים. מידע נוסף זמין במאמר סקירה כללית על פלאגינים.
- תצוגה מקדימה: אחרי שתתכננו את צינור עיבוד הנתונים, כדי לנפות באגים לפני הפריסה וההפעלה של צינור עיבוד הנתונים, תריצו עבודת תצוגה מקדימה. אם נתקלים בשגיאות, אפשר לתקן אותן במצב טיוטה. Studio משתמש ב-100 השורות הראשונות של קבוצת הנתונים של המקור כדי ליצור את התצוגה המקדימה. ב-Studio מוצגים הסטטוס ומשך הזמן של משימת התצוגה המקדימה. אפשר להפסיק את העבודה בכל שלב. אפשר גם לעקוב אחרי האירועים ביומן בזמן שהתצוגה המקדימה פועלת. מידע נוסף מופיע במאמר תצוגה מקדימה של נתונים.
ניהול הגדרות של צינור עיבוד נתונים: אחרי שצופים בתצוגה מקדימה של הנתונים, אפשר לפרוס את צינור עיבוד הנתונים ולנהל את ההגדרות הבאות:
- הגדרות מחשוב: אתם יכולים לשנות את פרופיל המחשוב שמריץ את צינור הנתונים. לדוגמה, אם אתם רוצים להריץ את צינור הנתונים מול אשכול מותאם אישית של Managed Service for Apache Spark ולא מול אשכול ברירת המחדל של Managed Service for Apache Spark.
- הגדרת צינור עיבוד נתונים: לכל צינור עיבוד נתונים, אתם יכולים להפעיל או להשבית כלים, כמו מדדי תזמון. כברירת מחדל, המדידה מופעלת.
- הגדרת המנוע: Spark הוא מנוע הביצוע שמוגדר כברירת מחדל. אתם יכולים להעביר פרמטרים מותאמים אישית ל-Spark.
- משאבים: אפשר לציין את הזיכרון ואת מספר המעבדים (CPU) עבור מנהל ההתקנים והמבצע של Spark. הדרייבר מתזמר את משימת Spark. ה-executor מטפל בעיבוד הנתונים ב-Spark.
- התראות של צינור עיבוד הנתונים: אתם יכולים להגדיר את צינור עיבוד הנתונים כך שישלח התראות ויתחיל משימות עיבוד לאחר סיום ההרצה של צינור עיבוד הנתונים. אתם יוצרים התראות של צינורות עיבוד נתונים כשאתם מתכננים את צינור עיבוד הנתונים. אחרי שפורסים את צינור עיבוד הנתונים, אפשר לראות את ההתראות. כדי לשנות את הגדרות ההתראות, אפשר לערוך את צינור העיבוד.
- העברת טרנספורמציות (Transformation pushdown): אפשר להפעיל את האפשרות הזו אם רוצים שצינור עיבוד הנתונים יבצע טרנספורמציות מסוימות ב-BigQuery.
מידע נוסף זמין במאמר ניהול הגדרות של צינורות עיבוד נתונים.
שימוש חוזר בפייפליינים באמצעות פקודות מאקרו, העדפות וארגומנטים של זמן ריצה: ב-Cloud Data Fusion אפשר להשתמש שוב בפייפליינים. צינורות עיבוד נתונים לשימוש חוזר מאפשרים ליצור צינור עיבוד נתונים יחיד שיכול להחיל דפוס שילוב נתונים על מגוון תרחישי שימוש ועל מערכי נתונים שונים. צינורות עיבוד נתונים לשימוש חוזר מאפשרים ניהול טוב יותר. הם מאפשרים להגדיר את רוב ההגדרות של צינור עיבוד הנתונים בזמן ההפעלה, במקום להגדיר אותן בתוך הקוד בזמן התכנון. ב-Pipeline Design Studio, אפשר להשתמש בפקודות מאקרו כדי להוסיף משתנים להגדרות של פלאגינים, כך שאפשר לציין את החלפות המשתנים בזמן הריצה. מידע נוסף זמין במאמר בנושא ניהול פקודות מאקרו, העדפות וארגומנטים של זמן ריצה.
הפעלה: אחרי שבודקים את ההגדרות של צינור עיבוד הנתונים, אפשר להפעיל אותו. אתם יכולים לראות את שינוי הסטטוס במהלך השלבים של הרצת צינור עיבוד הנתונים – לדוגמה, הקצאה, התחלה, הרצה והצלחה.
תזמון ותיאום: אפשר להגדיר צינורות נתונים באצווה כך שיפעלו לפי תזמון ותדירות ספציפיים. אחרי שיוצרים ופורסים צינור עיבוד נתונים, אפשר ליצור לוח זמנים. ב-Pipeline Design Studio, אתם יכולים לתזמר צינורות עיבוד נתונים על ידי יצירת טריגר בצינור עיבוד נתונים באצווה, כדי להפעיל אותו כשההרצה של צינור עיבוד נתונים אחד או יותר מסתיימת. הם נקראים צינורות להעברת נתונים במורד הזרם ובמעלה הזרם. יוצרים טריגר ב-pipeline במורד הזרם, כדי שהוא יפעל על סמך ההשלמה של pipeline אחד או יותר במעלה הזרם.
מומלץ: אפשר גם להשתמש ב-Composer כדי לתזמר צינורות עיבוד נתונים ב-Cloud Data Fusion. מידע נוסף זמין במאמרים תזמון צינורות עיבוד נתונים ותזמור צינורות עיבוד נתונים.
עריכת צינורות עיבוד נתונים: ב-Cloud Data Fusion אפשר לערוך צינור עיבוד נתונים שנפרס. כשעורכים פייפליין שנפרס, נוצרת גרסה חדשה של הפייפליין עם אותו שם, והיא מסומנת כגרסה העדכנית. כך אפשר לפתח צינורות עיבוד נתונים באופן איטרטיבי במקום לשכפל אותם, מה שיוצר צינור עיבוד נתונים חדש עם שם אחר. מידע נוסף זמין במאמר בנושא עריכת צינורות.
ניהול בקרת מקורות: Cloud Data Fusion מאפשר לכם לנהל טוב יותר את צינורות הנתונים בין פיתוח לייצור באמצעות ניהול בקרת מקורות של צינורות הנתונים באמצעות GitHub.
רישום ביומן ומעקב: כדי לעקוב אחרי מדדים ויומנים של צינורות עיבוד נתונים, מומלץ להפעיל את שירות הרישום ביומן של Stackdriver כדי להשתמש ב-Cloud Logging עם צינורות עיבוד הנתונים של Cloud Data Fusion.