תוספים של Cloud Data Fusion מאפשרים להעביר ולנהל נתונים בזמן שהם זורמים ממקור אל יעד בפייפליין נתונים. כל שלב, שנקרא צומת, מורכב ממודול שאפשר להתאים אישית ומרחיב את היכולות של תהליך העבודה. בממשק האינטרנט של Cloud Data Fusion, אפשר לגשת לתוספים שמוגדרים כברירת מחדל בדף Studio, לעיין בHub כדי למצוא שילובים נוספים או לעיין בכל התוספים של Cloud Data Fusion.
סוגי פלאגינים
הפלאגינים מחולקים לקטגוריות הבאות:
- מקורות
- טרנספורמציות
- Analytics
- כיורים
- תנאים ופעולות
- מטפלי שגיאות והתראות
מקורות
פלאגינים של מקורות מתחברים למסדי נתונים, לקבצים או לסטרימינג בזמן אמת, שמהם הצינור קורא נתונים. אתם מגדירים מקורות לפייפליין הנתונים באמצעות ממשק האינטרנט, כך שאתם לא צריכים לדאוג לגבי קידוד של חיבורים ברמה נמוכה.
טרנספורמציות
תוספי טרנספורמציה משנים את הנתונים אחרי שהם נבלעים ממקור. לדוגמה, אתם יכולים לשכפל רשומה, לשנות את פורמט הקובץ ל-JSON או להשתמש בפלאגין של JavaScript כדי ליצור טרנספורמציה בהתאמה אישית.
Analytics
תוספים של Analytics מבצעים צבירות, כמו שילוב נתונים ממקורות שונים והפעלת ניתוחים ופעולות של למידת מכונה.
כיורים
תוספי יעד כותבים נתונים למשאבים, כמו Cloud Storage, BigQuery, Spanner, מסדי נתונים רלציוניים, מערכות קבצים ומחשבים מרכזיים. אפשר לשלוח שאילתות לנתונים שנכתבים ליעד באמצעות ממשק האינטרנט או ה-API בארכיטקטורת REST של Cloud Data Fusion.
תנאים ופעולות
אפשר להשתמש בתוספים של תנאים ופעולות כדי לתזמן פעולות שמתבצעות במהלך תהליך עבודה, בלי לתפעל ישירות את הנתונים בתהליך העבודה. לדוגמה:
- משתמשים בפלאגין של מסד הנתונים כדי לתזמן פקודה של מסד נתונים שתפעל בסוף צינור עיבוד הנתונים.
- משתמשים בפלאגין File Move כדי להפעיל פעולה שמעבירה קבצים ב-Cloud Storage.
מטפלי שגיאות והתראות
כשהשלבים נתקלים בערכי null, בשגיאות לוגיות או במקורות אחרים של שגיאות, אתם יכולים להשתמש בפלאגין לטיפול בשגיאות כדי לתפוס שגיאות. אפשר להשתמש בפלאגינים האלה כדי למצוא שגיאות בפלט אחרי פלאגין של טרנספורמציה או ניתוח. אפשר לכתוב את השגיאות למסד נתונים לצורך ניתוח.
המאמרים הבאים
- לעיון בפלאגינים
- יוצרים פייפליין באמצעות הפלאגינים.