בדף הזה מוסבר על סוגי הפלאגינים שמותקנים כברירת מחדל כשיוצרים מכונת Cloud Data Fusion. התוספים האלה זמינים במרחב השמות שמוגדר כברירת מחדל במופע שלכם, ובכל מרחבי השמות החדשים שתיצרו. אפשר להוריד פלאגינים נוספים מ-Hub.
יש כמה קטגוריות של תוספים ב-Cloud Data Fusion. הם מופיעים בחלונית הימנית בדף Studio ב-Cloud Data Fusion.
מקור
תוספי מקור מתחברים למסדי נתונים, לקבצים או לזרמים בזמן אמת שבהם צינור הנתונים קורא נתונים. מגדירים מקורות לצינור עיבוד נתונים באמצעות ממשק האינטרנט, כך שלא צריך להשתמש בקוד כדי להגדיר חיבורים ברמה נמוכה.
טרנספורמציה
תוספי טרנספורמציה משנים את הנתונים אחרי שהם נטענים ממקור. לדוגמה, אפשר להשתמש בפלאגינים האלה כדי לשכפל רשומה, לשנות את פורמט הקובץ ל-JSON או ליצור טרנספורמציה בהתאמה אישית באמצעות JavaScript.
Analytics
תוספים של Analytics מבצעים צבירות, כמו שילוב נתונים ממקורות שונים והפעלת ניתוחים ופעולות של למידת מכונה.
כיור
תוספי יעד כותבים נתונים למשאבים, כמו Cloud Storage, BigQuery, Spanner, מסדי נתונים רלציוניים, מערכות קבצים ומחשבים מרכזיים. אפשר לשלוח שאילתות לנתונים שנכתבים ליעד באמצעות ממשק האינטרנט או ה-API בארכיטקטורת REST של Cloud Data Fusion.
תנאים ופעולות
תוספים של תנאים ופעולות מתזמנים פעולות שמתרחשות במהלך תהליך עבודה, אבל לא מבצעים מניפולציה ישירה של נתונים בתהליך העבודה.
תרחישים לדוגמה:
- כדי לתזמן פקודה של מסד נתונים להפעלה בסוף צינור העיבוד, מוסיפים את התוסף Database action (פעולה במסד נתונים) לצינור העיבוד.
- כדי להפעיל פעולה שמעבירה קבצים ב-Cloud Storage, מוסיפים את הפלאגין File Move (העברת קבצים) לצינור.
התראות ומטפלים בשגיאות
כששלבים בצינור נתקלים בערכי null, בשגיאות לוגיות או בשגיאות אחרות, תוספים לטיפול בשגיאות מאתרים אותן. אפשר להשתמש בפלאגינים האלה כדי למצוא שגיאות בפלט אחרי פלאגין של טרנספורמציה או של ניתוח נתונים בצינור. אפשר לכתוב את השגיאות במסד נתונים לצורך ניתוח.