כשיוצרים צינור נתונים ב-Cloud Data Fusion, משתמשים בסדרה של שלבים, שנקראים צמתים, כדי להעביר ולנהל את הנתונים כשהם זורמים ממקור ל-sink. כל צומת מורכב מתוסף, מודול שניתן להתאמה אישית שמרחיב את היכולות של Cloud Data Fusion.
כדי למצוא את הפלאגינים בממשק האינטרנט של Cloud Data Fusion, עוברים לדף Studio. כדי לראות עוד פלאגינים, לוחצים על מרכז.
סוגי פלאגינים
התוספים מחולקים לקטגוריות הבאות:
- מקורות
- טרנספורמציות
- Analytics
- כיורים
- תנאים ופעולות
- התראות ומטפלים בשגיאות
מקורות
תוספי מקור מתחברים למסדי נתונים, לקבצים או לזרמים בזמן אמת שמהם צינור הנתונים קורא נתונים. אתם מגדירים מקורות לצינור הנתונים באמצעות ממשק האינטרנט, כך שלא צריך לדאוג לגבי קידוד חיבורים ברמה נמוכה.
טרנספורמציות
תוספי טרנספורמציה משנים את הנתונים אחרי שהם נקלטים ממקור. לדוגמה, אפשר לשכפל רשומה, לשנות את פורמט הקובץ ל-JSON או להשתמש בתוסף Javascript כדי ליצור המרה בהתאמה אישית.
Analytics
תוספים של Analytics מבצעים צבירות, כמו שילוב נתונים ממקורות שונים והפעלת ניתוחים ופעולות של למידת מכונה.
כיורים
תוספי יעד כותבים נתונים למשאבים, כמו Cloud Storage, BigQuery, Spanner, מסדי נתונים רלציוניים, מערכות קבצים ומחשבים מרכזיים. אפשר לשלוח שאילתות לנתונים שנכתבים ליעד באמצעות ממשק האינטרנט או ה-API בארכיטקטורת REST של Cloud Data Fusion.
תנאים ופעולות
אפשר להשתמש בתוספים של תנאים ופעולות כדי לתזמן פעולות שמתבצעות במהלך תהליך עבודה, שלא משפיעות ישירות על הנתונים בתהליך העבודה. לדוגמה:
- משתמשים בתוסף Database כדי לתזמן פקודה של מסד נתונים שתפעל בסוף צינור עיבוד הנתונים.
- אפשר להשתמש בפלאגין File Move כדי להפעיל פעולה להעברת קבצים ב-Cloud Storage.
התראות ומטפלים בשגיאות
אם יש שלבים שנתקלים בערכי null, בשגיאות לוגיות או במקורות שגיאות אחרים, אפשר להשתמש בתוסף לטיפול בשגיאות כדי לזהות שגיאות. אפשר להשתמש בפלאגינים האלה כדי למצוא שגיאות בפלט אחרי פלאגין של טרנספורמציה או ניתוח. אפשר לכתוב את השגיאות במסד נתונים לצורך ניתוח.
המאמרים הבאים
- עיון בפלאגינים
- יוצרים צינור נתונים באמצעות התוספים.