ניהול ההגדרות של צינורות עיבוד הנתונים

בדף הזה מוסבר איך לנהל הגדרות של צינורות שהופעלו.

לפני שמתחילים

כדי להבין את התוכן בדף הזה, צריך ידע בסיסי בנושא פרופילי Compute וביצועי צינורות.

הגדרת פרופיל מחשוב

אפשר לשנות את פרופיל המחשוב או להתאים אישית את הפרמטרים של פרופיל המחשוב שמוגדר כברירת מחדל להרצת צינור עיבוד הנתונים. מידע נוסף זמין במאמרים בנושא ניהול פרופילים של מחשוב ומאפיינים של כלי ההקצאה של Managed Service for Apache Spark.

הגדרת צינור עיבוד הנתונים

לכל צינור אפשר להפעיל או להשבית מכשור, כמו מדדי תזמון. כברירת מחדל, המדידה מופעלת. אם ההגדרה 'הוספת מכשור' מופעלת, כשמריצים את צינור הנתונים, Cloud Data Fusion יוצר מדדים לכל צומת בצינור הנתונים. המדדים הבאים מוצגים בכרטיסייה מדדים של כל צומת. המדדים של המקור, השינוי והיעד שונים מעט.

  • רשומות יוצאות
  • רשומות ב-
  • מספר השגיאות הכולל
  • מספר הרשומות שמוצאות לשנייה
  • זמן עיבוד מינימלי (רשומה אחת)
  • זמן עיבוד מקסימלי (רשומה אחת)
  • סטיית תקן
  • זמן עיבוד ממוצע

מומלץ להפעיל תמיד את ההגדרה Instrumentation, אלא אם בסביבה יש מחסור במשאבים.

בצינורות להעברת נתונים בסטרימינג, אפשר גם להגדיר את מרווח האצווה (בשניות או בדקות) לנתונים בסטרימינג.

תצורת מנוע

‫Apache Spark הוא מנוע ההפעלה שמוגדר כברירת מחדל. אפשר להעביר פרמטרים מותאמים אישית ל-Spark. מידע נוסף זמין במאמר בנושא עיבוד מקביל.

משאבים

אפשר לציין את הזיכרון ואת מספר המעבדים (CPU) עבור מנהל התקן Spark ו-executor. הדרייבר מתזמר את עבודת Spark. ה-executor מטפל בעיבוד הנתונים ב-Spark. מידע נוסף זמין במאמר בנושא ניהול משאבים.

התראה על קצב הפניות

אפשר להגדיר את צינור עיבוד הנתונים כך שישלח התראות ויתחיל משימות של עיבוד אחרי שההרצה של צינור עיבוד הנתונים מסתיימת. יוצרים התראות של צינורות עיבוד נתונים כשמעצבים את צינור עיבוד הנתונים. אחרי שפורסים את צינור הנתונים, אפשר לראות את ההתראות. אפשר לערוך את צינור הנתונים כדי לשנות את הגדרות ההתראות. מידע נוסף זמין במאמר יצירת התראות.

העברת טרנספורמציות למטה

אפשר להפעיל את התכונה Transformation pushdown אם רוצים שצינור יבצע טרנספורמציות מסוימות ב-BigQuery. מידע נוסף זמין במאמר סקירה כללית על העברת טרנספורמציות למטה.

המאמרים הבאים