Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מוסבר איך מתבצעת התאמה של סביבות.
דפים נוספים בנושא שינוי גודל:
- במאמר אופטימיזציה של הביצועים והעלויות של הסביבה מופיע מדריך לבחירת פרמטרים אופטימליים של קנה מידה וביצועים לסביבה שלכם.
- מידע על שינוי הגודל של הסביבות זמין במאמר שינוי הגודל של הסביבות.
התאמה אוטומטית לעומס בסביבות
סביבות Managed Airflow עוברות שינוי גודל אוטומטי בתגובה לדרישות של DAG ומשימות שהופעלו:
- אם הסביבה שלכם חווה עומס כבד, המערכת של Managed Airflow מגדילה באופן אוטומטי את מספר העובדים בסביבה.
- אם בסביבה שלכם לא נעשה שימוש בחלק מהעובדים, הם יוסרו כדי לחסוך במשאבים ובעלויות של הסביבה.
- אתם יכולים להגדיר את מספר העובדים המינימלי והמקסימלי בסביבה שלכם. Managed Airflow משנה את גודל הסביבה באופן אוטומטי במסגרת המגבלות שהוגדרו. אפשר לשנות את המגבלות האלה בכל שלב.
מספר העובדים מותאם על סמך המדד Scaling Factor Target. המדד הזה מחושב על סמך:
- מספר העובדים הנוכחי
- מספר המשימות של Celery בתור של Celery שלא הוקצו לעובד
- מספר העובדים הלא פעילים
celery.worker_concurrencyאפשרות ההגדרה של Airflow
התאמה אוטומטית לעומס ב-Managed Airflow משתמשת בשלושה מנגנונים שונים להתאמה אוטומטית לעומס שסופקו על ידי GKE:
ב-Managed Airflow, המערכת מגדירה את שירותי ההתאמה האוטומטית האלה באשכול של הסביבה. כך משנים באופן אוטומטי את מספר הצמתים באשכול, את סוג המכונה ואת מספר העובדים.
פרמטרים של היקף וביצועים
בנוסף להתאמה אוטומטית לעומס, אתם יכולים לשלוט בפרמטרים של הגודל והביצועים של הסביבה על ידי שינוי המגבלות של המעבד (CPU), הזיכרון והדיסק של ה-workers, ה-schedulers, ה-triggerers ושרת האינטרנט. כך תוכלו להרחיב את הסביבה שלכם באופן אנכי, בנוסף להרחבה האופקית שמתאפשרת באמצעות התכונה 'התאמה אוטומטית לעומס (automatic scaling)'. אפשר לשנות את הפרמטרים של הביצועים וההתאמה בכל שלב.
פרמטר הביצועים גודל הסביבה של הסביבה שלכם שולט בפרמטרים של הביצועים של התשתית המנוהלת של Managed Airflow, שכוללת את מסד הנתונים של Airflow. כדאי לבחור גודל סביבה גדול יותר אם רוצים להריץ מספר גדול של DAG ומשימות עם ביצועים טובים יותר של התשתית. לדוגמה, ככל שהסביבה גדולה יותר, כך היא יכולה לעבד יותר רשומות ביומן של משימות Airflow עם עיכוב מינימלי.
גודל הסביבה שונה מהגדרות קבועות מראש של הסביבה. הגדרות קבועות מראש של סביבה, שאפשר לבחור כשיוצרים סביבה במסוףGoogle Cloud , קובעות את המגבלות הראשוניות, את קנה המידה ואת פרמטרי הביצועים של הסביבה, כולל גודל הסביבה. גודל הסביבה קובע רק את פרמטרי הביצועים של התשתית המנוהלת של Managed Airflow בסביבה שלכם.
כמה כלי תזמון
בסביבה שלכם אפשר להריץ יותר מתזמן Airflow אחד בו-זמנית:
- אתם יכולים להגדיר את מספר הכלי לתזמון פגישות בסביבה שלכם ולשנות אותו בכל שלב.
- ב-Managed Airflow, מספר המתזמנים בסביבה לא משתנה אוטומטית.
מידע נוסף על הגדרת מספר המתזמנים בסביבה שלכם זמין במאמר שינוי גודל הסביבות.
שטח הדיסק של מסד הנתונים
נפח האחסון במסד הנתונים של Airflow גדל אוטומטית כדי להתאים לדרישות.