Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מוסבר איך מתבצעת התאמה של סביבות.
דפים נוספים בנושא שינוי גודל:
- במאמר אופטימיזציה של הביצועים והעלויות של הסביבה מופיע מדריך לבחירת פרמטרים אופטימליים של קנה מידה וביצועים עבור הסביבה שלכם.
- מידע על שינוי הגודל של הסביבות זמין במאמר שינוי הגודל של הסביבות.
התאמה אוטומטית לעומס בסביבות
סביבות Managed Airflow מתרחבות אוטומטית בתגובה לדרישות של DAG ומשימות שמופעלים:
- אם הסביבה שלכם חווה עומס כבד, המערכת של Managed Airflow מגדילה באופן אוטומטי את מספר העובדים בסביבה.
- אם בסביבה שלכם לא נעשה שימוש בחלק מהעובדים, הם יוסרו כדי לחסוך במשאבים ובעלויות של הסביבה.
- אתם יכולים להגדיר את מספר העובדים המינימלי והמקסימלי בסביבה שלכם. Managed Airflow משנה את גודל הסביבה באופן אוטומטי במסגרת המגבלות שהוגדרו. אפשר לשנות את המגבלות האלה בכל שלב.
מספר העובדים משתנה בהתאם למדד יעד גורם ההתאמה. המדד הזה מחושב על סמך:
- מספר העובדים הנוכחי
- מספר המשימות של Celery בתור של Celery שלא הוקצו לעובד
- מספר העובדים הלא פעילים
celery.worker_concurrencyאפשרות ההגדרה של Airflow
התאמה אוטומטית לעומס ב-Managed Airflow מתבססת על שלושה מנגנונים שונים להתאמה אוטומטית לעומס שמסופקים על ידי GKE:
ב-Managed Airflow, המערכת מגדירה את המערכות האוטומטיות האלה לשינוי גודל האשכול בסביבה. כך מתבצעת באופן אוטומטי התאמה של מספר הצמתים באשכול, סוג המכונה ומספר העובדים.
פרמטרים של היקף וביצועים
בנוסף לשינוי גודל אוטומטי, אתם יכולים לשלוט בפרמטרים של הגודל והביצועים של הסביבה על ידי שינוי המגבלות של המעבד (CPU), הזיכרון והדיסק של העובדים, המתזמנים, המפעילים ושרת האינטרנט. כך תוכלו להרחיב את הסביבה שלכם באופן אנכי, בנוסף להרחבה האופקית שמתאפשרת באמצעות התכונה 'שינוי גודל אוטומטי'. אפשר לשנות את הפרמטרים של הביצועים וההתאמה בכל שלב.
פרמטר הביצועים environment size של הסביבה שולט בפרמטרים של הביצועים של התשתית המנוהלת של Managed Airflow, שכוללת את מסד הנתונים של Airflow. כדאי לבחור גודל סביבה גדול יותר אם רוצים להריץ מספר גדול של DAG ומשימות עם ביצועים גבוהים יותר של התשתית. לדוגמה, ככל שהסביבה גדולה יותר, כך היא יכולה לעבד יותר רשומות ביומן של משימות Airflow עם עיכוב מינימלי.
גודל הסביבה שונה מהגדרות קבועות מראש של הסביבה. הגדרות קבועות מראש של סביבה, שאפשר לבחור כשיוצרים סביבה במסוףGoogle Cloud , קובעות את המגבלות הראשוניות, את קנה המידה ואת פרמטרי הביצועים של הסביבה, כולל גודל הסביבה. גודל הסביבה קובע רק את פרמטרי הביצועים של התשתית המנוהלת של Managed Airflow בסביבה שלכם.
כמה כלי תזמון
בסביבה שלכם אפשר להריץ יותר מתזמן Airflow אחד בו-זמנית:
- אתם יכולים להגדיר את מספר הכלי לתזמון פגישות בסביבה שלכם ולשנות אותו בכל שלב.
- ב-Managed Airflow, מספר המתזמנים בסביבה לא משתנה אוטומטית.
מידע נוסף על הגדרת מספר המתזמנים בסביבה שלכם זמין במאמר שינוי גודל הסביבות.
שטח הדיסק של מסד הנתונים
נפח האחסון במסד הנתונים של Airflow גדל אוטומטית בהתאם לדרישה.