Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
בדף הזה מתואר הארכיטקטורה של סביבות Managed Airflow.
הגדרות של ארכיטקטורת הסביבה
לסביבות Managed Airflow (דור 3) יש הגדרה אחת שלא תלויה בסוג הרשת:
פרויקטים של לקוחות ופרויקטים של דיירים (tenants)
כשיוצרים סביבה, Managed Airflow מחלק את המשאבים של הסביבה בין דייר לבין פרויקט של לקוח:
פרויקט הלקוח הוא Google Cloud פרויקט שבו יוצרים את הסביבות. אפשר ליצור יותר מסביבה אחת בפרויקט של לקוח יחיד.
פרויקט דייר (tenant) הוא פרויקט דייר (tenant) שמנוהל על ידי Google ושייך לארגון Google.com. פרויקט הדייר מספק בקרת גישה מאוחדת ושכבת אבטחת מידע נוספת בסביבה שלכם. לכל סביבת Managed Airflow יש פרויקט דייר משלה.
רכיבי הסביבה
סביבת Managed Airflow מורכבת מרכיבי סביבה.
רכיב סביבה הוא אלמנט של תשתית Airflow מנוהלת שפועלת ב- Google Cloudכחלק מהסביבה שלכם. רכיבי הסביבה פועלים בדייר או בפרויקט הלקוח של הסביבה.
המאגר של הסביבה
הקטגוריה של הסביבה היא קטגוריה ב-Cloud Storage שבה מאוחסנים קובצי DAG, תוספים, תלות בנתונים ויומני Airflow. המאגר של הסביבה נמצא בפרויקט של הלקוח.
כשמעלים את קובצי ה-DAG לתיקייה /dags בדלי של הסביבה, Managed Airflow מסנכרן את ה-DAG עם רכיבי Airflow של הסביבה.
שרת האינטרנט של Airflow
שרת האינטרנט של Airflow מריץ את ממשק המשתמש של Airflow בסביבה שלכם.
ב-Managed Airflow, הגישה לממשק ניתנת על סמך זהויות המשתמשים והרשאות IAM שהוגדרו למשתמשים.
מסד נתונים של Airflow
מסד הנתונים של Airflow הוא מופע Cloud SQL שפועל בפרויקט הדייר של הסביבה שלכם. הוא מארח את מסד הנתונים של המטא-נתונים של Airflow.
כדי להגן על מידע רגיש לגבי חיבורים ותהליכי עבודה, ב-Managed Airflow הגישה למסד הנתונים מותרת רק לחשבון השירות של הסביבה שלכם.
רכיבים אחרים של זרימת האוויר
רכיבי Airflow אחרים שפועלים בסביבה שלכם:
מתזמני Airflow מנתחים קבצים של הגדרות DAG, מתזמנים הפעלות של DAG על סמך מרווח התזמון ומכניסים משימות לתור לביצוע על ידי עובדי Airflow.
טריגרים של Airflow עוקבים באופן אסינכרוני אחרי כל המשימות שנדחו בסביבה שלכם. אם מגדירים את מספר הטריגרים בסביבה מעל אפס, אפשר להשתמש באופרטורים שניתנים לדחייה ב-DAG.
מעבדי Airflow DAG מעבדים קובצי DAG והופכים אותם לאובייקטים של DAG. ב-Managed Airflow (דור 3), מעבדי DAG פועלים כרכיבי סביבה נפרדים.
תהליכי עבודה של Airflow מבצעים משימות שמתוזמנות על ידי מתזמני Airflow. מספר העובדים המינימלי והמקסימלי בסביבה משתנה באופן דינמי בהתאם למספר המשימות בתור.
ארכיטקטורת סביבה של Managed Airflow (דור 3)
בסביבות Managed Airflow (דור 3):
- פרויקט הדייר מארח מופע של Cloud SQL עם מסד הנתונים של Airflow.
- כל משאבי Airflow פועלים בפרויקט הדייר.
- הקטגוריה של הסביבה מתארחת בפרויקט של הלקוח.
- אפשר להשתמש בקובץ מצורף של רשת VPC בהתאמה אישית בפרויקט הלקוח כדי לצרף את הסביבה לרשת VPC בהתאמה אישית. אפשר להשתמש בקובץ מצורף קיים או לאפשר ל-Managed Airflow ליצור אותו באופן אוטומטי לפי דרישה. אפשר גם לנתק סביבה מרשת VPC.
- Google Cloud המסוף, Monitoring ו-Logging בפרויקט של הלקוח מספקים דרכים לנהל את הסביבה, את ה-DAG ואת ההרצות של ה-DAG, ולגשת למדדים וללוגים של הסביבה. אפשר גם להשתמש בממשק המשתמש של Airflow, ב-Google Cloud CLI, ב-Cloud Composer API וב-Terraform למטרות האלה.
בסביבות Managed Airflow (דור 3) עם חוסן גבוה:
מוגדרת זמינות גבוהה (מופע אזורי) למופע Cloud SQL של הסביבה. במופע אזורי, ההגדרה מורכבת ממופע ראשי וממופע בהמתנה.
בסביבה שלכם פועלים הרכיבים הבאים של Airflow באזורים נפרדים:
- שני מתזמני Airflow
- שני שרתי אינטרנט
- לפחות שני מעבדי DAG (עד 10 בסך הכול)
אם משתמשים בטריגרים, צריך להשתמש לפחות בשני טריגרים (עד 10 בסך הכול)
מספר העובדים המינימלי מוגדר כשניים, והאשכול בסביבה שלכם מחלק את מופעי העובדים בין האזורים. במקרה של הפסקת חשמל אזורית, המערכת מתזמנת מחדש את מופעי העובדים המושפעים באזור אחר.
שילוב עם Cloud Logging ו-Cloud Monitoring
Managed Airflow משתלב עם Cloud Logging ו-Cloud Monitoring של פרויקט Google Cloud , כך שיש לכם מקום מרכזי להצגת יומנים של Airflow ו-DAG.
מערכת Cloud Monitoring אוספת ומטמיעה מדדים, אירועים ומטא-נתונים מ-Managed Airflow כדי ליצור תובנות באמצעות לוחות בקרה ותרשימים.
בגלל האופי של Cloud Logging, אתם יכולים לראות את היומנים שנפלטים מרכיבי Airflow באופן מיידי, במקום לחכות שיומני Airflow יופיעו בקטגוריית Cloud Storage של הסביבה שלכם.
כדי להגביל את מספר היומנים ב Google Cloud פרויקט, אפשר להפסיק את ההוספה של כל היומנים. אל תשביתו את הרישום ביומן.