To more strongly embrace the success and growing customer preference for OSS solutions, Cloud Composer is evolving to become Managed Service for Apache Airflow. This name change provides improved customer understanding of our portfolio while reinforcing our commitment to being the most open cloud ecosystem.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

ניקוי מסד הנתונים של Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לתחזק את מסד הנתונים של Airflow בסביבה שלכם.

ניקוי אוטומטי של מסד נתונים באמצעות מדיניות שמירת נתונים

אתם יכולים להגדיר מדיניות לשמירת נתונים כדי להגדיר ניקוי אוטומטי של מסד הנתונים בסביבת Managed Airflow (דור 3). אחרי שמגדירים את המדיניות הזו, רשומות ישנות יותר מתקופה מסוימת מוסרות באופן אוטומטי ממסד הנתונים של Airflow מדי יום. מידע נוסף מופיע במאמר בנושא הגדרת מדיניות שמירת נתונים במסד נתונים.

תהליכי ניקוי שהוצאו משימוש

לפני שהמדיניות בנושא שמירת נתונים במסד נתונים הפכה לזמינה ב-Managed Airflow, המלצנו על גישה אחרת לאוטומציה של ניקוי מסד הנתונים, באמצעות DAG לניקוי מסד נתונים. הגישה הזו כבר לא רלוונטית ב-Managed Airflow (דור 3). ה-DAG הזה מבצע עבודה מיותרת, ואפשר לצמצם את צריכת המשאבים על ידי הסרתו והחלפתו במדיניות שמירת נתונים של מסד נתונים.

מגבלות על גודל מסד הנתונים

עם הזמן, מסד הנתונים של Airflow בסביבה שלכם מאחסן יותר ויותר נתונים. הנתונים האלה כוללים מידע ויומנים שקשורים להפעלות קודמות של DAG, למשימות ולפעולות אחרות של Airflow.

אם גודל מסד הנתונים של Airflow גדול מ-20GB, לא תוכלו לשדרג את הסביבה לגרסה מתקדמת יותר.
אם גודל מסד הנתונים של Airflow גדול מ-20GB, אי אפשר ליצור תמונות מצב.

שמירה על ביצועים טובים של מסד הנתונים

בעיות בביצועים של מסד הנתונים של Airflow יכולות להוביל לבעיות כלליות בהרצת DAG. מעקב אחרי נתונים סטטיסטיים של השימוש במעבד ובזיכרון של מסד הנתונים. אם ניצול המעבד והזיכרון מתקרב למגבלות, סימן שהעומס על מסד הנתונים גבוה מדי וצריך להגדיל את הקיבולת שלו. כמות המשאבים שזמינים למסד הנתונים של Airflow נקבעת על ידי מאפיין גודל הסביבה של הסביבה שלכם. כדי להגדיל את מסד הנתונים, משנים את גודל הסביבה לרמה גבוהה יותר. הגדלת גודל הסביבה מגדילה את העלויות של הסביבה.
אם אתם משתמשים במנגנון XCom להעברת קבצים, חשוב לוודא שאתם משתמשים בו בהתאם להנחיות של Airflow. העברה של קבצים גדולים או של מספר גדול של קבצים באמצעות XCom משפיעה על הביצועים של מסד הנתונים של Airflow, ויכולה לגרום לכשלים בטעינת תמונות מצב או בשדרוג הסביבה. כדאי לשקול שימוש בחלופות כמו Cloud Storage להעברת נפחים גדולים של נתונים.

הסרת ערכים של DAG שלא נמצאים בשימוש

כדי להסיר רשומות במסד הנתונים של DAG שלא נמצא בשימוש, צריך להסיר את ה-DAG מממשק המשתמש של Airflow.