Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)
כדי להפעיל אפליקציה קריטית לעסק ב-Managed Airflow, נדרשים כמה צדדים שנושאים באחריות שונה. הרשימה הזו לא מקיפה, אבל היא כוללת את האחריות של Google ושל הלקוח.
תחומי האחריות של Google
הקשחה ותיקון של רכיבי סביבת Managed Airflow והתשתית הבסיסית, כולל אשכול Google Kubernetes Engine, מסד נתונים של Cloud SQL (שמארח את מסד הנתונים של Airflow), Pub/Sub, Artifact Registry ורכיבים אחרים של הסביבה. השדרוג האוטומטי כולל בעיקר את התשתית הבסיסית, כולל אשכול GKE ומופע Cloud SQL של סביבה.
הגנה על הגישה לסביבות מנוהלות של Airflow באמצעות שילוב של בקרת גישה שסופקה על ידי IAM, הצפנת נתונים באחסון כברירת מחדל, מתן הצפנה נוספת של אחסון בניהול הלקוח והצפנת נתונים בזמן ההעברה.
מתן Google Cloud שילובים לניהול זהויות והרשאות גישה, ליומני ביקורת של Cloud ול-Cloud Key Management Service.
הגבלת גישת אדמין של Google לאשכולות של לקוחות ותיעוד שלה למטרות תמיכה חוזיות באמצעות Access Transparency וAccess Approval.
פרסום מידע על שינויים שלא תואמים לאחור בין גרסאות של Managed Airflow ו-Airflow בהערות לגבי הגרסה של Managed Airflow.
שמירה על עדכניות של מסמכי Managed Airflow:
לספק תיאור של כל הפונקציות ש-Managed Airflow מספק.
מספקות הוראות לפתרון בעיות שעוזרות לשמור על סביבות במצב תקין.
פרסום מידע על בעיות ידועות עם פתרונות עקיפים (אם יש כאלה).
פתרון אירועי אבטחה קריטיים שקשורים לסביבות Managed Airflow ולתמונות Airflow שסופקו על ידי Managed Airflow (לא כולל חבילות Python שהותקנו על ידי הלקוח) על ידי אספקת גרסאות חדשות של הסביבה שנותנות מענה לאירועים.
בהתאם לחבילת התמיכה של הלקוח, פתרון בעיות שקשורות לתקינות של סביבת Managed Airflow.
תחזוקה והרחבה של הפונקציונליות של ספק Managed Airflow Terraform.
שיתוף פעולה עם קהילת Apache Airflow כדי לתחזק ולפתח אופרטורים של Google Airflow.
פתרון בעיות, ואם אפשר, תיקון בעיות בפונקציות הליבה של Airflow.
תחומי האחריות של הלקוח
כדאי לשדרג לגרסאות חדשות של Managed Airflow ו-Airflow כדי להמשיך לקבל תמיכה במוצר ולפתור בעיות אבטחה ברגע ששירות Managed Airflow יפרסם גרסה של Managed Airflow שפותרת את הבעיות.
תחזוקת קוד ה-DAG כדי לשמור על תאימות לגרסת Airflow שבה נעשה שימוש.
שמירה על התצורה של אשכול GKE בסביבה,0x0A>במיוחד התכונה של שדרוג אוטומטי.
שמירה על הרשאות מתאימות ב-IAM לחשבון השירות של הסביבה. בפרט, חשוב לשמור על ההרשאות שנדרשות לManaged Airflow ולחשבון השירות של הסביבה. שמירה של ההרשאה הנדרשת למפתח CMEK שמשמש להצפנת סביבת Managed Airflow וסיבוב שלו בהתאם לצרכים שלכם.
שמירה על הרשאות מתאימות ב-IAM עבור מאגר הנתונים (bucket) של הסביבה ומאגר Artifact Registry שבו מאוחסנים קובצי האימג' של רכיבי Managed Airflow.
שמירה על הרשאות IAM מתאימות לחשבון שירות שמבצע התקנות של חבילות PyPI. למידע נוסף על בקרת גישה
שמירה על הרשאות מתאימות למשתמשי קצה ב-IAM ובהגדרת בקרת הגישה לממשק המשתמש של Airflow.
שמירה על גודל מסד הנתונים של Airflow מתחת ל-16GB באמצעות DAG התחזוקה.
לפני ששולחים בקשות תמיכה לצוות Cloud Customer Care, צריך לפתור את כל הבעיות בניתוח של DAG.
מתן שמות ל-DAG בצורה נכונה (לדוגמה, בלי להשתמש בתווים בלתי נראים כמו רווח או TAB בשמות של DAG) כדי שהמדדים יוכלו להיות מדווחים בצורה נכונה עבור DAG.
משדרגים את הקוד של DAG כדי שלא ישתמש באופרטורים שהוצאו משימוש, ועוברים לחלופות העדכניות שלהם. יכול להיות שנסיים את התמיכה באופרטורים מסוימים ונסיר אותם מספקי Airflow, וזה עלול להשפיע על התוכניות שלכם לשדרוג לגרסה מאוחרת יותר של Managed Airflow או Airflow. גם האופרטורים שהוצאו משימוש לא מתעדכנים, וצריך להשתמש בהם כמו שהם.
הגדרת הרשאות IAM מתאימות כשמשתמשים ב-backends של סודות כמו Secret Manager, כדי שלחשבון השירות של הסביבה תהיה גישה אליו.
התאמה של פרמטרים בסביבת Managed Airflow (כמו CPU וזיכרון לרכיבי Airflow) והגדרות Airflow כדי לעמוד בציפיות לגבי הביצועים והעומס בסביבות Managed Airflow באמצעות מדריך האופטימיזציה של Managed Airflow ומדריך שינוי הגודל של הסביבה.
חשוב להימנע מהסרת הרשאות שנדרשות לסוכני Managed Airflow ולחשבונות השירות של הסביבה (הסרת ההרשאות האלה עלולה לגרום לכשלים בפעולות ניהול או לכשלים ב-DAG ובמשימות).
מוודאים שכל השירותים וממשקי ה-API שנדרשים על ידי Managed Airflow מופעלים תמיד. חובה להגדיר מכסות לתלות האלה ברמות שנדרשות ל-Managed Airflow.
שמירה של מאגרי Artifact Registry שמארחים קובצי אימג' של קונטיינרים שנעשה בהם שימוש בסביבות Managed Airflow.
פועלים לפי ההמלצות והשיטות המומלצות להטמעה של DAG.
אבחון של כשלים ב-DAG ובמשימות באמצעות ההוראות לפתרון בעיות בתזמן, פתרון בעיות ב-DAG ופתרון בעיות בהפעלת DAG.
לא להתקין או להפעיל רכיבים נוספים באשכול GKE של הסביבה שעלולים להפריע לרכיבי Managed Airflow ולמנוע מהם לפעול בצורה תקינה.
הגדרת תמונות מצב וניהול שלהן כדי לענות על הצרכים שלכם בנוגע לשמירת נתונים ולשמירה על המשכיות עסקית. Google לא משחזרת סביבות שנמחקו או גיבויים של מסדי הנתונים שלהן.
תחזוקה של שרשרת אספקת התלות של Python עבור חבילות שהלקוח מתקין. זה כולל פתרון בעיות בהתקנה שנגרמות מחוסר התאמה של תלות ב-Python, והגדרת מגבלות ספציפיות על הגרסה כשמוסיפים או משנים את החבילות האלה.