מודל האחריות המשותפת של Managed Airflow

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

כדי להפעיל אפליקציה קריטית לעסק ב-Managed Airflow, נדרשים כמה גורמים שנושאים באחריות שונה. הרשימה הזו לא מלאה, אבל היא כוללת את האחריות של Google ושל הלקוח.

האחריות של Google

  • הקשחה ותיקון של רכיבי סביבת Managed Airflow והתשתית הבסיסית, כולל אשכול Google Kubernetes Engine, מסד נתונים של Cloud SQL (שמארח את מסד הנתונים של Airflow), ‏ Pub/Sub, ‏ Artifact Registry ורכיבים אחרים של הסביבה. השדרוג האוטומטי כולל את התשתית הבסיסית, כולל אשכול GKE ומופע Cloud SQL של סביבה.

  • הגנה על הגישה לסביבות מנוהלות של Airflow באמצעות שילוב של בקרת גישה שסופקה על ידי IAM, הצפנת נתונים באחסון כברירת מחדל, מתן הצפנה נוספת של אחסון בניהול הלקוח והצפנת נתונים בזמן ההעברה.

  • מתן Google Cloud שילובים לניהול זהויות והרשאות גישה, ליומני ביקורת של Cloud ול-Cloud Key Management Service.

  • הגבלת גישת אדמין של Google לאשכולות של לקוחות ותיעוד שלה למטרות תמיכה חוזיות באמצעות Access Transparency וAccess Approval.

  • פרסום מידע על שינויים שלא תואמים לאחור בין גרסאות של Managed Airflow ו-Airflow בהערות לגבי הגרסה של Managed Airflow.

  • שמירה על עדכניות של מסמכי Managed Airflow:

    • לספק תיאור של כל הפונקציות שזמינות ב-Managed Airflow.

    • מספקות הוראות לפתרון בעיות שעוזרות לשמור על סביבות במצב תקין.

    • פרסום מידע על בעיות ידועות עם פתרונות עקיפים (אם יש כאלה).

  • פתרון אירועי אבטחה קריטיים שקשורים לסביבות Managed Airflow ולתמונות Airflow שסופקו על ידי Managed Airflow (לא כולל חבילות Python שהותקנו על ידי הלקוח) על ידי אספקת גרסאות חדשות של הסביבה שנותנות מענה לאירועים.

  • בהתאם לחבילת התמיכה של הלקוח, פתרון בעיות שקשורות לתקינות של סביבת Managed Airflow.

  • תחזוקה והרחבה של הפונקציונליות של ספק Terraform של Managed Airflow.

  • שיתוף פעולה עם קהילת Apache Airflow כדי לתחזק ולפתח אופרטורים של Google Airflow.

  • פתרון בעיות, ואם אפשר, תיקון בעיות בפונקציות הליבה של Airflow.

תחומי האחריות של הלקוח

  • כדאי לשדרג לגרסאות חדשות של Managed Airflow ו-Airflow כדי להמשיך לקבל תמיכה במוצר ולפתור בעיות אבטחה ברגע ששירות Managed Airflow יפרסם גרסה של Managed Airflow שפותרת את הבעיות.

  • תחזוקת קוד ה-DAG כדי לשמור על תאימות לגרסת Airflow שבה נעשה שימוש.

  • שמירה על תצורת אשכול GKE של הסביבה, במיוחד על תכונת השדרוג האוטומטי.

  • שמירה על הרשאות מתאימות ב-IAM לחשבון השירות של הסביבה. בפרט, חשוב לשמור על ההרשאות שנדרשות לManaged Airflow Agent ולחשבון השירות של הסביבה. שמירה של ההרשאה הנדרשת למפתח CMEK שמשמש להצפנת סביבת Managed Airflow וסיבוב שלו בהתאם לצרכים שלכם.

  • שמירה על הרשאות מתאימות ב-IAM עבור מאגר ה-bucket של הסביבה ומאגר Artifact Registry שבו מאוחסנים קובצי האימג' של רכיבי Managed Airflow.

  • שמירה על הרשאות IAM מתאימות לחשבון שירות שמבצע התקנות של חבילות PyPI. למידע נוסף על בקרת גישה

  • שמירה על הרשאות מתאימות למשתמשי קצה ב-IAM ובהגדרת בקרת הגישה לממשק המשתמש של Airflow.

  • שמירה על גודל מסד הנתונים של Airflow מתחת ל-16GB באמצעות DAG לתחזוקה.

  • לפתור את כל הבעיות בניתוח של DAG לפני ששולחים בקשות תמיכה ל-Cloud Customer Care.

  • מתן שמות ל-DAG בצורה נכונה (לדוגמה, בלי להשתמש בתווים בלתי נראים כמו רווח או TAB בשמות של DAG) כדי שאפשר יהיה לדווח על מדדים בצורה נכונה עבור DAG.

  • משדרגים את הקוד של DAG כדי שלא ישתמש באופרטורים שהוצאו משימוש, ועוברים לחלופות העדכניות שלהם. יכול להיות שנפעיל הוצאה משימוש של אופרטורים מסוימים ונסיר אותם מספקי Airflow, מה שיכול להשפיע על התוכניות שלכם לשדרוג לגרסה מאוחרת יותר של Managed Airflow או Airflow. גם האופרטורים שהוצאו משימוש לא מתעדכנים, וצריך להשתמש בהם כמו שהם.

  • הגדרת הרשאות IAM מתאימות כשמשתמשים ב-Secret Manager או במערכות עורפיות דומות לניהול סודות, כדי שלחשבון השירות של הסביבה תהיה גישה אליהן.

  • שינוי פרמטרים של סביבת Managed Airflow (כמו CPU וזיכרון לרכיבי Airflow) והגדרות של Airflow כדי לעמוד בציפיות לגבי הביצועים והעומס של סביבות Managed Airflow באמצעות מדריך האופטימיזציה של Managed Airflow ומדריך שינוי הגודל של הסביבה.

  • חשוב להימנע מהסרת הרשאות שנדרשות על ידי חשבונות השירות של סביבת Managed Airflow Agent (הסרת ההרשאות האלה עלולה לגרום לכשלים בפעולות ניהול או לכשלים ב-DAG ובמשימות).

  • מוודאים שכל השירותים וממשקי ה-API שנדרשים על ידי Managed Airflow מופעלים תמיד. חובה להגדיר מכסות לתלות האלה ברמות שנדרשות ל-Managed Airflow.

  • שמירה של מאגרי Artifact Registry שמארחים קובצי אימג' של קונטיינרים שנעשה בהם שימוש בסביבות Managed Airflow.

  • פועלים לפי ההמלצות והשיטות המומלצות להטמעה של DAG.

  • אבחון של כשלים ב-DAG ובמשימות באמצעות ההוראות לפתרון בעיות בתזמן, פתרון בעיות ב-DAG ופתרון בעיות בהפעלת DAG.

  • לא להתקין או להפעיל רכיבים נוספים באשכול GKE של הסביבה שעלולים להפריע לרכיבי Managed Airflow ולמנוע מהם לפעול בצורה תקינה.

  • שמירה על תוכנית התאוששות מאסון, כולל הגדרה וניהול של תמונות מצב כדי לעמוד בדרישות שלכם לשמירת נתונים ולשמירה על המשכיות עסקית. ‫Google לא משחזרת סביבות שנמחקו או גיבויים של מסדי הנתונים שלהן.

  • תחזוקה של שרשרת אספקת התלות של Python עבור חבילות שהלקוח מתקין. זה כולל פתרון בעיות בהתקנה שנגרמות בגלל חוסר התאמה בין רכיבים תלויים של Python, והגדרת מגבלות ספציפיות על גרסאות כשמוסיפים או משנים את החבילות האלה.

המאמרים הבאים