שליחת משימות מגרסת SDK שעבר התאריך שבו היא נתמכת גורמת להפרעות ולירידה בנפח הנתונים (throughput) של משימות ארוכות באצווה או בסטרימינג. כדי לצמצם את הסיכון לבעיות פוטנציאליות, כדאי:
הפעלת משימות עם גרסאות SDK שלא נתמכות
כששולחים עבודת Dataflow מגרסת SDK שעבר התאריך שבו היא נתמכת, מוצגת הודעת שגיאה שמפנה אתכם לשדרג את גרסת ה-SDK או להשתמש בטוקן זמני כששולחים את העבודה.
ערך הטוקן בהודעת השגיאה מכיל את התאריך והשעה שבהם הטוקן יפוג, וגם את הטוקן עצמו. תאריך התפוגה מוגדר לשבועיים מהיום.
כדי להשתמש בטוקן, שולחים מחדש את העבודה באמצעות דגל הניסוי unsupported_sdk_temporary_override_token וערך הטוקן.
--experiments=unsupported_sdk_temporary_override_token=TOKEN
אם תשלחו משימה באמצעות הטוקן אחרי שהוא יפוג, תקבלו הודעת שגיאה אחרת שתציין שהסטטוס שלו הוא 'פג תוקף'. כדי לקבל טוקן חדש, אפשר לשדרג לגרסת SDK נתמכת או לשלוח מחדש את העבודה בלי הטוקן.
אסור להשתמש בטוקנים כדרך קבועה להמשך שימוש ב-SDK שלא נתמך. בשלב מסוים אחרי התאריך שבו גרסת SDK לא נתמכת יותר, כל הטוקנים יבוטלו וכל העבודות שמשתמשות בגרסת ה-SDK הזו יידחו. לפרטים נוספים על סטטוס התמיכה של כל SDK, אפשר לעיין במאמר סטטוס התמיכה בגרסאות SDK.
המשך של עבודות שהופסקו
גם משימות Dataflow שפועלות לאורך זמן ומשתמשות בערכות SDK שלא נתמכות, כמו משימות סטרימינג, יופרעו והתפוקה שלהן תצטמצם באופן משמעותי. אפשר לזהות את המשימות שהופרעו באמצעות הודעת השגיאה הבאה ביומני המשימות:
תהליך העבודה הופרע אוטומטית על ידי השירות כי הוא משתמש ב-SDK לא נתמך Apache Beam SDK ל-Python 2.3.0. צריך לשדרג לגרסת ה-SDK העדכנית ביותר. כדי להמשיך באופן זמני את העבודה שהופסקה, צריך להשתמש ב-
gcloud alpha dataflow jobs resume-unsupported-sdk --token=TOKEN --region=REGION JOB_ID. שימו לב שהעבודה שחודשה באמצעות האסימון הזה תופרע שוב בתאריך 2020-08-28T11:21:58-07:00. רשימת גרסאות ה-SDK הנתמכות זמינה בכתובת: https://cloud.google.com/dataflow/support#support-status-for-dataflow-sdk-releases.
כפי שמופיע בהודעת השגיאה, אפשר לצמצם את ההפרעה באמצעות הפקודה resume-unsupported-sdk. המשכת עבודה שהופסקה היא פתרון זמני. במקום זאת, מומלץ לשדרג את גרסת ה-SDK כדי למנוע פעולות נוספות להוצאה משימוש בעתיד.