התאמה נכונה

התכונה התאמה נכונה משתמשת ברמזים למשאבים של Apache Beam כדי להתאים אישית את משאבי העובדים לצינור עיבוד נתונים. האפשרות לטרגט כמה משאבים שונים לשלבים ספציפיים בצינור מאפשרת גמישות ויכולות נוספות בצינור, וגם חיסכון פוטנציאלי בעלויות. אפשר להקצות משאבים יקרים יותר לשלבים בצינור שדורשים אותם, ומשאבים זולים יותר לשלבים אחרים בצינור. אפשר להשתמש בהתאמה מימין כדי לציין דרישות משאבים לצינור עיבוד נתונים שלם או לשלבים ספציפיים בצינור עיבוד הנתונים.

תמיכה ומגבלות

• יש תמיכה ברמזים למשאבים ב-Apache Beam Java וב-Python SDK, בגרסאות 2.31.0 ואילך.
• התאמה נכונה נתמכת בצינורות להעברת נתונים באצווה.

• התאמה נכונה נתמכת בצינורות סטרימינג עם שינוי גודל אוטומטי אופקי מופעל.

  • כדי להפעיל את האפשרות הזו, מגדירים את אפשרות הצינור --experiments=enable_streaming_rightfitting.

• התאמה נכונה תומכת ב-Dataflow Prime.

• התאמה נכונה לא תומכת ב-FlexRS.

• כשמשתמשים בהתאמה לזרימה מימין לשמאל, לא משתמשים בworker_accelerator service option.

• כשמשתמשים ב-Dataflow Prime, אי אפשר להשתמש בבחירה אוטומטית של מכונות וירטואליות.

הפעלת התאמה נכונה

כדי להפעיל התאמה נכונה, משתמשים באחת או יותר מרמזים זמינים למשאבים בצינור. כשמשתמשים ברמז למשאב בצינור, התאמה נכונה מופעלת באופן אוטומטי. מידע נוסף זמין בקטע שימוש בהצעות למשאבים במסמך הזה.

רמזים זמינים למשאבים

אלה רמזים למשאבים שזמינים:

הינט למשאבים	תיאור
min_ram	כמות ה-RAM המינימלית בגיגה-בייט להקצאה לעובדים. ‫Dataflow משתמש בערך הזה כגבול תחתון כשמקצים זיכרון לעובדים חדשים (שינוי קנה מידה אופקי) או לעובדים קיימים (שינוי קנה מידה אנכי). לדוגמה: min_ram=NUMBERGB מחליפים את NUMBER בערך המינימלי של זיכרון העובד שנדרש לצינור או לשלב בצינור. ‫min_ram הוא מפרט מצטבר לכל עובד. הוא לא מפרט לכל vCPU. לדוגמה, אם מגדירים את min_ram=15GB, ‏ Dataflow מגדיר את הזיכרון המצטבר שזמין בכל המעבדים הווירטואליים בעובד ל-15GB לפחות. הערה: אם משתמשים ברמז המשאב הזה בשלבים שלא דורשים מאיצים, בחירת מכונה וירטואלית אוטומטית מופעלת באופן אוטומטי.
cpu_count	מספר המעבדים הווירטואליים להקצאה לכל עובד. כשמשתמשים ברמז המשאבים הזה, Dataflow בוחר סוגי מכונות עם מספר יחידות ה-vCPU שצוין ועומדות בדרישות הזיכרון. לדוגמה: cpu_count=NUMBER מחליפים את NUMBER במספר השלם של המעבדים הווירטואליים שנדרשים לצינור או לשלב בצינור לכל עובד. הערה: אם משתמשים ברמז המשאב הזה בשלבים שלא דורשים מאיצים, בחירת מכונה וירטואלית אוטומטית מופעלת באופן אוטומטי.
accelerator	הקצאה של יחידות GPU שסופקה על ידי המשתמש, שמאפשרת לכם לשלוט בשימוש ביחידות GPU ובעלות שלהן בצינור העיבוד ובשלבים שלו. מציינים את הסוג והמספר של יחידות ה-GPU שרוצים לצרף לעובדי Dataflow כפרמטרים של הדגל. לדוגמה: accelerator="type:GPU_TYPE;count:GPU_COUNT;machine_type:MACHINE_TYPE;CONFIGURATION_OPTIONS" מחליפים את GPU_TYPE בסוג ה-GPU שרוצים להשתמש בו. רשימה של סוגי GPU שנתמכים ב-Dataflow זמינה במאמר תמיכה ב-GPU ב-Dataflow. מחליפים את GPU_COUNT במספר המעבדים הגרפיים שרוצים להשתמש בהם. אופציונלי: מחליפים את MACHINE_TYPE בסוג המכונה שרוצים להשתמש בה עם מעבדי ה-GPU. סוג המכונה צריך להיות תואם לסוג ה-GPU שנבחר. פרטים על סוגי GPU וסוגי המכונות התואמים להם זמינים במאמר פלטפורמות GPU. אם מציינים סוג מכונה גם בaccelerator רמז המשאב וגם באפשרות צינור עיבוד הנתונים של סוג מכונת העובד, אז אפשרות צינור עיבוד הנתונים מתעלמת במהלך התאמה נכונה. כדי להשתמש ב-GPU של NVIDIA עם Dataflow, צריך להגדיר את install-nvidia-driver אפשרות ההגדרה. יש תמיכה באפשרויות של גרסת הדרייבר default וגם latest. אפשרות גרסת הדרייבר חייבת להיות זהה בכל צינור הנתונים, גם אם היא מושמטת. לא ניתן לשלב בין גרסה ללא מנהל התקן לבין גרסה של מנהל התקן default. למידע נוסף על שימוש ביחידות GPU, אפשר לעיין במאמר בנושא יחידות GPU ב-Dataflow.

בחירה אוטומטית של מכונות וירטואליות לסוגי מכונות worker

כשמשתמשים ברמזים למשאבים min_ram או cpu_count בשלבים של צינור עיבוד נתונים שלא דורשים מאיצים, הגמישות של המופע (בחירת מכונה וירטואלית אוטומטית) מופעלת באופן אוטומטי. באמצעות התכונה 'בחירה אוטומטית של מכונות וירטואליות', העובדים מקבלים הקצאת משאבים מתוך מבחר של סוגי מכונות שעומדים בדרישות ה-RAM וה-CPU שלכם.

התכונה 'בחירה אוטומטית של מכונות וירטואליות' מייעלת את בחירת המכונות הווירטואליות בעיקר מבחינת אמינות ולא מבחינת ביצועים. המשמעות היא שאולי תהיה ירידה בביצועים בזמן השימוש בתכונה 'בחירת מכונה וירטואלית אוטומטית' כדי לשפר את האמינות של חלק מהמשימות המותאמות במיוחד. מומלץ לבדוק את התכונה 'בחירה אוטומטית של מכונות וירטואליות' בקבוצת משנה של המשימות הקיימות, לפני שפורסים אותה בהדרגה לכלל המשימות.

שימו לב: כדי למנוע ניצול נמוך של CPU ומקביליות לא צפויה במכונות וירטואליות של עובדים כשמשתמשים בבחירה אוטומטית של מכונות וירטואליות, צריך להגדיר באופן מפורש את מספר השרשורים של כלי העבודה כך שיתאים לרמז המשאב cpu_count. מידע נוסף זמין במאמר מקביליות לא צפויה עם בחירה אוטומטית של מכונות וירטואליות.

הערה: כשמשתמשים בבחירה אוטומטית של מכונות וירטואליות, לא כוללים ברמזים למשאבי שלבים בצינור.

אם אתם משתמשים בשמירת מקום ב-Compute Engine עם בחירה אוטומטית של מכונות וירטואליות, חשוב לשים לב לנקודות הבאות:

• אם יש לכם הזמנות עם שימוש אוטומטי, יכול להיות שהמערכת תשתמש בהן אם Compute Engine יקצה מכונות וירטואליות מסוג מכונה תואם.
• התכונה 'בחירה אוטומטית של מכונות וירטואליות' לא תומכת בשימוש במופעים מתוך הזמנה ספציפית.
• אין תמיכה בבחירה אוטומטית של מכונות וירטואליות ב-Dataflow Prime.

מידע נוסף זמין במאמר גמישות בהזמנות של מכונות וירטואליות.

הטמעה של רמזים לגבי משאבים

הצעות לשיפור הביצועים של משאבים מוחלות על היררכיית הצינורות של טרנספורמציות באופן הבא:

• ‫min_ram: הערך של טרנספורמציה מוערך כערך הרמז הגדול ביותר min_ram מבין הערכים שמוגדרים בטרנספורמציה עצמה ובכל ההורים שלה בהיררכיה של הטרנספורמציה.
  • לדוגמה: אם רמז להמרת נתונים פנימי מגדיר את min_ram ל-16GB, ורמז להמרת נתונים חיצוני בהיררכיה מגדיר את min_ram ל-32GB, רמז של 32GB ישמש לכל השלבים בהמרה כולה.
  • לדוגמה: אם רמז לשינוי פנימי מגדיר את min_ram ל-16GB, ורמז לשינוי חיצוני בהיררכיה מגדיר את min_ram ל-8GB, רמז של 8GB ישמש לכל השלבים בשינוי החיצוני שלא נכללים בשינוי הפנימי, ורמז של 16GB ישמש לכל השלבים בשינוי הפנימי.
• ‫accelerator: הערך הפנימי ביותר בהיררכיית הטרנספורמציה מקבל עדיפות.
  • דוגמה: אם רמז להמרת נתונים פנימית accelerator שונה מרמז להמרת נתונים חיצונית accelerator בהיררכיה, הרמז להמרת נתונים פנימית accelerator ישמש להמרת הנתונים הפנימית.

רמזים שמוגדרים לכל הצינור נחשבים כאילו הם מוגדרים בהמרת החוץ הנפרדת.

שימוש ברמזים למשאבים

אפשר להגדיר רמזים למשאבים בכל צינור הנתונים או בשלבים של צינור הנתונים.

הינטים של משאבים בפייפליין

אפשר להגדיר רמזים למשאבים בצינור כולו כשמריצים את צינור העיבוד משורת הפקודה.

gcloud

הערה: הגדרת רמזים למשאבים בהפעלת עבודות נתמכת רק ב-Flex Templates.

כדי להגדיר רמזים למשאבים כשמריצים צינור עיבוד נתונים עם תבנית Flex, משתמשים בדגל --additional-pipeline-options עם הפקודה gcloud dataflow flex-template run. שם האפשרות של צינור העיבוד תלוי בשפת ה-SDK. לדוגמה, לגבי רמזים למשאבים:

• לצינורות Java, משתמשים ב-resourceHints.
• לצינורות עיבוד נתונים של Python, משתמשים ב-resource_hints.

בדוגמה הבאה מוסבר איך להגדיר רמזים למשאבים כשמריצים צינור עיבוד נתונים של תבנית Flex ב-Java:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location="gs://TEMPLATE_LOCATION" \
    --region="REGION" \
    --additional-pipeline-options=resourceHints=min_ram=numberGB \
    --additional-pipeline-options=resourceHints=cpu_count=number \
    --additional-pipeline-options=resourceHints=accelerator="type:type;count:number;install-nvidia-driver" \
    --parameters ...

בדוגמה הבאה אפשר לראות איך מגדירים רמזים למשאבים כשמריצים צינור של Python Flex Template:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location="gs://TEMPLATE_LOCATION" \
    --region="REGION" \
    --additional-pipeline-options=resource_hints=min_ram=numberGB \
    --additional-pipeline-options=resource_hints=cpu_count=number \
    --additional-pipeline-options=resource_hints=accelerator="type:type;count:number;install-nvidia-driver" \
    --parameters ...

Python

הוראות להגדרת סביבת Python מופיעות במדריך ל-Python.

בדוגמה הבאה אפשר לראות איך מגדירים רמזים למשאבים כשמריצים צינור עיבוד נתונים של Python:

python my_pipeline.py \
    --runner=DataflowRunner \
    --resource_hints=min_ram=numberGB \
    --resource_hints=cpu_count=number \
    --resource_hints=accelerator="type:type;count:number;install-nvidia-driver" \
    ...

הערה: כשהתכונה 'התאמה נכונה' מופעלת, רמזים למשאבי צינור עיבוד נתונים מקבלים עדיפות על פני סוג המכונה שצוין באפשרויות של צינור עיבוד הנתונים. כדי לוודא שאפשרות סוג המכונה נמצאת בשימוש, מסירים את כל אפשרויות הרמזים למשאבי צינור עיבוד הנתונים.

רמזים לגבי משאבים בשלב בצינור עיבוד הנתונים

אפשר להגדיר רמזים למשאבים בשלבים של צינור (טרנספורמציות) באופן פרוגרמטי.

Java

כדי להתקין את Apache Beam SDK ל-Java, אפשר לעיין במאמר בנושא התקנה של Apache Beam SDK.

אפשר להגדיר רמזים למשאבים באופן פרוגרמטי בהמרות של צינורות באמצעות הסיווג ResourceHints.

בדוגמה הבאה מוצג איך להגדיר רמזים למשאבים באופן פרוגרמטי בהמרות של צינורות עיבוד נתונים.

pcoll.apply(MyCompositeTransform.of(...)
    .setResourceHints(
        ResourceHints.create()
            .withMinRam("15GB")
            .withCpuCount(8)
            .withAccelerator(
    "type:nvidia-l4;count:1;install-nvidia-driver")))

pcoll.apply(ParDo.of(new BigMemFn())
    .setResourceHints(
        ResourceHints.create()
          .withMinRam("30GB")
          .withCpuCount(16)))

כדי להגדיר רמזים למשאבים באופן פרוגרמטי בכל צינור הנתונים, משתמשים בממשק ResourceHintsOptions.

Python

כדי להתקין את Apache Beam SDK ל-Python, אפשר לעיין במאמר בנושא התקנה של Apache Beam SDK.

אפשר להגדיר רמזים למשאבים באופן פרוגרמטי בהמרות של צינורות באמצעות הסיווג PTransforms.with_resource_hints. מידע נוסף זמין במאמר בנושא ResourceHint class.

בדוגמה הבאה מוצג איך להגדיר רמזים למשאבים באופן פרוגרמטי בהמרות של צינורות עיבוד נתונים.

pcoll | MyPTransform().with_resource_hints(
    min_ram="4GB",
    cpu_count=8,
    accelerator="type:nvidia-tesla-l4;count:1;install-nvidia-driver")

pcoll | beam.ParDo(BigMemFn()).with_resource_hints(
    min_ram="30GB",
    cpu_count=16)

כדי להגדיר רמזים למשאבים בצינור כולו, משתמשים באפשרות --resource_hints של צינור העיבוד כשמריצים את צינור העיבוד. דוגמה מופיעה במאמר בנושא רמזים למשאבי צינורות.

המשך

אין תמיכה ברמזים למשאבים ב-Go.

תמיכה במספר מאיצים

בצינור, לטרנספורמציות שונות יכולות להיות הגדרות שונות של האצת החישובים. ההגדרות האלה כוללות הגדרות שדורשות סוגים שונים של מכונות. ההגדרות האלה של האצת טרנספורמציה מקבלות קדימות על פני ההגדרה ברמת צינור הנתונים, אם היא סופקה.

התאמה ומיזוג נכונים

במקרים מסוימים, טרנספורמציות שהוגדרו עם רמזים שונים למשאבים יכולות להתבצע על עובדים באותו מאגר עובדים, כחלק מהתהליך של אופטימיזציה של מיזוג. כשממזגים טרנספורמציות, Dataflow מריץ אותן בסביבה שעומדת בדרישות של איחוד רמזי המשאבים שהוגדרו בטרנספורמציות. במקרים מסוימים, זה כולל את כל הצינור.

אם אי אפשר למזג רמזים למשאבים, לא מתבצע מיזוג. לדוגמה, אי אפשר למזג רמזים לגבי משאבים של GPU שונים, ולכן לא ניתן לבצע מיזוג של טרנספורמציות כאלה.

אפשר גם למנוע מיזוג על ידי הוספת פעולה לצינור העיבוד שמאלצת את Dataflow ליצור PCollection ביניים. האפשרות הזו שימושית במיוחד כשמנסים לבודד משאבים יקרים כמו מעבדי GPU או מכונות עם זיכרון גבוה משלבים איטיים או משלבים שדורשים הרבה משאבי מחשוב ולא צריכים את המשאבים המיוחדים האלה. במקרים כאלה, יכול להיות שיהיה כדאי לכפות פיצול של המיזוג בין השלבים האיטיים שמוגבלים על ידי המעבד לבין השלבים שדורשים שימוש במעבדים גרפיים יקרים או במכונות עם זיכרון גבוה, ולשלם את העלות של יצירת חומרים שקשורה לפיצול המיזוג. מידע נוסף זמין במאמר בנושא מניעת מיזוג.

התאמה לשידור

במשימות סטרימינג, אפשר להפעיל התאמה נכונה על ידי הגדרת אפשרות הצינור --experiments=enable_streaming_rightfitting.

התאמה נכונה יכולה לשפר את הביצועים של צינור העיבוד אם הוא כולל שלבים עם דרישות שונות של משאבים.

דוגמה: צינור עם שלב שדורש הרבה CPU ושלב שדורש GPU

דוגמה לצינור עיבוד נתונים שיכול להפיק תועלת מהתאמה נכונה היא צינור שמבצע שלב שדורש הרבה משאבי CPU, ואחריו שלב שדורש GPU. אם לא מתאימים את המשאבים בצורה נכונה, צריך להגדיר מאגר יחיד של עובדי GPU כדי להריץ את כל שלבי צינור עיבוד הנתונים, כולל השלב שדורש הרבה משאבי CPU. זה עלול להוביל לניצול חלקי של משאבי ה-GPU כשמאגר העובדים מבצע את השלב שדורש הרבה משאבי CPU.

אם ההתאמה הנכונה מופעלת ורמז למשאב מוחל על השלב שדורש GPU, צינור הנתונים ייצור שני מאגרי עובדים נפרדים, כך שהשלב שדורש CPU יבוצע על ידי מאגר העובדים של ה-CPU, והשלב שדורש GPU יבוצע על ידי מאגר העובדים של ה-GPU.

בצנרת הזו לדוגמה, בטבלה של שינוי הגודל האוטומטי אפשר לראות שמאגר העובדים שמבצע את השלב שדורש הרבה משאבי CPU‏, Pool 0, גדל בהתחלה ל-99 עובדים, ואחר כך קטן ל-87 עובדים. מאגר העובדים שמבצע את השלב שדורש GPU‏, Pool 1, מוגדל ל-13 עובדים:

בתרשים של ניצול המעבד (CPU) אפשר לראות שרמת הניצול של המעבד גבוהה באופן כללי בשני מאגרי העובדים:

פתרון בעיות שקשורות להתאמה נכונה

בקטע הזה מפורטות הוראות לפתרון בעיות נפוצות שקשורות להתאמה נכונה.

הגדרות אישיות לא תקינות

כשמנסים להשתמש בהתאמה לימין, מופיעה השגיאה הבאה:

Workflow failed. Causes: One or more operations had an error: 'operation-OPERATION_ID':
[UNSUPPORTED_OPERATION] 'NUMBER vCpus with NUMBER MiB memory is
an invalid configuration for NUMBER count of 'GPU_TYPE' in family 'MACHINE_TYPE'.'.

השגיאה הזו מתרחשת כשסוג ה-GPU שנבחר לא תואם לסוג המכונה שנבחר. כדי לפתור את השגיאה הזו, בוחרים סוג GPU וסוג מכונה שתואמים זה לזה. פרטים על התאימות מופיעים במאמר בנושא פלטפורמות GPU.

מקביליות לא צפויה עם בחירה אוטומטית של מכונות וירטואליות

אם אתם רואים ניצול נמוך של CPU או מקביליות לא צפויה במכונות וירטואליות של עובדים כשמשתמשים בבחירה אוטומטית של מכונות וירטואליות עם התאמה נכונה, יכול להיות שזה נובע מבעיה מוכרת שבה מספר השרשורים לכל עובד לא מוגדר אוטומטית כך שיתאים למספר ה-vCPU של סוג המכונה שנבחר.

כדי לפתור את הבעיה, צריך להגדיר במפורש את אותו ערך גם לnumberOfWorkerHarnessThreads אפשרות הצינור וגם לרמז למשאב הצינור cpu_count. לדוגמה, אם אתם צריכים 2 מעבדים וירטואליים, צריך להגדיר את --numberOfWorkerHarnessThreads=2 ואת --resourceHints=cpu_count=2. הערה: האפשרות numberOfWorkerHarnessThreads חלה באופן גלובלי על כל מאגרי העובדים בצינור עיבוד הנתונים.

איך לוודא שהאוזניות מתאימות

כדי לוודא שהתאמה נכונה מופעלת, אפשר לעיין במדדי שינוי הגודל האוטומטי ולוודא שהעמודה Worker pool מוצגת ומופיעים בה מאגרי משאבים שונים:

ביצועים של התאמת זכויות שידור

יכול להיות שצינורות סטרימינג עם התאמה נכונה לא תמיד יניבו ביצועים טובים יותר מצינורות בלי התאמה נכונה. לדוגמה:

1. הצינור משתמש ביותר עובדים
2. זמן האחזור של המערכת ארוך יותר או שהתפוקה נמוכה יותר
3. הגדלים של מאגרי העובדים משתנים בתדירות גבוהה יותר, או שלא מתייצבים

אם אתם רואים את זה בצינור הנתונים שלכם, אתם יכולים להשבית את ההתאמה הנכונה על ידי הסרת --experiments=enable_streaming_rightfitting אפשרות צינור הנתונים. בנוסף, צינורות סטרימינג עם התאמה נכונה שמופעלת באמצעות רמזים למשאבי האצה עשויים להשתמש ביותר מאיצי תוכנה מהרצוי. אם אתם רואים את זה בצינור עיבוד הנתונים שלכם, אתם יכולים להגדיר מספר מקסימלי של מאיצים שצינור עיבוד הנתונים משתמש בהם על ידי הגדרת אפשרות צינור עיבוד הנתונים --experiments=max_num_accelerators=NUM.