שימוש בסוג ה-GPU‏ NVIDIA® L4

בדף הזה מוסבר איך להריץ את צינור הנתונים של Dataflow עם סוג ה-GPU‏ NVIDIA® L4. סוג ה-GPU‏ L4 שימושי להרצת צינורות עיבוד נתונים של מסקנות למידת מכונה.

דרישות

  • משתמשים ב-Apache Beam SDK בגרסה 2.46 ואילך. מומלץ להשתמש ב-Apache Beam 2.50 או בגרסה מתקדמת יותר.
  • צריך מכסת GPU מסוג L4 ‏ (NVIDIA_L4_GPUS) באזור שבו מופעלת העבודה. מידע נוסף זמין במאמר בנושא מכסות של GPU.
  • סוג ה-GPU‏ L4 זמין רק עם סוג המכונה G2 שעבר אופטימיזציה להאצה. מידע נוסף זמין במאמר בנושא סדרת מכונות G2. צינורות שמשתמשים בסוג ה-GPU L4 כפופים למגבלות הרגילות של G2.
  • ב-GPU מסוג NVIDIA L4 נעשה שימוש בדרייבר NVIDIA בגרסה 525.0 ואילך ובערכת הכלים CUDA בגרסה 12.0 ואילך. כל קוד שמשתמשים בו בצינור עיבוד הנתונים צריך להיות תואם לגרסת הדרייבר של NVIDIA ולגרסת ערכת הכלים של CUDA. לדוגמה, אם אתם משתמשים ב-PyTorch, אתם צריכים להשתמש ב-PyTorch בגרסה 23.01 ואילך.

הרצה של צינורות עיבוד נתונים באמצעות סוג ה-GPU‏ NVIDIA® L4

כדי להשתמש בסוג ה-GPU‏ NVIDIA L4, צריך לכלול את אפשרויות הצינור ואפשרויות השירות הבאות בקוד הצינור.

Java 

--workerMachineType=G2_MACHINE_TYPE
--dataflowServiceOptions="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Python 

--machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

Go 

--worker_machine_type=G2_MACHINE_TYPE
--dataflow_service_options="worker_accelerator=type:nvidia-l4;count:GPU_COUNT;install-nvidia-driver"

מחליפים את הערכים הבאים:

  • ‫G2_MACHINE_TYPE: סוג המכונה G2 לשימוש
  • ‫GPU_COUNT: מספר יחידות ה-GPU לשימוש. לכל סוג מכונת G2 יש מספר קבוע של GPUs מסוג NVIDIA L4. כדי למצוא את מספר יחידות ה-GPU הנכון לסוג המכונה שלכם, אפשר לעיין בעמודה GPU count בטבלה G2 standard machine types.

מידע נוסף על הפעלת צינורות עם GPU זמין במאמר הפעלת צינור עם GPU.

ניהול יחסי התלות

כדי לנהל תלות, משתמשים בקונטיינר בהתאמה אישית. מידע נוסף מופיע במאמר בנושא שימוש במאגרי תמונות מותאמים אישית ב-Dataflow.

בדוגמה הבאה של Dockerfile יש תלות תואמת בצינור (pipeline) שמשתמש בסוג ה-GPU‏ NVIDIA L4.

RUN apt-get -y update
RUN apt-get install [system packages]

# Install the SDK.
RUN pip install --no-cache-dir apache-beam[gcp]==2.51.0
# Install the machine learning dependencies.
RUN pip install --no-cache-dir tensorflow[and-cuda]
RUN pip install xgboost
RUN pip install transformers accelerate
(etc…..)
# Verify that the image doesn't have conflicting dependencies.
RUN pip check

# Copy files from official SDK image, including the script and dependencies.
COPY --from=apache/beam_python3.10_sdk:2.51.0 /opt/apache/beam /opt/apache/beam

# Set the entrypoint to Apache Beam SDK launcher.
ENTRYPOINT ["/opt/apache/beam/boot"]

המאמרים הבאים