הפעלת עומסי עבודה מוכנים מראש

אם אתם רוצים להשתמש ב-Gemini Enterprise Agent Platform Managed Training, פנו לנציג המכירות שלכם כדי לקבל גישה.

במדריך הזה נסביר איך להשתמש בסביבה העסקית של NVIDIA NeMo באשכול אימון מנוהל, כדי לפתח מודל AI גנרטיבי מקצה לקצה. הוא כולל הוראות מפורטות לתהליכי העבודה הבאים, שהם נפרדים אבל קשורים זה לזה, וכל אחד מהם מופיע בקטע ייעודי משלו:

  • ‫NVIDIA NeMo: כדי לפתח מודל בסיסי, פועלים לפי ההוראות האלה כדי לבצע אימון מראש בקנה מידה גדול, אימון מראש רציף (CPT) וכוונון מפוקח (SFT).
  • ‫NVIDIA NeMo-RL: בקטע הזה אפשר להשתמש בשיטות מתקדמות כמו למידת חיזוק (RL) כדי להתאים את המודל להוראות ולהעדפות של בני אדם.

במאמר הזה נסביר איך להגדיר את הסביבה, לנהל משימות בקונטיינרים ולהפעיל סקריפטים לאימון באשכול, בין אם אתם מאמנים מודל מאפס או משפרים מודל קיים.

NVIDIA NeMo

NVIDIA NeMo framework היא פלטפורמה מקצה לקצה לפיתוח, להתאמה אישית ולפריסה של מודלים של AI גנרטיבי. החלק הזה במדריך מיועד במיוחד למפתחים ולחוקרים שמתמקדים בשלבים הבסיסיים של פיתוח המודל. המדריך כולל הוראות מפורטות לשימוש ב-NeMo כדי לבצע אימון מראש בקנה מידה גדול, אימון מראש רציף (CPT) וכוונון מפוקח (SFT) באשכול Managed Training.

במדריך הזה מוסבר תהליך העבודה המלא להרצת משימת אימון באמצעות מסגרת NeMo. התהליך מחולק לשני חלקים עיקריים: הגדרה ראשונית חד-פעמית של הסביבה, והשלבים החוזרים להפעלת משימה.

מגדירים את הסביבה

לפני שאתם מפעילים משימה, אתם צריכים להכין את הסביבה ולוודא שיש לכם קובץ אימג' של קונטיינר ואת הסקריפטים הנדרשים לאימון.

התקנת NeMo-Run

pip install git+https://github.com/NVIDIA/NeMo-Run.git

הכנת קובץ אימג' של קונטיינר

יש שתי אפשרויות לקובץ האימג' של הקונטיינר: להשתמש בקובץ אימג' מוכן מראש (מומלץ) או ליצור קובץ אימג' בהתאמה אישית.

שימוש בתמונה מוכנה מראש (מומלץ)

קובצי אימג' של קונטיינרים מוכנים מראש מסופקים בפורמט .squashfs. מעתיקים את קובץ האימג' שמתאים לאזור שלכם לספריית העבודה.

# Example for the US region
gcloud storage cp gs://vmds-containers-us/vmds_nemo_squashfs/nemo-20250721.sqsh .
יצירת קונטיינר בהתאמה אישית (למתקדמים)

צריך לבצע את השלבים הבאים רק אם מאגרי התגים המוגדרים מראש לא עונים על הצרכים שלכם. ההליך הזה מסביר איך להמיר קובץ אימג' של קונטיינר בהתאמה אישית לפורמט .squashfs באמצעות enroot.

שלב 1: אימות באמצעות Google Cloud.

משתמשים בפקודות הבאות כדי לוודא שגם Google Cloud חשבון המשתמש וגם מאגר Docker שבו מאוחסן קובץ האימג' מאומתים:

gcloud auth login
gcloud auth configure-docker us-docker.pkg.dev

שלב 2: יוצרים את סקריפט ההמרות.

יוצרים קובץ בשם enroot-convert.sh ומוסיפים את תוכן הסקריפט הבא. לפני שמריצים את הסקריפט, צריך לעדכן את המשתנים REMOTE_IMG ו-LOCAL_IMG כך שיצביעו על קובץ האימג' של הקונטיינר ועל נתיב הפלט שבחרתם.

#!/bin/bash

#SBATCH --gpus-per-node=8
#SBATCH --exclusive
#SBATCH --mem=0
#SBATCH --ntasks-per-node=1

# Run this script on the slurm login node:
# sbatch -N 1 enroot-convert.sh

set -x
set -e

# The remote docker image URI.
REMOTE_IMG="docker://us-docker.pkg.dev/{YOUR_CONTAINER_IMG_URI}:{YOUR_CONTAINER_IMAGE_TAG}"

# The local path to the to be imported enroot squash file.
LOCAL_IMG="${HOME}/my_nemo.sqsh"

# The path to the enroot config file.
TMP_ENROOT_CONFIG_PATH="/tmp/\$(id -u --name)/config/enroot"

# Download the docker image to each node.
srun -l -N "${SLURM_NNODES}" \
bash -c "
mkdir -p ${TMP_ENROOT_CONFIG_PATH};
echo 'machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth print-access-token)' > ${TMP_ENROOT_CONFIG_PATH}/.credentials;
rm -f ${LOCAL_IMG};
ENROOT_CONFIG_PATH=${TMP_ENROOT_CONFIG_PATH} ENROOT_MAX_PROCESSORS=$(( $(nproc) / 2 )) enroot import -o ${LOCAL_IMG} ${REMOTE_IMG};
"

שלב 3: מריצים את הסקריפט ובודקים את הפלט.

מריצים את הסקריפט בצומת ההתחברות של Slurm.

sbatch -N 1 enroot-convert.sh

אחרי שהמשימה מסתיימת, יומני ההמרה נמצאים בקובץ בשם ‎slurm-<JOB_ID>.out וקובץ אימג' של קונטיינר הסופי נמצא בנתיב שציינתם בשביל LOCAL_IMG.

הורדת מתכוני האימון

מתכוני האימון מאוחסנים במאגר פרטי של googlesource.com. כדי לגשת אליהם באמצעות שורת הפקודה של Git, קודם צריך ליצור פרטי כניסה לאימות.

  1. יוצרים פרטי כניסה לאימות.

    נכנסים לכתובת ה-URL הבאה ופועלים לפי ההוראות במסך. הפעולה הזו מגדירה את הסביבה המקומית לאימות מול המאגר. https://www.googlesource.com/new-password

  2. משכפלים את המאגר.

    אחרי שפרטי הכניסה מאומתים, מריצים את הפקודה הבאה כדי להוריד את המתכונים.

    git clone -b release-allowlist-ga https://vertex-model-garden.googlesource.com/vertex-oss-training
    

הפעלת משימת אימון

אחרי שמגדירים את הסביבה, אפשר להפעיל משימת אימון.

שלב 1: הגדרה של משתני סביבה

יכול להיות שתצטרכו להגדיר את משתני הסביבה הבאים בשביל המשימה:

  • צריך את HF_TOKEN כדי להוריד מודלים וקבוצות נתונים מ-Hugging Face.
  • כדי להשתמש ב-Weights & Biases לניתוח ניסויים, צריך את WANDB_API_KEY.
export HF_TOKEN=YOUR_HF_TOKEN
export WANDB_API_KEY=YOUR_WANDB_API_KEY

שלב 2: מריצים את סקריפט ההפעלה

עוברים לספריית העבודה ומריצים את הסקריפט run.py כדי להתחיל משימה. בדוגמה הזו מתחילה משימת אימון לדוגמה עם Llama 3.1-2b.

# Set the working directory
export WORK_DIR=$HOME/vertex-oss-training/nemo
cd $WORK_DIR

gcloud storage cp
gs://vmds-containers-<region>/vmds_nemo_squashfs/nemo-20250721.sqsh nemo-demo.sqsh

# Launch the training job
export NEMORUN_HOME=$WORK_DIR && \
python3 run.py -e slurm --slurm-type hcc-a3m --partition a3m \
  -d $WORK_DIR -i $WORK_DIR/nemo-demo.sqsh \
  -s pretrain/llama3p1_2b_pt.py -n 2 \
  --experiment-name nemo-demo-run

פרמטרים של הפעלה

  • הערך של --slurm-type מוגדר לפי סוג האשכול (לדוגמה, hcc-a3m,‏ hcc-a3u,‏ hcc-a4).
  • צריך להגדיר את --partition למחיצה זמינה. אפשר לבדוק את שמות המחיצות באמצעות הפקודה sinfo.
  • הסקריפט run.py טוען באופן אוטומטי כמה ספריות למאגר Docker, כולל --log-dir,‏ --cache-dir ו---data-dir, אם הן מוגדרות.

מעקב אחרי סטטוס המשימה ויומנים

אחרי שמפעילים את המשימה, מוצג בלוק סטטוס:

Experiment Status for nemo-demo-run_1753123402

Task 0: nemo-demo-run
- Status: RUNNING
- Executor: SlurmExecutor on @localhost
- Job id: 75
- Local Directory: $NEMORUN_HOME/experiments/nemo-demo-run/nemo-demo-run_1753123402/nemo-demo-run

יומני ההפעלה נכתבים בנתיב שמופיע בשדה Local Directory בפלט הסטטוס. לדוגמה, אפשר למצוא את קובצי היומן בנתיב שדומה לזה:

$NEMORUN_HOME/experiments/nemo-demo-run/nemo-demo-run_1753123402/nemo-demo-run/<JOB_ID>.log

שגיאות נפוצות והצעות לפתרונות

בקטע הזה מתוארות בעיות נפוצות שעלולות לקרות במהלך הרצת משימות, ומוצעים פתרונות לבעיות האלה.

שגיאה: מחיצה לא תקינה

כברירת מחדל, המשימות מנסות לפעול במחיצה הכללית. אם המחיצה הכללית לא קיימת או לא זמינה, המשימה תיכשל ותופיע השגיאה הבאה:

sbatch: error: invalid partition specified: general
sbatch: error: Batch job submission failed: Invalid partition name specified

הפתרון:

מציינים מחיצה זמינה באמצעות הארגומנט --partition או -p בפקודת ההפעלה. כדי לראות רשימה של המחיצות הזמינות, מריצים את הפקודה sinfo בצומת ההתחברות של Slurm.

sinfo

בפלט מוצגים שמות המחיצות הזמינות, כמו a3u בדוגמה הזו:

מחיצה AVAIL TIMELIMIT צמתים STATE NODELIST
a3u* חץ למעלה אינסופי 2 idle~ alice-a3u-[2-3]
a3u* חץ למעלה אינסופי 2 ללא פעילות alice-a3u-[0-1]

שגיאה בהורדת ה-tokenizer

יכול להיות שתופיע הודעת OSError שקשורה לקישור בין מכשירים כשהסקריפט ינסה להוריד את ה-tokenizer של GPT2:

OSError: [Errno 18] Invalid cross-device link: 'gpt2-vocab.json' -> '/root/.cache/torch/megatron/megatron-gpt-345m_vocab'

פתרונות:

יש שתי דרכים לפתור את הבעיה:

  • אפשרות 1: מריצים מחדש את המשימה. השגיאה הזו היא בדרך כלל זמנית. יכול להיות שהרצה מחדש של המשימה עם אותו --cache-dir תפתור את הבעיה.
  • אפשרות 2: מורידים ידנית את קובצי ה-tokenizer. אם ההפעלה מחדש של המשימה נכשלת, מבצעים את הפעולות הבאות:
    • מורידים את שני הקבצים הבאים:
      • gpt2-vocab.json
      • gpt2-merges.txt
    • מעבירים את הקבצים שהורדתם לספריית המשנה torch/megatron/ שבספריית המטמון (לדוגמה, <var>YOUR_CACHE_DIR</var>/torch/megatron/).
    • משנים את שמות הקבצים באופן הבא:
      • משנים את השם של gpt2-vocab.json לשם megatron-gpt-345m_vocab.
      • משנים את השם של gpt2-merges.txt לשם megatron-gpt-345m_merges.

NVIDIA NeMo-RL

ה-framework של NVIDIA NeMo-RL נועד להתאים מודלים גדולים של שפה (LLM) להעדפות ולהוראות של בני אדם. בקטע הזה מוסבר איך משתמשים ב-NeMo-RL באשכול כדי לבצע משימות התאמה מתקדמות, כולל כוונון מפוקח (SFT), כוונון העדפות (כמו אופטימיזציה ישירה של העדפות, או DPO) ולמידת חיזוק (RL).

המדריך כולל שני תהליכי עבודה עיקריים: הפעלת משימת אימון סטנדרטית באצווה ושימוש בסביבת הפיתוח האינטראקטיבית לניפוי באגים.

דרישות מוקדמות

לפני שמתחילים, יוצרים אשכול לפי ההוראות בדף יצירת אשכול, או משתמשים באשכול קיים של Managed Training, אם יש לכם כזה.

התחברות לצומת ההתחברות של האשכול

כדי להתחבר לצומת ההתחברות של האשכול, מאתרים את הפקודה הנכונה של Google Cloud CLI: נכנסים לדף Compute Engine Virtual Machine במסוף Google Cloud ולוחצים על SSH > View Google Cloud CLI command. הוא ייראה בערך כך:

ssh $USER_NAME@machine-addr

דוגמה:

ssh $USER_NAME@nic0.sliua3m1-login-001.europe-north1-c.c.infinipod-shared-dev.internal.gcpnode.com

שימוש בקובץ אימג' של Docker שנוצר מראש

קבצי .sqsh שהומרו מסופקים לקובצי אימג' של קונטיינרים שנוצרו מראש. אתם יכולים לבחור קונטיינר לאזור שלכם ולהגדיר אותו ישירות כפרמטר של קובץ האימג' של הקונטיינר, או להוריד אותו למערכת הקבצים של האשכול.

כדי להגדיר אותו ישירות כפרמטר של קובץ האימג' של הקונטיינר, משתמשים באחד מהנתיבים הבאים. שימו לב שצריך להחליף את <region> באזור הספציפי שלכם (לדוגמה, europe,‏ asia,‏ us):

/gcs/vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh

כדי להוריד את קובץ האימג' לאחסון Lustre של האשכול, משתמשים בפקודה הבאה:

gs://vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh DESTINATION

הורדת הקוד

כדי לקבל גישה למתכון לאימון באמצעות git CLI, נכנסים לכתובת https://www.googlesource.com/new-password. כדי להוריד את המתכון, משתמשים בפקודה הבאה:

cd $HOME
git clone -b release-allowlist-ga https://vertex-model-garden.googlesource.com/vertex-oss-training

הפעלת משימות

שלב 1: מגדירים משתני סביבה.

כדי לשלוף מודלים ונתונים מ-Hugging Face, יכול להיות שצריך להגדיר את HF_TOKEN. כדי להשתמש ב-Weights & Biases לניתוח ניסויים, צריך להגדיר את WANDB_API_KEY. מעדכנים את המשתנים האלה בקובץ הבא:

הקובץ לעדכון: $HOME/vertex-oss-training/nemo_rl/configs/auth.sh

אם אתם לא רוצים להשתמש ב-Weights & Biases, הגדירו את logger.wandb_enabled ל-False בסקריפט ההפעלה.

שלב 2: מורידים או מעתיקים את קובץ המאגר לתיקיית ההפעלה.

הנה מספר דוגמאות.

gcloud storage cp \
  gs://vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh \
  $HOME/vertex-oss-training/nemo_rl/nemo_rl-h20260302.sqsh


# OR

/gcs/vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh \
  $HOME/vertex-oss-training/nemo_rl/nemo_rl-h20260302.sqsh

cd $HOME/vertex-oss-training/nemo_rl/

# Where region is either `us`, `asia`, or `europe`

שלב 3: מכינים או משכפלים את מאגר NeMo-RL.

אם עדיין לא עשיתם את זה, צרו עותק של קוד NeMo-RL. שימו לב: יכול להיות שתצטרכו להשתמש ב-git submodule update --init --recursive אם כבר שכפלתם את המאגר בלי הדגל --recursive.

git clone https://github.com/NVIDIA-NeMo/RL --recursive

שלב 4: מפעילים את משימת האימון.

sbatch -N <num_nodes> launch.sh --cluster_type hcc-a3m --job_script algorithms/dpo.sh

כאשר:

  • הערך של --cluster-type מוגדר לפי סוג האשכול:
    • ‫A3-Mega:‏ hcc-a3m
    • ‫A3-Ultra: ‏hcc-a3u
    • ‫A4: hcc-a4
    • A3H: hcc-a3h
  • צריך להגדיר את --partition בהתאם, ואפשר להשתמש ב-sinfo כדי לבדוק את המחיצות של Slurm.

אחרי שהמשימה מתחילה, נוצרת ספרייה חדשה במיקום הנוכחי שלכם, שנקראת על שם מזהה המשימה ב-SLURM. בתוכו נמצאים כל היומנים ונקודות הבדיקה ששייכים למשימה הזו. בתוך התיקייה הזו נמצאים הקבצים והתיקיות הבאים:

  • ‫checkpoints/ ← הספרייה הזו מותקנת בתוך מאגר NeMo-RL ומכילה את כל נקודות הבדיקה מהאימון.
  • ‫ray-logs/ ← הספרייה הזו מכילה את היומנים מ-Ray Head ומ-Ray Workers.
  • ‫nemo_rl_output.log ← הקובץ הזה מכיל את יומני Slurm מהמשימה ששלחתם.
  • ‫attach.sh (משימות אינטראקטיביות בלבד) ← זהו סקריפט Bash שמאפשר לכם לצרף משימה אינטראקטיבית. אם המשימה הופעלה בהצלחה, יכול להיות שיעברו כמה דקות עד שהקובץ ייווצר.

פיתוח באמצעות NeMo-RL

הגדרה אינטראקטיבית

יש שתי אפשרויות לפיתוח אינטראקטיבי מהיר באמצעות NeMo-RL.

nemorlinteractive

זו פקודת עזר פשוטה שמאפשרת לבחור צומת GPU מהאשכול (נניח צומת מספר 5), ואז היא מעבירה אתכם לקונטיינר פעיל של NeMo-RL בתוך הצומת שבחרתם. הפקודה הזו שימושית לתהליכי עבודה עם צומת אחד.

כדי להשתמש ב-nemorlinteractive, צריך לבצע את השלבים הבאים:

  1. בקובץ configs/auth.sh, מספקים את כל אסימוני האימות שרוצים (לדוגמה, HF ו-WandB) שנטענו למשימה.
  2. מגדירים את משתנה הסביבה CLUSTER_TYPE לפי ההנחיות הבאות:

    export CLUSTER_TYPE="hcc-a3m" # --> if you have A3-Mega cluster
    export CLUSTER_TYPE="hcc-a3u" # --> if you have A3-Ultra cluster
    export CLUSTER_TYPE="hcc-a4"  # --> If you have A4 cluster
    export CLUSTER_TYPE="hcc-a3h" # --> If you have A3H cluster
    
  3. מייבאים את nemorlinteractive לטרמינל Bash באמצעות הפקודה bash_utils.sh:

    source bash_utils.sh
    
  4. מריצים את הפקודה nemorlinteractive. לדוגמה:

    # Assuming you want to take the compute node number 5.
    nemorlinteractive 5
    

השקה אינטראקטיבית

האפשרות הזו מאפשרת להריץ עומסי עבודה באופן אינטראקטיבי בכמה צומתי מחשוב. משימות אינטראקטיביות מתאימות בעיקר לתרחישים לדוגמה של ניפוי באגים ואימות. עומסי העבודה האלה שומרים את הצומת ללא הגבלת זמן, עד שהמפתח מחליט שהניפוי באגים הסתיים ורוצה לשחרר את המשאבים.

אלה השלבים שצריך לבצע באפשרות הזו:

בקובץ configs/auth.sh, מספקים את כל אסימוני האימות שרוצים (לדוגמה, HF ו-WandB) שנטענים למשימה.

sbatch -N <num_nodes> launch.sh --cluster_type hcc-a3m --interactive
  • ממתינים 2-5 דקות עד שנוצר <job_id>/attach.sh.

  • כדי לעקוב אחרי ההתקדמות של ההפעלה, בודקים את <job_id>/nemo_rl_output.log כדי לראות את ההתקדמות של סקריפט ההפעלה, ובודקים את <job_id>/ray_logs/ כדי לראות את ההתקדמות של ההפעלה של Ray head ו-workers.

  • מתחברים למשימה האינטראקטיבית. הסקריפט הזה מאפשר לכם להתחבר שוב גם אם החיבור מתנתק:

bash <job_id>/attach.sh

המאמרים הבאים

הפעלת עומס עבודה מוגדר מראש מאמתת את סטטוס הפעילות של האשכול. השלב הבא הוא להריץ אפליקציית אימון בהתאמה אישית משלכם.