במדריך הזה נסביר איך להשתמש בסביבה העסקית של NVIDIA NeMo באשכול אימון מנוהל, כדי לפתח מודל AI גנרטיבי מקצה לקצה. הוא כולל הוראות מפורטות לתהליכי העבודה הבאים, שהם נפרדים אבל קשורים זה לזה, וכל אחד מהם מופיע בקטע ייעודי משלו:
- NVIDIA NeMo: כדי לפתח מודל בסיסי, פועלים לפי ההוראות האלה כדי לבצע אימון מראש בקנה מידה גדול, אימון מראש רציף (CPT) וכוונון מפוקח (SFT).
- NVIDIA NeMo-RL: בקטע הזה אפשר להשתמש בשיטות מתקדמות כמו למידת חיזוק (RL) כדי להתאים את המודל להוראות ולהעדפות של בני אדם.
במאמר הזה נסביר איך להגדיר את הסביבה, לנהל משימות בקונטיינרים ולהפעיל סקריפטים לאימון באשכול, בין אם אתם מאמנים מודל מאפס או משפרים מודל קיים.
NVIDIA NeMo
NVIDIA NeMo framework היא פלטפורמה מקצה לקצה לפיתוח, להתאמה אישית ולפריסה של מודלים של AI גנרטיבי. החלק הזה במדריך מיועד במיוחד למפתחים ולחוקרים שמתמקדים בשלבים הבסיסיים של פיתוח המודל. המדריך כולל הוראות מפורטות לשימוש ב-NeMo כדי לבצע אימון מראש בקנה מידה גדול, אימון מראש רציף (CPT) וכוונון מפוקח (SFT) באשכול Managed Training.
במדריך הזה מוסבר תהליך העבודה המלא להרצת משימת אימון באמצעות מסגרת NeMo. התהליך מחולק לשני חלקים עיקריים: הגדרה ראשונית חד-פעמית של הסביבה, והשלבים החוזרים להפעלת משימה.
מגדירים את הסביבה
לפני שאתם מפעילים משימה, אתם צריכים להכין את הסביבה ולוודא שיש לכם קובץ אימג' של קונטיינר ואת הסקריפטים הנדרשים לאימון.
התקנת NeMo-Run
pip install git+https://github.com/NVIDIA/NeMo-Run.git
הכנת קובץ אימג' של קונטיינר
יש שתי אפשרויות לקובץ האימג' של הקונטיינר: להשתמש בקובץ אימג' מוכן מראש (מומלץ) או ליצור קובץ אימג' בהתאמה אישית.
שימוש בתמונה מוכנה מראש (מומלץ)
קובצי אימג' של קונטיינרים מוכנים מראש מסופקים בפורמט .squashfs. מעתיקים את קובץ האימג' שמתאים לאזור שלכם לספריית העבודה.
# Example for the US region
gcloud storage cp gs://vmds-containers-us/vmds_nemo_squashfs/nemo-20250721.sqsh .
יצירת קונטיינר בהתאמה אישית (למתקדמים)
צריך לבצע את השלבים הבאים רק אם מאגרי התגים המוגדרים מראש לא עונים על הצרכים שלכם.
ההליך הזה מסביר איך להמיר קובץ אימג' של קונטיינר בהתאמה אישית לפורמט .squashfs באמצעות enroot.
שלב 1: אימות באמצעות Google Cloud.
משתמשים בפקודות הבאות כדי לוודא שגם Google Cloud חשבון המשתמש וגם מאגר Docker שבו מאוחסן קובץ האימג' מאומתים:
gcloud auth login
gcloud auth configure-docker us-docker.pkg.dev
שלב 2: יוצרים את סקריפט ההמרות.
יוצרים קובץ בשם enroot-convert.sh ומוסיפים את תוכן הסקריפט הבא. לפני שמריצים את הסקריפט, צריך לעדכן את המשתנים REMOTE_IMG ו-LOCAL_IMG כך שיצביעו על קובץ האימג' של הקונטיינר ועל נתיב הפלט שבחרתם.
#!/bin/bash
#SBATCH --gpus-per-node=8
#SBATCH --exclusive
#SBATCH --mem=0
#SBATCH --ntasks-per-node=1
# Run this script on the slurm login node:
# sbatch -N 1 enroot-convert.sh
set -x
set -e
# The remote docker image URI.
REMOTE_IMG="docker://us-docker.pkg.dev/{YOUR_CONTAINER_IMG_URI}:{YOUR_CONTAINER_IMAGE_TAG}"
# The local path to the to be imported enroot squash file.
LOCAL_IMG="${HOME}/my_nemo.sqsh"
# The path to the enroot config file.
TMP_ENROOT_CONFIG_PATH="/tmp/\$(id -u --name)/config/enroot"
# Download the docker image to each node.
srun -l -N "${SLURM_NNODES}" \
bash -c "
mkdir -p ${TMP_ENROOT_CONFIG_PATH};
echo 'machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth print-access-token)' > ${TMP_ENROOT_CONFIG_PATH}/.credentials;
rm -f ${LOCAL_IMG};
ENROOT_CONFIG_PATH=${TMP_ENROOT_CONFIG_PATH} ENROOT_MAX_PROCESSORS=$(( $(nproc) / 2 )) enroot import -o ${LOCAL_IMG} ${REMOTE_IMG};
"
שלב 3: מריצים את הסקריפט ובודקים את הפלט.
מריצים את הסקריפט בצומת ההתחברות של Slurm.
sbatch -N 1 enroot-convert.sh
אחרי שהמשימה מסתיימת, יומני ההמרה נמצאים בקובץ בשם slurm-<JOB_ID>.out וקובץ אימג' של קונטיינר הסופי נמצא בנתיב שציינתם בשביל LOCAL_IMG.
הורדת מתכוני האימון
מתכוני האימון מאוחסנים במאגר פרטי של googlesource.com.
כדי לגשת אליהם באמצעות שורת הפקודה של Git, קודם צריך ליצור פרטי כניסה לאימות.
יוצרים פרטי כניסה לאימות.
נכנסים לכתובת ה-URL הבאה ופועלים לפי ההוראות במסך. הפעולה הזו מגדירה את הסביבה המקומית לאימות מול המאגר. https://www.googlesource.com/new-password
משכפלים את המאגר.
אחרי שפרטי הכניסה מאומתים, מריצים את הפקודה הבאה כדי להוריד את המתכונים.
git clone -b release-allowlist-ga https://vertex-model-garden.googlesource.com/vertex-oss-training
הפעלת משימת אימון
אחרי שמגדירים את הסביבה, אפשר להפעיל משימת אימון.
שלב 1: הגדרה של משתני סביבה
יכול להיות שתצטרכו להגדיר את משתני הסביבה הבאים בשביל המשימה:
- צריך את
HF_TOKENכדי להוריד מודלים וקבוצות נתונים מ-Hugging Face. - כדי להשתמש ב-Weights & Biases לניתוח ניסויים, צריך את
WANDB_API_KEY.
export HF_TOKEN=YOUR_HF_TOKEN
export WANDB_API_KEY=YOUR_WANDB_API_KEY
שלב 2: מריצים את סקריפט ההפעלה
עוברים לספריית העבודה ומריצים את הסקריפט run.py כדי להתחיל משימה. בדוגמה הזו מתחילה משימת אימון לדוגמה עם Llama 3.1-2b.
# Set the working directory
export WORK_DIR=$HOME/vertex-oss-training/nemo
cd $WORK_DIR
gcloud storage cp
gs://vmds-containers-<region>/vmds_nemo_squashfs/nemo-20250721.sqsh nemo-demo.sqsh
# Launch the training job
export NEMORUN_HOME=$WORK_DIR && \
python3 run.py -e slurm --slurm-type hcc-a3m --partition a3m \
-d $WORK_DIR -i $WORK_DIR/nemo-demo.sqsh \
-s pretrain/llama3p1_2b_pt.py -n 2 \
--experiment-name nemo-demo-run
פרמטרים של הפעלה
- הערך של
--slurm-typeמוגדר לפי סוג האשכול (לדוגמה,hcc-a3m,hcc-a3u,hcc-a4). - צריך להגדיר את
--partitionלמחיצה זמינה. אפשר לבדוק את שמות המחיצות באמצעות הפקודהsinfo. - הסקריפט
run.pyטוען באופן אוטומטי כמה ספריות למאגר Docker, כולל--log-dir,--cache-dirו---data-dir, אם הן מוגדרות.
מעקב אחרי סטטוס המשימה ויומנים
אחרי שמפעילים את המשימה, מוצג בלוק סטטוס:
Experiment Status for nemo-demo-run_1753123402
Task 0: nemo-demo-run
- Status: RUNNING
- Executor: SlurmExecutor on @localhost
- Job id: 75
- Local Directory: $NEMORUN_HOME/experiments/nemo-demo-run/nemo-demo-run_1753123402/nemo-demo-run
יומני ההפעלה נכתבים בנתיב שמופיע בשדה Local Directory בפלט הסטטוס. לדוגמה, אפשר למצוא את קובצי היומן בנתיב שדומה לזה:
$NEMORUN_HOME/experiments/nemo-demo-run/nemo-demo-run_1753123402/nemo-demo-run/<JOB_ID>.log
שגיאות נפוצות והצעות לפתרונות
בקטע הזה מתוארות בעיות נפוצות שעלולות לקרות במהלך הרצת משימות, ומוצעים פתרונות לבעיות האלה.
שגיאה: מחיצה לא תקינה
כברירת מחדל, המשימות מנסות לפעול במחיצה הכללית. אם המחיצה הכללית לא קיימת או לא זמינה, המשימה תיכשל ותופיע השגיאה הבאה:
sbatch: error: invalid partition specified: general
sbatch: error: Batch job submission failed: Invalid partition name specified
הפתרון:
מציינים מחיצה זמינה באמצעות הארגומנט --partition או -p בפקודת ההפעלה.
כדי לראות רשימה של המחיצות הזמינות, מריצים את הפקודה sinfo בצומת ההתחברות של Slurm.
sinfo
בפלט מוצגים שמות המחיצות הזמינות, כמו a3u בדוגמה הזו:
| מחיצה | AVAIL | TIMELIMIT | צמתים | STATE | NODELIST |
|---|---|---|---|---|---|
| a3u* | חץ למעלה | אינסופי | 2 | idle~ | alice-a3u-[2-3] |
| a3u* | חץ למעלה | אינסופי | 2 | ללא פעילות | alice-a3u-[0-1] |
שגיאה בהורדת ה-tokenizer
יכול להיות שתופיע הודעת OSError שקשורה לקישור בין מכשירים כשהסקריפט ינסה להוריד את ה-tokenizer של GPT2:
OSError: [Errno 18] Invalid cross-device link: 'gpt2-vocab.json' -> '/root/.cache/torch/megatron/megatron-gpt-345m_vocab'
פתרונות:
יש שתי דרכים לפתור את הבעיה:
- אפשרות 1:
מריצים מחדש את המשימה. השגיאה הזו היא בדרך כלל זמנית. יכול להיות שהרצה מחדש של המשימה עם אותו
--cache-dirתפתור את הבעיה. - אפשרות 2:
מורידים ידנית את קובצי ה-tokenizer. אם ההפעלה מחדש של המשימה נכשלת, מבצעים את הפעולות הבאות:
- מורידים את שני הקבצים הבאים:
gpt2-vocab.jsongpt2-merges.txt
- מעבירים את הקבצים שהורדתם לספריית המשנה
torch/megatron/שבספריית המטמון (לדוגמה,<var>YOUR_CACHE_DIR</var>/torch/megatron/). - משנים את שמות הקבצים באופן הבא:
- משנים את השם של
gpt2-vocab.jsonלשםmegatron-gpt-345m_vocab. - משנים את השם של
gpt2-merges.txtלשםmegatron-gpt-345m_merges.
- משנים את השם של
- מורידים את שני הקבצים הבאים:
NVIDIA NeMo-RL
ה-framework של NVIDIA NeMo-RL נועד להתאים מודלים גדולים של שפה (LLM) להעדפות ולהוראות של בני אדם. בקטע הזה מוסבר איך משתמשים ב-NeMo-RL באשכול כדי לבצע משימות התאמה מתקדמות, כולל כוונון מפוקח (SFT), כוונון העדפות (כמו אופטימיזציה ישירה של העדפות, או DPO) ולמידת חיזוק (RL).
המדריך כולל שני תהליכי עבודה עיקריים: הפעלת משימת אימון סטנדרטית באצווה ושימוש בסביבת הפיתוח האינטראקטיבית לניפוי באגים.
דרישות מוקדמות
לפני שמתחילים, יוצרים אשכול לפי ההוראות בדף יצירת אשכול, או משתמשים באשכול קיים של Managed Training, אם יש לכם כזה.
התחברות לצומת ההתחברות של האשכול
כדי להתחבר לצומת ההתחברות של האשכול, מאתרים את הפקודה הנכונה של Google Cloud CLI: נכנסים לדף Compute Engine Virtual Machine במסוף Google Cloud ולוחצים על SSH > View Google Cloud CLI command. הוא ייראה בערך כך:
ssh $USER_NAME@machine-addr
דוגמה:
ssh $USER_NAME@nic0.sliua3m1-login-001.europe-north1-c.c.infinipod-shared-dev.internal.gcpnode.com
שימוש בקובץ אימג' של Docker שנוצר מראש
קבצי .sqsh שהומרו מסופקים לקובצי אימג' של קונטיינרים שנוצרו מראש. אתם יכולים לבחור קונטיינר לאזור שלכם ולהגדיר אותו ישירות כפרמטר של קובץ האימג' של הקונטיינר, או להוריד אותו למערכת הקבצים של האשכול.
כדי להגדיר אותו ישירות כפרמטר של קובץ האימג' של הקונטיינר, משתמשים באחד מהנתיבים הבאים.
שימו לב שצריך להחליף את <region> באזור הספציפי שלכם (לדוגמה, europe, asia, us):
/gcs/vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh
כדי להוריד את קובץ האימג' לאחסון Lustre של האשכול, משתמשים בפקודה הבאה:
gs://vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh DESTINATION
הורדת הקוד
כדי לקבל גישה למתכון לאימון באמצעות git CLI, נכנסים לכתובת https://www.googlesource.com/new-password. כדי להוריד את המתכון, משתמשים בפקודה הבאה:
cd $HOME
git clone -b release-allowlist-ga https://vertex-model-garden.googlesource.com/vertex-oss-training
הפעלת משימות
שלב 1: מגדירים משתני סביבה.
כדי לשלוף מודלים ונתונים מ-Hugging Face, יכול להיות שצריך להגדיר את HF_TOKEN.
כדי להשתמש ב-Weights & Biases לניתוח ניסויים, צריך להגדיר את WANDB_API_KEY. מעדכנים את המשתנים האלה בקובץ הבא:
הקובץ לעדכון: $HOME/vertex-oss-training/nemo_rl/configs/auth.sh
אם אתם לא רוצים להשתמש ב-Weights & Biases, הגדירו את logger.wandb_enabled ל-False בסקריפט ההפעלה.
שלב 2: מורידים או מעתיקים את קובץ המאגר לתיקיית ההפעלה.
הנה מספר דוגמאות.
gcloud storage cp \
gs://vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh \
$HOME/vertex-oss-training/nemo_rl/nemo_rl-h20260302.sqsh
# OR
/gcs/vmds-containers-<region>/vmds_nemo_rl_squashfs/nemo_rl-h20260302.sqsh \
$HOME/vertex-oss-training/nemo_rl/nemo_rl-h20260302.sqsh
cd $HOME/vertex-oss-training/nemo_rl/
# Where region is either `us`, `asia`, or `europe`
שלב 3: מכינים או משכפלים את מאגר NeMo-RL.
אם עדיין לא עשיתם את זה, צרו עותק של קוד NeMo-RL. שימו לב: יכול להיות שתצטרכו להשתמש ב-git submodule update --init --recursive אם כבר שכפלתם את המאגר בלי הדגל --recursive.
git clone https://github.com/NVIDIA-NeMo/RL --recursive
שלב 4: מפעילים את משימת האימון.
sbatch -N <num_nodes> launch.sh --cluster_type hcc-a3m --job_script algorithms/dpo.sh
כאשר:
- הערך של
--cluster-typeמוגדר לפי סוג האשכול:- A3-Mega:
hcc-a3m - A3-Ultra:
hcc-a3u - A4:
hcc-a4 - A3H:
hcc-a3h
- A3-Mega:
- צריך להגדיר את
--partitionבהתאם, ואפשר להשתמש ב-sinfoכדי לבדוק את המחיצות של Slurm.
אחרי שהמשימה מתחילה, נוצרת ספרייה חדשה במיקום הנוכחי שלכם, שנקראת על שם מזהה המשימה ב-SLURM. בתוכו נמצאים כל היומנים ונקודות הבדיקה ששייכים למשימה הזו. בתוך התיקייה הזו נמצאים הקבצים והתיקיות הבאים:
-
checkpoints/← הספרייה הזו מותקנת בתוך מאגר NeMo-RL ומכילה את כל נקודות הבדיקה מהאימון. -
ray-logs/← הספרייה הזו מכילה את היומנים מ-Ray Head ומ-Ray Workers. -
nemo_rl_output.log← הקובץ הזה מכיל את יומני Slurm מהמשימה ששלחתם. -
attach.sh(משימות אינטראקטיביות בלבד) ← זהו סקריפט Bash שמאפשר לכם לצרף משימה אינטראקטיבית. אם המשימה הופעלה בהצלחה, יכול להיות שיעברו כמה דקות עד שהקובץ ייווצר.
פיתוח באמצעות NeMo-RL
הגדרה אינטראקטיבית
יש שתי אפשרויות לפיתוח אינטראקטיבי מהיר באמצעות NeMo-RL.
nemorlinteractive
זו פקודת עזר פשוטה שמאפשרת לבחור צומת GPU מהאשכול (נניח צומת מספר 5), ואז היא מעבירה אתכם לקונטיינר פעיל של NeMo-RL בתוך הצומת שבחרתם. הפקודה הזו שימושית לתהליכי עבודה עם צומת אחד.
כדי להשתמש ב-nemorlinteractive, צריך לבצע את השלבים הבאים:
- בקובץ
configs/auth.sh, מספקים את כל אסימוני האימות שרוצים (לדוגמה, HF ו-WandB) שנטענו למשימה. מגדירים את משתנה הסביבה
CLUSTER_TYPEלפי ההנחיות הבאות:export CLUSTER_TYPE="hcc-a3m" # --> if you have A3-Mega cluster export CLUSTER_TYPE="hcc-a3u" # --> if you have A3-Ultra cluster export CLUSTER_TYPE="hcc-a4" # --> If you have A4 cluster export CLUSTER_TYPE="hcc-a3h" # --> If you have A3H clusterמייבאים את
nemorlinteractiveלטרמינל Bash באמצעות הפקודהbash_utils.sh:source bash_utils.shמריצים את הפקודה
nemorlinteractive. לדוגמה:# Assuming you want to take the compute node number 5. nemorlinteractive 5
השקה אינטראקטיבית
האפשרות הזו מאפשרת להריץ עומסי עבודה באופן אינטראקטיבי בכמה צומתי מחשוב. משימות אינטראקטיביות מתאימות בעיקר לתרחישים לדוגמה של ניפוי באגים ואימות. עומסי העבודה האלה שומרים את הצומת ללא הגבלת זמן, עד שהמפתח מחליט שהניפוי באגים הסתיים ורוצה לשחרר את המשאבים.
אלה השלבים שצריך לבצע באפשרות הזו:
בקובץ configs/auth.sh, מספקים את כל אסימוני האימות שרוצים (לדוגמה, HF ו-WandB) שנטענים למשימה.
sbatch -N <num_nodes> launch.sh --cluster_type hcc-a3m --interactive
ממתינים 2-5 דקות עד שנוצר
<job_id>/attach.sh.כדי לעקוב אחרי ההתקדמות של ההפעלה, בודקים את
<job_id>/nemo_rl_output.logכדי לראות את ההתקדמות של סקריפט ההפעלה, ובודקים את<job_id>/ray_logs/כדי לראות את ההתקדמות של ההפעלה של Ray head ו-workers.מתחברים למשימה האינטראקטיבית. הסקריפט הזה מאפשר לכם להתחבר שוב גם אם החיבור מתנתק:
bash <job_id>/attach.sh
המאמרים הבאים
הפעלת עומס עבודה מוגדר מראש מאמתת את סטטוס הפעילות של האשכול. השלב הבא הוא להריץ אפליקציית אימון בהתאמה אישית משלכם.
- הרצת עומס עבודה בהתאמה אישית: אורזים את קוד האימון בקונטיינר ושולחים את הקונטיינר בתור
CustomJobלאשכול האימון. התהליך הזה כולל הגדרה של המשימה לסביבה מבוזרת. - מעקב אחרי משימות האימון: אתם יכולים לעקוב ביעילות אחרי ההתקדמות, ניצול המשאבים והיומנים של המשימות שפועלות באשכול באמצעות מסוף Google Cloud או Cloud Logging.
- הצגת האשכול: אחרי הרצת הבדיקות, בודקים את הסטטוס של האשכול ושל הצמתים הנפרדים שלו.
- ניהול האשכול: עדכון ההגדרות של האשכול או מחיקה שלו כדי לנהל את העלויות.
- תזמון משימות באמצעות Pipelines ב-Gemini Enterprise Agent Platform: אחרי שמריצים משימות באופן ידני, אפשר ליצור צינור עיבוד נתונים כדי להפוך את תהליך האימון לאוטומטי.