במדריך הזה נסביר איך לפרוס את מודל השפה DeepSeek-V3.2-Speciale ולפרסם אותו באמצעות מסגרת vLLM. אתם פורסים את המודל הזה באשכול Autopilot של מהדורת Google Kubernetes Engine (GKE) Enterprise וצורכים מכונה וירטואלית אחת מסוג A4 עם 8 יחידות GPU מסוג B200.
במדריך הזה אנחנו מניחים שבדקתם את מודל השפה DeepSeek-V3.2-Speciale ושהיכולות שלו עונות על הדרישות של התרחיש לדוגמה שלכם.
המדריך הזה מיועד למהנדסי למידת מכונה (ML), לאדמינים ולאופרטורים של פלטפורמות ולמומחי נתונים ו-AI שרוצים להשתמש ביכולות של Kubernetes לניהול קונטיינרים כדי לטפל בעומסי עבודה של הסקת מסקנות.
מטרות
אפשר לגשת אל DeepSeek-V3.2-Speciale באמצעות Hugging Face.
מכינים את הסביבה.
יוצרים אשכול GKE במצב אוטומטי.
יוצרים סוד של Kubernetes לפרטי הכניסה של Hugging Face.
יצירת קטגוריה של Cloud Storage.
מורידים את המודל לקטגוריה של Cloud Storage.
פריסת קונטיינר vLLM לאשכול GKE.
כדי לקיים אינטראקציה עם DeepSeek-V3.2-Speciale, משתמשים ב-curl.
לפנות.
עלויות
במדריך הזה נעשה שימוש ברכיבים של Google Cloudשחלים עליהם חיובים, כולל:
כדי ליצור הערכת עלויות בהתאם לשימוש החזוי, אתם יכולים להשתמש במחשבון עלויות.
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים Google Cloud פרויקט.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים
-
יוצרים Google Cloud פרויקט:
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של פרויקט Google Cloud שיוצרים. -
בוחרים את הפרויקט שיצרתם: Google Cloud
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את ממשק ה-API הנדרש, אם הוא עדיין לא מופעל:
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable container.googleapis.com
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים Google Cloud פרויקט.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים
-
יוצרים Google Cloud פרויקט:
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של פרויקט Google Cloud שיוצרים. -
בוחרים את הפרויקט שיצרתם: Google Cloud
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את ממשק ה-API הנדרש, אם הוא עדיין לא מופעל:
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable container.googleapis.com
-
מעניקים תפקידים לחשבון המשתמש. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM:
roles/container.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
USER_IDENTIFIER: המזהה של חשבון המשתמש . לדוגמה,myemail@example.com. -
ROLE: תפקיד ה-IAM שאתם מקצים לחשבון המשתמש.
-
- נכנסים לחשבון Hugging Face או יוצרים חשבון חדש.
גישה ל-DeepSeek-V3.2-Speciale באמצעות Hugging Face
כדי להשתמש ב-Hugging Face כדי לגשת למודל DeepSeek-V3.2-Speciale, פועלים לפי השלבים הבאים:
- נכנסים לחשבון ב-Hugging Face.
- יוצרים טוקן גישה ל-Hugging Face
read. - מעתיקים ושומרים את הערך של אסימון הגישה
read. תצטרכו להשתמש בו בהמשך המדריך הזה.
הכנת הסביבה
כדי להכין את הסביבה, מגדירים את משתני הסביבה שמוגדרים כברירת מחדל:
מחליפים את מה שכתוב בשדות הבאים:
YOUR_PROJECT_ID: המזהה של Google Cloud הפרויקט שבו רוצים ליצור את אשכול GKE.
YOUR_RESERVATION_NAME: השם של ההזמנה שרוצים להשתמש בה כדי ליצור את אשכול GKE. בהתאם לפרויקט שבו קיימת ההזמנה, מציינים אחד מהערכים הבאים:ההזמנה קיימת בפרויקט:
YOUR_RESERVATION_NAMEההזמנה קיימת בפרויקט אחר, והפרויקט שלכם יכול להשתמש בה:
projects/RESERVATION_PROJECT_ID/reservations/YOUR_RESERVATION_NAME
YOUR_REGION: האזור שבו רוצים ליצור את אשכול GKE. אפשר ליצור את האשכול רק באזור שבו קיימת ההזמנה.
YOUR_CLUSTER_NAME: השם של אשכול GKE שרוצים ליצור.
YOUR_GCS_BUCKET: השם של קטגוריה של Cloud Storage שממנה מורידים את המודל.
YOUR_HF_TOKEN: טוקן הגישה ל-Hugging Face שיצרתם בקטע הקודם.
YOUR_NETWORK_NAME: הרשת שבה נעשה שימוש באשכול GKE. מציינים אחד מהערכים הבאים:אם יצרתם רשת בהתאמה אישית, צריך לציין את שם הרשת.
אחרת, מציינים את הערך
default.
YOUR_SUBNETWORK_NAME: רשת המשנה שבה נעשה שימוש באשכול GKE. מציינים אחד מהערכים הבאים:אם יצרתם רשת משנה בהתאמה אישית, צריך לציין את השם של רשת המשנה. אפשר לציין רק רשת משנה שנמצאת באותו אזור של השריון.
אחרת, מציינים את הערך
default.
יצירת אשכול GKE במצב אוטומטי
כדי ליצור אשכול GKE במצב אוטומטי, מריצים את הפקודה הבאה:
יצירת אשכול GKE עשויה להימשך זמן מה. כדי לוודא ש- Google Cloud סיים ליצור את האשכול, עוברים אל Kubernetes clusters במסוף Google Cloud .
יצירת סוד ב-Kubernetes לפרטי הכניסה של Hugging Face
כדי ליצור סוד של Kubernetes לפרטי הכניסה של Hugging Face, פועלים לפי השלבים הבאים:
מגדירים את
kubectlלתקשורת עם אשכול GKE:יוצרים סוד של Kubernetes לאחסון הטוקן של Hugging Face:
יצירת קטגוריה של Cloud Storage
אם רוצים להשתמש בקטגוריה קיימת של Cloud Storage, אפשר לדלג על השלב הזה. עם זאת, צריך לוודא שהקטגוריה נמצאת באותו אזור כמו האשכול, ושלחשבון השירות יש את ההרשאות הנדרשות write.
אם רוצים להשתמש בדלי חדש לאחסון המודל, מריצים את הפקודה הבאה:
נותנים הרשאות write בקטגוריית Cloud Storage לחשבון השירות שמוגדר כברירת מחדל:
הורדת המודל לקטגוריה של Cloud Storage
יוצרים קובץ
deepseek-download-job.yaml:מחילים את קובץ המניפסט
deepseek-download-job.yamlכדי לאתחל את משימת ההורדה:כדי לראות את סטטוס ההשלמה, מריצים את הפקודה הבאה:
הדגל
--timeoutמציין כמה זמן הפקודה תנטר את העבודה לפני שהזמן הקצוב יסתיים.משאב העבודה מוריד את משקלי המודל
DeepSeek-V3.2-Specialeמ-Hugging Face לקטגוריית האחסון Google Cloud באמצעות נפח SSD. ההורדה נמשכת כ-40 דקות. אחרי שההורדה מסתיימת, ממשיכים לקטע הבא כדי להפעיל את פריסת המודל.כדי למחוק את העבודה, מריצים את הפקודה הבאה:
פריסת קונטיינר vLLM באשכול GKE
אחרי שמורידים את המודל לקטגוריה של Cloud Storage, פורסים קונטיינר vLLM לאשכול GKE לפי השלבים הבאים:
יוצרים קובץ
vllm-deepseek3-2.yamlעם הפריסה של vLLM שבחרתם:מחילים את קובץ
vllm-deepseek3-2.yamlעל אשכול GKE:כדי לראות את סטטוס ההשלמה, מריצים את הפקודה הבאה:
הדגל
--timeoutמאפשר לפקודה לעקוב אחרי הפריסה למשך פרק הזמן שצוין.
אינטראקציה עם DeepSeek-V3.2-Speciale באמצעות curl
כדי לאמת את מודל DeepSeek-V3.2-Speciale שפרסתם:
הגדרת העברה ליציאה אחרת ל-DeepSeek-V3.2-Speciale:
פותחים חלון טרמינל חדש. אחרי זה תוכלו לשוחח עם המודל באמצעות
curl:הפלט שיוצג יהיה דומה לזה:
{ "id": "cmpl-be345f0499e949ed8500e533be2cfe3f", "object": "text_completion", "created": 1764803171, "model": "deepseek-ai/DeepSeek-V3.2-Speciale", "choices": [ { "index": 0, "text": "The ReAct pattern integrates reasoning (thoughts) and actions (tool calls) within an agentic loop... [TRUNCATED FOR BREVITY] ...ReAct improves transparency and reliability by explicit reasoning steps.", "logprobs": null, "finish_reason": "stop", "stop_reason": "<|im_end|>", "token_ids": null, "prompt_logprobs": null, "prompt_token_ids": null } ], "service_tier": null, "system_fingerprint": null, "usage": { "prompt_tokens": 57, "total_tokens": 317, "completion_tokens": 260, "prompt_tokens_details": null }, "kv_transfer_params": null }
התבוננות בביצועי המודל
כדי לעקוב אחרי הביצועים של המודל, אפשר להשתמש בשילוב של לוח הבקרה vLLM ב-Cloud Monitoring. לוח הבקרה הזה מאפשר לכם לראות מדדי ביצועים חשובים כמו קצב העברת הטוקנים, זמן האחזור של הבקשות ושיעורי השגיאות.
מידע על שימוש בשירות מנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מהמודל זמין במאמר בנושא vLLM בתיעוד של Monitoring.
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.
כדי להימנע מחיובים בחשבון לחיוב ב-Cloud על המשאבים שבהם השתמשתם במדריך הזה, אתם יכולים למחוק את הפרויקט שמכיל את המשאבים או להשאיר את הפרויקט ולמחוק את המשאבים הספציפיים.
מחיקת המשאבים
אחרי שמסיימים את המדריך, מוחקים את המשאבים שכבר לא צריך:
כדי למחוק את הפריסה והשירות שהוגדרו בקובץ
vllm-deepseek3-2.yamlואת הסוד של Kubernetes מאשכול GKE, מריצים את הפקודה הבאה:כדי למחוק את הקטגוריה של Cloud Storage, מריצים את הפקודה הבאה:
כדי למחוק את אשכול GKE:
מחיקת פרויקט
כדי למחוק Google Cloud פרויקט:
gcloud projects delete PROJECT_ID