Hugging Face מספקת מודלים שאומנו מראש, סקריפטים של כוונון עדין וממשקי API לפיתוח, שמקלים על תהליך היצירה והגילוי של מודלים גדולים של שפה (LLM). Model Garden יכול להכניס לשימוש בסביבת הייצור מודלים של Text Embeddings, Text To Image, Text Generation ו-Image Text To Text ב-HuggingFace.
אפשרויות פריסה של מודלים של Hugging Face
אתם יכולים לפרוס מודלים נתמכים של Hugging Face ב-Gemini Enterprise Agent Platform או ב-Google Kubernetes Engine (GKE). אפשרות הפריסה שתבחרו תלויה במודל שבו אתם משתמשים ובמידת השליטה שאתם רוצים על עומסי העבודה.
פריסה ב-Gemini Enterprise Agent Platform
Gemini Enterprise Agent Platform היא פלטפורמה מנוהלת ליצירה ולהרחבה של פרויקטים של למידת מכונה, בלי צורך במומחיות פנימית בתחום MLOps. אתם יכולים להשתמש ב-Gemini Enterprise Agent Platform בתור אפליקציית downstream שמשרתת את המודלים של Hugging Face. מומלץ להשתמש בפלטפורמת הסוכנים של Gemini Enterprise אם רוצים יכולות MLOps מקצה לקצה, תכונות ML עם ערך מוסף וחוויה ללא שרתים לפיתוח יעיל.
כדי לפרוס מודל נתמך של Hugging Face ב-Gemini Enterprise Agent Platform, עוברים אל Model Garden.
עוברים לקטע Open models on Hugging Face ולוחצים על Show more (הצגת פרטים נוספים).
מוצאים מודל לפריסה ובוחרים אותו.
אופציונלי: בסביבת הפריסה, בוחרים באפשרות Gemini Enterprise Agent Platform.
אופציונלי: מציינים את פרטי הפריסה.
לוחצים על פריסה.
כדי להתחיל, אפשר לעיין בדוגמאות הבאות:
- יש מודלים עם כרטיסי מודל מפורטים, והגדרות הפריסה שלהם מאומתות על ידי Google, כמו google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev ו-HuggingFaceFW/fineweb-edu-classifier.
- חלק מהמודלים, כמו NousResearch/Genstruct-7B, כוללים הגדרות פריסה שאומתו על ידי Google, אבל לא כרטיסי מודל מפורטים.
- חלק מהמודלים כוללים הגדרות פריסה שנוצרות באופן אוטומטי.
- חלק מהמודלים כוללים הגדרות פריסה שנוצרות באופן אוטומטי על סמך מטא-נתונים של המודל, כמו חלק מהמודלים העדכניים והפופולריים בתחומים של יצירת טקסט, הטמעות טקסט, יצירת תמונות מטקסט וטקסט מתמונה לטקסט.
פריסה ב-GKE
Google Kubernetes Engine (GKE) הוא Google Cloud פתרון ל-Kubernetes מנוהל, שמספק יכולת הרחבה, אבטחה, עמידות וחסכוניות. אנחנו ממליצים על האפשרות הזו אם השקעתם ב-Kubernetes, אם בארגון שלכם יש מומחיות ב-MLOps, או אם אתם צריכים שליטה מדויקת בעומסי עבודה מורכבים של AI/ML עם דרישות ייחודיות לאבטחה, לצינור נתונים ולניהול משאבים.
כדי לפרוס מודל נתמך של Hugging Face ב-GKE, עוברים אל Model Garden.
עוברים לקטע Open models on Hugging Face ולוחצים על Show more (הצגת פרטים נוספים).
מוצאים מודל לפריסה ובוחרים אותו.
בקטע סביבת הפריסה, בוחרים באפשרות GKE.
פועלים לפי הוראות הפריסה.
כדי להתחיל, אפשר לעיין בדוגמאות הבאות:
- בחלק מהמודלים יש כרטיסי מודל מפורטים והגדרות פריסה מאומתות, כמו google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct ו-Qwen/QwQ-32B.
- חלק מהמודלים כוללים הגדרות פריסה מאומתות, אבל לא כרטיסי מודל מפורטים, כמו NousResearch/Genstruct-7B.
מה המשמעות של 'נתמך על ידי Gemini Enterprise Agent Platform'?
אנחנו מוסיפים באופן אוטומטי את המודלים העדכניים והפופולריים ביותר של Hugging Face ל-Model Garden. התהליך הזה כולל יצירה אוטומטית של הגדרות פריסה לכל מודל.
כדי לטפל בבעיות שקשורות לפגיעויות ולקוד זדוני, אנחנו משתמשים בסורק התוכנות הזדוניות של Hugging Face כדי להעריך את הבטיחות של קבצים בכל מאגר מודלים של Hugging Face על בסיס יומי. אם מאגר מודלים מסומן כמאגר שמכיל תוכנות זדוניות, אנחנו מסירים מיד את המודל מדף הגלריה של Hugging Face.
העובדה שמודל מסוים מסומן כנתמך על ידי Gemini Enterprise Agent Platform מעידה שהוא עבר בדיקות ואפשר לפרוס אותו ב-Gemini Enterprise Agent Platform, אבל אנחנו לא יכולים להבטיח שאין בו נקודות חולשה או קוד זדוני. מומלץ לבצע בדיקות אבטחה משלכם לפני שמפעילים מודל כלשהו בסביבת הייצור.
שינוי הגדרות הפריסה לתרחישי שימוש ספציפיים
הגדרת הפריסה שמוגדרת כברירת מחדל באפשרות הפריסה בלחיצה אחת לא יכולה לענות על כל הדרישות, בהתחשב במגוון הרחב של תרחישי שימוש ובסדרי העדיפויות השונים של זמן האחזור, התפוקה, העלות והדיוק.
לכן, אפשר להתנסות בהתחלה בפריסה בלחיצה אחת כדי ליצור בסיס, ואז לכוונן את הגדרות הפריסה באמצעות נוטבוק של Colab (vLLM, TGI, TEI, HF pytorch inference) או Python SDK. הגישה האיטרטיבית הזו מאפשרת לכם להתאים את הפריסה לצרכים המדויקים שלכם כדי לקבל את הביצועים הכי טובים שאפשר עבור האפליקציה הספציפית שלכם.
מה עושים אם המודל שרוצים להשתמש בו לא מופיע ב-Model Garden
אם אתם מחפשים מודל ספציפי שלא מופיע ב-Model Garden, סימן שהמודל לא נתמך ב-Gemini Enterprise Agent Platform. בקטעים הבאים מפורטים הנימוקים ומה אפשר לעשות.
למה המודל לא מופיע ברשימה?
הסיבות האפשריות לכך שמודל מסוים לא מופיע ב-Model Garden:
- המודל לא נמצא בראש רשימת המודלים הפופולריים: אנחנו בדרך כלל נותנים עדיפות למודלים שפופולריים מאוד ויש להם עניין רב בקהילה.
- המודל עדיין לא תואם: יכול להיות שהמודל לא פועל עם קונטיינר תומך להצגת נתונים. לדוגמה, מאגר vLLM למודלים
text-generationו-image-text-to-text. - משימות בצינור שלא נתמכות: במודל יש משימה שעדיין לא נתמכת באופן מלא בשלב הזה. אנחנו תומכים במשימות הבאות:
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarityו-image-text-to-text.
מה האפשרויות שלך?
עדיין אפשר לעבוד עם מודלים שלא זמינים ב-Model Garden:
- פריסה עצמית באמצעות מחברת Colab: יש לנו את מחברות Colab הבאות: (vLLM, TGI, TEI, HF pytorch inference), שמספקות גמישות בפריסת מודלים עם הגדרות בהתאמה אישית. כך יש לכם שליטה מלאה בתהליך.
- שליחת בקשה להוספת תכונה: אפשר לעבוד עם מהנדס התמיכה ולשלוח בקשה להוספת תכונה דרך Model Garden, או לעיין בתמיכה ב-Vertex Generative AI לקבלת עזרה נוספת.
- כדאי לעקוב אחרי העדכונים: אנחנו מוסיפים מודלים חדשים ל-Model Garden באופן קבוע. יכול להיות שהמודל שאתם מחפשים יהיה זמין בעתיד, לכן כדאי לחזור ולבדוק מדי פעם.