ב-Hugging Face יש מודלים שעברו אימון מראש, סקריפטים לכוונון וממשקי API לפיתוח, שמקלים על תהליך היצירה והגילוי של מודלים גדולים של שפה (LLM). ב-Model Garden אפשר להשתמש במודלים של HuggingFace מסוג הטמעת טקסט, יצירת תמונות לפי טקסט, יצירת טקסט ויצירת טקסט על סמך תמונה וטקסט.
אפשרויות פריסה של מודלים מ-Hugging Face
אתם יכולים לפרוס מודלים נתמכים של Hugging Face ב-Gemini Enterprise Agent Platform או ב-Google Kubernetes Engine (GKE). אפשרות הפריסה שתבחרו תלויה במודל שבו אתם משתמשים ובמידת השליטה שאתם רוצים על עומסי העבודה.
פריסה ב-Gemini Enterprise Agent Platform
Gemini Enterprise Agent Platform היא פלטפורמה מנוהלת שמאפשרת ליצור פרויקטים של למידת מכונה ולהרחיב אותם, בלי צורך במומחיות פנימית ב-MLOps. אתם יכולים להשתמש ב-Gemini Enterprise Agent Platform כאפליקציה במורד הזרם שמספקת את המודלים של Hugging Face. אנחנו ממליצים להשתמש ב-Gemini Enterprise Agent Platform אם אתם רוצים יכולות MLOps מקצה לקצה, תכונות ML עם ערך מוסף וחוויה ללא שרת לפיתוח יעיל.
כדי לפרוס מודל נתמך של Hugging Face ב-Gemini Enterprise Agent Platform, נכנסים ל-Model Garden.
עוברים לקטע Open models on Hugging Face ולוחצים על Show more.
מוצאים ובוחרים מודל לפריסה.
אופציונלי: בקטע סביבת פריסה, בוחרים באפשרות Gemini Enterprise Agent Platform.
אופציונלי: מציינים את פרטי הפריסה.
לוחצים על Deploy.
כדי להתחיל, אפשר לעיין בדוגמאות הבאות:
- למודלים מסוימים יש כרטיסי מודל מפורטים, והגדרות הפריסה שלהם מאומתות על ידי Google, כמו google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev ו-HuggingFaceFW/fineweb-edu-classifier.
- בחלק מהמודלים, כמו NousResearch/Genstruct-7B, הגדרות הפריסה מאומתות על ידי Google אבל אין כרטיסי מודל מפורטים.
- בחלק מהמודלים, הגדרות הפריסה נוצרות באופן אוטומטי.
- לחלק מהמודלים יש הגדרות פריסה שנוצרות באופן אוטומטי על סמך המטא-נתונים של המודל, כמו כמה מהמודלים הפופולריים האחרונים ביצירת טקסט, הטמעות טקסט, יצירת תמונות לפי טקסט ויצירת טקסט על סמך תמונה וטקסט.
פריסה ב-GKE
Google Kubernetes Engine (GKE) הוא פתרון Google Cloud לניהול Kubernetes, שמספק יכולת התרחבות, אבטחה, עמידות וחיסכון בעלויות. אנחנו ממליצים על האפשרות הזו אם כבר השקעתם ב-Kubernetes, אם לארגון שלכם יש מומחיות פנימית ב-MLOps, או אם אתם צריכים שליטה פרטנית בעומסי עבודה מורכבים של AI או למידת מכונה עם דרישות ייחודיות לאבטחה, לצינור עיבוד נתונים ולניהול משאבים.
כדי לפרוס מודל נתמך של Hugging Face ב-GKE, נכנסים ל-Model Garden.
עוברים לקטע Open models on Hugging Face ולוחצים על Show more.
מוצאים ובוחרים מודל לפריסה.
בשדה Deployment environment, בוחרים באפשרות GKE.
פועלים לפי הוראות הפריסה.
כדי להתחיל, אפשר לעיין בדוגמאות הבאות:
- לחלק מהמודלים יש כרטיסי מודל מפורטים והגדרות פריסה מאומתות, כמו google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct ו-Qwen/QwQ-32B.
- בחלק מהמודלים יש הגדרות פריסה מאומתות, אבל אין כרטיסי מודל מפורטים, כמו NousResearch/Genstruct-7B.
מה המשמעות של "נתמך על ידי Gemini Enterprise Agent Platform"?
אנחנו מוסיפים באופן אוטומטי ל-Model Garden את המודלים העדכניים והפופולריים ביותר של Hugging Face. התהליך הזה כולל יצירה אוטומטית של הגדרת פריסה לכל מודל.
כדי לטפל בחששות לגבי נקודות חולשה וקוד זדוני, אנחנו משתמשים בסורק התוכנות הזדוניות של Hugging Face כדי לבדוק את הבטיחות של הקבצים בכל מאגר מודלים של Hugging Face על בסיס יומי. אם מאגר מודלים מסומן כמכיל תוכנה זדונית, אנחנו מסירים מיד את המודל מדף הגלריה של Hugging Face.
אם מודל מסוים מוגדר כנתמך ב-Gemini Enterprise Agent Platform, זה אומר שהוא עבר בדיקות ואפשר לפרוס אותו ב-Gemini Enterprise Agent Platform, אבל אנחנו לא מבטיחים שאין בו נקודות חולשה או קוד זדוני. מומלץ לבצע בדיקות אבטחה משלכם לפני שאתם פורסים מודל בסביבת הייצור.
כוונון הגדרות הפריסה לתרחישי שימוש ספציפיים
הגדרת ברירת המחדל לפריסה שמסופקת עם אפשרות הפריסה בלחיצה אחת לא יכולה לענות על כל הדרישות, בהתחשב במגוון הרחב של תרחישי השימוש וסדרי העדיפויות השונים בנוגע לזמן אחזור, תפוקה, עלות ודיוק.
לכן, בהתחלה אתם יכולים להתנסות בפריסה בלחיצה אחת כדי ליצור בסיס, ואז לשנות את הגדרות הפריסה באמצעות ה-Notebook של Colab (vLLM, TGI, TEI, HF pytorch inference) או Python SDK. הגישה האיטרטיבית הזו מאפשרת לכם להתאים את הפריסה לצרכים המדויקים שלכם, כדי לקבל את הביצועים הטובים ביותר לאפליקציה הספציפית שלכם.
מה עושים אם המודל שרוצים לא מופיע ב-Model Garden
אם אתם מחפשים מודל ספציפי שלא מופיע ב-Model Garden, סימן שפלטפורמת Gemini Enterprise Agent לא תומכת בו. בקטעים הבאים מוסבר למה זה קורה ומה אפשר לעשות.
למה המודל לא מופיע ברשימה?
יכולות להיות כמה סיבות לכך שמודל מסוים לא נמצא ב-Model Garden:
- המודל לא פופולרי: בדרך כלל אנחנו נותנים עדיפות למודלים פופולריים מאוד שמעוררים עניין רב בקהילה.
- הוא עדיין לא תואם: יכול להיות שהמודל לא יעבוד עם מאגר חוויות מוצגות נתמך. לדוגמה, מאגר vLLM למודלים של
text-generationו-image-text-to-text. - משימות צינור עיבוד נתונים שלא נתמכות: למודל יש משימה שאנחנו עדיין לא תומכים בה באופן מלא. אנחנו תומכים במשימות הבאות:
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarityו-image-text-to-text.
מה האפשרויות שלכם?
אתם עדיין יכולים לעבוד עם מודלים שלא זמינים ב-Model Garden:
- פריסה עצמית באמצעות נוטבוק של Colab: יש לנו את ה-Colab Notebooks הבאים: (vLLM, TGI, TEI, HF pytorch inference), שמאפשרים לפרוס מודלים עם הגדרות אישיות. כך יש לכם שליטה מלאה בתהליך.
- שליחת בקשה להוספת תכונה: אתם יכולים לעבוד עם מהנדס התמיכה שלכם ולשלוח בקשה להוספת תכונה דרך Model Garden, או לעיין במאמר תמיכה ב-AI גנרטיבי בפלטפורמת Agent כדי לקבל עזרה נוספת.
- כדאי לעקוב אחרי העדכונים: אנחנו מוסיפים באופן קבוע מודלים חדשים ל-Model Garden. יכול להיות שהדגם שאתם מחפשים יהיה זמין בעתיד, אז כדאי לבדוק מדי פעם.