שימוש במודלים פתוחים של Gemma

‫Gemma הוא אוסף של מודלים גנרטיביים קלי משקל של בינה מלאכותית (AI) שהם מודלים פתוחים. מודלים של Gemma זמינים להרצה באפליקציות, בחומרה, במכשירים ניידים או בשירותים מתארחים. אפשר גם להתאים אישית את המודלים האלה באמצעות טכניקות כוונון, כדי שהם יצטיינו בביצוע משימות שחשובות לכם ולמשתמשים שלכם. מודלים של Gemma מבוססים על מודלים של Gemini ומיועדים לקהילת פיתוח ה-AI כדי להרחיב אותם ולפתח אותם עוד יותר.

כוונון עדין יכול לעזור לשפר את הביצועים של מודל במשימות ספציפיות. מכיוון שמודלים במשפחת מודלים של Gemma הם מודלים עם משקלים פתוחים, אתם יכולים לכוונן כל אחד מהם באמצעות מסגרת ה-AI שתבחרו ו-Vertex AI SDK. אפשר לפתוח דוגמה ל-Notebook כדי לבצע כוונון עדין של מודל Gemma באמצעות קישור שזמין בכרטיס מודל של Gemma ב-Model Garden.

אפשר להשתמש במודלים הבאים של Gemma ב-Vertex AI. מידע נוסף על מודלי Gemma ובדיקה שלהם זמינים בכרטיסי המודלים ב-Model Garden.

שם הדגם	תרחישים לדוגמה	כרטיס מודל ב-Model Garden
TranslateGemma	משפחה של מודלים קלי משקל ופתוחים לתרגום, שנועדו לטפל במשימות תרגום ב-55 שפות.	מעבר לכרטיס המודל TranslateGemma
FunctionGemma	מודל קל משקל ופתוח, שנוצר כבסיס ליצירת מודלים משלכם עם פונקציות מיוחדות, ומיועד להניב ביצועים גבוהים אחרי כוונון עדין נוסף.	מעבר לכרטיס המודל FunctionGemma
Gemma 3n	יכול לקבל קלט מולטי-מודאלי, לעבד קלט של טקסט, תמונות, סרטונים ואודיו, וליצור פלט של טקסט.	מעבר לכרטיס מודל Gemma 3n
Gemma 3	המודל הזה מתאים במיוחד למשימות של יצירת טקסט והבנת תמונות, כולל מענה לשאלות, סיכום וחשיבה רציונלית.	מעבר לכרטיס המודל של Gemma 3
Gemma 2	האפשרות הכי טובה ליצירת טקסט, לסיכום ולחילוץ.	מעבר לכרטיס המודל Gemma 2
‏Gemma	האפשרות הכי טובה ליצירת טקסט, לסיכום ולחילוץ.	מעבר לכרטיס המודל של Gemma
CodeGemma	האפשרות הטובה ביותר ליצירה ולהשלמה של קוד.	מעבר לכרטיס המודל CodeGemma
PaliGemma 2	האפשרות הטובה ביותר למשימות של כתיבת כתוביות לתמונות ולמשימות של שאלות ותשובות חזותיות.	מעבר לכרטיס המודל PaliGemma 2
PaliGemma	האפשרות הטובה ביותר למשימות של כתיבת כתוביות לתמונות ולמשימות של שאלות ותשובות חזותיות.	מעבר לכרטיס המודל PaliGemma
ShieldGemma 2	בודק את הבטיחות של תמונות סינתטיות וטבעיות כדי לעזור לכם ליצור מערכי נתונים ומודלים חזקים.	מעבר לכרטיס המודל ShieldGemma 2
TxGemma	המודל מתאים במיוחד למשימות חיזוי טיפוליות, כולל סיווג, רגרסיה או יצירה, ולמשימות של הסקת מסקנות.	לכרטיס המודל TxGemma
MedGemma	‫3 וריאציות של Gemma שאומנו לביצועים טובים בפענוח של טקסט ותמונות בתחום הרפואה.	מעבר לכרטיס המודל MedGemma
MedSigLIP	גרסה של SigLIP שאומנה לקודד תמונות וטקסט רפואיים למרחב הטמעה משותף.	מעבר לכרטיס מודל של MedSigLIP
T5Gemma	מתאים למגוון משימות גנרטיביות, כולל מענה לשאלות, סיכום וחשיבה רציונלית.	מעבר לכרטיס המודל T5Gemma
T5Gemma 2	מתאים למגוון משימות גנרטיביות, כולל מענה לשאלות, סיכום וחשיבה רציונלית.	מעבר לכרטיס המודל T5Gemma 2

אלה כמה אפשרויות לשימוש ב-Gemma:

שימוש ב-Gemma עם Vertex AI

‫Vertex AI היא פלטפורמה מנוהלת שמאפשרת לפתח ולהרחיב במהירות פרויקטים של למידת מכונה, בלי צורך במומחיות פנימית ב-MLOps. אפשר להשתמש ב-Vertex AI כאפליקציית downstream שמפעילה את מודלי Gemma. לדוגמה, אפשר להעביר משקלים מהטמעת Gemma ב-Keras. אחרי כן, תוכלו להשתמש ב-Vertex AI כדי להפעיל את הגרסה הזו של Gemma ולקבל חיזויים. מומלץ להשתמש ב-Vertex AI אם רוצים יכולות MLOps מקצה לקצה, תכונות ML עם ערך מוסף וחוויה בלי שרת (serverless) לפיתוח יעיל.

כדי להתחיל לעבוד עם Gemma, אפשר לעיין במחברות הבאות:

• הפעלת Gemma 3n ב-Vertex AI

• הפעלת Gemma 3 ב-Vertex AI

• הפעלת Gemma 2 ב-Vertex AI

• הפעלת Gemma ב-Vertex AI

• איך מבצעים Fine-tune של Gemma 3 באמצעות Axolotl ואז פורסים אותו ב-Vertex AI מ-Vertex

• ביצוע Fine-tuning של Gemma 2 באמצעות PEFT ואז פריסה ב-Vertex AI מ-Vertex

• איך מבצעים Fine-tuning של Gemma באמצעות PEFT ואז פורסים אותו ב-Vertex AI מ-Vertex

• איך מבצעים Fine-tune של Gemma באמצעות PEFT ואז פורסים אותו ב-Vertex AI מ-Huggingface

• שיפור של Gemma באמצעות KerasNLP ואז פריסה ב-Vertex AI

• איך מבצעים Fine-tuning של Gemma באמצעות Ray ב-Vertex AI ואז פורסים אותו ב-Vertex AI

• הרצת הסקה מקומית באמצעות ShieldGemma 2 עם כלי טרנספורמציה של Hugging Face

• הפעלת MedGemma ב-Vertex AI

• הפעלת MedSigLIP ב-Vertex AI

• הרצת הסקה מקומית באמצעות T5Gemma עם טרנספורמציות של Hugging Face

שימוש ב-Gemma במוצרים אחרים Google Cloud

אפשר להשתמש ב-Gemma עם מוצרים אחרים, כמו Google Kubernetes Engine ו-Dataflow. Google Cloud

שימוש ב-Gemma עם GKE

‫Google Kubernetes Engine‏ (GKE) הוא Google Cloud פתרון ל-Kubernetes מנוהל שמספק יכולת הרחבה, אבטחה, עמידות וחסכוניות. אנחנו ממליצים על האפשרות הזו אם השקעתם ב-Kubernetes, אם לארגון שלכם יש מומחיות פנימית ב-MLOps, או אם אתם צריכים שליטה מדויקת בעומסי עבודה מורכבים של AI/ML עם דרישות ייחודיות לאבטחה, לצינור נתונים ולניהול משאבים. מידע נוסף זמין במדריכים הבאים במסמכי התיעוד של GKE:

• הפעלת Gemma באמצעות vLLM
• הפעלת Gemma באמצעות TGI
• הצגת Gemma באמצעות Triton ו-TensorRT-LLM
• הצגת Gemma באמצעות JetStream

שימוש ב-Gemma עם Dataflow

אפשר להשתמש במודלים של Gemma עם Dataflow לניתוח סנטימנט. להשתמש ב-Dataflow כדי להריץ צינורות עיבוד נתונים של הסקת מסקנות שמשתמשים במודלים של Gemma. מידע נוסף זמין במאמר בנושא הרצת צינורות הסקה עם מודלים פתוחים של Gemma.

שימוש ב-Gemma עם Colab

אתם יכולים להשתמש ב-Gemma עם Colaboratory כדי ליצור את הפתרון שלכם ל-Gemma. ב-Colab, אפשר להשתמש ב-Gemma עם אפשרויות של מסגרות כמו PyTorch ו-JAX. מידע נוסף זמין במאמרים הבאים:

• איך מתחילים לעבוד עם Gemma באמצעות Keras
• איך מתחילים לעבוד עם Gemma באמצעות PyTorch
• כוונון בסיסי של Gemma באמצעות Keras.
• כוונון מבוזר של Gemma באמצעות Keras.

הגדלים והיכולות של מודל Gemma

מודלים של Gemma זמינים בכמה גדלים, כך שתוכלו ליצור פתרונות של AI גנרטיבי על סמך משאבי המחשוב הזמינים, היכולות שאתם צריכים והמקום שבו אתם רוצים להפעיל אותם. כל מודל זמין בגרסה מכוונת ובגרסה לא מכוונת:

• מאומן מראש – הגרסה הזו של המודל לא עברה אימון על משימות או הוראות ספציפיות מעבר לקבוצת הנתונים לאימון הבסיסיים של Gemma. אנחנו לא ממליצים להשתמש במודל הזה בלי לבצע התאמות.

• התאמה להנחיות – הגרסה הזו של המודל אומנה באמצעות אינטראקציות בשפה טבעית, כדי שיוכל להשתתף בשיחה, בדומה לצ'אט בוט בסיסי.

• ‫Mix fine-tuned – הגרסה הזו של המודל עברה כוונון עדין על שילוב של מערכי נתונים אקדמיים, והיא מקבלת הנחיות בשפה טבעית.

גודל פרמטרים קטן יותר מוביל לדרישות משאבים נמוכות יותר ולגמישות רבה יותר בפריסה.

שם הדגם	גודל הפרמטרים	קלט	פלט	גרסאות שעברו התאמה	פלטפורמות היעד
Gemma 3n
Gemma 3n E4B	‫4 מיליארד פרמטרים אפקטיביים	טקסט, תמונה ואודיו	טקסט	מאומן מראש התאמה להוראות	מכשירים ניידים ומחשבים ניידים
Gemma 3n E2B	‫2 מיליארד פרמטרים אפקטיביים	טקסט, תמונה ואודיו	טקסט	מאומן מראש התאמה להוראות	מכשירים ניידים ומחשבים ניידים
Gemma 3
Gemma 3 27B	‫27 מיליארד	טקסט ותמונה	טקסט	מאומן מראש התאמה להוראות	שרתים גדולים או אשכולות שרתים
Gemma 3 12B	‫12 מיליארד	טקסט ותמונה	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים מתקדמים יותר
Gemma 3 4B	‫4 מיליארד	טקסט ותמונה	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים קטנים
Gemma 3 1B	מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מכשירים ניידים ומחשבים ניידים
Gemma 2
Gemma 2 27B	‫27 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	שרתים גדולים או אשכולות שרתים
Gemma 2 9B	‫9 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים מתקדמים יותר
Gemma 2 2B	2 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מכשירים ניידים ומחשבים ניידים
Gemma
Gemma 7B	7 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים קטנים
Gemma 2B	‫2.2 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מכשירים ניידים ומחשבים ניידים
CodeGemma
CodeGemma 7B	7 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים קטנים
CodeGemma 2B	2 מיליארד	טקסט	טקסט	מאומן מראש	מחשבים שולחניים ושרתים קטנים
PaliGemma 2
PaliGemma 28B	‫28 מיליארד	טקסט ותמונה	טקסט	מאומן מראש מיקסים מותאמים	שרתים גדולים או אשכולות שרתים
PaliGemma 10B	‫10 מיליארד	טקסט ותמונה	טקסט	מאומן מראש מיקסים מותאמים	מחשבים שולחניים ושרתים מתקדמים יותר
PaliGemma 3B	3 מיליארד	טקסט ותמונה	טקסט	מאומן מראש מיקסים מותאמים	מחשבים שולחניים ושרתים קטנים
PaliGemma
PaliGemma 3B	3 מיליארד	טקסט ותמונה	טקסט	מאומן מראש מיקסים מותאמים	מחשבים שולחניים ושרתים קטנים
ShieldGemma 2
ShieldGemma 2	‫4 מיליארד	טקסט ותמונה	טקסט	כוונון עדין	מחשבים שולחניים ושרתים קטנים
TxGemma
TxGemma 27B	‫27 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	שרתים גדולים או אשכולות שרתים
TxGemma 9B	‫9 מיליארד	טקסט	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים מתקדמים יותר
TxGemma 2B	2 מיליארד	טקסט	טקסט	מאומן מראש	מכשירים ניידים ומחשבים ניידים
MedGemma
MedGemma 27B	‫27 מיליארד	טקסט ותמונה	טקסט	מודל שעבר אימון על הוראות עם טקסט בלבד התאמה להוראות	שרתים גדולים או אשכולות שרתים
MedGemma 4B	‫4 מיליארד	טקסט ותמונה	טקסט	מאומן מראש התאמה להוראות	מחשבים שולחניים ושרתים קטנים
MedSigLIP
MedSigLIP	‫800 מיליון	טקסט ותמונה	הטמעה	כוונון עדין	מכשירים ניידים ומחשבים ניידים
T5Gemma
T5Gemma 9B-9B	‫18 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma 9B-2B	‫11 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma 2B-2B	‫4 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma XL-XL	‫4 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma M-L	2 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma L-L	מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma B-B	‫0.6 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים
T5Gemma S-S	‫0.3 מיליארד	טקסט	טקסט	‫PrefixLM, pretrained PrefixLM, instruction-tuned ‫UL2, pretrained ‫UL2, מכוונן להוראות	מכשירים ניידים ומחשבים ניידים

מודל Gemma נבדק באמצעות חומרת TPU v5e של Google שנוצרה למטרה הזו, וחומרת GPU‏ L4(G2 Standard),‏ A100(A2 Standard) ו-H100(A3 High) של NVIDIA.

המאמרים הבאים

• לעיון במסמכי התיעוד של Gemma