מודלים של Mistral AI

מודלים של Mistral AI ב-Gemini Enterprise Agent Platform הם מודלים מנוהלים לחלוטין ללא שרתים, שזמינים כממשקי API. כדי להשתמש במודל של Mistral AI ב-Agent Platform, שולחים בקשה ישירות לנקודת הקצה של Agent Platform API. מכיוון שמודלים של Mistral AI משתמשים ב-API מנוהל, אין צורך להקצות או לנהל תשתית.

אתם יכולים להזרים את התשובות כדי לצמצם את זמן האחזור שנתפס על ידי משתמשי הקצה. תגובה שמוזרמת משתמשת באירועים שנשלחים מהשרת (SSE) כדי להזרים את התגובה באופן מצטבר.

התשלום על מודלים של Mistral AI מתבצע לפי שימוש (תשלום לפי שימוש). למידע על תמחור לפי שימוש, אפשר לעיין בתמחור של פלטפורמת הסוכנים Gemini Enterprise Agent Platform

page.

מודלים זמינים של Mistral AI

המודלים הבאים זמינים מ-Mistral AI לשימוש ב-Gemini Enterprise Agent Platform. כדי לגשת למודל Mistral AI, עוברים לכרטיס המודל שלו ב-Model Garden.

‫Mistral Medium 3

‫Mistral Medium 3 הוא מודל רב-תכליתי שנועד למגוון רחב של משימות, כולל תכנות, הסקת מסקנות מתמטיות, הבנת מסמכים ארוכים, סיכום ודיאלוג. הוא מצטיין במשימות מורכבות שדורשות יכולות חשיבה מתקדמות, הבנה ויזואלית או רמה גבוהה של התמחות (למשל, כתיבה יוצרת, תהליכי עבודה מבוססי-סוכן, יצירת קוד).

הוא כולל יכולות מולטי-מודאליות, שמאפשרות לו לעבד קלט חזותי, והוא תומך בעשרות שפות, כולל יותר מ-80 שפות תכנות. בנוסף, הוא כולל קריאה לפונקציות ותהליכי עבודה של סוכנים.

‫Mistral Medium 3 עבר אופטימיזציה להסקת מסקנות בצומת יחיד, במיוחד עבור אפליקציות עם הקשר ארוך. הגודל שלו מאפשר לו להשיג תפוקה גבוהה בצומת יחיד.

לכרטיס המודל Mistral Medium 3

Mistral OCR (25.05)

‫Mistral OCR ‏(25.05) הוא API לזיהוי תווים אופטי (OCR) להבנת מסמכים. ‫Mistral OCR (25.05) מצטיין בהבנת רכיבים מורכבים במסמכים, כולל תמונות משולבות, ביטויים מתמטיים, טבלאות ופריסות מתקדמות כמו עיצוב LaTeX. המודל מאפשר להבין לעומק מסמכים עשירים כמו מאמרים מדעיים עם תרשימים, גרפים, משוואות ואיורים.

‫Mistral OCR (25.05) הוא מודל אידיאלי לשימוש בשילוב עם מערכת RAG שמקבלת מסמכים מולטי-מודאליים (כמו שקפים או קובצי PDF מורכבים) כקלט.

אפשר לשלב את Mistral OCR (25.05) עם מודלים אחרים של Mistral כדי לעצב מחדש את התוצאות. השילוב הזה מבטיח שהתוכן שחולץ יהיה לא רק מדויק, אלא גם מוצג בצורה מובנית ועקבית, כך שהוא מתאים לשימושים שונים ולניתוחים שונים.

מעבר לכרטיס של מודל Mistral OCR (25.05)

‫Mistral Small 3.1 ‏ (25.03)

‫Mistral Small 3.1 (25.03) כולל יכולות מולטי-מודאליות והקשר של עד 128,000. המודל יכול לעבד ולהבין קלט חזותי ומסמכים ארוכים, וכך להרחיב עוד יותר את מגוון היישומים שלו בהשוואה למודל הקודם של Mistral AI Small. ‫Mistral Small 3.1 (25.03) הוא מודל רב-תכליתי שנועד למשימות שונות כמו תכנות, הסקת מסקנות מתמטיות, הבנת מסמכים ודיאלוג. ‫Mistral Small 3.1 (25.03) מיועד לאפליקציות עם זמן אחזור נמוך, כדי לספק יעילות ברמה הכי גבוהה בהשוואה למודלים באיכות זהה.

‫Mistral Small 3.1 (25.03) עבר תהליך מלא של פוסט-אימון כדי להתאים את המודל להעדפות ולצרכים של בני אדם, כך שאפשר להשתמש בו מיד באפליקציות שדורשות צ'אט או ביצוע מדויק של הוראות.

מעבר לכרטיס של מודל Mistral Small 3.1 (25.03)

Codestral 2

‫Codestral 2 הוא מודל מיוחד ליצירת קוד של Mistral, שנוצר במיוחד להשלמה מדויקת של קוד באמצע (FIM). הוא עוזר למפתחים לכתוב קוד ולעבוד איתו באמצעות נקודת קצה משותפת של API להוראות ולהשלמה. הוא יכול לכתוב קוד ולנהל שיחות במגוון שפות, ולכן מפתחי תוכנה יכולים להשתמש בו כדי לתכנן אפליקציות AI מתקדמות.

הגרסה האחרונה של Codestral 2 כוללת שיפורים משמעותיים בהשוואה לגרסה הקודמת של Codestral ‏ (25.01):

  • עלייה של 30% במספר ההשלמות המקובלות.
  • 10% יותר קוד שנשמר אחרי ההצעה.
  • הפחתה של 50% במספר הדורות הלא רצויים, מה שמשפר את רמת הביטחון בעריכות ארוכות יותר.

שיפור הביצועים במדדים אקדמיים להשלמת FIM בהקשר קצר וארוך.

  • יצירת קוד: השלמה, הצעות ותרגום של קוד.
  • הבנת קוד ותיעוד: סיכום והסבר של קוד.
  • איכות הקוד: בדיקת קוד, שינוי מבנה הקוד, תיקון באגים ויצירת תרחישי בדיקה.
  • השלמת קוד: המשתמשים יכולים להגדיר את נקודת ההתחלה של הקוד באמצעות הנחיה, ואת נקודת הסיום של הקוד באמצעות סיומת אופציונלית ועצירה אופציונלית. מודל Codestral ייצור את הקוד שמתאים למיקום הזה, ולכן הוא אידיאלי למשימות שבהן נדרש קוד ספציפי.

מעבר לכרטיס המודל Codestral 2

שימוש במודלים של Mistral AI

אפשר להשתמש בפקודות curl כדי לשלוח בקשות לנקודת הקצה של Gemini Enterprise Agent Platform באמצעות שמות המודלים הבאים:

  • ל-Mistral Medium 3, משתמשים ב-mistral-medium-3
  • ‫Mistral OCR (25.05), ‏ mistral-ocr-2505
  • ל-Mistral Small 3.1 ‏ (25.03), משתמשים ב-mistral-small-2503
  • ל-Codestral 2, משתמשים ב-codestral-2

מידע נוסף על השימוש ב-Mistral AI SDK זמין ב מסמכי התיעוד של Mistral AI Gemini Enterprise Agent Platform.

לפני שמתחילים

כדי להשתמש במודלים של Mistral AI עם Gemini Enterprise Agent Platform, צריך לבצע את השלבים הבאים. כדי להשתמש ב-Gemini Enterprise Agent Platform, צריך להפעיל את Agent Platform API ‏(aiplatform.googleapis.com). אם כבר יש לכם פרויקט שבו מופעל Agent Platform API, אתם יכולים להשתמש בו במקום ליצור פרויקט חדש.

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Gemini Enterprise Agent Platform API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Gemini Enterprise Agent Platform API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. עוברים לאחד מכרטיסי המודל הבאים ב-Model Garden ולוחצים על Enable:

איך מתקשרים למודל של Mistral AI בסטרימינג

בדוגמה הבאה מבוצעת קריאה להזרמת נתונים למודל של Mistral AI.

REST

אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק הנחיית טקסט. הדוגמה הבאה שולחת בקשה לנקודת הקצה של מודל בעל התוכן הדיגיטלי.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • LOCATION: אזור שתומך במודלים של Mistral AI.
  • MODEL: שם המודל שרוצים להשתמש בו. בגוף הבקשה, לא כוללים את מספר גרסת המודל @.
  • ROLE: התפקיד שמשויך להודעה. אפשר לציין user או assistant. ההודעה הראשונה חייבת להשתמש בתפקיד user. המודלים פועלים בתורות מתחלפות user וassistant. אם ההודעה האחרונה משתמשת בתפקיד assistant, תוכן התגובה ממשיך מיד מהתוכן שבהודעה הזו. אתם יכולים להשתמש בזה כדי להגביל חלק מהתשובה של המודל.
  • STREAM: ערך בוליאני שמציין אם התגובה מועברת בסטרימינג או לא. הזרמת התשובה כדי להפחית את תפיסת זמן האחזור של משתמש הקצה. הערך true מאפשר להציג את התשובה באופן שוטף, והערך false מאפשר להציג את התשובה כשהיא מוכנה.
  • CONTENT: התוכן, למשל הטקסט, של ההודעה user או assistant.
  • MAX_OUTPUT_TOKENS: המספר המקסימלי של טוקנים שאפשר ליצור בתשובה. טוקן הוא בערך 3.5 תווים. ‫100 טוקנים מקבילים בערך ל-60-80 מילים.

    כדי לקבל תשובות קצרות יותר, מציינים ערך נמוך יותר, וכדי לקבל תשובות ארוכות יותר, מציינים ערך גבוה יותר.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict

גוף בקשת JSON:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": true
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:streamRawPredict" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

ביצוע קריאה אוניטרית למודל של Mistral AI

בדוגמה הבאה מבוצעת קריאה יחידה למודל Mistral AI.

REST

אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק הנחיית טקסט. הדוגמה הבאה שולחת בקשה לנקודת הקצה של מודל בעל התוכן הדיגיטלי.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • LOCATION: אזור שתומך במודלים של Mistral AI.
  • MODEL: שם המודל שרוצים להשתמש בו. בגוף הבקשה, לא כוללים את מספר גרסת המודל @.
  • ROLE: התפקיד שמשויך להודעה. אפשר לציין user או assistant. ההודעה הראשונה חייבת להשתמש בתפקיד user. המודלים פועלים בתורות מתחלפות user וassistant. אם ההודעה האחרונה משתמשת בתפקיד assistant, תוכן התגובה ממשיך מיד מהתוכן שבהודעה הזו. אתם יכולים להשתמש בזה כדי להגביל חלק מהתשובה של המודל.
  • STREAM: ערך בוליאני שמציין אם התגובה מועברת בסטרימינג או לא. הזרמת התשובה כדי להפחית את תפיסת זמן האחזור של משתמש הקצה. הערך true מאפשר להציג את התשובה באופן שוטף, והערך false מאפשר להציג את התשובה כשהיא מוכנה.
  • CONTENT: התוכן, למשל הטקסט, של ההודעה user או assistant.
  • MAX_OUTPUT_TOKENS: המספר המקסימלי של טוקנים שאפשר ליצור בתשובה. טוקן הוא בערך 3.5 תווים. ‫100 טוקנים מקבילים בערך ל-60-80 מילים.

    כדי לקבל תשובות קצרות יותר, מציינים ערך נמוך יותר, וכדי לקבל תשובות ארוכות יותר, מציינים ערך גבוה יותר.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict

גוף בקשת JSON:

{
"model": MODEL,
  "messages": [
   {
    "role": "ROLE",
    "content": "CONTENT"
   }],
  "max_tokens": MAX_TOKENS,
  "stream": false
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/mistralai/models/MODEL:rawPredict" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

זמינות אזורית ומכסות של מודלים של Mistral AI

במודלים של Mistral AI, המכסה חלה על כל אזור שבו המודל זמין. המיכסה מצוינת בשאילתות לדקה (QPM) ובטוקנים לדקה (TPM). המדד TPM כולל גם טוקנים של קלט וגם טוקנים של פלט.

דגם אזור מכסות אורך ההקשר
‫Mistral Medium 3
us-central1
  • QPM: 90
  • TPM: 315,000
128,000
europe-west4
  • QPM: 90
  • TPM: 315,000
128,000
Mistral OCR (25.05)
us-central1
  • QPM: 30
  • דפים לכל בקשה: 30 (דף אחד = מיליון טוקנים של קלט ומיליון טוקנים של פלט)
‫30 דפים
europe-west4
  • QPM: 30
  • דפים לכל בקשה: 30 (דף אחד = מיליון טוקנים של קלט ומיליון טוקנים של פלט)
‫30 דפים
‫Mistral Small 3.1 ‏ (25.03)
us-central1
  • QPM: 60
  • TPM: 200,000
128,000
europe-west4
  • QPM: 60
  • TPM: 200,000
128,000
Codestral 2
us-central1
  • QPM: 1,100
  • קלט TPM: 1,100,000
  • פלט TPM: ‏ 110,000
‫128,000 טוקנים
europe-west4
  • QPM: 1,100
  • קלט TPM: 1,100,000
  • פלט TPM: ‏ 110,000
‫128,000 טוקנים

אם אתם רוצים להגדיל את המכסות שלכם ל-AI גנרטיבי ב-Gemini Enterprise Agent Platform, אתם יכולים להשתמש במסוף כדי לבקש הגדלה של המכסה. Google Cloud מידע נוסף על מכסות זמין במאמר סקירה כללית על מכסות ב-Cloud.