איך Gemini ב-GDC במודל מחובר API פועל ב-GDC במודל מחובר

בדף הזה מוסבר איך פועל Gemini on Google Distributed Cloud במודל מחובר connected API, כולל מידע על התשתית, יכולות החומרה והתוכנה שלו.

סקירה כללית

‫Gemini on GDC connected API הוא פתרון תוכנה מוכן לשימוש שמאפשר לכם לפרוס מודלים של Gemini בחומרה משלכם שאושרה על ידי Google ומחוברת לרשת המקומית. המודלים מתארחים במכונות וירטואליות חסויות (CVM) שנפרסות באשכולות של Distributed Cloud במודל מחובר. לחומרה הנדרשת יש הגדרה ספציפית שנקבעה ואושרה על ידי Google.

חומרה שאושרה על ידי Google

כדי להשתמש ב-Gemini ב-GDC במודל מחובר API, צריך ציוד שאושר על ידי Google ומוגדר בדיוק כמו שמתואר במאמר בנושא ציוד שאושר על ידי Google. כדי להזמין את Gemini באמצעות API שמחובר ל-GDC במודל מחובר, צריך להזמין ולהתקין את החומרה הזו במקום. כשמזמינים את Gemini באמצעות API שמקושר ל-GDC במודל מחובר, צריך לספק ל-Google את תגי השירות המתאימים ומידע נוסף לזיהוי חומרה, כפי שמתואר בדרישות ההתקנה.

החומרה שאושרה על ידי Google עומדת במפרט הבא:

  • פלטפורמה: Dell XE9680 server chassis
  • מעבד (CPU): שני מעבדים (2) Intel Xeon Platinum 8592+‎ עם 64 ליבות
  • זיכרון: זיכרון RAM מסוג RDIMM‏ DDR5 בנפח 2TB‏ 5,600 MT/s
  • מעבד גרפי (GPU): NVIDIA HGX H200 SXM assembly עם שמונה (8) מעבדי GPU מסדרת NVIDIA H200
  • אחסון: אחסון NVMe עם אישור FIPS שמוגדר באופן הבא:
    • ‫2 כונני 960GB ב-RAID1 בחומרה למערכת ההפעלה
    • ‫2 כוננים בנפח 15.36TB ב-RAID1 של תוכנה שמורים לפונקציות שמורות למערכת
    • ‫6 כוננים של 15.36TB לאחסון נתונים של מכונות וירטואליות סודיות שמשרתות באופן מקומי את Gemini בנקודות קצה של API שמחוברות ל-GDC.
  • רשת:
    • שני (2) מתאמי רשת Mellanox ConnectX-6 dual-port 100 GbE QFSP56
    • מתאם רשת משולב אחד (1) Broadcom 5720 1 GbE
  • ניהול: Dell Remote Access Controller 9 ‏ (iDRAC9) Datacenter 16G משולב לניהול מערכות מוטמעות
  • חשמל: שש (6) ספקי כוח בעוצמה של 2,800 ואט עם אישור Titanium

פריסה יחידה של Gemini ב-API שמחובר ל-GDC מורכבת ממכונה אחת (1) שאושרה על ידי Google. ‫Gemini ב-GDC במודל מחובר API לא פועל בתצורות חומרה שלא אושרו על ידי Google.

מכונות וירטואליות חסויות

המודלים שמופעלים על ידי Gemini ב-API המקושר של GDC מתארחים במכונות וירטואליות חסויות שפועלות באשכולות של Distributed Cloud connected. אימות מרחוק מבטיח את האבטחה והתקינות של מכונות ה-CVM שנפרסו ושל סביבת התוכנה המאובטחת שבה הן פועלות.

אימות (attestation) מרחוק

כדי לשמור על אימות (attestation) מרחוק של מכונות CVM שנפרסו ושל סביבת התוכנה המאובטחת שמארחת אותן, נדרש חיבור קבוע לאינטרנט ל-Gemini ב-GDC במודל מחובר API. מנגנון האימות (attestation) מיושם באמצעות שירותי אימות מרחוק (attestation) של Intel® Software Guard Extension (Intel® SGX). צריך להיות לכם מינוי ל-Intel® SGX Provisioning Certification Service ולספק ל-Google את מפתחות ה-API המתאימים כשמזמינים את Gemini ב-GDC במודל מחובר.

כשל באימות מרחוק

שירות אימות (attestation) מרחוק יוצר פעימת לב בין פריסת ה-API של Gemini ב-GDC במודל מחובר לבין Google, ולכן נדרש חיבור לאינטרנט רציף. אם הפעימה הזו מופסקת למשך יותר מ-30 דקות רצופות, מכונות ה-CVM מושבתות עד שהפעימה מתחדשת. כדי לפתור בעיות שקשורות לכישלונות באימות, צריך לפנות לנציג Google.

מודלים נתמכים

הגרסה הזו של Gemini ב-GDC API המחובר תומכת במודלים הבאים:

  • ‫Gemini 2.5 Flash 128k עם מזהה ציבורי gemini-2.5-flash ומזהה הנחיה gemini-2.5-flash-ggc.

כדי ליצור בקשות להנחיות, משתמשים במזהה הציבורי של המודל בכל הפקודות, למעט אינטראקציה עם נקודת הקצה שלו. משתמשים במזהה ההנחיה כשיוצרים בקשות להנחיות ושולחים אותן לנקודת הקצה.

שלבי הפריסה

באופן כללי, הפריסה של מודל Gemini ב-Gemini דרך Gemini on GDC connected API נראית כך:

  1. רוכשים ומתקינים את הציוד שאושר על ידי Google, כמו שמתואר בקטע ציוד.
  2. מבצעים את השלבים הנדרשים כדי לעמוד בכל דרישות ההתקנה שמתוארות במאמר בנושא דרישות התקנה.
  3. מזמינים את Gemini ב-GDC במודל מחובר API כמו שמתואר במאמר הזמנת Gemini ב-Google Distributed Cloud במודל מחובר API ב-Distributed Cloud connected. כשמזמינים, צריך לספק את המידע שמפורט בדרישות ההתקנה כדי ש-Google תוכל להקצות את Gemini בפריסת GDC במודל מחובר API לניהול תוכנה ולאימות (attestation) מרחוק של מכונות CVM שמארחות את המודלים שרוצים לפרוס.
  4. אפשר לתאם ביקור של טכנאי Google שיגיע למיקום שלכם כדי להתקין ולהגדיר את תוכנת Gemini on GDC connected API בחומרה שאושרה על ידי Google.
  5. מפעילים את ממשקי ה-API הנדרשים, כמו שמתואר במאמר הפעלת ממשקי ה-API הנדרשים.
  6. מגדירים חשבון לחיוב ב-Cloud עבור פרויקט היעד Google Cloud , כמו שמתואר במאמר יצירת חשבון חדש לחיוב ב-Cloud בניהול עצמי.
  7. צריך להעניק לאדמינים של Gemini on Google Distributed Cloud במודל מחובר API ולחשבונות של צרכני מודלים של Gemini on GDC במודל מחובר API את התפקידים הנדרשים, כמו שמתואר במאמר בנושא הענקת התפקידים הנדרשים.
  8. יוצרים ופורסים את Gemini בנקודות קצה ל-API שמקושרות ל-GDC, כמו שמתואר במאמר פריסת נקודת קצה ל-API שמקושרת ל-GDC.
  9. אינטראקציה עם Gemini שנפרס בנקודות קצה ל-API שמקושרות ל-GDC, כמו שמתואר במאמר אינטראקציה עם נקודת קצה ל-API שמקושרת ל-GDC.

המאמרים הבאים