לפני שמזמינים את Gemini ב-Google Distributed Cloud במודל מחובר API, צריך לעמוד בדרישות ההתקנה שמתוארות במסמך הזה. מידע נוסף זמין במאמר קבלת תמיכה.
חומרה מאושרת
לפני שמזמינים את Gemini ב-API של GDC במודל מחובר, צריך לרכוש חומרה מאושרת שתואמת בדיוק להגדרה שמתוארת בקטע הזה. ההגדרה הזו מיועדת למכונה אחת שאושרה על ידי Google.
| פריט | מק"ט של Dell | כמות |
|---|---|---|
| PowerEdge XE9680, DSS RESTRICTED | 210-BHYV | 1 |
| 2.5 שלדה | 379-BDTF | 1 |
| Trusted Platform Module 2.0 V5 | 461-AAIG | 1 |
| מארז XE9680 6U עם 8 יחידות GPU ו-8 יחידות NVMe בגודל 2.5" בלבד | 321-BIEK | 1 |
| Intel Xeon Platinum 8592+ 1.9G, 64C/128T, 20GT/s, 320M Cache, Turbo, HT (350W) DDR5-5600 | 338-CPBP | 2 |
| נבחר מעבד נוסף | 379-BDCO | 1 |
| Riser Config 2 | 330-BCHH | 1 |
| Heatsink for 2 CPU Configuration | 412-BBCN | 1 |
| אופטימיזציה של הביצועים | 370-AAIP | 1 |
| RDIMM 5,600MT/s | 370-BBRX | 1 |
| 128GB RDIMM, 5,600MT/s, Dual Rank x4, 32Gb BASE | 370-BCSR | 16 |
| C30, No RAID for NVME chassis | 780-BCDO | 1 |
| ללא בקר | 405-AACD | 1 |
| 15.36TB Enterprise NVMe Read Intensive Opal Drive U.2 Gen4 with carrier, FIPs,Kioxia CM7-R, DSS RESTRICTED | 345-BLPR | 8 |
| הגדרות BIOS לביצועים | 384-BBBL | 1 |
| מצב הפעלה של UEFI BIOS עם מחיצת GPT | 800-BBDM | 1 |
| מאוורר עם ביצועים גבוהים מאוד x6 | 750-ADGJ | 1 |
| 3+3 FTR (GPU Power Brake Enabled), Hot-Plug PSU, 2800W MM HLAC (200-240Vac) Titanium, C22 Connector | 450-AMMN | 1 |
| C20 to C21, PDU Style, 16 AMP, 8 Feet, Power Cord | 450-AGXK | 6 |
| XE9680 System Motherboard, MX, MLK | 338-CPWL | 1 |
| PowerEdge 2U LCD Bezel | 325-BGHR | 1 |
| NVIDIA HGX H200 8-GPU SXM 141GB 700W GPUs Assembly | 490-BKHF | 1 |
| Broadcom 5720 Dual Port 1GbE LOM | 540-BDKD | 1 |
| Mellanox ConnectX-6 DX Dual Port 100GbE QSFP56 Network Adapter, Full Height | 540-BCXO | 2 |
| כרטיס בקר BOSS-N1 + עם 2 כרטיסי FIPS M.2 960GB (RAID 1) Micron 7400 SEDs NVMe | 403-BCVH | 1 |
| XE9680 BOSS Cable | 470-AFNO | 1 |
| Broadcom 57414 Dual Port 10/25GbE SFP28, OCP NIC 3.0 | 540-BCOC | 1 |
| ללא מערכת הפעלה, ללא מחיצת כלי עזר | 611-BBBG | 1 |
| iDRAC9, Datacenter 16G | 528-CTID | 1 |
| רישיון iDRAC Secure Enterprise Key Manager License 2.0 | 634-BZIL | 1 |
| אימות רכיבים מאובטח | 528-COYT | 1 |
| iDRAC,Factory Generated Password | 379-BCSF | 1 |
| מודול שירות iDRAC (ISM), לא מותקן | 379-BCQX | 1 |
| iDRAC Group Manager, Disabled | 379-BCQY | 1 |
| XE9680 Rack Rail Cable Management Arm | 770-BEPB | 1 |
| XE9680 Sliding Ready Rail (B28) | 770-BEPC | 1 |
| PowerEdge XE9680, Shipping | 340-DDBX | 1 |
| PowerEdge XE9680 CE Marking, No CCC Marking | 389-EFKE | 1 |
| XE9680 Shipping Material | 343-BBXC | 1 |
| NOT NAC eligible 5A002.a | 340-DMRF | 1 |
| תמיכה בניהול תוכניות Enterprise | 973-3700 | 1 |
| מכשיר כבד שנדרשת עגלה עם מנגנון הרמה לשירות באתר; אחרת, ייתכנו עיכובים או חיובים נוספים | 718-9227 | 1 |
| Basic Next Business Day 36 Months | 709-BFTF | 1 |
| מוגבל:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Init, 36 Month(s) | 199-BTKT | 1 |
| שמירת הכונן הקשיח ל-Enterprise, 36 חודשים | 711-BCXN | 1 |
| ProDeploy Plus PowerEdge XE Series 5U6U | 683-BDSB | 1 |
גודל ומשקל
כל מכונה שאושרה על ידי Google היא בגובה 6U והמידות שלה הן:
- גובה: 263.2 מ"מ (10.36 אינץ')
- רוחב: 482.0 מ"מ (18.97 אינץ')
- עומק: 1008.77 מ"מ (39.71") כולל המסגרת הקדמית
כל מכונה שאושרה על ידי Google שוקלת 113.3 ק"ג.
הפעלה וקירור
לכל מכונה שאושרה על ידי Google יש את המפרטים החשמליים הבאים:
- מתח: 100V עד 240V AC, 50/60 Hz
- הספק: 11,000 ואט מקסימום
במתקן שלכם צריך להיות קירור מתאים כדי לתמוך במכונה אחת (1) עם אישור של Google לכל פריסה של Gemini ב-GDC במודל מחובר API.
מכונה להגדלת נפח הצפייה
כדי להשלים את ההפעלה של כל Gemini במכונה עם חיבור ל-GDC API שאושרה על ידי Google, אתם צריכים לספק מכונה מקומית משלכם, כמו מחשב נייד, לשימוש במהלך ההפעלה בלבד. זהו מכשיר ההפעלה באיור 1. במחשב הזה צריכה לפעול הגרסה העדכנית של Ubuntu Linux. תריצו במחשב הזה פקודות להקצאת נקודות קצה.
Networking
בקטע הזה מוסבר מהן דרישות הרשת לפריסת Gemini ב-GDC connected API.
קישוריות רשת
איור 1 מציג את Gemini ב-GDC במודל מחובר עם קישוריות API.
כדי לפרוס את Gemini ב-GDC במודל מחובר API, אתם צריכים לעמוד בדרישות הבאות בנוגע לקישוריות לרשת:
מכינים מתג Top-of-Rack (ToR) שתומך בחיבור אופטי של 100 גיגה-ביט עם Quad Small Form-factor Pluggable (QFSP).
צריך להקצות לפחות יציאה אופטית אחת של QFSP 100 גיגה-ביט במתג ToR לכל מכונה שאושרה על ידי Google. עם זאת, Google ממליצה להקצות שתי יציאות אופטיות של QFSP 100G לכל מכונה כדי להבטיח זמינות גבוהה. כל אחת מהיציאות האלה דורשת כבלים מסוג QSFP-100G-SR4-S.
אם מקצים שני פורטים של מתג ToR לכל מכונה, צריך להגדיר את שני הפורטים כממשקים עצמאיים ולחבר אותם לאותו מתאם רשת Mellanox CX-6 בכל מכונה. אל תגדירו את יציאות המתג ToR לצבירת קישורים, כמו LACP, EtherChannel או port bonding. ממשקי הרשת בכל מכונה מוגדרים במצב גיבוי פעיל, והמכונה מטפלת ביתירות כשל של ממשק הרשת באופן פנימי.
חיבור לאינטרנט עם רוחב פס מינימלי של 1 Gbps להורדה ו-100 Mbps להעלאה.
צריך ליצור את חיבורי הרשת הבאים לכל מכונה שאושרה על ידי Google:
מחברים את אחת מיציאות ה-100 גיגה-ביט של QFSP או את שתיהן במתאם הרשת Mellanox CX-6 במחשב למתג ToR. היציאות האלה מטפלות בתעבורת הנתונים המהירה של Gemini on GDC API המקושר ושל התוכנה המקושרת של Distributed Cloud.
מחברים את היציאה של Dell Remote Access Controller (iDRAC) המובנה במחשב למתג נפרד בשכבה 2. ההרשאה הזו נדרשת לניהול המכונה.
לצורך הפעלה בלבד:
מקצים כתובת IP ליציאת iDRAC שלא נכללת בבלוק ה-CIDR של IPv4 /26 של אזור מחובר של Distributed Cloud, שמשמש את הפריסה של Gemini on GDC במודל מחובר connected API.
מוודאים שלמתאמי הרשת Mellanox CX-6 יש קישוריות L2 או L3 ליציאת ה-iDRAC של המכונה, ושהם מאפשרים תעבורת TCP/HTTPS ביציאה 443. אפשר להשבית את התעבורה הזו אחרי שההפעלה תושלם.
יוצרים קישוריות לרשת בין iDRAC לבין המכונה להפעלת השירות, כמו שמוצג באיור 1.
הגדרת רשת
כדי לפרוס את Gemini ב-GDC במודל מחובר API, צריך להגדיר את הרשת המקומית באופן הבא:
- מקצים VLAN ייעודי לא מתויג שהוגדר עם גודל יחידת שידור מקסימלית (MTU) של 1,500 בייטים.
- הקצאת בלוק כתובות פרטיות מסוג IPv4 CIDR בגודל /26 לקישוריות של עומסי עבודה.
- מגדירים קישוריות צפונה ל-VLAN באמצעות BGP peering ומפרסמים את בלוק ה-CIDR שהוקצה /26 לרשת במעלה הזרם.
- מקצים ל-VLAN מסלול ברירת מחדל לרשת במעלה הזרם ולאינטרנט.
- שרת Dynamic Host Configuration Protocol (DHCP) שיכול להקצות כתובות IPv4 למכונות שאושרו על ידי Google לצורך אתחול. הכתובות בבלוק ה-DHCP הזה צריכות להיות החלק האחרון של /29 בבלוק כתובות ה-IPv4 CIDR של קישוריות עומס העבודה.
הגדרת מתג ToR
מגדירים את מתג ה-ToR באופן הבא:
- הפעלת תמיכה ב-DHCPv4 וב-DNS ביציאות שהוקצו ל-Gemini במכונות API שמחוברות ל-GDC.
- מגדירים בלוק CIDR פרטי של IPv4 /26 ב-VLAN הייעודי שלא מתויג עם MTU של 1, 500 בייט.
- מקצים את כתובת ה-IPv4 הראשונה בבלוק ה-CIDR כשער הרשת.
- מוודאים ששאר כתובות ה-IPv4 בבלוק ה-CIDR פנויות. Gemini ב-GDC במודל מחובר API מקצה אותן באופן אוטומטי לפונקציות מערכת, לשירותים ולנקודות קצה (endpoint) של מודלים מקומיים. אל תקצו כתובות IP מהבלוק הזה למכשירים או לשירותים אחרים.
הגדרת שרת DHCP
מגדירים את שרת ה-DHCP למכונות Gemini on GDC connected API באופן הבא:
- צריך לוודא שאפשר להגיע לשרת DHCP מכל היציאות של מתג ToR שמחוברות ל-Gemini במכונות API שמחוברות ל-GDC.
- הקצאה בלעדית של בלוק ה-CIDR של IPv4 /26 לפריסת Gemini on GDC connected API; לא מקצים כתובות IP מהבלוק הזה למכשירים או לשירותים אחרים, כולל יציאת ה-iDRAC בכל מכונת Gemini on GDC connected API.
- שומרים את הפלח האחרון של /29 של בלוק ה-CIDR של IPv4 /26 שהקציתם ל-Gemini במכונות API שמחוברות ל-GDC להקצאות DHCP, ומגדירים את שרת ה-DHCP להשתמש בפלח הזה של /29 כמאגר כתובות DHCP.
הגדרת חומת אש
כדי לאפשר תעבורת נתונים של Gemini on GDC במודל מחובר API, צריך להגדיר את חומת האש המקומית באופן הבא:
| שם | כתובת ה-IP של המקור | כתובת IP מסוג anycast של היעד | פרוטוקול | יציאה |
|---|---|---|---|---|
| Bootstrap | CIDR של אזור GDCc (/26) | 192.178.76.0/23 |
TCP | 80 |
| ניהול GDC במודל מחובר (TCP), שירות אימות, שירות בדיקת ציטוט, הורדות של מודלים | CIDR של אזור GDCc (/26) | 216.239.{32,34,36,38}.223, 192.178.76.0/23 |
TCP | 443 |
| ניהול GDC במודל מחובר (gRPC, HTTPS) | CIDR של אזור GDCc (/26) | 192.178.76.0/23 |
TCP | 444 |
| ניהול GDC במודל מחובר (QUIC) | CIDR של אזור GDCc (/26) | 192.178.18.0/23 |
UDP | 443 |
| שירות שמות דומיין (DNS) | CIDR של אזור GDCc (/26) | Google DNS: 8.8.8.8, 8.8.4.4 |
TCP, UDP | 53 |
| Network Time Protocol (NTP) | CIDR של אזור GDCc (/26) | Google NTP: 216.239.35.{0,4,8,12} |
UDP | 123 |
| אימות מרחוק של Intel TDX | CIDR של אזור GDCc (/26) | 4.255.75.174 |
TCP | 443 |
מפתח API לאימות (attestation) מרחוק של Intel TDX
כדי להפעיל אימות של המכונות הווירטואליות הסודיות שמשרתות את נקודות הקצה של Gemini on GDC connected API, צריך לקבל מפתח Intel TDX remote attestation API ולספק אותו ל-Google. כדי לקבל את מפתח ה-API, צריך לבצע את השלבים שבקטע הזה.
עוברים אל דף שירות ההקצאה של Intel® לאימות ECDSA.
בקטע Get PCK Certificates (קבלת אישורי PCK), לוחצים על Subscribe (הרשמה).
פועלים לפי ההוראות שמוצגות כדי ליצור חשבון ולהירשם למינוי ל-Intel® SGX Provisioning Certification Service.
בקטע Your subscriptions בחשבון, מוצאים את primary API key של המינוי ל-Intel® SGX Provisioning Certification Service ורושמים אותו.
המידע שצריך לספק ל-Google
צריך לספק ל-Google את הפרטים הבאים:
פרטי הקשר של האדם שאחראי לרכישה ולפריסה של המכונות שאושרו על ידי Google.
בלוק ה-CIDR של IPv4 /26 שהקציתם למכונות שאושרו על ידי Google.
מפתחות ה-API הראשי והמשני של המינוי שלכם ל-Intel® SGX Provisioning Certification Service.
תגי השירות של מכונות Gemini on GDC במודל מחובר API. הוראות מפורטות מופיעות במאמר איפה נמצאים קוד השירות המהיר ותג השירות.
מזהי האבטחה הפיזית (PSID) של כונני דיסקים שאינם כונני אתחול במכונות שאושרו על ידי Google.
מזהה הפרויקט של Google Cloud הפרויקט שמארח את האזור המחובר שלכם ב-Distributed Cloud ל-Gemini ב-GDC במודל מחובר API.
אימות החומרה המאושרת
לפני שתתאמו ביקור של טכנאי מ-Google, תצטרכו לאמת את החומרה המאושרת שלכם באופן הבא:
מקבלים את קובץ האימג' של Docker לאימות החומרה מהנציג שלכם ב-Google.
מתקינים את Ubuntu Linux או מפעילים אותו ב-Live-boot במחשב המאושר. ההתקנה הזו משמשת רק למשימות שלפני ההשקה. Google מחליפה אותה בתוכנת Gemini on GDC connected API אחרי שהמשימות שלפני ההשקה מסתיימות.
מתקינים את החבילות הבאות:
טוענים את קובץ האימג' של Docker של ה-bootstrapper:
docker load -i gdc-bootstrapper.tar
הפקודה מחזירה את שם תמונת ה-bootstrapper ואת ערך התג, בדומה לדוגמה הבאה:
Loaded image: gdc-bootstrapper:BOOSTRAPPER_TAG
שימו לב לערך
BOOTSTRAPPER_TAG, שהוא הגרסה של תמונת ה-bootstrapper.מריצים את סקריפט אימות החומרה במחשב המאושר בתור
root:docker run -it --network host --privileged -v "$(pwd)":/output \ -v /sys/firmware/efi:/sys/firmware/efi gdc-bootstrapper:BOOSTRAPPER_TAG validate \ --json_download --bmc_ip=BMC_IP_ADDRESS --bmc_username=BMC_USERNAME \ --bmc_password=BMC_PASSWORD --zone_cidr=ZONE_CIDR
מחליפים את מה שכתוב בשדות הבאים:
-
BOOTSTRAPPER_TAG: תג הגרסה של ה-bootstrapper שהוחזר בשלב הקודם. -
BMC_IP_ADDRESS: כתובת IPv4 של בקר ניהול ללוח הבסיס (BMC) של iDRAC במחשב. -
BMC_USERNAME: החשבון לגישה ל-iDRAC BMC של המכונה. -
BMC_PASSWORD: הסיסמה לגישה ל-iDRAC BMC של המכונה. -
ZONE_CIDR: בלוק ה-CIDR של IPv4 באזור היעד של Google Distributed Cloud במודל מחובר.
הסקריפט פועל עד 15 דקות, ואז הוא מחזיר דוח אימות ומאחסן קובץ JSON של אימות בספרייה שבה הוא נמצא. קובץ ה-JSON נקרא
gdc_hw_info_<timestamp>.json, כאשרtimestampהוא התאריך והשעה שבהם הסתיים הביצוע של הסקריפט.-
שולחים את קובץ ה-JSON ואת דוח האימות לנציג Google.
הפעלת ממשקי ה-API הנדרשים
צריך להפעיל את ממשקי ה-API הבאים בפרויקט היעד Google Cloud :
aiplatform.googleapis.comanthos.googleapis.comanthosaudit.googleapis.comanthosgke.googleapis.comcloudresourcemanager.googleapis.comconnectgateway.googleapis.comcompute.googleapis.comcontainer.googleapis.comedgecontainer.googleapis.comgdchardwaremanagement.googleapis.comgkeconnect.googleapis.comgkehub.googleapis.comgkeonprem.googleapis.comiam.googleapis.comiamcredentials.googleapis.comkubernetesmetadata.googleapis.comlogging.googleapis.commonitoring.googleapis.commulticlustermetering.googleapis.comopsconfigmonitoring.googleapis.comoslogin.googleapis.comserviceusage.googleapis.comstackdriver.googleapis.comstorage.googleapis.comsts.googleapis.com
מידע על הפעלת ממשקי API זמין במאמר הפעלת שירותים.
הגדרה של חשבון לחיוב
צריך להגדיר חשבון לחיוב עבור פרויקט היעד Google Cloud , כמו שמתואר במאמר יצירת חשבון חדש לחיוב ב-Cloud בניהול עצמי.
המאמרים הבאים
כדי להפעיל את הפריסה של Gemini ב-GDC במודל מחובר API, מבצעים את הפעולות הבאות:
מקבלים ומתקינים את Gemini בציוד מאושר של GDC במודל מחובר API במיקום היעד.
מגדירים את Gemini בסביבת ה-API המקושרת של GDC כמו שמתואר בהמשך המאמר.
מאמתים את החומרה המאושרת כמו שמתואר למעלה במסמך.
כדי לתאם ביקור של טכנאי Google, צריך לפנות לנציג Google.
משלימים את הביקור של טכנאי Google כדי להתקין ולהגדיר את תוכנת ה-API של Gemini ב-GDC במודל מחובר.
פועלים לפי השלבים במאמר יצירה וניהול של נקודות קצה.