סקירה כללית של Vertex AI

‫Vertex AI ב-Google Distributed Cloud (GDC) air-gapped appliance מאפשר להריץ עומסי עבודה של למידת מכונה (ML) ובינה מלאכותית (AI) במכשיר נייד מאובטח. המכשיר מספק גישה לקבוצה נבחרת של ממשקי API שאומנו מראש, כך שתוכלו לשלב זיהוי דיבור, תרגום וזיהוי טקסט בפתרון הענן הפרטי שלכם.

תכונות עיקריות

‫Vertex AI במכשיר GDC עם air gap מציע את התכונות הבאות:

  • פריסה עם Air gap: הפעלה של שירותי Vertex AI במכשיר הנייד, תוך שמירה על ריבונות הנתונים ותאימות.
  • חוויית שימוש מוכרת ב-Vertex AI: אתם יכולים להשתמש באותם כלים וממשקי API מ- Google Cloud, וכך לפשט את הפיתוח והניהול.
  • מודלים ואלגוריתמים מובְנים: גישה למגוון מודלים שאומנו מראש למשימות נפוצות של למידת מכונה, כדי לקצר את הזמן עד להפקת ערך.

השירותים הזמינים

ב-Vertex AI במכשיר GDC עם air gap יש את השירותים הבאים שעברו אימון מראש:

תכנון קיבולת ודרישות מחשוב

כל שירות של Vertex AI דורש משאבי מחשוב שונים. בטבלה הבאה מפורטות הדרישות לכל מודל שעבר אימון מראש:

Pre-trained API משאבי מחשוב דרישות לגבי מספר יחידות ה-GPU דרישות לגבי זיכרון GPU
זיהוי תווים אופטיים (OCR) GPU GPU אחד מדגם A100 בנפח 80GB 40 GB
המרת דיבור לטקסט (STT) CPU לא רלוונטי (רק CPU) לא רלוונטי (רק CPU)
‫Vertex AI Translation GPU GPU אחד מדגם A100 בנפח 80GB 50 GB

מכשיר GDC עם air gap כולל GPU אחד מסוג NVIDIA A100 80GB. כך המכשיר מוגבל להרצת ממשק API אחד בכל פעם, שתלוי ב-GPU, של Vertex AI שעבר אימון מראש. אם תנסו להפעיל גם את Vertex AI Translation וגם את OCR, ה-API השני לא יופעל ותופיע הודעת שגיאה שמציינת שאין מספיק משאבי GPU. עם זאת, אפשר להריץ את Speech-to-Text לצד Vertex AI Translation או OCR, כי Speech-to-Text דורש רק משאבי מעבד (CPU).

כדי לעזור לך לקבוע את מספר יחידות המכשיר שדרושות לעומסי העבודה של AI/ML, כדאי לעיין במגבלות הקיבולת הבאות לכל ממשק API שעבר אימון מראש ב-Vertex AI:

Pre-trained API קיבולת לכל יחידת מכשיר
זיהוי תווים אופטיים (OCR) עד 30 תמונות לדקה (תמונה אחת כל שתי שניות).
המרת דיבור לטקסט (STT) עד שבע דקות של תמלול אודיו לדקה (שבע שניות של תמלול אודיו לשנייה).
‫Vertex AI Translation עד 61,000 תווים לדקה (1,024 תווים לשנייה).

כשמתכננים את הפריסה, כדאי להביא בחשבון את ההנחיות הבאות:

  • מגבלות הקיבולת הן משוערות ולא מובטחות. הקיבולת בפועל עשויה להשתנות בהתאם לגורמים כמו:

    • מורכבות נתוני הקלט (לדוגמה, שפת התרגום, איכות התמונה ל-OCR ובהירות האודיו להמרת דיבור לטקסט).
    • ההגדרה הספציפית של המכשיר.
    • שימוש בו-זמני בשירותים אחרים במכשיר.

  • רק ממשק API אחד שדורש שימוש אינטנסיבי ב-GPU‏ (Vertex AI Translation או OCR) יכול להיות פעיל בכל פעם, כי מכשיר GDC עם air gap מוגבל ל-GPU אחד מסוג A100 80GB.

  • העריכו את השימוש בשיא ואת פוטנציאל הצמיחה העתידית.

  • לעומסי עבודה תובעניים שדורשים קצב נתונים גבוה יותר, כדאי לפרוס כמה יחידות של מכשירים.

בטבלה הבאה מפורטות דרישות האחסון של כל שירות Vertex AI במכשיר GDC עם air gap:

רכיב דרישות לגבי האחסון
חזית ה-OCR 0.1 GB
הקצה העורפי של OCR 5 GB
חילוץ OCR 0.1 GB
ממשק קצה להמרת דיבור לטקסט (STT) 0.1 GB
קצה עורפי של המרת דיבור לטקסט (STT) 1.5 GB
ממשק קצה לתרגום ב-Vertex AI 0.7 GB
קצה עורפי של Vertex AI Translation 61.4 GB

חשוב לוודא שיש במכשיר מספיק נפח אחסון לשירותי Vertex AI שאתם מתכוונים להשתמש בהם.

יתרונות

היתרונות של Vertex AI במכשיר GDC עם air gap:

  • חוויית פיתוח חלקה: אתם יכולים להשתמש באותם כלים, ממשקי API ותהליכי עבודה של Vertex AI ב- Google Cloud, וכך לפתח ולנהל בצורה אינטואיטיבית ויעילה.
  • אבטחה ופרטיות משופרות: שליטה מלאה בנתונים ועמידה בדרישות הרגולטוריות.
  • השגת ערך מהר יותר: שימוש במודלים שעברו אימון מראש למשימות נפוצות של למידת מכונה.
  • תהליכי MLOps יעילים: יכולות מתקדמות של תפעול למידת מכונה, שמאפשרות לשלב בצורה חלקה יכולות AI בסביבה עם air gap.

תחילת העבודה

כדי להתחיל להשתמש ב-Vertex AI בציוד GDC עם air gap: