מידע על מחקר הנדסי ויישומי ב-Vertex AI
המאמר הנבחר
ממחקר לייצור: שימוש ב-EAGLE-3 ב-Vertex כדי להאיץ את הפיתוח של מודלים גדולים של שפות (LLM) בקוד פתוח
פענוח ספקולטיבי משפר את ההסקה של LLM, אבל בשיטות המסורתיות נדרש מודל טיוטה נפרד ולא יעיל. Vertex AI משתמש ב-EAGLE-3, ומוסיף שכבת טיוטה קטנה (2-5% מהמודל הממוקד) לשכבות פנימיות, מה שמפשט את האימון ומשיג מהירות פענוח גבוהה פי 2 עד פי 3. במאמר הזה נתאר את צינור עיבוד הנתונים שלנו לניקוי נתונים, להטמעות, לאימון ולמילוי בקשות של EAGLE-3 באמצעות SGLang ב-Vertex AI בקנה מידה נרחב.