Agent Sandbox ב-Google Kubernetes Engine (GKE) מאפשר להריץ עומסי עבודה מבודדים של סוכנים ב-Pods ייעודיים של Kubernetes. הבידוד חשוב כשסוכני AI מריצים קוד לא מהימן שנוצר על ידי LLM. ברוב עומסי העבודה של הסוכנים, כדאי להשתמש ב-Agent Substrate ב-GKE, כי הוא יכול להריץ יותר סוכנים באותם צמתים. כדאי להשתמש ב-Agent Sandbox ב-GKE כשכל סוכן צריך Pod ייעודי, מעבדי GPU או TPU, PodSpec מלא של Kubernetes או אשכול GKE Autopilot. כדי להשוות בין Agent Sandbox ב-GKE לבין Agent Substrate ב-GKE ולבחור ארכיטקטורה לעומסי העבודה של סוכני ה-AI, קראו את המאמר תכנון ארכיטקטורה לעומסי עבודה של סוכני AI ב-GKE.
Agent Sandbox הוא פרויקט קוד פתוח במסגרת Kubernetes SIG Apps. כדי להשתמש ב-Agent Sandbox ב-GKE, צריך להתקין את הבקר של Agent Sandbox באשכול. אתם אחראים לשדרוג הבקר. איך מתקינים את Agent Sandbox ב-GKE
במאמר הזה מוסבר באופן כללי על Agent Sandbox ב-GKE.
למה כדאי להשתמש ב-Agent Sandbox ב-GKE
ב-Agent Sandbox ב-GKE, לכל סוכן יש Pod ייעודי מבודד ברמת הליבה, שאפשר לנהל באמצעות ממשקי API רגילים של Kubernetes. אלה חלק מהיתרונות המרכזיים שלהם:
בידוד ברמת הליבה (kernel): בידוד של קוד לא מהימן שנוצר על ידי LLM מליבת הצומת באמצעות GKE Sandbox עם gVisor או מכונות וירטואליות זעירות (microVM). Agent Sandbox ב-GKE פועל גם עם Kata Containers בקוד פתוח בניהול עצמי, שאתם מתקינים בצמתים במקום GKE Sandbox. במדריך הפעלת Kata Containers ב-GKE מוסבר איך משתמשים ב-Kata Containers בקוד פתוח עם Agent Sandbox ב-GKE.
הקצאה בפחות משנייה: מספקת Pods שחוממו מראש לסוכנים, בדרך כלל בפחות משנייה, במקום לחכות לתזמון ולהפעלה הרגילים של Pod ב-Kubernetes.
יכולת הרחבה מבוססת-ענן: ניצול היתרונות של פרדיגמת Kubernetes והתשתית המנוהלת של GKE.
Agent Sandbox ב-GKE מספק ממשק API דקלרטיבי וסטנדרטי, ומציע חוויה של קונטיינר יחיד עם מאפייני בידוד וזמינות שדומים למכונה וירטואלית (VM), שמבוססים לגמרי על פרימיטיבים של Kubernetes.
תרחישים נפוצים לדוגמה לשימוש ב-Agent Sandbox ב-GKE
כדאי להשתמש ב-Agent Sandbox ב-GKE לעומסי עבודה שדורשים בידוד, עקביות וזהות יציבה. תרחישים לדוגמה:
- סביבות זמן ריצה של סוכני AI: מריצים קוד לא מהימן ב-Pod שמשתמש ב-gVisor או ב-microVMs כדי לבודד את הקוד מהקרנל של הצומת.
- סביבות פיתוח: מספקות למפתחים סביבות קידוד מבוססות-ענן, מבודדות וקבועות.
- תיקיות Notebook וכלי מחקר: אירוח סשנים של קונטיינר יחיד לכלים אינטראקטיביים כמו Jupyter Notebooks.
- שירותי Pod יחיד עם שמירת מצב: הפעלת אפליקציות שצריכות זהות ואחסון יציבים, בלי המורכבות של StatefulSet.
- ניהול סביבה פרוגרמטי: שימוש בערכות ה-SDK של ספריית הלקוח שסופקו, כמו Agent Sandbox Python SDK, כדי לבקש ולנהל משאבים של Sandbox ישירות מהלוגיקה של האפליקציה בלי לנהל את Kubernetes YAML.
איך פועל Agent Sandbox ב-GKE
Agent Sandbox ב-GKE משתמש בבקר בהתאמה אישית ובכמה הגדרות של משאבים בהתאמה אישית (CRD) של Kubernetes כדי לנהל את מחזור החיים של המשאבים ב-Agent Sandbox.
ארכיטקטורת ליבה
- משאב מותאם אישית של ארגז חול: המשאב הראשי שמייצג Pod יחיד עם שמירת מצב. המשאב מנהל שמות מארחים יציבים, זהות רשת ואחסון מתמיד. כדי להשעות סוכן לא פעיל, מגדירים את השדה
spec.operatingModeשל משאב ה-Sandbox שלו לערךSuspended. הבקר של מוחק את ה-Pod אבל שומר את המשאב של ארגז החול ואת אמצעי האחסון הקבועים שלו. הנתונים בזיכרון והשינויים במערכת הקבצים של הקונטיינר יאבדו, אלא אם קודם תצלמו תמונת מצב של Pod. כדי להמשיך את פעילות הנציג, מגדירים את השדה בחזרה לערךRunning. Agent Sandbox ב-GKE לא מזהה סוכנים לא פעילים. האפליקציה שלכם קובעת מתי להשעות אותם. - נתב לארגז חול (Sandbox Router): רכיב שמספק נקודת קצה יציבה ומעביר את התנועה לפודים שבהם פועלים הסוכנים, תוך הפשטה של מורכבות הרשת הבסיסית.
- שילוב עם קובצי Snapshot של Pod: Agent Sandbox ב-GKE משתלב עם התכונה קובצי Snapshot של Pod ב-GKE כדי להשעות ולהמשיך עומסי עבודה על ידי שמירה ושחזור של המצב המלא של קונטיינר.
מודל תביעת הבעלות
מודל ההצהרה הוא תכונה מרכזית שמפרידה בין בקשת המשתמש לסביבה לבין פרטי ההטמעה הספציפיים, כמו איפה ואיך מוקצים המשאבים לעומס העבודה. בניגוד ל-StatefulSet רגיל של Kubernetes, מודל הבקשה מאפשר לבקש משאב של ארגז חול בלי לנהל ישירות את הגדרות ה-Pod או האחסון הבסיסיות.
מודל התביעה משתמש במשאבים המותאמים אישית SandboxClaim, SandboxWarmPool ו-SandboxTemplate, ופועל באופן הבא:
- משתמשים או אפליקציות מבקשים משאב של ארגז חול על ידי יצירת משאב SandboxClaim שמפנה למשאב SandboxWarmPool. המאגר החם מפנה למשאב SandboxTemplate שמגדיר את התצורה של ה-Pod.
- הבקר מקצה לתביעה משאב Sandbox מוכן (ואת ה-Pod שפועל בו) מהמאגר החם. אם אין במאגר משאב Sandbox מוכן, הבקר יוצר משאב Sandbox חדש לתביעה מהתבנית.
בריכות חמות
התכונה מאגר חם נועדה לצמצם את זמן האחזור בהפעלה בתרחישים של סוכני AI אינטראקטיביים. באמצעות מאגר חם, Agent Sandbox ב-GKE יכול לספק סביבות הפעלה תוך פחות משנייה. התכונה משתמשת במשאב בהתאמה אישית SandboxWarmPool ופועלת באופן הבא:
- משאב SandboxWarmPool מנהל מאגר של משאבי Sandbox שחוממו מראש עם Pods במצב מוכן.
- כשנוצר משאב SandboxClaim, הבקר מקצה משאב Sandbox מוכן ואת ה-Pod שפועל בו מהמאגר, במקום להמתין ל-Pod חדש שימשוך קובצי אימג' ויתחיל לפעול.
- בשילוב עם קובצי snapshot של Pod, מאגרים חמים יכולים לשחזר Pods ממצב שהוגדר מראש במקום להפעיל אותם מאפס.
בידוד הרשת
ארגז החול לסוכנים ב-GKE מטמיע מדיניות רשת ב-Kubernetes שמוגדרת כדחייה כברירת מחדל לפודים שהבקר יוצר ממשאב SandboxTemplate. לכל משאב SandboxTemplate, הבקר יוצר משאב NetworkPolicy שעוזר למנוע מקוד לא מהימן בתוך ה-Pod לגשת לרשתות פנימיות לא מורשות או למישור הבקרה של GKE. אתם יכולים להגדיר הגבלות רשת ספציפיות וכללי תעבורת נתונים יוצאת או נכנסת מותרים במשאב SandboxTemplate, כדי לשלוט בגישה לרשת של עומסי העבודה של הנציג.
הבקר לא יוצר משאב NetworkPolicy למשאב Sandbox שאתם יוצרים ישירות. כדי להגביל את הגישה לרשת של Pods במשאבי Sandbox, צריך ליצור משאב NetworkPolicy משלכם.
גישה פרוגרמטית באמצעות ערכות SDK
מהנדסי AI יכולים להשתמש במשאבים של Agent Sandbox ב-GKE באופן פרוגרמטי באמצעות ספריות הלקוח שסופקו. לדוגמה, Python SDK מספק ממשק ברמה גבוהה שיוצר בשבילכם את המשאב SandboxClaim הבסיסי. התביעה מפנה למשאב SandboxWarmPool שאתם יוצרים. הממשק הזה מאפשר ליצור סביבות מבודדות ולקיים איתן אינטראקציה ישירות מ-frameworks של סוכני AI שמבוססים על Python, כמו LangChain או Vertex AI Agentic SDK.
מגבלות ודרישות
אלה הדרישות והמגבלות של Agent Sandbox ב-GKE:
- גרסת האשכול: אפשר להריץ את Agent Sandbox ב-GKE בכל גרסה נתמכת של GKE. כדי להשתמש בתמונות מצב של Pod, האשכול צריך להריץ את GKE בגרסה 1.35.3-gke.1234000 ואילך.
- דרישות תשתית: צריך להתקין ולהגדיר את הבקר של Agent Sandbox באשכול. כדי להשתמש ב-Agent Sandbox ב-GKE לא צריך סוג מכונה ספציפי. לדוגמה, במדריך ההתקנה נעשה שימוש בצמתים של
e2-standard-2. עם זאת, תמונות מצב של Pod לא תומכות בסוגי מכונות E2, אז אם אתם מתכננים להשתמש בתמונות מצב של Pod, השתמשו בסדרת מכונות אחרת, כמו N2. - סביבות הרצה מבודדות: Agent Sandbox ב-GKE תומך ב-gVisor וב-microVMs כסביבות הרצה מבודדות. כדי להשתמש בתמונות מצב של Pod צריך את gVisor, והן לא פועלות עם מכונות וירטואליות זעירות. אם לא תציינו סביבת זמן ריצה של GKE Sandbox (gVisor או microVMs), הפודים יפעלו בלי בידוד של הליבה, ולכן אל תשתמשו בהם כדי להריץ קוד לא מהימן.
- מאיצי חומרה: מעבדי GPU ו-TPU פועלים רק עם סביבת זמן הריצה של gVisor בדגמי GPU ובגרסאות TPU נתמכים, ואין תמיכה במכונות מיקרו-וירטואליות. בנוסף, תמונות מצב של Pod לא תומכות ב-TPU.
- זמינות של תכונות בסיסיות: יכול להיות שתכונות בסיסיות מסוימות, כמו תמונות מצב של Pod ב-GKE, יהיו בגרסת טרום-השקה (Preview) או יהיו זמינות רק באזורים מסוימים.
המאמרים הבאים
- איך מתקינים את Agent Sandbox ב-GKE
- איך מבודדים הרצת קוד של AI באמצעות Agent Sandbox ב-GKE
- איך שומרים ומשחזרים את Agent Sandbox בסביבות GKE באמצעות קובצי Snapshot של Pod
- מידע על Agent Substrate ב-GKE
- איך משתמשים ב-Kata Containers בקוד פתוח עם Agent Sandbox ב-GKE Kata Containers הוא לא מוצר של Google Cloud . אם אתם מתקינים את התוכנה הזו ומשתמשים בה, אתם אחראים לניהול ולפתרון בעיות. התמיכה והסכמי ה-SLA של Google לא חלים על Kata Containers.
- להטמעה הבסיסית של קוד פתוח, ראו את פרויקט Agent Sandbox ב-GitHub.
- בדוגמאות ל-Agent Sandbox מפורטים זמני ריצה והגדרות YAML לתרחישים כמו הרצת קוד או שימוש במחשב.
- כדי לבצע פעולות במשאבים של Sandbox באופן פרוגרמטי, קראו את הקובץ README של Agent Sandbox Python SDK ב-GitHub.