מידע על נפחי אחסון לסוכנים ב-Filestore

נפחי אחסון של סוכן Filestore הם יכולת אחסון קבצים גמישה מסוג NFS בצפיפות גבוהה ומנוהלת במלואה, שנוצרה עבור ארגזי חול של סוכני AI עם שמירת מצב, צי של סוכנים אוטונומיים וסביבות פיתוח מרובות סוכנים.

נפחי האחסון של סוכן Filestore מספקים את שכבת האחסון המתמיד שנדרשת לשמירה של מצב, הקשר והיסטוריה בין הפעלות של סוכנים, ומאפשרים עומסי עבודה עם זמן אחזור נמוך, ניצול גבוה של צפיפות המחשוב ובידוד חזק של ארגז החול. אפשר להשתמש בנפחי אחסון של סוכני Filestore גם לצרכים של סביבת עבודה של סוכנים או של מחברת, כי סוכנים עובדים באופן טבעי במערכות קבצים.

אף על פי שהם מיועדים בעיקר לעומסי עבודה של סוכני AI וארגזי חול למפתחים, מאגרי נפחים ונפחים מספקים גם ארכיטקטורה כללית לאחסון קבצים עבור אפליקציות שדורשות מספר מערכות קבצים קלות משקל ועצמאיות.

תרחישים לדוגמה

נפחי האחסון של סוכן Filestore מיועדים לארכיטקטורות שדורשות מערכות קבצים רבות, קלות משקל ומהירות להרכבה. תרחישים נפוצים לדוגמה:

  • ארגזי חול של סוכני AI עם שמירת מצב: מספקים אחסון קבוע לסוכני קידוד אינטראקטיביים ולתהליכי עבודה אוטונומיים, עם תמיכה בחיבור מחדש של נפח אחסון תוך פחות מ-100 אלפיות השנייה במהלך מחזורי השהיה והפעלה מחדש.
  • נחילים של סוכנים מרובים שמשתפים פעולה: מאפשרים לצוותים של סוכנים ייעודיים לעבוד בו-זמנית על מאגרי מידע משותפים עם גישת ReadWriteMany (RWX) שתואמת ל-POSIX ועם נעילה של טווח בייטים.
  • סביבות פיתוח בצפיפות גבוהה: אירוח של סביבות פיתוח משולבות (IDE) בענן עם ריבוי דיירים וארגזי חול למפתחים, עם יכולת הרחבה של עד מיליון נפחים מבודדים שמגובים על ידי מאגר קיבולת אזורי יחיד.
  • בדיקות אוטומטיות ו-CI/CD זמניים: הקצאת נפח אחסון מבודד לזמן קצר עבור מריצי בדיקות וצינורות עיבוד נתונים של גרסאות build עם מחזור חיים של פחות משנייה ל-API.
  • הרצה מאובטחת של קוד לא מהימן: הרצת קוד שנוצר על ידי מודל בצורה בטוחה בארגזי חול של קונטיינרים ב-gVisor ב-GKE, באמצעות root squashing ‏ (root_squash) כדי להגן על האחסון הבסיסי.

תהליך עבודה של סוכן עם שמירת מצב ב-GKE

בתרשים הבא מוצג איך נפחי הסוכן של Filestore,‏ Private Service Connect ‏ (PSC) ו-GKE פועלים יחד במהלך סשן של סוכן:

תרשים זרימת עבודה שמציג נפחים של סוכן Filestore ב-GKE
איור 1. תרשים זרימת עבודה שמראה איך נפחי סוכן Filestore פועלים עם GKE.
  1. אשכול GKE מתקשר עם מישור האחסון המנוהל באמצעות מדיניות חיבור שירות PSC. כל תעבורת הנתונים של האחסון ושל NFS נשארת פרטית ברשת הענן הווירטואלי הפרטי (VPC) שלכם, בלי שנדרשות כתובות IP חיצוניות או קישור בין רשתות VPC שכנות (peering).
  2. מאגר נפח אזורי שומר קיבולת משותפת ו-IOPS לפרויקט שלכם. כשמתקבלת בקשה להפעלת סשן של סוכן, נפח אחסון נפרד מוקצה מהמאגר באמצעות מנהל התקן Filestore CSI או ה-API תוך פחות משנייה.
  3. ‫GKE מתזמן פוד של קונטיינר שמבודד באמצעות gVisor. הדרייבר של Filestore CSI מצרף את הווליום ומטמיע אותו בספריית סביבת העבודה של ה-Pod (למשל /workspace) תוך פחות מ-100 אלפיות השנייה.
  4. הסוכן מאותחל בתוך ארגז החול, ומקבל גישה מיידית למערכת הקבצים הייעודית שלו כדי לשכפל מאגרי Git, להתקין חבילות ולכתוב ארטיפקטים של לוח שרטוט. כשהסוכן לא פעיל, GKE יכול לסיים את הפוד של המחשוב כדי לחסוך בעלויות, בזמן שהנפח שומר על כל מצב סביבת העבודה כדי לאפשר חידוש מיידי.

יכולות הליבה

התכונות העיקריות של כרכים של סוכן Filestore:

  • צפיפות נפח גבוהה במיוחד: הקצאת נפח אחסון של עד מיליון נפחים עצמאיים במאגר נפחים אזורי יחיד.
  • פעולות שנמשכות פחות משנייה: יצירה ומחיקה של נפחי אחסון בפחות משנייה באמצעות ממשקי REST API, בהתאם למחזור החיים הארעי של משימות של סוכנים אוטונומיים.
  • צירוף נפח אחסון בפחות מ-100 אלפיות השנייה: אפשר לצרף נפחים קיימים לארגזי חול שהוכנו מראש בפחות מ-100 אלפיות השנייה, וכך לאפשר הפעלת סשנים אינטראקטיביים מיידיים של משתמשים וניצול גבוה של תשתית המחשוב.
  • תאימות ל-POSIX ושיתוף RWX: מספק סמנטיקה של מערכת קבצים NFSv3, היררכיות של ספריות ונעילת קבצים בטווח בייטים בכמה קונטיינרים וצמתים.
  • קישוריות פרטית ל-VPC: אפשר להתחבר בצורה מאובטחת לרשת ה-VPC באמצעות מדיניות חיבור לשירות Private Service Connect ‏(PSC).

מאגר נפח וכרכים

הכרכים של סוכן Filestore מציגים מודל משאבים פשוט בשתי רמות. תשתית האחסון הבסיסית מנוהלת בשבילכם, כך שלא צריך לנהל או להגדיר מופעים של שרתי קבצים:

  1. מאגר נפחים: משאב אזורי מנוהל ברמה העליונה. מאגר נפחים שומר מאגר משותף של קיבולת אחסון ו-IOPS לפרויקט ולרשת VPC, ומחיל מדיניות ברירת מחדל של מכסת נפחים.
  2. נפח: משאב אחסון פרטי שתואם ל-POSIX, שמוקצה בתוך מאגר נפחים. כל אמצעי אחסון מייצג מערכת קבצים מבודדת שאפשר לטעון אותה לקונטיינר אחד או יותר, לפודים או למכונות וירטואליות.

דפוסי עומסי עבודה נתמכים

אפשר לשלב נפחי סוכן של Filestore בארכיטקטורות שלכם באמצעות כמה מודלים של תזמור:

  • ‫GKE Agent Substrate: אפשר להשתמש ב-GKE Agent Substrate כדי לנהל את מחזור החיים של ארגזי חול של סוכנים עם שמירת מצב. ‫Agent Substrate משעה סוכנים לא פעילים כדי לחסוך בעלויות מחשוב, ומפעיל אותם מחדש תוך פחות משנייה. נפחי הסוכנים של Filestore שומרים את מצב מערכת הקבצים של סביבת העבודה במהלך פעולות ההשעיה וההפעלה מחדש. למידע נוסף, ראו שימוש בנפחי סוכן Filestore עם GKE Agent Substrate.
  • ארגז חול לסוכנים ב-GKE: אפשר להשתמש בארגז החול לסוכנים ב-GKE כדי לנהל את מחזור החיים של סביבות סוכנים מבודדות עם מצב, עם מאגרי ארגז חול שחוממו מראש. מידע נוסף זמין במאמר בנושא שימוש בנפחי סוכנים של Filestore עם ארגז החול לסוכנים ב-GKE.
  • קישור מאוחר של אחסון דינמי: בפלטפורמות אינטראקטיביות שבהן זמן האחזור הוא קריטי, אפשר להחדיר נפחי NFS שהוקצו מראש לתוך תרמילי ארגז חול (sandbox) שמופעלים מראש תוך פחות מ-100 אלפיות השנייה, באמצעות דמונים של המארח והפצת ההרכבה, וכך למנוע את זמן האחזור של הפעלה מחדש של התרמיל. מידע נוסף זמין במאמר שימוש בכרכים של סוכן Filestore עם Agent Sandbox dynamic storage late-binding.
  • עומסי עבודה ב-GKE בניהול עצמי: פריסה של עומסי עבודה רגילים ב-Kubernetes‏ Deployment,‏ StatefulSet או Job עם משאבי PersistentVolumeClaim (PVC) שמגובים על ידי מנהל התקן ה-CSI של Filestore ומשאבי מאגר הנפחים StorageClass. מידע נוסף מופיע במאמר בנושא שימוש בנפחי Filestore agent עם עומסי עבודה ב-GKE בניהול עצמי.

המאמרים הבאים