אירוח סוכני AI ב-Cloud Run

בדף הזה מפורטים תרחישים לדוגמה לאירוח סוכני AI ב-Cloud Run.

סוכני AI הם ישויות תוכנה אוטונומיות שמשתמשות במערכות מבוססות-LLM כדי לתפוס, להחליט ולפעול להשגת יעדים. ככל שייבנו יותר סוכנים אוטונומיים, היכולת שלהם לתקשר ולשתף פעולה תהפוך לקריטית.

להקדמה על סוכני AI, ראה מהו סוכן AI.

תרחישים לדוגמה לשימוש בסוכני AI ב-Cloud Run

אפשר להטמיע סוכני AI כשירותי Cloud Run כדי לתזמר קבוצה של משימות אסינכרוניות ולספק מידע באמצעות אינטראקציות מרובות של בקשה-תגובה.

שירות Cloud Run הוא נקודת קצה ל-API שניתנת להרחבה, והיא מכילה את הלוגיקה המרכזית של האפליקציה. המערכת מנהלת ביעילות מספר משתמשים בו-זמנית באמצעות התאמה אוטומטית לעומס, על פי דרישה ומהירה של מופעים.

ארכיטקטורה של סוכן AI ב-Cloud Run

ארכיטקטורה אופיינית של סוכן AI שנפרסת ב-Cloud Run יכולה לכלול כמה רכיבים מ- Google Cloud וגם מחוץ ל- Google Cloud:

ארבעת הרכיבים של סוכן AI שמתארח ב-Cloud Run.
איור 1. ארכיטקטורה של סוכן AI ב-Cloud Run.

הדיאגרמה מציגה את הפריטים הבאים:

  • פלטפורמת אירוח: Cloud Run היא פלטפורמת אירוח להפעלת סוכנים, והיא מציעה את היתרונות הבאים:

    • תמיכה בהרצת כל מסגרת סוכנים כדי לבנות סוגים שונים של סוכנים וארכיטקטורות אג'נטיות. דוגמאות למסגרות של סוכנים כוללות את Agent Development Kit (ADK),‏ Dify,‏ LangGraph ו-n8n.
    • כולל תכונות מובנות לניהול הסוכן. לדוגמה, ב-Cloud Run יש זהות שירות מובנית שאפשר להשתמש בה כזהות הסוכן כדי לקרוא ל-APIs עם פרטי כניסה מאובטחים ואוטומטיים. Google Cloud
    • תומך בחיבור של מסגרת הסוכן לשירותים אחרים. אתם יכולים לחבר את הסוכן לכלים של צד ראשון או צד שלישי שנפרסו ב-Cloud Run. לדוגמה, כדי לקבל תובנות לגבי המשימות וההפעלות של הסוכן, אפשר לפרוס ולהשתמש בכלים כמו Langfuse ו-Arize.

  • אינטראקציות עם סוכנים: Cloud Run תומך בהזרמת תגובות HTTP בחזרה למשתמש וב-WebSockets לאינטראקציות בזמן אמת.

  • מודלים של AI גנרטיבי: שכבת התזמור קוראת למודלים כדי להשתמש ביכולות החשיבה הרציונלית שלהם. המודלים האלה יכולים להיות מאוחסנים בשירותים כמו:

  • זיכרון: סוכנים צריכים זיכרון כדי לשמור על ההקשר וללמוד מאינטראקציות קודמות. אפשר להשתמש בשירותים הבאים:

    • ‫Memorystore for Redis לזיכרון לטווח קצר.
    • ‫Firestore לזיכרון לטווח ארוך, כמו אחסון היסטוריית השיחות או זכירת ההעדפות של המשתמש על סמך נתונים גולמיים.
    • Memory Bank של Vertex AI Agent Engine לזיכרון מותאם אישית לטווח ארוך. התכונה הזו מחלצת באופן אוטומטי מהיסטוריית השיחות של המשתמש כדי לזכור ולעדכן את ההעדפות של המשתמש לאורך זמן. שימו לב: כדי להשתמש בתכונה הזו ב-Cloud Run, צריך ליצור לפחות מופע אחד של Agent Engine.

  • מסד נתונים וקטורי: כדי לבצע יצירה משופרת באמצעות אחזור (RAG) או אחזור נתונים מובְנים, משתמשים במסד נתונים וקטורי כדי לשלוח שאילתה לגבי מידע ספציפי על ישות או כדי לבצע חיפוש וקטורי על הטמעות. אפשר להשתמש בתוסף pgvector עם השירותים הבאים:

  • כלים: האורקסטרטור משתמש בכלים כדי לבצע משימות ספציפיות לאינטראקציה עם שירותים חיצוניים, ממשקי API או אתרים. למשל:

    • Model Context Protocol‏ (MCP): משתמשים בפרוטוקול המתוקנן הזה כדי לתקשר עם כלים חיצוניים שמופעלים דרך שרת MCP.
    • כלי עזר בסיסיים: חישובים מתמטיים מדויקים, המרות של זמן או כלי עזר דומים אחרים.
    • קריאה ל-API: שליחת קריאות לממשקי API פנימיים או של צד שלישי (גישת קריאה או כתיבה).
    • יצירת תמונות או תרשימים: יצירת תוכן חזותי במהירות וביעילות.
    • אוטומציה של דפדפן ומערכת הפעלה: הפעלת מערכת הפעלה ללא ממשק משתמש גרפי או מערכת הפעלה גרפית מלאה בתוך מופעי קונטיינר כדי לאפשר ל-Agent לגלוש באינטרנט, לחלץ מידע מאתרים או לבצע פעולות באמצעות קליקים וקלט מהמקלדת.
    • הרצת קוד: הרצת קוד בסביבה מאובטחת עם ארגז חול רב-שכבתי, עם הרשאות IAM מינימליות או ללא הרשאות כאלה.
    • הפעלת קוד ב-Vertex AI Agent Engine: הפעלת קוד בסביבות ארגז חול מאובטחות, מבודדות ומנוהלות שתומכות בקלט ופלט של קבצים, בהפעלת קוד שנמשכת פחות משנייה ובזיכרון לטווח ארוך. שימו לב: כדי להשתמש בתכונה הזו ב-Cloud Run, צריך ליצור לפחות מופע אחד של Vertex AI Agent Engine.

המאמרים הבאים