אירוח סוכני AI ב-Cloud Run

בדף הזה מפורטים תרחישים לדוגמה לאירוח סוכני AI ב-Cloud Run.

סוכני AI הם ישויות תוכנה אוטונומיות שמשתמשות במערכות מבוססות-LLM כדי לתפוס, להחליט ולפעול להשגת יעדים. ככל שייבנו יותר סוכנים אוטונומיים, היכולת שלהם לתקשר ולשתף פעולה תהפוך לקריטית.

מה זה סוכן AI?

תרחישים לדוגמה לשימוש בסוכני AI ב-Cloud Run

אתם יכולים להטמיע סוכני AI כשירותי Cloud Run כדי לתזמר קבוצה של משימות אסינכרוניות ולספק מידע באמצעות אינטראקציות מרובות של בקשה-תגובה.

שירות Cloud Run הוא נקודת קצה ל-API שניתנת להרחבה, שמיועדת ללוגיקה המרכזית של האפליקציה. הוא מנהל ביעילות כמה משתמשים בו-זמנית באמצעות התאמה אוטומטית לעומס (auto-scaling), התאמה לפי דרישה והתאמה מהירה של מופעים.

ארכיטקטורה של סוכן AI ב-Cloud Run

ארכיטקטורה אופיינית של סוכן AI שנפרסת ב-Cloud Run יכולה לכלול כמה רכיבים מ- Google Cloud וגם מחוץ ל- Google Cloud:

ארבעת הרכיבים של סוכן AI שמתארח ב-Cloud Run.
איור 1. ארכיטקטורה של סוכן AI ב-Cloud Run.

בתרשים מוצגים הפריטים הבאים:

  • פלטפורמת אירוח: Cloud Run היא פלטפורמת אירוח להפעלת סוכנים, והיא מציעה את היתרונות הבאים:

    • תמיכה בהרצת כל מסגרת של סוכנים כדי לבנות סוגים שונים של סוכנים וארכיטקטורות אג'נטיות. דוגמאות למסגרות של סוכנים כוללות את הערכה לפיתוח סוכנים (ADK),‏ Dify,‏ LangGraph ו-n8n.
    • כולל תכונות מובנות לניהול הסוכן. לדוגמה, ב-Cloud Run יש זהות שירות מובנית שאפשר להשתמש בה כזהות הסוכן לקריאה ל-APIs עם פרטי כניסה מאובטחים ואוטומטיים. Google Cloud
    • תומך בחיבור של מסגרת הסוכן לשירותים אחרים. אפשר לחבר את הסוכן לכלים של צד ראשון או צד שלישי שנפרסו ב-Cloud Run. לדוגמה, כדי לקבל תובנות לגבי המשימות וההפעלות של הסוכן, אפשר לפרוס ולהשתמש בכלים כמו Langfuse ו-Arize.

  • אינטראקציות עם סוכנים: Cloud Run תומך בהזרמת תגובות HTTP בחזרה למשתמש, וב-WebSockets לאינטראקציות בזמן אמת.

  • מודלים של AI גנרטיבי: שכבת התזמור קוראת למודלים כדי להשתמש ביכולות החשיבה הרציונלית שלהם. המודלים האלה יכולים להיות מאוחסנים בשירותים כמו:

  • זיכרון: סוכנים צריכים זיכרון כדי לשמור על ההקשר וללמוד מאינטראקציות קודמות. אפשר להשתמש בשירותים הבאים:

    • ‫Memorystore for Redis לזיכרון לטווח קצר.
    • ‫Firestore לזיכרון לטווח ארוך, כמו אחסון היסטוריית השיחות או זכירת ההעדפות של המשתמש על סמך נתונים גולמיים.
    • Agent Runtime Memory Bank לזיכרון מותאם אישית לטווח ארוך. התכונה הזו מחלצת באופן אוטומטי את היסטוריית השיחות של המשתמש כדי לזכור את ההעדפות שלו ולעדכן אותן לאורך זמן. שימו לב: כדי להשתמש בתכונה הזו עם Cloud Run, צריך ליצור לפחות מופע אחד של Agent Engine.

  • מסד נתונים וקטורי: כדי לבצע Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG) או לאחזר נתונים מובְנים, משתמשים במסד נתונים וקטורי כדי לשלוח שאילתות לגבי מידע על ישויות ספציפיות או כדי לבצע חיפוש וקטורי של הטמעות. אפשר להשתמש בתוסף pgvector עם השירותים הבאים:

  • כלים: האורקסטרטור משתמש בכלים כדי לבצע משימות ספציפיות לאינטראקציה עם שירותים חיצוניים, ממשקי API או אתרים. הנתונים האלה יכולים לכלול:

    • Model Context Protocol‏ (MCP): משתמשים בפרוטוקול הזה כדי לתקשר עם כלים חיצוניים שמופעלים דרך שרת MCP.
    • כלי עזר בסיסיים: חישובים מתמטיים מדויקים, המרות של זמן או כלי עזר דומים אחרים.
    • שליחת קריאות ל-API: שליחת קריאות לממשקי API פנימיים או של צד שלישי (גישת קריאה או כתיבה).
    • יצירת תמונות או תרשימים: יצירת תוכן חזותי במהירות וביעילות.
    • אוטומציה של דפדפן ומערכת הפעלה: אפשר להריץ מערכת הפעלה גרפית מלאה או מערכת הפעלה ללא ממשק משתמש גרפי בתוך מופעי קונטיינר כדי לאפשר לסוכן לגלוש באינטרנט, לחלץ מידע מאתרים או לבצע פעולות באמצעות קליקים וקלט מהמקלדת.
    • הרצת קוד: הרצת קוד בסביבה מאובטחת עם ארגז חול רב-שכבתי, עם הרשאות IAM מינימליות או ללא הרשאות כאלה.
    • Agent Runtime Code Execution: הרצת קוד בסביבות ארגז חול מאובטחות, מבודדות ומנוהלות שתומכות בקלט ופלט של קבצים, בהרצת קוד שנמשכת פחות משנייה ובזיכרון לטווח ארוך. שימו לב: כדי להשתמש בתכונה הזו ב-Cloud Run, צריך ליצור לפחות מופע אחד של Agent Runtime.

המאמרים הבאים