במאמר הזה מוצגת ארכיטקטורה ברמה גבוהה של מערכת AI אקטיבי עם כמה סוכנים שפרוסה ב-Cloud Run, שמנתחת נתונים מולטי-מודאליים שונים ומפיקה סיווג ברמת סמך גבוהה. הגישה הזו מאמתת את הנתונים המקוטעים של המדיה באמצעות התאמה בין נתונים בזמן אמת לבין אמת קרקע (ground truth) היסטורית, כדי להפיק תובנות מבוססות שניתן לאמת.
קהל היעד של המסמך הזה כולל אדריכלים, מפתחים ואדמינים שיוצרים ומנהלים תשתיות ואפליקציות של AI בענן. ההנחה במאמר הזה היא שיש לכם הבנה בסיסית בסוכני AI ובמודלים של AI. המסמך לא מספק הנחיות ספציפיות לתכנון ולתכנות של סוכני AI.
בקטע פריסה במסמך הזה מפורטות דוגמאות קוד שיכולות לעזור לכם ללמוד איך ליצור ולפרוס מערכות AI עם כמה סוכנים.
ארכיטקטורה
בתרשים הבא מוצגת הארכיטקטורה של מערכת ה-AI עם כמה סוכנים, שמשתמשת בתבנית עיצוב של סוכנים מקבילים כדי לתאם ניתוח עצמאי של נתונים מולטי-מודאליים, במטרה ליצור סיווג אחד.
הארכיטקטורה מציגה את זרימת הנתונים הבאה:
- אפליקציית האינטרנט שולחת בקשה לסוכן הבסיס לנתח קבוצה של נתונים ממספר מקורות לצורך סיווג. סוכן הבסיס הוא סוכן מתאם שמקבל בקשות ונפרס בשירות Cloud Run.
- הסוכן הראשי מטפל בבקשה באופן הבא:
- הנציג הראשי מפעיל
before_agent_callbackכדי לאסוף הגדרות סביבה, לאמת את הקלט של המשתמשים ולשמור נתיבי משאבים במצב סשן משותף. כל סוכני המשנה יכולים לגשת למצב הסשן המשותף, וכך אין צורך בקריאות מיותרות לאחזור נתוני המצב וזמן האחזור הכולל מתקצר. - הסוכן הראשי משתמש ב-Gemini ב-Gemini Enterprise Agent Platform כדי לפרש את בקשת המשתמש ולהפיץ משימות לסוכני משנה ייעודיים שפועלים במקביל.
- הנציג הראשי מפעיל
- כל סוכן משנה מתמחה בתחום מסוים ומבצע את המשימות הבאות באופן עצמאי:
- סוכני המשנה לניתוח תמונות וסרטונים יוצרים אינטראקציה עם שרתי Model Context Protocol (MCP) בהתאמה אישית כדי לבצע את הפעולות הבאות:
- אחזור נתונים גולמיים לא מובְנים שמאוחסנים בקטגוריה של Cloud Storage.
- שולחים בקשה ל-Gemini לפרש את נתוני הקלט, לסווג את הנתונים ולחשב את רמת הסמך.
- Gemini מחזיר את הסיווג המוצע ורמת הסמך לשרת ה-MCP בהתאמה אישית.
- שרת ה-MCP בהתאמה אישית מעביר את התשובה בחזרה לסוכן המשנה.
- סוכן המשנה לניתוח נתונים מובְנים מנהל את הניתוח על ידי ביצוע המשימות הבאות:
- מקיים אינטראקציה עם שרת ה-MCP של BigQuery כדי לאחזר נתונים מובְנים לפי הקשר (כמו רשומות היסטוריות, יומני אירועים או קריאות חיישנים) שמאוחסנים במערך נתונים של BigQuery.
- האנליסט של הנתונים המובְנים שולח בקשה ל-Gemini לפרש את נתוני הקלט, לסווג את הנתונים ולחשב את רמת הסמך.
- Gemini שולח את הסיווג ורמת הסמך שהציע בחזרה לסוכן המשנה.
- סוכני המשנה לניתוח תמונות וסרטונים יוצרים אינטראקציה עם שרתי Model Context Protocol (MCP) בהתאמה אישית כדי לבצע את הפעולות הבאות:
- כל סוכן משנה שולח את הסיווג המוצע ואת רמת הסבירות בחזרה לסוכן הבסיס.
- הסוכן הראשי משתמש ב-Gemini כדי לסכם את הפלט של סוכני המשנה הייעודיים, וליצור סיווג אחד ברמת סמך גבוהה.
- אם רוב הסיווגים של סוכני המשנה הייעודיים תואמים, סוכן הבסיס שולח את הסיווג התואם לאפליקציית האינטרנט.
- אם סוכני המשנה לא מספקים סיווג תואם, סוכן הבסיס בוחר את הסיווג עם רמת הסמך הגבוהה ביותר ושולח אותו לאפליקציית האינטרנט.
המוצרים שהשתמשו בהם
ארכיטקטורת העזר הזו משתמשת במוצרים ובכלים הבאים של Google Cloud :
- Cloud Run: פלטפורמת מחשוב בלי שרת (serverless computing) שמאפשרת להריץ קונטיינרים ישירות בתשתית של Google, שניתנת להתאמה לעומס.
- Gemini Enterprise Agent Platform: פלטפורמה מקיפה שמאפשרת ליצור, לנהל, לבצע אופטימיזציה ולהתאים לעומס (scale) סוכני AI ברמה שמתאימה לארגונים.
- Gemini: קבוצה של מודלי AI מולטי-מודאליים שפותחו על ידי Google.
- BigQuery: מחסן נתונים (data warehouse) ארגוני שעוזר לנהל ולנתח את הנתונים באמצעות תכונות מובנות כמו למידת מכונה, ניתוח נתונים גיאו-מרחביים ובינה עסקית (BI).
- Cloud Storage: מאגר אובייקטים ללא הגבלה ובעלות נמוכה, לסוגי נתונים שונים. אפשר לגשת לנתונים מתוך Google Cloudומחוץ לו, והם משוכפלים במיקומים שונים כדי ליצור יתירות.
- שרתי Google Cloud MCP: שירותים מרוחקים שמנוהלים על ידי Google ומטמיעים את Model Context Protocol (MCP) כדי לספק לאפליקציות מבוססות-AI גישה למוצרים ולשירותים של Google ושל Google Cloud .
- Model Context Protocol (MCP): תקן קוד פתוח לחיבור אפליקציות AI למערכות חיצוניות.
- Agent Development Kit (ADK): ערכה של כלים וספריות לפיתוח, לבדיקה ולפריסה של סוכני AI.
למידע על איך לבחור רכיבים חלופיים למערכת ה-AI האקטיבי, כולל framework, Agent Runtime, כלים, זיכרון ותבניות עיצוב, ראו בחירת רכיבי הארכיטקטורה של מערכת ה-AI האקטיבי.
תרחיש לדוגמה
הארכיטקטורה הזו מיועדת לתרחישי שימוש שבהם מסנתזים נתונים מולטי-מודאליים שונים למשימות סיווג וזיהוי. כדי לשפר את הדיוק ואת מדרגיות, הארכיטקטורה משתמשת במערכת AI אקטיבי עם כמה סוכנים במקום בגישה מונוליתית עם סוכן אחד. דפוס העיצוב הזה מספק הוראות ממוקדות, מונע הנחיות סותרות, מאפשר להשתמש בקבוצות קטנות יותר של כלים כדי לקבל החלטות מהר יותר, ותומך בעדכונים עצמאיים, מה שמוביל לתוצאות חזקות ומתוחכמות יותר.
הנה כמה דוגמאות לתרחישים לדוגמה של הארכיטקטורה שמתוארת במסמך הזה:
- אבחון רפואי: אפשר לפרוס נציגים מיוחדים שינתחו באופן עצמאי תמונות רפואיות, תסמינים של מטופלים ותוצאות מעבדה, כדי לספק הערכות אבחון מקיפות. מערכת ה-AI מסכמת את הממצאים האלה על סמך סף סמך שנקבע, כדי לספק לרופאים תובנות מבוססות שניתן לאמת.
- זיהוי הונאות: זיהוי וסימון של הונאות פוטנציאליות על ידי פריסת סוכנים שינתחו באופן עצמאי דפוסי התנהגות של משתמשים ונתוני עסקאות, כמו קבלות סרוקות וחשבוניות של מוכרים. המערכת מצליבה נתונים בין הראיות החזותיות במסמכים לבין הפעילות ברשת הדיגיטלית, מזהה אי-התאמות ומסמנת עסקאות שבהן סוכן יחיד מזהה אינדיקטור חשוד.
- עיבוד מסמכים: פריסת סוכנים ייעודיים לזיהוי תווים אופטי (OCR), לסיווג מסמכים ולחילוץ נתונים, כדי להפוך את הסיווג והחילוץ של מידע ממסמכים לתהליך אוטומטי. כדי להבטיח עיבוד ברמת ודאות גבוהה, מערכת ה-AI דורשת שכל הסוכנים יסכימו על הפלט.
- בקרת איכות: סיווג איכות המוצר או זיהוי חריגות באמצעות פריסת סוכנים ייעודיים לבדיקה חזותית, ניתוח נתוני חיישנים ובדיקת מפרטים. המערכת קובעת אם הבדיקה עברה או נכשלה על סמך סף סמך שנקבע בין הנציגים.
שיקולים בתכנון
בקטע הזה מתוארים גורמי תכנון, שיטות מומלצות והמלצות שכדאי להביא בחשבון כשמשתמשים בארכיטקטורה לדוגמה הזו כדי לפתח טופולוגיה שעומדת בדרישות הספציפיות שלכם לאבטחה, לעלות ולביצועים.
ההנחיות בקטע הזה הן חלקיות. מידע נוסף על גורמי תכנון ושיטות מומלצות, והמלצות לבנייה ולפריסה של מערכת AI אקטיבי עם כמה סוכנים, זמינים במאמר מערכת AI אקטיבי עם כמה סוכנים ב- Google Cloud.
אבטחה, פרטיות ותאימות
כדי להתמודד עם סיכוני האבטחה הייחודיים של סוכני AI, Google ממליצה על גישה שמשלבת אמצעי אבטחה דטרמיניסטיים עם הגנות דינמיות שמבוססות על הסקת מסקנות:
- פיקוח אנושי: שלבו תהליך של האדם שבתהליך במערכות קריטיות לעסק, כדי שמפקחים אנושיים יוכלו לבדוק את הפלט ולאשר, לשנות או להשהות את הפעולות של הסוכן.
- Agent Identity: מקצים לכל סוכן זהות שקשורה לעומס העבודה כדי לאכוף בקרת גישה לפי הרשאות מינימליות ולנהל באופן מרוכז את פרטי הכניסה לכלים חיצוניים.
- Agent Gateway: אכיפת הפיקוח על תנועת הנתונים הנכנסת והיוצאת, כללי מדיניות של דחיית גישה כברירת מחדל ובדיקה של הנחיות וכלים מוטמעים באמצעות Model Armor.
Agent Registry: מוודאים שהסוכנים מתחברים רק לסוכני משנה ולכלי MCP שאושרו.
אבטחת תעבורת הנתונים הנכנסת (ingress) של האפליקציה: כדי לשלוט בגישה לאפליקציה, משביתים את כתובת ה-URL של האפליקציה שמוגדרת כברירת מחדל (run.app) של שירות Cloud Run של ממשק המשתמש, ומגדירים מאזן עומסים חיצוני של אפליקציות (ALB) אזורי. בנוסף לאיזון העומסים של התנועה הנכנסת לאפליקציה, מאזן העומסים מטפל בניהול של אישורי ה-SSL. כדי להוסיף עוד שכבת הגנה, אפשר להשתמש בכללי מדיניות האבטחה של Google Cloud Armor כדי לסנן בקשות, להגן מפני מתקפות DDoS ולהגביל את קצב יצירת הבקשות לשירות.
אבטחת קובצי אימג' של קונטיינרים: כדי לוודא שרק קובצי אימג' מורשים של קונטיינרים נפרסים ב-Cloud Run, השתמשו ב-Binary Authorization. כדי לזהות סיכוני אבטחה בקובצי האימג' של הקונטיינרים ולצמצם אותם, אפשר להריץ באופן אוטומטי סריקות לאיתור נקודות חולשה באמצעות Artifact Analysis. למידע נוסף, קראו את הסקירה הכללית על סריקת קונטיינרים.
אבטחת אחסון: ב-Cloud Storage יש שתי שיטות לשליטה בגישה של משתמשים לקטגוריות ולאובייקטים: ניהול זהויות והרשאות גישה (IAM) ורשימות של בקרת גישה (ACL). ברוב המקרים, מומלץ להשתמש ב-IAM, שמאפשר להעניק הרשאות ברמת הקטגוריה והפרויקט. למידע נוסף, קראו את הסקירה הכללית על בקרת גישה.
הוזלת עלויות
כדי לוודא שהגדרות הסוכן עומדות בדרישות העלות, כדאי להביא בחשבון את ההמלצות הבאות:
- הנדסת פרומפטים חסכונית: אורך הפרומפטים (קלט) והתשובות שנוצרות (פלט) משפיעים ישירות על הביצועים והעלות. כתבו הנחיות קצרות וישירות, וספקו מספיק הקשר. מידע נוסף זמין במאמר שיטות מומלצות לעיצוב הנחיות.
- עלויות האחסון: כדי לשלוט בעלויות האחסון, אתם יכולים לבחור בStandard Storage ולהפעיל את ניהול מחזור החיים של האובייקטים ואת Autoclass. התכונות האלה עוזרות לכם לייעל את העלויות על ידי העברה או מחיקה אוטומטית של נתונים בין סוגי אחסון, על סמך דפוסי הגישה או הכללים שהגדרתם.
אופטימיזציה של הביצועים
כדי לוודא שהגדרות הסוכן עומדות בדרישות הביצועים, כדאי לפעול לפי ההמלצות הבאות:
- הקצאת משאבים: בהתאם לדרישות הביצועים, מגדירים את מגבלות הזיכרון ואת מגבלות המעבד (CPU) שיוקצו לשירות Cloud Run. למידע נוסף על אופטימיזציה של הביצועים, קראו את הטיפים הכלליים לפיתוח ב-Cloud Run.
פריסה
כדי לפרוס הטמעה לדוגמה של הארכיטקטורה הזו, נסו את שיעור ה-Codelab Way Back Home Level 1.
המאמרים הבאים
- איך מארחים סוכני AI ב-Cloud Run
- איך מפתחים ופורסים שרת MCP מרוחק ב-Cloud Run
- איך בוחרים את רכיבי הארכיטקטורה של AI אקטיבי
- (סרטון) פרק בפודקאסט Agent Factory על יצירת כלים בהתאמה אישית לסוכנים.
- בGemini Enterprise Agent Ready (GEAR) יש משאבי למידה שיעזרו לכם ליצור ולפרוס סוכנים ברמה שמתאימה לארגונים.
- עולם תוכן מורחב מדריכים בנושא ארכיטקטורה של AI אקטיבי
- במאמר נקודת המבט של AI ו-ML ב-Well-Architected Framework מופיעה סקירה כללית של עקרונות והמלצות לארכיטקטורה שספציפיים לעומסי עבודה של AI ו-ML ב- Google Cloud.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחברת: סמנתה הי | כותבת טכנית
תורמים אחרים:
- אמינה מנסור | ראש צוות טכני, קשרי מפתחים גלובליים ותוכן אסטרטגי
- אנדריי שאקירוב | אדריכל פתרונות, Google Cloud
- איו אדדג'י (Ayo Adedeji) | מהנדס קשרי מפתחים
- כריסטינה לין | מנהלת מהנדסים בקשרי מפתחים
- קומאר דהנגופאל | מפתח פתרונות חוצי-מוצרים
- ריאן פיי | מנהל מוצר, Google Cloud