במאמר הזה מוצגת ארכיטקטורת הפניה שבה אפשר להשתמש כדי לתכנן את התשתית של אפליקציית AI גנרטיבי עם יצירה משולבת-אחזור (RAG) באמצעות Gemini Enterprise ו-Agent Platform. בארכיטקטורת ההפניה הזו נדגים איך להשתמש בשירותים מנוהלים ולפרוס סוכן AI יחיד כדי להקל על זרימת נתונים של RAG מקצה לקצה. Gemini Enterprise משמש כפלטפורמה מאוחדת לתזמור סוכנים בכל הארגון. Agent Platform מאיצה את הפיתוח והפריסה של סוכנים בהתאמה אישית, ומספקת מאגרי נתונים מנוהלים כדי לאפשר אחזור יעיל של נתונים ל-RAG.
המסמך הזה מיועד לארכיטקטים, למפתחים ולמנהלים של אפליקציות מבוססות-AI גנרטיבי. ההנחה במאמר הזה היא שיש לכם הבנה בסיסית במושגים של AI, למידת מכונה (ML) ומודלים גדולים של שפה (LLM). במסמך הזה לא מוסבר איך לעצב ולפתח אפליקציה מבוססת-AI גנרטיבי. במאמר פיתוח אפליקציה מבוססת-AI גנרטיבי מוסבר איך לעצב אפליקציה.
ארכיטקטורה
התרשים הבא מציג סקירה כללית של הארכיטקטורה שמתוארת במסמך הזה:
הארכיטקטורה בתרשים הקודם כוללת שתי מערכות משנה: קליטת נתונים והצגת נתונים.
- מערכת המשנה להטמעת נתונים מטמיעה ומכינה נתונים ממקורות חיצוניים לשימוש ב-RAG. מערכת המשנה יוצרת הטמעות לנתונים שהיא קולטת, ומשתמשת בהן כדי ליצור ולתחזק אינדקס וקטורי שאפשר לחפש בו במאגר נתונים מנוהל.
- מערכת המשנה להצגת התוצאות מכילה את שירותי הקצה הקדמי והקצה העורפי של אפליקציית ה-AI הגנרטיבי.
- שירות הקצה הקדמי מטפל בתהליך של שאילתה ותשובה עם משתמשי האפליקציה, ומעביר את השאילתות לשירות הקצה העורפי.
- שירות הקצה העורפי משתמש ב-Gemini Enterprise וב-Agent Platform כדי ליצור ולפרוס את סוכן ה-AI שלכם, ולתזמר את תהליך ה-RAG. התהליך הזה משתמש בנתוני הווקטורים שעברו אינדוקס כדי ליצור תשובות שמעוגנות בהקשר ופועלות בהתאם למסנני הבטיחות של אתיקה של בינה מלאכותית.
בתרשים הבא מוצגת תצוגה מפורטת של הארכיטקטורה:
בקטעים הבאים מתואר זרימת הנתונים בכל מערכת משנה בתרשים הארכיטקטורה הקודם.
מערכת משנה להטמעת נתונים
מערכת המשנה להטמעת נתונים מטמיעה נתונים ממקורות חיצוניים ומכינה את הנתונים ל-RAG. אלה השלבים בתהליך של הכנסת נתונים והכנה שלהם:
- מהנדסי נתונים מעלים נתונים ממקורות חיצוניים אל קטגוריה של Cloud Storage. המקורות החיצוניים יכולים להיות אפליקציות, מסדי נתונים או שירותי סטרימינג.
- בסיום, Cloud Storage מפרסם הודעה בנושא Pub/Sub.
- נושא Pub/Sub מפעיל משימת עיבוד שפועלת ב-Cloud Run functions.
- פונקציות של Cloud Run מעבדות את הנתונים הגולמיים על ידי יצירה ואחסון של המטא-נתונים כקבצים בפורמט JSON Lines (JSONL). קובצי ה-JSONL מאוחסנים בקטגוריה נפרדת של Cloud Storage.
- בסיום, פונקציות Cloud Run מפרסמות הודעה בנושא Pub/Sub.
- הנושא ב-Pub/Sub מפעיל משימת עיבוד שפועלת במאגר הנתונים המנוהל ב-Gemini Enterprise. עבודת העיבוד שולפת את הנתונים הגולמיים ואת המטא-נתונים מקטגוריות Cloud Storage, ואז מנתחת את הנתונים ומחלקת אותם לחלקים כדי לאחזר אותם ביעילות במהלך ההצגה. Gemini Enterprise יוצר הטמעה של וקטורים באופן אוטומטי, בלי שצריך לבצע הגדרה כלשהי.
מערכת משנה להצגת מודעות
מערכת המשנה להצגת תוצאות מטפלת בזרימת השאילתות והתשובות בין אפליקציית ה-AI הגנרטיבי לבין המשתמשים שלה. אלה השלבים בתהליך הצגת המודעות:
- משתמש באפליקציה שולח שאילתה דרך אחד משירותי הקצה הקדמי של Cloud Run. אתם יכולים להתאים אישית את השירותים האלה כדי ליצור חוויות שונות, כמו ממשק משתמש של צ'אטבוט, דף חיפוש או אפליקציה לנייד.
- השירות בממשק הקצה מקבל את השאילתה, ואז מעביר אותה לשירות מרכזי לקצה העורפי של Cloud Run. הקצה העורפי הזה מספק נקודת קצה אחת ומאוחדת לתמיכה בכל לקוחות הקצה הקדמי השונים. שירות לקצה העורפי גם מבצע עיבוד מקדים נדרש, שיכול לכלול בניית מסננים לשאילתת החיפוש. הגישה הזו שומרת על שקיפות הלוגיקה בחלק הקדמי של האתר.
- שירות לקצה העורפי שולח את הבקשה המוכנה אל Gemini Enterprise באמצעות נקודת קצה ל-API של Gemini Enterprise כדי להתחיל את תהליך העבודה של RAG.
- כדי לעבד את השאילתה, Gemini Enterprise משתמש בחיפוש פנים-ארגוני ובסוכן המותאם אישית כדי לבצע את המשימות הבאות:
- יצירת הטמעה של השאילתה של המשתמש.
- ביצוע חיפוש סמנטי בנתונים שנוספו לאינדקס במאגר הנתונים המנוהל כדי למצוא את המידע הרלוונטי ביותר.
- להרחיב את השאילתה המקורית עם הנתונים שאוחזרו ממאגר הנתונים המנוהל כדי ליצור הנחיה מפורטת והקשרית.
- ליצור תשובה סופית שמבוססת על הפרומפט המשופר.
- Gemini Enterprise שולח את התשובה שנוצרה לשירות הקצה העורפי של Cloud Run.
- שירות הקצה העורפי מחזיר את התשובה הסופית לשירות הקצה הקדמי ששלח את הבקשה המקורית. שירות הקצה הקדמי מציג את התשובה למשתמש באפליקציה.
המוצרים שהשתמשו בהם
הארכיטקטורה הזו כוללת את המוצרים הבאים: Google Cloud
- Gemini Enterprise: פלטפורמה מאובטחת בניהול מלא לפריסה ולניהול של סוכני AI בארגון.
-
Gemini Enterprise Agent Platform: פלטפורמה מקיפה שמאפשרת לכם ליצור, לנהל, לבצע אופטימיזציה ולהתאים לעומס (scale) סוכני AI ברמה שמתאימה לארגונים.
- Agent Runtime on Gemini Enterprise Agent Platform: פלטפורמה שמאפשרת להריץ, לנהל ולהרחיב סוכני AI בסביבת ייצור.
- Cloud Run: פלטפורמת מחשוב ללא שרת שמאפשרת להריץ קונטיינרים ישירות על גבי התשתית הניתנת להרחבה של Google.
- Pub/Sub: שירות העברת הודעות אסינכרוני וניתן להרחבה, שמפריד בין שירותים שמפיקים הודעות לבין שירותים שמבצעים עיבוד של ההודעות האלה.
- Cloud Storage: מאגר אובייקטים ללא הגבלה בעלות נמוכה, לשימוש עם סוגים שונים של נתונים. אפשר לגשת לנתונים מתוך ומחוץ Google Cloud, והם משוכפלים במיקומים שונים כדי ליצור יתירות.
תרחישים לדוגמה
הארכיטקטורה הזו מיועדת לתרחישים ארגוניים שבהם לאפליקציית ה-AI הגנרטיבי שלכם נדרשת גישה למידע העדכני ביותר, והיא צריכה להבין את ההקשר לעומק כדי לספק תשובות מדויקות.
הארכיטקטורה כוללת מערכת משנה מותאמת אישית להטמעת נתונים, שנועדה לתת מענה לשתי דרישות מרכזיות של הארגון:
- זמינות נתונים בזמן אמת: צינור הנתונים מבוסס-האירועים מעבד נתונים חדשים ברגע שהם זמינים בארגון שלכם – לדוגמה, מדריך מוצר חדש או דוח מעודכן. הצינור גם מאפשר לכם לגשת למידע במאגר הנתונים המנוהל שלכם. העיצוב הזה עוזר לצמצם את הסיכון לנתונים לא עדכניים, כי הוא מבטיח שיהיה עיכוב מינימלי בין הזמינות של הנתונים לבין השימוש בהם.
- חיפוש הקשרי משופר: משימת העיבוד המותאמת אישית מאפשרת לארגון להחיל את הלוגיקה העסקית שלו כדי להעשיר את הנתונים במטא-נתונים בעלי ערך. פונקציית Cloud Run יכולה לתייג כל מסמך במאפיינים ספציפיים כמו קו מוצרים, מחבר, מיקום או סוג מסמך. היא עוזרת לסוכן לצמצם את החיפוש ולספק תשובות מדויקות יותר שמתחשבות בהקשר.
RAG היא טכניקה יעילה לשיפור האיכות של התוצאות שנוצרות על ידי מודל שפה גדול (LLM). בקטע הזה מופיעות דוגמאות לתרחישי שימוש שבהם אפשר להשתמש באפליקציות של AI גנרטיבי עם יכולות RAG.
המלצות למוצרים בהתאמה אישית
אתר קניות באינטרנט יכול להשתמש בצ'אטבוט מבוסס-LLM כדי לעזור ללקוחות למצוא מוצרים או לקבל עזרה שקשורה לקניות. אפשר להוסיף לשאלות של משתמשים מידע על דפוסי ההתנהגות שלהם בקניות ועל דפוסי האינטראקציה שלהם עם האתר, על סמך נתונים היסטוריים. הנתונים עשויים לכלול ביקורות ומשוב של משתמשים שמאוחסנים במאגר נתונים לא מובנה, או מדדים שקשורים לחיפוש שמאוחסנים במחסן נתונים לצורכי ניתוח באינטרנט. אחרי שהשאלה משופרת, מודל ה-LLM יכול לעבד אותה כדי ליצור תשובות מותאמות אישית שהמשתמש ימצא יותר מושכות ומעניינות.
מערכות סיוע קליני
רופאים בבתי חולים צריכים לנתח ולאבחן במהירות את מצב הבריאות של המטופל כדי לקבל החלטות לגבי הטיפול והתרופות המתאימים. אפשר להשתמש באפליקציית AI גנרטיבי שמבוססת על מודל LLM רפואי כמו Med-PaLM כדי לסייע לרופאים בתהליך האבחון הקליני. התשובות שהאפליקציה יוצרת יכולות להתבסס על רשומות היסטוריות של מטופלים, על ידי הוספת הקשר להנחיות של הרופאים עם נתונים ממסד הנתונים של הרשומה הרפואית האלקטרונית (EHR) של בית החולים או ממקור ידע חיצוני כמו PubMed.
מחקר משפטי יעיל
מחקר משפטי מבוסס-AI גנרטיבי מאפשר לעורכי דין לשאול במהירות שאלות לגבי כמויות גדולות של חוקים ותקדימים משפטיים, כדי לזהות תקדימים משפטיים רלוונטיים או לסכם מושגים משפטיים מורכבים. אפשר לשפר את התוצאות של מחקר כזה על ידי הוספת נתונים להנחיות של עורך הדין. הנתונים האלה נשלפים ממאגר החוזים הקנייני של משרד עורכי הדין, מתקשורת משפטית קודמת ומרישומים פנימיים של תיקים. גישת העיצוב הזו מבטיחה שהתשובות שנוצרות יהיו רלוונטיות לתחום המשפטי שבו עורך הדין מתמחה.
חלופות עיצוב
בסעיף הזה מוצגות גישות עיצוב חלופיות שאפשר לשקול עבור אפליקציית AI גנרטיבי עם יכולות RAG ב- Google Cloud.
חלופות לתשתית AI
לרשימת מדריכים לארכיטקטורה לעיצוב ולפריסה של אפליקציות AI גנרטיבי עם RAG ב- Google Cloud, אפשר לעיין במאמר AI גנרטיבי עם RAG.
אפשרויות לאירוח אפליקציות
באדריכלות שמוצגת במסמך הזה, Cloud Run הוא המארח של אפליקציית ה-AI הגנרטיבי ושל עיבוד הנתונים. Cloud Run היא אפליקציה שמתמקדת במפתחים ומנוהלת באופן מלא. אפשר גם לפרוס את האפליקציה ב- Agent Runtime ב-Gemini Enterprise Agent Platform, אשכולות GKE, או במכונות וירטואליות של Compute Engine.
כדי לבחור מארח אפליקציות, כדאי לשקול את הפשרות הבאות בין גמישות ההגדרה לבין מאמצי הניהול:
- באפשרות Cloud Run בלי שרת (serverless), אתם פורסים את השירותים המותאמים אישית לסביבה מנוהלת שהוגדרה מראש. כדי לארח את שירותי הקצה הקדמי ואת הלוגיקה המותאמת אישית של הבק-אנד לעיבוד מראש של בקשות, הארכיטקטורה הזו דורשת יכולת לפרוס אפליקציות מותאמות אישית.
- באמצעות האפשרות Agent Runtime, אתם משתמשים בפלטפורמה מנוהלת במלואה שמיועדת להפעלת סוכנים. סביבת זמן הריצה של הסוכן מצמצמת את התקורה של הניהול ומבטיחה שילוב הדוק עם Gemini Enterprise.
- במכונות וירטואליות של Compute Engine ובקונטיינרים של GKE, אתם אחראים לניהול משאבי המחשוב הבסיסיים, אבל יש לכם יותר גמישות ושליטה בהגדרות.
מידע נוסף על בחירת שירות אירוח מתאים לאפליקציות זמין במאמרים הבאים:
- האם האפליקציה שלי מתאימה ל-Cloud Run?
- בחירת סביבת זמן ריצה מנוהלת של מאגר תגים
- אירוח אפליקציות ב- Google Cloud
אפשרויות אחרות לתשתית
מידע על אפשרויות אחרות של תשתית, מודלים נתמכים וטכניקות של ביסוס (grounding) שאפשר להשתמש בהן באפליקציות של AI גנרטיבי ב-Google Cloudזמין במאמר בחירת מודלים ותשתית לאפליקציית AI גנרטיבי.
שיקולים בתכנון
בקטע הזה אנחנו מספקים הנחיות שיעזרו לכם לפתח ארכיטקטורה של AI גנרטיבי עם יכולות RAG ב- Google Cloud , שתעמוד בדרישות הספציפיות שלכם בנוגע לאבטחה ותאימות, מהימנות, עלות וביצועים. ההנחיות בקטע הזה הן חלקיות. בהתאם לדרישות הספציפיות של אפליקציית ה-AI הגנרטיבי ול Google Cloud מוצרים ולתכונות שבהם אתם משתמשים, יכול להיות שתצטרכו לקחת בחשבון גורמים נוספים של עיצוב ופשרות.
סקירה כללית של עקרונות והמלצות לארכיטקטורה שספציפיים לעומסי עבודה של AI ו-ML ב- Google Cloudזמינה בפרספקטיבה של AI ו-ML ב-Well-Architected Framework.
אבטחה, פרטיות ותאימות
בקטע הזה מתוארים שיקולים והמלצות לתכנון טופולוגיה ב- Google Cloud שעומדת בדרישות האבטחה והתאימות של עומס העבודה.
עקרונות והמלצות אבטחה שספציפיים לעומסי עבודה של AI ו-ML מפורטים במאמר AI and ML perspective: Security ב-Well-Architected Framework.
Agent Platform
פלטפורמת הסוכנים תומכת Google Cloud באמצעי אבטחה שבהם אפשר להשתמש כדי לעמוד בדרישות שלכם בנוגע למיקום הנתונים, להצפנת הנתונים, לאבטחת הרשת ולשקיפות הגישה. מידע נוסף זמין במאמרי העזרה הבאים:
- אמצעי בקרה לאבטחה של שירותי למידת מכונה
- אמצעי אבטחה ל-AI גנרטיבי
- Agent Platform ושמירת נתונים אפסית
- הפעלת שקיפות הגישה ב-Gemini Enterprise
- אמצעי בקרה לתאימות ולאבטחה ב-Gemini Enterprise
Gemini Enterprise מוחק נתונים שמשתמשים מבקשים למחוק תוך 60 ימים. מידע נוסף זמין במאמר מחיקת נתונים ב- Google Cloud.
מודלים של AI גנרטיבי עלולים להפיק תשובות מזיקות, במיוחד אם הם מקבלים הנחיות מפורשות ליצור תשובות כאלה. כדי לשפר את הבטיחות ולצמצם את הסיכון לשימוש לרעה, אתם יכולים להגדיר מסנני תוכן שימנעו תשובות מזיקות. מידע נוסף זמין במאמר בנושא מסנני בטיחות ותוכן.
Cloud Run
כברירת מחדל, Cloud Run מצפין נתונים באמצעותGoogle-owned and Google-managed encryption keys. כדי להגן על המאגרי באמצעות מפתחות שאתם שולטים בהם, אתם יכולים להשתמש במפתחות הצפנה בניהול הלקוח (CMEK). מידע נוסף מופיע במאמר בנושא שימוש במפתחות הצפנה בניהול הלקוח.
כדי לוודא שרק קובצי אימג' מורשים של קונטיינרים נפרסים ב-Cloud Run, אפשר להשתמש ב-Binary Authorization.
Cloud Run עוזר לכם לעמוד בדרישות לגבי מיקום אחסון הנתונים. פונקציות Cloud Run פועלות באזור שנבחר.
Cloud Storage
כברירת מחדל, נתונים שמאוחסנים ב-Cloud Storage מוצפנים באמצעות Google-owned and Google-managed encryption keys. אם נדרש, אתם יכולים להשתמש במפתחות CMEK או במפתחות משלכם שאתם מנהלים באמצעות שיטת ניהול חיצונית, כמו מפתחות הצפנה באספקת הלקוח (CSEK). מידע נוסף זמין במאמר אפשרויות להצפנת נתונים.
Cloud Storage תומך בשתי שיטות להענקת גישה למשתמשים לקטגוריות ולאובייקטים: ניהול זהויות והרשאות גישה (IAM) ורשימות של בקרת גישה (ACL). ברוב המקרים, מומלץ להשתמש ב-IAM, שמאפשר להעניק הרשאות ברמת הקטגוריה והפרויקט. למידע נוסף, ראו סקירה כללית על בקרת גישה.
הנתונים שאתם טוענים למערכת המשנה להטמעת נתונים דרך Cloud Storage עשויים לכלול מידע אישי רגיש. אפשר להשתמש ב-Sensitive Data Protection כדי לגלות, לסווג ולבטל את הזיהוי של מידע רגיש. מידע נוסף זמין במאמר בנושא שימוש ב-Sensitive Data Protection עם Cloud Storage.
Cloud Storage עוזר לכם לעמוד בדרישות בנוגע למיקום אחסון הנתונים. נתונים ב-Cloud Storage מאוחסנים או משוכפלים באזור שאתם מציינים.
Pub/Sub
כברירת מחדל, Pub/Sub מצפין את כל ההודעות, כולל הודעות במצב מנוחה והודעות במעבר, באמצעותGoogle-owned and Google-managed encryption keys. Pub/Sub תומך בשימוש במפתחות CMEK להצפנת הודעות בשכבת האפליקציה. מידע נוסף זמין במאמר הגדרת הצפנה של הודעות.
אם יש לכם דרישות לגבי מיקום אחסון הנתונים, כדי לוודא שנתוני ההודעות מאוחסנים במיקומים ספציפיים, אתם יכולים להגדיר מדיניות לאחסון הודעות.
אמינות
בקטע הזה מפורטים שיקולים והמלצות לתכנון ולתפעול של תשתית אמינה לפריסה ב- Google Cloud.
עקרונות והמלצות בנושא מהימנות שספציפיים לעומסי עבודה של AI ו-ML מפורטים במאמר AI and ML perspective: Reliability (נקודת מבט על AI ו-ML: מהימנות) ב-Well-Architected Framework.
Agent Platform
Agent Platform מבטיחה שמיקום אחסון הנתונים יישמר. פלטפורמת Agent שומרת את נתוני המקור, כולל נתונים ל-RAG במאגר הנתונים המנוהל, בGoogle Cloud מיקום שבחרתם. ההפרדה הזו בין עיבוד לבין אחסון היא היבט בסיסי של האופן שבו הפלטפורמה מספקת מהימנות גבוהה ותאימות.
Cloud Run
Cloud Run הוא שירות אזורי שמאחסן נתונים באופן סינכרוני בכמה אזורים בתוך אזור. השירות מאזן את עומסי התנועה בין האזורים באופן אוטומטי. אם מתרחש הפסקת חשמל באזור, משימות Cloud Run ממשיכות לפעול והנתונים לא אובדים. אם מתרחש שיבוש באזור מסוים, המשימות של Cloud Run מפסיקות לפעול עד ש-Google פותרת את השיבוש.
יכול להיות שמשימות או משימות משנה ספציפיות ב-Cloud Run ייכשלו. כדי לטפל בכשלים כאלה, אפשר להשתמש בניסיונות חוזרים של משימות ובסימון נקודות ביקורת. מידע נוסף זמין במאמר בנושא שיטות מומלצות לניסיונות חוזרים של משימות ולנקודות ביקורת.
Cloud Storage
אפשר ליצור קטגוריות של Cloud Storage באחד משלושת סוגי המיקומים: אזורי, שני אזורים או מספר אזורים. בקטגוריות אזוריות, Cloud Storage יוצר רפליקה של הנתונים באופן סינכרוני בכמה אזורים באותו אזור. כדי להשיג זמינות גבוהה יותר, אתם יכולים להשתמש בקטגוריות בשני אזורים או במספר אזורים, שבהן Cloud Storage משכפל נתונים באופן אסינכרוני בין אזורים. חשוב לוודא שהבחירה שלכם תואמת לדרישות התאימות.
הוזלת עלויות
בקטע הזה מוסבר איך לבצע אופטימיזציה של העלות של הגדרת טופולוגיה של Google Cloud והפעלתה, שאתם בונים באמצעות ארכיטקטורת ההפניה הזו.
עקרונות והמלצות לאופטימיזציה של עלויות שספציפיים לעומסי עבודה של AI ו-ML מפורטים במאמר AI and ML perspective: Cost optimization ב-Well-Architected Framework.
Agent Platform
מודל ה-AI הבסיסי שהסוכן מפעיל יכול להשפיע ישירות על העלות של השימוש בסוכן הזה. התמחור מחושב על סמך מספר האסימונים של הקלט והפלט בכל בקשה. מידע נוסף זמין במאמר בנושא מכסות ומגבלות מערכת בפלטפורמת הסוכנים של AI גנרטיבי ובGoogle Cloud מחשבון התמחור.
במאמר סקירה כללית על שמירת הקשר במטמון מוסבר איך לצמצם את כמות הטוקנים כדי להקטין את העלויות.
פונקציות Cloud Run
כשיוצרים משימות Cloud Run, מציינים את כמות הזיכרון וה-CPU שיוקצו למופע הקונטיינר. כדי לשלוט בעלויות, כדאי להתחיל עם הקצאות ברירת המחדל של מעבד וזיכרון. כדי לשפר את הביצועים, אפשר להגדיל את ההקצאה על ידי הגדרת מגבלת המעבד ומגבלת הזיכרון.
אם אתם יכולים לחזות את הדרישות של המעבד והזיכרון בעבודות שלכם ב-Cloud Run, תוכלו לחסוך כסף באמצעות הנחות על התחייבות לשימוש. מידע נוסף זמין במאמר הנחות על התחייבות לשימוש ב-Cloud Run.
Cloud Storage
עבור קטגוריה של Cloud Storage שבה אתם משתמשים כדי לטעון נתונים למערכת המשנה של הטמעת נתונים, בוחרים סוג אחסון מתאים על סמך הדרישות של עומסי העבודה שלכם לגבי שמירת נתונים ותדירות הגישה. לדוגמה, אפשר לבחור את סוג האחסון (storage class) Standard ולהשתמש בניהול מחזור החיים של אובייקטים כדי לשלוט בעלויות האחסון. ניהול מחזור החיים של אובייקטים מוריד באופן אוטומטי את הדרגה של האובייקטים לסוג אחסון (storage class) בעלות נמוכה יותר, או מוחק אובייקטים על סמך תנאים שאתם מגדירים.
אופטימיזציה של הביצועים
בקטע הזה מפורטים שיקולים והמלצות לתכנון טופולוגיה ב- Google Cloud שעומדת בדרישות הביצועים של עומסי העבודה.
עקרונות והמלצות לאופטימיזציה של ביצועים שספציפיים לעומסי עבודה של AI ולמידת מכונה מפורטים במאמר AI and ML perspective: Performance optimization ב-Well-Architected Framework.
Gemini Enterprise
כדי להפחית את זמן האחזור במהלך ההגשה, צריך להזרים את התשובות על ידי שליחת תגובות של המודל לפני שהסוכן יוצר את הפלט המלא. כך מתאפשרת עיבוד בזמן אמת של הפלט, ואפשר לעדכן מיד את ממשק המשתמש ולבצע משימות מקבילות אחרות. הסטרימינג משפר את התגובה של האתר בעיני המשתמשים ויוצר חוויית משתמש אינטראקטיבית יותר. מידע נוסף זמין במאמר בנושא סטרימינג של תשובות.
Cloud Run
משנים את הקצאת הזיכרון והמעבד (CPU) למופעי Cloud Run בהתאם לדרישות הביצועים. מידע נוסף זמין במאמרים הגדרת מגבלות מעבד (CPU) לעבודות והגדרת מגבלות זיכרון לשירותים.
Cloud Storage
כדי להעלות קבצים גדולים, אפשר להשתמש בשיטה שנקראת העלאות מורכבות מקבילות. באסטרטגיה הזו, הקובץ הגדול מפולח לחלקים. אתם מעלים את החלקים ל-Cloud Storage במקביל, ואז Cloud Storage מרכיב מחדש את הנתונים ב- Google Cloud. העלאות מורכבות מקבילות יכולות להיות מהירות יותר מהעלאות רגילות אם יש לכם רוחב פס מספיק ברשת ומהירות מספיקה בדיסק. עם זאת, לשיטה הזו יש כמה מגבלות והשלכות על העלויות. מידע נוסף זמין במאמר בנושא העלאות מורכבות במקביל.
פריסה
כדי לפרוס את ארכיטקטורת העזר הזו, משתמשים בדוגמה של Terraform שזמינה ב-GitHub. מידע נוסף זמין במאמר בנושא תשתית RAG לאפליקציות AI גנרטיבי באמצעות Gemini Enterprise ו-Agent Platform.
המאמרים הבאים
- איך Gemini Enterprise מחלק מסמכים לחלקים קטנים לצורך RAG
- איך מארחים אפליקציות וסוכנים מבוססי-AI ב-Cloud Run
- מידע על שיטות מומלצות לאתיקה של בינה מלאכותית ומסנני בטיחות ב-Agent Platform
- מידע על אסטרטגיות להנחיות עבור מודלים גדולים של שפה (LLM)
- סקירה כללית של עקרונות והמלצות לארכיטקטורה שספציפיים לעומסי עבודה של AI ו-ML ב- Google Cloudזמינה בפרספקטיבה של AI ו-ML ב-Well-Architected Framework.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: סמנתה הי | כותבת טכנית
תורמי תוכן אחרים:
- Deepak Michael | Networking Specialist Customer Engineer
- קומאר דהנגופאל | מפתח פתרונות חוצי-מוצרים
- מארק שלגנהוף | כותב טכני, רשתות
- Victor Moreno | Product Manager, Cloud Networking
- Yehia Elshater | Field Solutions Architect, Generative AI, Google Cloud
- Paarth Mahajan | Network Specialist, Google Cloud