אמצעי בקרה הם אוסף של בדיקות ואיזונים שעוזרים להגן על אפליקציות של סוכנים ולשמור על הבטיחות והאבטחה שלהן. הם מספקים הגבלות תוכן גם לקלט של המודל וגם לפלט של המודל. לכל אפליקציית נציג מסופקים אמצעי הגנה שמוגדרים כברירת מחדל, ואפשר לשנות אותם לפי הצורך. כדי לגשת לאמצעי הבקרה של אפליקציית הסוכן, לוחצים על לחצן אמצעי הבקרה בצד שמאל של הכלי ליצירת סוכנים.
תוצאת הסריקה
לכל סוג של אמצעי הגנה יש הגדרת תוצאה. ההגדרה הזו קובעת מה קורה אם מופעלת ההגנה. אפשר לבחור מבין סוגי הפעולות הבאים:
אומרים בדיוק: מציינים את התשובה המדויקת של הסוכן.
העברה לסוכן: העברת השליטה לסוכן ספציפי.
יצירת תשובה: נותנים הוראות ליצירת תשובה. מוגדרת לכם ברירת מחדל, אבל אתם יכולים לשנות אותה כדי להתאים אישית.
הגנה מפני פרומפטים
ההגנה על ההנחיות מספקת הגנה בסיסית מפני מתקפות שמבוססות על הנחיות, כמו "תתעלם מההוראות שלך ותעשה ...". ההגדרות הבאות זמינות:
- הפעלת אמצעי הגנה על הנחיות: מפעילים או משביתים את כרטיס ההנחיות.
- תוצאות: ראו תוצאה
- בהתאמה אישית: מזינים פרומפט אבטחה מותאם אישית לסינון שאילתות.
רשימת חסימה
רשימות חסימה מונעות מהמשתמשים ומהסוכן שלכם להשתמש במילים ובביטויים מסוימים. כשיוצרים רשימה, ההגדרות הבאות זמינות:
- איך הסוכן שלך צריך להתאים לתוכן חסום?:
כאן בוחרים את שיטת ההתאמה:
- מילים שלמות: התאמה של מילים שלמות.
- כל אזכור: התאמה לתוכן שמכיל מילים וביטויים.
- תבנית Regex: התאמה לביטויים רגולריים.
- חסימת מילים וביטויים: רשימת המילים והביטויים החסומים, כאשר כל ערך מופרד באמצעות פסיק.
- תוכן חסום מ:
חסימת תוכן מאחד מהמקורות הבאים או משניהם:
- על קלט של משתמשים
- בתשובה של הסוכן
- תוצאות: ראו תוצאה
- פרטים: אפשר לתת שם ותיאור לרשימת החסימה הזו.
בטיחות
אמצעי הבקרה האלה נועדו לאכוף שיטות לפיתוח אחראי של AI. אלה ההגדרות שזמינות:
- רמת בטיחות:
בוחרים את רמת הבטיחות:
- רגועה: עדיפות ליצירה גמישה ולזמן אחזור נמוך. אסור להשתמש בהנחיות לא חוקיות או מזיקות. תמיד חוסמים תוכן פוגעני באופן מובהק.
- מאוזן: העדפה של אינטראקציות בטוחות וטבעיות עם הלקוחות. תמיד צריך להפסיק תוכן לא בטוח. אל תשתמשו בהנחיות מזיקות.
- קפדני: סינון לפי נזק חמור. אף פעם לא לאפשר תוכן שנוצר עם אלמנטים רגישים. תמיד כדאי להגיב להנחיות מזיקות.
- תוצאות: ראו תוצאה
- מותאם אישית: אפשר לשנות או להשבית בנפרד רמות ספציפיות של אמצעי הגנה.
כללים
אפשר ליצור כללים כדי להגדיר אמצעי הגנה משלכם. אלה ההגדרות שזמינות:
- התנהגות:
בוחרים אחת מהאפשרויות הבאות כדי להגדיר את הכלל:
- טבעי: הוראות בשפה טבעית.
- קוד:
צריך לספק את הקוד של
after_model_callbackקריאה חוזרת.
- תוצאות: ראו תוצאה
- פרטים: אפשר לתת לכלל הזה שם ותיאור.
סוכני מפקח
אתם יכולים להגדיר סוכני בקרה שיעקבו אחרי הביצועים של הסוכן הפעיל שמתקשר עם משתמש הקצה. סוכני בקרה מוודאים שהסוכן הפעיל קורא לכלים בצורה נכונה ושומר על איכות אודיו טובה. אם סוכן מפקח מזהה בעיה, הוא יכול להפעיל תוצאה, בדומה לאמצעי הגנה אחרים.
אפשר גם לראות אירועים של הפעלת סוכן מפקח במרכז הבקרה של המעקב.
אפשר להגדיר את הסוכנים הבאים של המפקח:
השגחה על איכות האודיו: ההגדרה הזו מאפשרת לעקוב אחרי איכות האודיו וכוללת את ההגדרות הבאות:
- שם: שם הסוכן המפקח.
- הערות: הערות אופציונליות.
- מצב זיהוי: חסימה (התגובה של הסוכן הפעיל נחסמת עד שהסוכן המפקח מסיים את ההערכה) או ללא חסימה (הסוכן הפעיל ממשיך בזמן שהסוכן המפקח ממשיך בהערכה).
סוג הבעיה: בוחרים אחד מסוגי הבעיות הבאים:
- חוסר התאמה באודיו: האודיו שנוצר והטקסט שנוצר לא תואמים.
- שינוי בקול הדובר: הקול המסונתז נשמע שונה לאורך זמן.
- חסרה קריאה לכלי: המודל אמור לבצע קריאה לכלי בהקשר הנתון של השיחה, אבל הוא לא הצליח לעשות זאת.
תוצאות: ראו תוצאה
השגחה על שיחות שלא נענו בכלי: ההגדרה הזו מאפשרת לעקוב אחרי שיחות שלא נענו בכלי, והיא כוללת את ההגדרות הבאות:
- שם: שם הסוכן המפקח.
- הערות: הערות אופציונליות.
- מצב זיהוי: חסימה (התגובה של הסוכן הפעיל נחסמת עד שהסוכן המפקח מסיים את ההערכה) או ללא חסימה (הסוכן הפעיל ממשיך בזמן שהסוכן המפקח ממשיך בהערכה).
- תוצאות: ראו תוצאה