אתיקה של בינה מלאכותית

מודלים גדולים של שפה (LLM) יכולים לתרגם שפה, לסכם טקסט, ליצור כתיבה יצירתית, ליצור קוד, להפעיל צ'אטבוטים ועוזרים וירטואליים, ולהשלים מנועי חיפוש ומערכות המלצות. עם זאת, היכולות והשימושים המתפתחים שלו יוצרים פוטנציאל לשימוש לא נכון, לשימוש לרעה ולתוצאות לא מכוונות או בלתי צפויות. מודלים מסוג LLM יכולים ליצור פלט לא צפוי, כולל טקסט פוגעני, חסר רגישות או לא מדויק מבחינה עובדתית.

הגמישות של מודלים מסוג LLM מקשה על חיזוי מדויק של סוגי התוצאות הלא מכוונות או הלא צפויות שהם עשויים ליצור. לאור הסיכונים והמורכבויות האלה, ממשקי ה-API של Gemini Enterprise Agent Platform ל-AI גנרטיבי מתוכננים בהתאם לכללי ה-AI של Google. עם זאת, חשוב למפתחים להבין את המודלים שלהם ולבדוק אותם כדי לפרוס אותם בצורה בטוחה ואחראית. כדי לעזור למפתחים, ב-Vertex AI Studio יש סינון תוכן מובנה, ובממשקי ה-API של ה-AI הגנרטיבי שלנו יש ניקוד של מאפייני בטיחות. כך הלקוחות יכולים לבדוק את מסנני הבטיחות של Google ולהגדיר ספי אמון שמתאימים לתרחיש השימוש ולעסק שלהם. מידע על שימוש במסנני בטיחות ובמאפיינים של API זמין במאמר Gemini API ב-Agent Platform.

כשמשלבים את ממשקי ה-API הגנרטיביים שלנו בתרחיש שימוש ובהקשר ייחודיים, יכול להיות שיהיה צורך להביא בחשבון שיקולים נוספים של אתיקה של בינה מלאכותית ומגבלות. אנחנו מעודדים את הלקוחות לקדם הוגנות, יכולת פירוש, פרטיות ואבטחה בשיטות המומלצות. הלקוחות גם אחראים לפעול בהתאם Google Cloudלמדיניות השימוש המקובל, למדיניות בנושא שימוש אסור ב-AI גנרטיבי ולכל תנאים ספציפיים לשירות או דרישות רלוונטיות אחרות לשימוש בשירותי AI/ML ו-AI גנרטיבי.

מגבלות המודל

ההגבלות שאתם עלולים להיתקל בהן כשאתם משתמשים במודלים של AI גנרטיבי כוללות (אבל לא רק):

  • מקרי קצה: מקרי קצה הם מצבים חריגים, נדירים או יוצאי דופן שלא מיוצגים היטב בנתוני האימון. המקרים האלה עלולים להוביל למגבלות בביצועים של המודל, כמו ביטחון יתר של המודל, פרשנות שגויה של ההקשר או פלטים לא הולמים.

  • הזיות של המודל, ביסוס על עובדות ודיוק: מודלים של AI גנרטיבי צריכים הקשר שמבוסס על מידע מהעולם האמיתי, על תכונות פיזיות ועל הבנה מדויקת של הנתונים הספציפיים שלכם, כדי להקטין את הסיכוי שהמודל ייצור פלט לא מדויק, לא רלוונטי או חסר משמעות. מידע נוסף על עיגון ב-Agent Platform זמין במאמר סקירה כללית על עיגון.

  • איכות הנתונים וכוונון: האיכות, הדיוק וההטיה של ההנחיה או של קלט הנתונים במודל יכולים להשפיע באופן משמעותי על איכות התשובות שלו. אם המשתמשים מזינים נתונים או הנחיות לא מדויקים או שגויים, יכול להיות שהביצועים של המודל לא יהיו אופטימליים או שהפלט של המודל יהיה שגוי.

  • הגברה של הטיה: מודלים של AI גנרטיבי יכולים להגביר בטעות הטיות קיימות בנתוני האימון שלהם, וכך להוביל לפלט שיכול לחזק עוד יותר דעות קדומות בחברה ויחס לא שוויוני לקבוצות מסוימות.

  • איכות השפה: המודלים מניבים יכולות מרשימות בריבוי שפות במבחני ההשוואה שביצענו, אבל רוב מבחני ההשוואה שלנו (כולל כל ההערכות בנושא הוגנות) הם באנגלית. מידע נוסף זמין בבלוג של צוות המחקר של Google.

    • מודלים של AI גנרטיבי יכולים לספק איכות שירות לא עקבית למשתמשים שונים. לדוגמה, יכול להיות שיצירת טקסט לא תהיה יעילה במקרים מסוימים של ניבים או שפות שונות, כי הם לא מיוצגים מספיק בנתוני האימון. הביצועים עשויים להיות גרועים יותר בשפות שאינן אנגלית או בגרסאות של השפה האנגלית שפחות מיוצגות.

  • מדדי הוגנות ותתי-קבוצות: ניתוחי ההוגנות של Google Research במודלים של ה-AI הגנרטיבי שלנו לא מספקים תיאור מקיף של הסיכונים הפוטנציאליים השונים. לדוגמה, אנחנו מתמקדים בהטיות לפי מגדר, גזע, מוצא אתני ודת, אבל מבצעים את הניתוח רק על נתונים ותוצאות של מודלים באנגלית. מידע נוסף זמין בבלוג של Google Research.

  • מומחיות מוגבלת בתחום מסוים: יכול להיות שלמודלים של AI גנרטיבי חסר עומק המידע שנדרש כדי לספק תשובות מדויקות ומפורטות בנושאים טכניים או מאוד ספציפיים, ולכן הם עלולים לספק מידע שטחי או שגוי. במקרים מורכבים וספציפיים, צריך לכוונן את המודלים על סמך נתונים ספציפיים לתחום, וצריך להיות פיקוח אנושי משמעותי בהקשרים שיש בהם פוטנציאל להשפיע באופן משמעותי על זכויות הפרט.

  • אורך ומבנה של קלט ופלט: למודלים של AI גנרטיבי יש מגבלה על מספר הטוקנים של הקלט והפלט. אם הקלט או הפלט חורגים מהמגבלה הזו, מסווגי הבטיחות שלנו לא מופעלים, מה שעלול להוביל בסופו של דבר לביצועים נמוכים של המודל. המודלים שמארחים ב-Agent Platform נועדו לטפל במגוון רחב של פורמטים של טקסט, אבל הביצועים שלהם יכולים להיפגע אם נתוני הקלט כוללים מבנה חריג או מורכב.

כדי להשתמש בטכנולוגיה הזו בצורה בטוחה ואחראית, חשוב גם לקחת בחשבון סיכונים אחרים שספציפיים לתרחיש השימוש, למשתמשים ולסביבה העסקית שלכם, בנוסף לאמצעי ההגנה הטכניים המובנים.

אנחנו ממליצים לבצע את הפעולות הבאות:

  1. הערכת סיכוני האבטחה של האפליקציה.
  2. צריך לבצע בדיקות בטיחות שמתאימות לתרחיש השימוש.
  3. אם צריך, מגדירים מסנני בטיחות.
  4. לבקש משוב מהמשתמשים ולעקוב אחרי התוכן.

צמצום הסיכונים מפלט של מודל שעבר עיבוד (Markdown ו-HTML)

אם האפליקציה שלכם מעבדת באופן אוטומטי פלט של מודל, כמו Markdown או HTML, בדפדפן או בממשק משתמש, יכול להיות שאתם חשופים להחדרת פרומפטים עקיפה ולגניבת נתונים.

כדי להגן על המשתמשים, צריך:

  • ניקוי הפלט: מומלץ להשתמש בכלי ניקוי קפדני של HTML (כמו DOMPurify) כדי להסיר חפצים זדוניים לפני העיבוד.
  • אכיפת CSP: שימוש בכותרות של Content Security Policy‏ (CSP) כדי לחסום טעינה של תמונות חיצוניות (img-src) והפעלה של סקריפטים לא מהימנים (script-src).
  • שליטה בטעינת תמונות: השבתה של עיבוד אוטומטי של תמונות חיצוניות או דרישה להסכמת המשתמש.
  • הגנה על קישורים: הוספה אוטומטית של rel="noopener noreferrer" לקישורים שנוצרו.

מעקב אחר מקרים של שימוש לרעה

‫Google Cloud יצרה תהליכים שאפשר להשתמש בהם כדי לזהות ניצול לרעה פוטנציאלי והפרות של התנאים שלנו שקשורים לשימוש בשירותי AI גנרטיבי. מידע נוסף על התהליכים האלה ועל הדרישות המחמירות יותר שחלות על מודלים או תכונות שמסומנים כ-AI מתקדם זמין במסמכי המידע שלנו בנושא ניטור התנהלות פוגעת.

דיווח על התנהלות פוגעת

אתם יכולים לדווח על חשד לשימוש לרעה בשירות או על פלט שנוצר ומכיל חומר בלתי הולם או מידע לא מדויק באמצעות הטופס הבא: דיווח על חשד לשימוש לרעה ב-Google Cloud.

מקורות מידע נוספים