ניהול טקסט

מודרציה של טקסטים מנתחת מסמך לפי רשימה של מאפייני בטיחות, הכוללים 'קטגוריות מזיקות' ונושאים שעשויים להיחשב רגישים. כדי לבצע מודרציה של הטקסט במסמך, קוראים לשיטה moderateText.

moderateText כאן מופיעה רשימה מלאה של הקטגוריות שמוחזרות עבור השיטה:

מאפיין בטיחות תיאור
רעיל תוכן גס, מזלזל או לא סביר.
פוגעני תגובות שליליות או פוגעניות שמכוונות לזהות ו/או למאפיינים מוגנים.
אלים תיאור של תרחישים שבהם מוצגת אלימות נגד אדם פרטי או קבוצה, או תיאורים כלליים של שפיכות דמים.
תוכן מיני מכיל התייחסויות למעשים מיניים או לתוכן מגונה אחר.
עלבון תגובה מעליבה, מסיתה או שלילית כלפי אדם או קבוצה של אנשים.
שפה גסה שפה גסה או בוטה, כמו קללות.
מוות, פגיעה וטרגדיה מוות של בני אדם, טרגדיות, תאונות, אסונות ופגיעה עצמית.
כלי נשק תוכן שכולל אזכורים של סכינים, רובים, כלי נשק אישיים ואביזרים כמו תחמושת, נרתיקים וכו'.
ביטחון הציבור שירותים וארגונים שמספקים סיוע ומבטיחים את בטיחות הציבור.
בריאות בריאות האדם, כולל: מצבים בריאותיים, מחלות והפרעות טיפולים רפואיים, תרופות, חיסונים, שיטות רפואיות ו מקורות מידע בנושא החלמה, כולל קבוצות תמיכה.
דת ואמונה מערכות אמונה שעוסקות באפשרות של חוקים וישויות על-טבעיות; דת, אמונה, תפיסה, תרגול רוחני, כנסיות ומקומות תפילה. כולל אסטרולוגיה ומיסטיקה.
סמים סמים למטרות פנאי וסמים לא חוקיים; ציוד עזר לשימוש בסמים וגידול סמים, חנויות לממכר ציוד לשימוש בסמים וכו'. כולל שימוש רפואי בסמים שבדרך כלל משמשים למטרות פנאי (לדוגמה, מריחואנה).
מלחמה ועימותים מלחמה, סכסוכים צבאיים וסכסוכים פיזיים משמעותיים שבהם מעורבים מספר רב של אנשים. כולל דיון על שירותים צבאיים, גם אם הוא לא קשור ישירות למלחמה או לסכסוך.
כספים שירותים פיננסיים לצרכנים ולעסקים, כמו בנקאות, הלוואות, אשראי, השקעות וביטוח.
פוליטיקה חדשות ומדיה בנושאים פוליטיים, דיונים בנושאים חברתיים, ממשלתיים ומדיניות ציבורית.
משפטי תוכן שקשור לחוק, כולל משרדי עורכי דין, מידע משפטי, חומרים משפטיים ראשוניים, שירותי עוזרים משפטיים, פרסומים וטכנולוגיות משפטיות, עדים מומחים, יועצים משפטיים וספקי שירותים משפטיים אחרים.

ציוני מהימנות של מאפייני בטיחות

לכל מאפיין בטיחות משויך ציון מובהקות בין 0.00 ל-1.00, שמשקף את הסבירות לכך שהקלט או התגובה שייכים לקטגוריה מסוימת.

דוגמה לתשובה

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

בדיקת ספי האמינות

אתם יכולים לבדוק את מסנני הבטיחות של Google ולהגדיר ספי אמון שמתאימים לעסק שלכם. באמצעות ערכי הסף האלה, תוכלו לנקוט אמצעים מקיפים כדי לזהות תוכן שמפר את מדיניות השימוש או את התנאים וההגבלות של Google, ולנקוט פעולות מתאימות.

ציוני המהימנות הם רק תחזיות. לא מומלץ להסתמך על הציונים מבחינת מהימנות או דיוק. ‫Google לא אחראית לפרשנות של הציונים האלה או לשימוש בהם לצורך קבלת החלטות עסקיות.

ההבדל בין הסתברות לחומרה

ציוני רמת הביטחון מציינים שהתוכן שייך לקטגוריה שצוינה, ולא את חומרת ההפרה. חשוב לקחת את זה בחשבון כי יש תוכן שבו הסיכוי לתוצאות לא בטוחות הוא נמוך, אבל חומרת הנזק עדיין יכולה להיות גבוהה. לדוגמה, בהשוואה בין המשפטים:

  1. הרובוט נתן לי אגרוף.
  2. הרובוט חתך אותי.

יכול להיות שהמשפט הראשון יגרום להסתברות גבוהה יותר להיות לא בטוח, אבל יכול להיות שהמשפט השני יהיה חמור יותר מבחינת אלימות.

לכן, חשוב לבדוק בקפידה ולשקול מהי רמת החסימה המתאימה לתרחישי השימוש שלכם, תוך צמצום הפגיעה במשתמשי הקצה.

שפות נתמכות

שפה ISO-639-1 תמיכה
אנגלית es כן
ספרדית es כן
פורטוגזית נק' כן
צרפתית fr כן
איטלקית it כן
גרמנית de כן
סינית zh כן
יפנית ja כן
קוריאנית ko כן
הולנדית nl מוגבל
רוסית ru מוגבל
הינדית הי מוגבל
אינדונזית id מוגבל
ערבית ar מוגבל

איך מנהלים טקסט

בקטע הזה מוסבר איך לבצע צנזורה של טקסט במסמך. צריך לשלוח בקשה נפרדת לכל מסמך.

דוגמה להנחיה לסינון טקסט שמועבר כמחרוזת:

פרוטוקול

כדי לבצע צנזורה של תוכן ממסמך, שולחים בקשת POST לשיטת ה-REST‏ documents:moderateText ומספקים את גוף הבקשה המתאים, כמו בדוגמה הבאה.

בדוגמה נעשה שימוש בפקודה gcloud auth application-default print-access-token כדי לקבל אסימון גישה לחשבון שירות שהוגדר לפרויקט באמצעות CLI של gcloud ב-Google Cloud Platform. הוראות להתקנת ה-CLI של gcloud ולהגדרת פרויקט עם חשבון שירות מופיעות במדריך למתחילים.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

הנחיה לשינוי טקסט מ-Cloud Storage

הנה דוגמה להפעלת מודרציה על טקסט שמאוחסן בקובץ טקסט ב-Cloud Storage:

פרוטוקול

כדי לבצע צנזורה של טקסט ממסמך שמאוחסן ב-Cloud Storage, שולחים בקשת POST לשיטת ה-REST‏ documents:moderateText ומספקים את תוכן הבקשה המתאים עם הנתיב למסמך, כמו בדוגמה הבאה.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"