審核文字

文字管理功能會根據安全屬性清單分析文件,該清單涵蓋多種「有害類別」和可能較敏感的主題。如要審查文件中的文字,請呼叫 moderateText 方法。

如要查看 moderateText 方法傳回的完整類別清單,請按一下這裡:

安全屬性 說明
惡意言論 粗魯、不敬或不合理的內容。
貶抑用語 針對特定身分和/或受保護特質發表負面或有害言論。
暴力內容 描述對個人或群體施暴的場景,或一般描述血腥內容。
色情內容 提及性行為或其他猥褻情事的內容。
侮辱內容 侮辱、煽動或負面評論特定人士或群體。
不雅用語 淫穢或粗俗用語,例如咒罵。
死亡、傷害和不幸事件 人類死亡、悲劇、事故、災難和自殘。
槍支與武器 提及刀械、槍枝、個人武器和配件 (例如彈藥、槍套等) 的內容。
公共安全 提供救濟措施和確保公共安全的服務與機構。
健康 人類健康,包括: 健康狀況、疾病和障礙 醫療療法、藥物、疫苗接種、醫療實務,以及 療癒資源,包括互助團體。
宗教與信仰 處理超自然法則和生物可能性的信仰體系;宗教、信仰、信念、靈修、教堂和禮拜場所。包括占星術和神祕學。
違法藥物 娛樂性及非法藥物;吸毒用具和毒品栽種、販售吸毒用具的商店等。包括通常用於娛樂性用途的藥物 (例如大麻) 的醫療用途。
戰爭與衝突 戰爭、軍事衝突,以及涉及大量人員的重大肢體衝突。包括討論軍事服務,即使與戰爭或衝突沒有直接關係。
金融 消費者和企業金融服務,例如銀行業務、貸款、信用、投資和保險。
政治 政治新聞與媒體;社會、政府和公共政策的討論。
法律 法律相關內容,包括律師事務所、法律資訊、主要法律資料、法律助理服務、法律出版品和技術、專家證人、訴訟顧問和其他法律服務供應商。

安全屬性可信度分數

每個安全屬性都會對應至 0.00 和 1.00 之間的信心分數,也就是輸入內容或回覆屬於該類別的可能性。

回覆範例

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

測試可信度門檻

您可以測試 Google 的安全篩選器,並根據自家業務定義合適的信心門檻。您可以使用這些門檻,全面偵測違反 Google 使用政策或服務條款的內容,並採取適當行動。

可信度分數僅為預測結果,請勿依據分數判斷可靠性或準確度。Google 不負責解讀或使用這些分數來制定業務決策。

機率與嚴重程度的差異

信心分數代表內容屬於指定類別,而非嚴重程度。請務必考量這點,因為即使某些內容造成嚴重危害的機率不高,舉例來說,比較以下句子:

  1. 機器人打了我。
  2. 機器人把我砍傷了。

第 1 句可能較容易被視為不安全,但就暴力程度而言,您可能會認為第 2 句較為嚴重。

因此,請務必仔細測試並考量適合您用途的封鎖程度,同時盡量減少對使用者的傷害。

支援的語言

語言 ISO-639-1 支援
英文 es 是
西班牙文 es 是
葡萄牙文 pt 是
法文 fr 是
義大利文 it 是
德文 de 是
中文 zh 是
日文 ja 是
韓文 ko 是
荷蘭文 nl 有限
俄文 ru 有限
北印度文 嗨 有限
印尼文 id 有限
阿拉伯文 ar 有限

如何管理文字

本節說明如何審查文件中的文字。 請分別提交各個文件的要求。

以下是管理以字串形式提供的文字範例:

通訊協定

如要管理文件內容,可向 documents:moderateText REST 方法傳送 POST 要求,並提供適當的要求主體,如下列範例所示。

範例中使用的 gcloud auth application-default print-access-token 指令,可取得透過 Google Cloud Platform gcloud CLI 建立的專案服務帳戶存取權杖。如需安裝 gcloud CLI、使用服務帳戶建立專案的操作說明,請參閱「快速入門」。

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

管理 Cloud Storage 中的文字

以下範例說明如何管理儲存在 Cloud Storage 文字檔案中的文字:

通訊協定

POST 要求,並提供適當的要求主體及文件路徑,如同下列範例所示。POSTdocuments:moderateText

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"