Contar tokens para modelos Claude

O endpoint count-tokens permite determinar o número de tokens em uma mensagem antes de enviá-la para o Claude, ajudando você a tomar decisões fundamentadas sobre seus comandos e uso.

Não há custo para usar o endpoint count-tokens.

Modelos do Claude com suporte

Os seguintes modelos são compatíveis com a contagem de tokens:

Regiões compatíveis

As seguintes regiões são compatíveis com a contagem de tokens:

  • us-east5
  • europe-west1
  • asia-east1
  • asia-southeast1
  • us-central1
  • europe-west4

Contar tokens em mensagens básicas

Para contar tokens, envie uma solicitação rawPredict ao endpoint count-tokens. O corpo da solicitação precisa conter o ID do modelo que você quer usar para contar tokens.

REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • LOCATION: uma região compatível com modelos do Anthropic Claude. Para usar o endpoint global, consulte Especificar o endpoint global.
  • MODEL: o modelo para contar tokens.
  • ROLE: o papel associado a uma mensagem. É possível especificar user ou assistant. A primeira mensagem precisa usar o papel user. Os modelos de Claude funcionam com voltas alternadas de user e assistant. Se a mensagem final usar o papel assistant, o conteúdo da resposta continuará imediatamente a partir do conteúdo dessa mensagem. É possível usar isso para restringir parte da resposta do modelo.
  • CONTENT: o conteúdo, como texto, da mensagem user ou assistant.

Método HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Corpo JSON da solicitação:

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a seguinte.

Para informações sobre como contar tokens em mensagens com ferramentas, imagens e PDFs, consulte a documentação da Anthropic.

Cotas

Por padrão, a cota para o endpoint count-tokens é de 2.000 solicitações por minuto.