Contare i token per i modelli Claude

L'endpoint count-tokens ti consente di determinare il numero di token in un messaggio prima di inviarlo a Claude, aiutandoti a prendere decisioni consapevoli sui prompt e sull'utilizzo.

Non è previsto alcun costo per l'utilizzo dell'endpoint count-tokens.

Modelli Claude supportati

I seguenti modelli supportano il conteggio dei token:

Aree geografiche supportate

Le seguenti regioni supportano il conteggio dei token:

  • global
  • us
  • eu
  • asia-southeast1

Contare i token nei messaggi di base

Per contare i token, invia una richiesta rawPredict all'endpoint count-tokens. Il corpo della richiesta deve contenere l'ID modello del modello per il quale vuoi contare i token.

REST

Prima di utilizzare i dati della richiesta, apporta le sostituzioni seguenti:

  • LOCATION: una regione che supporta i modelli Anthropic Claude. Per utilizzare l' endpoint globale, consulta Specificare l'endpoint globale.
  • MODEL: il modello per il quale contare i token.
  • ROLE: il ruolo associato a un messaggio. Puoi specificare un user o un assistant. Il primo messaggio deve utilizzare il ruolo user. I modelli Claude operano con turni alternati di user e assistant. Se il messaggio finale utilizza il ruolo assistant, il contenuto della risposta continua immediatamente dal contenuto del messaggio. Puoi utilizzare questa opzione per vincolare una parte della risposta del modello.
  • CONTENT: il contenuto, ad esempio il testo, del user o assistant messaggio.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Corpo JSON della richiesta: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Per inviare la richiesta, scegli una di queste opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, e quindi esegui il comando seguente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente.

Per informazioni su come contare i token nei messaggi con strumenti, immagini e PDF, consulta la documentazione di Anthropic.

Quote

Per impostazione predefinita, la quota per l'endpoint count-tokens è di 2000 richieste al minuto.