I modelli DeepSeek su Vertex AI offrono modelli serverless e completamente gestiti come API. Per utilizzare un modello DeepSeek su Vertex AI, invia una richiesta direttamente all'endpoint APII Vertex AI. Poiché i modelli DeepSeek utilizzano un'API gestita, non è necessario eseguire il provisioning o gestire l'infrastruttura.
Puoi trasmettere in streaming le risposte per ridurre la percezione della latenza dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per trasmettere in streaming in modo incrementale la risposta.
Modelli DeepSeek disponibili
I seguenti modelli sono disponibili da DeepSeek per l'utilizzo in Vertex AI. Per accedere a un modello DeepSeek, vai alla relativa scheda del modello Model Garden.
DeepSeek-V3.1
DeepSeek-V3.1 è un modello ibrido che supporta sia la modalità di pensiero che quella non di pensiero. Rispetto alla versione precedente, questo upgrade migliora le modalità di pensiero ibrido, la chiamata di strumenti e l'efficienza del pensiero.
Vai alla scheda del modello DeepSeek-V3.1
DeepSeek R1 (0528)
DeepSeek R1 (0528) è l'ultima versione del modello DeepSeek R1. Rispetto a DeepSeek-R1, ha migliorato significativamente la profondità del ragionamento e le capacità di inferenza. DeepSeek R1 (0528) eccelle in un'ampia gamma di attività, come scrittura creativa, risposta a domande generali, editing e riassunto.
Considerazioni
- Per una sicurezza pronta per la produzione, integra DeepSeek R1 (0528) con Model Armor, che analizza i prompt e le risposte degli LLM in base a vari rischi per la sicurezza e la protezione.
Vai alla scheda del modello DeepSeek R1 (0528)
Utilizzare i modelli DeepSeek
Puoi utilizzare i comandi curl per inviare richieste all'endpoint Vertex AI utilizzando i seguenti nomi di modelli:
- Per DeepSeek-V3.1, utilizza
deepseek-v3.1-maas
- Per DeepSeek R1 (0528), utilizza
deepseek-r1-0528-maas
Per scoprire come effettuare chiamate di streaming e non di streaming ai modelli DeepSeek, consulta la sezione Chiamare le API dei modelli aperti.
Disponibilità e quote per la regione del modello DeepSeek
Per i modelli DeepSeek, si applica una quota per ogni regione in cui il modello è disponibile. La quota è specificata in query al minuto (QPM).
Modello | Regione | Quote | Lunghezza del contesto |
---|---|---|---|
DeepSeek-V3.1 | |||
us-west2 |
|
163.840 | |
DeepSeek R1 (0528) | |||
us-central1 |
|
163.840 |
Se vuoi aumentare una delle quote per l'AI generativa su Vertex AI, puoi utilizzare la Google Cloud console per richiedere un aumento di quota. Per saperne di più sulle quote, consulta la panoramica di Cloud Quotas.
Passaggi successivi
- Scopri come chiamare le API per modelli aperti.