Esegui l'inferenza LLM su Cloud Run con Hugging Face TGI
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
L'esempio seguente mostra come eseguire un servizio di backend che esegue il toolkit Hugging Face Text Generation Inference (TGI) utilizzando Llama 3. Hugging Face TGI è un modello linguistico di grandi dimensioni (LLM) aperto e può essere implementato e gestito nel servizio Cloud Run con le GPU abilitate.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-12-04 UTC."],[],[]]
