Executar inferência de LLM no Cloud Run com o TGI do Hugging Face
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O exemplo a seguir mostra como executar um serviço de back-end que executa o kit de ferramentas de inferência de geração de texto (TGI) do Hugging Face usando o Llama 3. O TGI do Hugging Face é um modelo de linguagem grande (LLM) aberto que pode ser implantado e disponibilizado no serviço do Cloud Run com GPUs ativadas.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-12-04 UTC."],[],[]]
