Ejecutar la inferencia de LLMs en Cloud Run con Hugging Face TGI
Organízate con las colecciones
Guarda y clasifica el contenido según tus preferencias.
En el siguiente ejemplo se muestra cómo ejecutar un servicio backend que ejecuta el kit de herramientas de inferencia de generación de texto (TGI) de Hugging Face con Llama 3. Hugging Face TGI es un modelo de lenguaje extenso (LLM) abierto que se puede desplegar y servir en el servicio Cloud Run con las GPUs habilitadas.
[[["Es fácil de entender","easyToUnderstand","thumb-up"],["Me ofreció una solución al problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Es difícil de entender","hardToUnderstand","thumb-down"],["La información o el código de muestra no son correctos","incorrectInformationOrSampleCode","thumb-down"],["Me faltan las muestras o la información que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-12-04 (UTC)."],[],[]]
