Exécuter l'inférence LLM sur Cloud Run avec Hugging Face TGI
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
L'exemple suivant montre comment exécuter un service de backend qui exécute le kit d'outils d'inférence de génération de texte (TGI) de Hugging Face à l'aide de Llama 3. Hugging Face TGI est un grand modèle de langage (LLM) open source qui peut être déployé et diffusé sur le service Cloud Run avec les GPU activés.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/12/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/12/04 (UTC)."],[],[]]
