Menggunakan Model Hugging Face

Hugging Face menyediakan model terlatih, skrip penyesuaian, dan API pengembangan yang memudahkan proses pembuatan dan penemuan LLM. Model Garden dapat menyajikan model Text Embeddings, Text To Image, Text Generation, dan Image Text To Text di HuggingFace.

Opsi deployment untuk model Hugging Face

Anda dapat men-deploy model Hugging Face yang didukung di Gemini Enterprise Agent Platform atau Google Kubernetes Engine (GKE). Opsi deployment yang Anda pilih dapat bergantung pada model yang Anda gunakan dan seberapa besar kontrol yang Anda inginkan atas workload Anda.

Men-deploy di Gemini Enterprise Agent Platform

Gemini Enterprise Agent Platform menawarkan platform terkelola untuk membangun dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Gemini Enterprise Agent Platform sebagai aplikasi downstream yang menyajikan model Hugging Face. Sebaiknya gunakan Gemini Enterprise Agent Platform jika Anda menginginkan kemampuan MLOps end-to-end, fitur ML bernilai tambah, dan pengalaman serverless untuk pengembangan yang efisien.

  1. Untuk men-deploy model Hugging Face yang didukung di Gemini Enterprise Agent Platform, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Opsional: Untuk Deployment environment, pilih Gemini Enterprise Agent Platform.

  5. Opsional: Tentukan detail deployment.

  6. Klik Deploy.

Untuk memulai, lihat contoh berikut:

Men-deploy di GKE

Google Kubernetes Engine (GKE) adalah solusi Google Cloud untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Kami merekomendasikan opsi ini jika Anda sudah memiliki investasi Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.

  1. Untuk men-deploy model Hugging Face yang didukung di GKE, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Untuk Deployment environment, pilih GKE.

  5. Ikuti petunjuk deployment.

Untuk memulai, lihat contoh berikut:

Apa yang dimaksud dengan "Didukung oleh Gemini Enterprise Agent Platform"?

Kami otomatis menambahkan model Hugging Face terbaru dan terpopuler ke Model Garden. Proses ini mencakup pembuatan otomatis konfigurasi deployment untuk setiap model.

Untuk mengatasi kekhawatiran terkait kerentanan dan kode berbahaya, kami menggunakan Hugging Face Malware Scanner untuk menilai keamanan file dalam setiap repositori model Hugging Face setiap hari. Jika repositori model ditandai sebagai berisi malware, kami akan segera menghapus model tersebut dari halaman galeri Hugging Face.

Meskipun model yang ditetapkan sebagai didukung oleh Gemini Enterprise Agent Platform menandakan bahwa model tersebut telah menjalani pengujian dan dapat di-deploy di Gemini Enterprise Agent Platform, kami tidak menjamin tidak adanya kerentanan atau kode berbahaya. Sebaiknya lakukan verifikasi keamanan Anda sendiri sebelum men-deploy model apa pun di lingkungan produksi Anda.

Menyesuaikan konfigurasi deployment untuk kasus penggunaan tertentu

Konfigurasi deployment default yang disediakan dengan opsi deployment sekali klik tidak dapat memenuhi setiap persyaratan mengingat beragamnya kasus penggunaan dan prioritas yang bervariasi dengan latensi, throughput, biaya, dan akurasi.

Oleh karena itu, Anda dapat bereksperimen terlebih dahulu dengan deployment sekali klik untuk menetapkan dasar pengukuran, lalu menyesuaikan konfigurasi deployment menggunakan notebook Colab (vLLM, TGI, TEI, HF pytorch inference) atau Python SDK. Pendekatan iteratif ini memungkinkan Anda menyesuaikan deployment dengan kebutuhan yang tepat guna mendapatkan performa terbaik untuk aplikasi spesifik Anda.

Apa yang harus Anda lakukan jika model yang Anda inginkan tidak tercantum di Model Garden

Jika Anda mencari model tertentu yang tidak tercantum di Model Garden, model tersebut tidak didukung oleh Gemini Enterprise Agent Platform. Bagian berikut menjelaskan alasan dan hal yang dapat Anda lakukan.

Mengapa model tidak tercantum?

Berikut adalah alasan mengapa model mungkin tidak ada di Model Garden:

  • Bukan model trending teratas: Kami sering memprioritaskan model yang sangat populer dan memiliki minat komunitas yang kuat.
  • Belum kompatibel: Model mungkin tidak berfungsi dengan container inferensi yang didukung. Misalnya, container vLLM untuk model text-generation dan image-text-to-text.
  • Tugas pipeline yang tidak didukung: Model memiliki tugas yang saat ini belum kami dukung sepenuhnya. Kami mendukung tugas berikut: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity, dan image-text-to-text.

Apa saja opsi Anda?

Anda masih dapat menggunakan model yang tidak tersedia di Model Garden:

  • Deploy sendiri menggunakan Notebook Colab: Kami memiliki Notebook Colab berikut: (vLLM, TGI, TEI, HF pytorch inference), yang memberikan fleksibilitas untuk men-deploy model dengan konfigurasi kustom. Dengan begitu, Anda memiliki kontrol penuh atas prosesnya.
  • Mengirimkan Permintaan Fitur: bekerja sama dengan engineer dukungan Anda dan kirimkan permintaan fitur melalui Model Garden, atau lihat Dukungan AI Generatif Agent Platform untuk mendapatkan bantuan tambahan.
  • Pantau terus info terbaru: Kami rutin menambahkan model baru ke Model Garden. Model yang Anda cari mungkin akan tersedia di masa mendatang, jadi periksa secara berkala.