Menggunakan Model Hugging Face

Hugging Face menyediakan model terlatih, skrip penyesuaian, dan API pengembangan yang mempermudah proses pembuatan dan penemuan LLM. Model Garden dapat menayangkan model Text Embeddings, Text To Image, Text Generation, dan Image Text To Text di HuggingFace.

Opsi deployment untuk model Hugging Face

Anda dapat men-deploy model Hugging Face yang didukung di Gemini Enterprise Agent Platform atau Google Kubernetes Engine (GKE). Opsi deployment yang Anda pilih dapat bergantung pada model yang Anda gunakan dan seberapa besar kontrol yang Anda inginkan atas workload Anda.

Men-deploy di Gemini Enterprise Agent Platform

Gemini Enterprise Agent Platform menawarkan platform terkelola untuk membangun dan menskalakan project machine learning tanpa keahlian MLOps internal. Anda dapat menggunakan Gemini Enterprise Agent Platform sebagai aplikasi hilir yang menayangkan model Hugging Face. Sebaiknya gunakan Platform Agen Gemini Enterprise jika Anda menginginkan kemampuan MLOps menyeluruh, fitur ML yang bernilai tambah, dan pengalaman serverless untuk pengembangan yang disederhanakan.

  1. Untuk men-deploy model Hugging Face yang didukung di Gemini Enterprise Agent Platform, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Opsional: Untuk Deployment environment, pilih Gemini Enterprise Agent Platform.

  5. Opsional: Tentukan detail deployment.

  6. Klik Deploy.

Untuk memulai, lihat contoh berikut:

Men-deploy di GKE

Google Kubernetes Engine (GKE) adalah Google Cloud solusi untuk Kubernetes terkelola yang memberikan skalabilitas, keamanan, ketahanan, dan efektivitas biaya. Sebaiknya pilih opsi ini jika Anda telah berinvestasi di Kubernetes, organisasi Anda memiliki keahlian MLOps internal, atau jika Anda memerlukan kontrol terperinci atas workload AI/ML yang kompleks dengan persyaratan keamanan, pipeline data, dan pengelolaan resource yang unik.

  1. Untuk men-deploy model Hugging Face yang didukung di GKE, buka Model Garden.

    Buka Model Garden

  2. Buka bagian Open models on Hugging Face, lalu klik Show more.

  3. Temukan dan pilih model yang akan di-deploy.

  4. Untuk Deployment environment, pilih GKE.

  5. Ikuti petunjuk deployment.

Untuk memulai, lihat contoh berikut:

Apa yang dimaksud dengan "Didukung oleh Platform Agen Gemini Enterprise"?

Kami otomatis menambahkan model Hugging Face terbaru dan paling populer ke Model Garden. Proses ini mencakup pembuatan otomatis konfigurasi deployment untuk setiap model.

Untuk mengatasi masalah terkait kerentanan dan kode berbahaya, kami menggunakan Pemindai Malware Hugging Face untuk menilai keamanan file dalam setiap repositori model Hugging Face setiap hari. Jika repositori model ditandai berisi malware, kami akan segera menghapus model tersebut dari halaman galeri Hugging Face.

Meskipun model yang ditetapkan sebagai didukung oleh Gemini Enterprise Agent Platform menandakan bahwa model tersebut telah diuji dan dapat di-deploy di Gemini Enterprise Agent Platform, kami tidak menjamin tidak adanya kerentanan atau kode berbahaya. Sebaiknya lakukan verifikasi keamanan Anda sendiri sebelum men-deploy model apa pun di lingkungan produksi Anda.

Menyesuaikan konfigurasi deployment untuk kasus penggunaan tertentu

Konfigurasi deployment default yang disediakan dengan opsi deployment sekali klik tidak dapat memenuhi setiap persyaratan mengingat beragamnya kasus penggunaan dan prioritas yang bervariasi dengan latensi, throughput, biaya, dan akurasi.

Oleh karena itu, Anda dapat bereksperimen terlebih dahulu dengan deployment sekali klik untuk menetapkan dasar, lalu menyetel konfigurasi deployment dengan menggunakan notebook Colab (vLLM, TGI, TEI, inferensi pytorch HF) atau Python SDK. Pendekatan iteratif ini memungkinkan Anda menyesuaikan deployment dengan kebutuhan yang tepat untuk mendapatkan performa terbaik bagi aplikasi spesifik Anda.

Apa yang harus Anda lakukan jika model yang Anda inginkan tidak tercantum di Model Garden

Jika Anda mencari model tertentu yang tidak tercantum di Model Garden, model tersebut tidak didukung oleh Gemini Enterprise Agent Platform. Bagian berikut menjelaskan alasan dan tindakan yang dapat Anda lakukan.

Mengapa model tidak tercantum?

Alasan berikut menjelaskan mengapa model mungkin tidak ada di Model Garden:

  • Model tersebut bukan model yang paling populer: Kami sering kali memprioritaskan model yang sangat populer dan memiliki minat komunitas yang kuat.
  • Belum kompatibel: Model mungkin tidak berfungsi dengan penampung penyajian yang didukung. Misalnya, penampung vLLM untuk model text-generation dan image-text-to-text.
  • Tugas pipeline yang tidak didukung: Model memiliki tugas yang saat ini belum kami dukung sepenuhnya. Kami mendukung tugas berikut: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity, dan image-text-to-text.

Apa saja opsi Anda?

Anda tetap dapat menggunakan model yang tidak tersedia di Model Garden:

  • Deploy sendiri menggunakan Notebook Colab: Kami memiliki Notebook Colab berikut: (vLLM, TGI, TEI, inferensi pytorch HF), yang memberikan fleksibilitas untuk men-deploy model dengan konfigurasi kustom. Tindakan ini memberi Anda kontrol penuh atas prosesnya.
  • Mengirimkan Permintaan Fitur: bekerja sama dengan engineer dukungan Anda dan mengirimkan permintaan fitur melalui Model Garden, atau lihat dukungan AI Generatif Vertex untuk mendapatkan bantuan tambahan.
  • Pantau info terbaru: Kami secara rutin menambahkan model baru ke Model Garden. Model yang Anda cari mungkin akan tersedia pada masa mendatang, jadi periksa kembali secara berkala.