Ringkasan model yang di-deploy sendiri

Model Garden memungkinkan Anda men-deploy sendiri dan menayangkan model terbuka, partner, dan kustom di Gemini Enterprise Agent Platform. Tidak seperti penawaran model-as-a-service (MaaS), yang bersifat serverless dan tidak memerlukan deployment manual, model yang di-deploy sendiri berjalan dengan aman dalam project dan jaringan VPC Anda, sehingga Anda memiliki kontrol penuh atas lingkungan deployment. Google Cloud

Men-deploy sendiri model terbuka

Model terbuka menyediakan kemampuan yang telah dilatih sebelumnya untuk berbagai tugas AI, termasuk model Gemma yang unggul dalam pemrosesan multimodal. Model ini tersedia gratis untuk digunakan, dan Anda bebas memublikasikan outputnya selama Anda mematuhi persyaratan lisensinya. Gemini Enterprise Agent Platform menawarkan model open weight dan open source.

Saat menggunakan model terbuka dengan Gemini Enterprise Agent Platform, Anda menggunakan Gemini Enterprise Agent Platform untuk infrastruktur Anda. Anda juga dapat menggunakan model terbuka dengan produk infrastruktur lainnya, seperti PyTorch atau Jax.

Model open weight

Banyak model terbuka dianggap sebagai model bahasa besar (LLM) open weight. Model open weight memberikan lebih banyak transparansi daripada model yang bukan open weight. Bobot model adalah nilai numerik yang disimpan dalam arsitektur jaringan neural model yang mewakili pola dan hubungan yang dipelajari dari data yang digunakan untuk melatih model. Parameter yang telah dilatih sebelumnya, atau bobot, model open weight dirilis. Anda dapat menggunakan model open weight untuk inferensi dan penyesuaian. Detail seperti set data asli, arsitektur model, dan kode pelatihan tidak selalu disediakan.

Model open source

Model terbuka berbeda dengan model AI open source. Meskipun model terbuka sering kali mengekspos bobot dan representasi numerik inti dari pola yang dipelajari, model tersebut tidak selalu menyediakan kode sumber lengkap atau detail pelatihan. Model open source, di sisi lain, biasanya membuat seluruh codebase, termasuk skrip dan data pelatihan, tersedia untuk umum. Menyediakan bobot menawarkan tingkat transparansi model AI, sehingga Anda dapat memahami kemampuan model tanpa perlu membuatnya sendiri.

Model partner yang di-deploy sendiri

Model Garden membantu Anda membeli dan mengelola lisensi model dari partner yang menawarkan model eksklusif sebagai opsi deployment sendiri. Anda bisa mendapatkan akses ke model ini melalui Cloud Marketplace. Setelah memiliki lisensi, Anda dapat memilih untuk men-deploy di hardware on-demand atau menggunakan reservasi Compute Engine dan diskon penggunaan berkelanjutan yang ada untuk mengelola biaya. Dengan model partner yang di-deploy sendiri, Anda akan ditagih untuk penggunaan model dan infrastruktur Gemini Enterprise Agent Platform yang mendasarinya.

Untuk meminta penggunaan model partner yang di-deploy sendiri:

  1. Buka konsol Model Garden.
  2. Temukan model partner yang relevan.
  3. Klik Enable dan isi formulir yang disediakan untuk mendapatkan lisensi penggunaan komersial yang diperlukan.

Untuk mengetahui informasi selengkapnya tentang men-deploy dan menggunakan model partner, lihat Men-deploy model partner dan membuat permintaan prediksi.

Pertimbangan

Saat menggunakan model partner yang di-deploy sendiri, perhatikan hal berikut:

  • Ekspor Bobot: Tidak seperti beberapa model terbuka, Anda tidak dapat mengekspor bobot model partner yang di-deploy sendiri.
  • Jenis Endpoint: Hanya jenis endpoint publik bersama yang didukung untuk deployment ini.

Mempelajari lebih lanjut model yang di-deploy sendiri di Gemini Enterprise Agent Platform