Ringkasan model yang di-deploy sendiri

Dengan Model Garden, Anda dapat men-deploy sendiri dan menyalurkan model terbuka, partner, dan kustom di Vertex AI. Tidak seperti penawaran model-as-a-service (MaaS), yang bersifat tanpa server dan tidak memerlukan deployment manual, model yang di-deploy sendiri berjalan dengan aman dalam project dan jaringan VPC Anda, sehingga Anda memiliki kontrol penuh atas lingkungan deployment. Google Cloud

Men-deploy sendiri model terbuka

Model terbuka menyediakan kemampuan yang telah dilatih sebelumnya untuk berbagai tugas AI, termasuk model Gemini yang unggul dalam pemrosesan multimodal. Model ini tersedia secara gratis untuk digunakan, dan Anda bebas memublikasikan outputnya selama Anda mematuhi persyaratan lisensinya. Vertex AI menawarkan model dengan bobot terbuka dan model open source.

Saat menggunakan model terbuka dengan Vertex AI, Anda menggunakan Vertex AI untuk infrastruktur Anda. Anda juga dapat menggunakan model terbuka dengan produk infrastruktur lainnya, seperti PyTorch atau Jax.

Model bobot terbuka

Banyak model terbuka dianggap sebagai model bahasa besar (LLM) dengan bobot terbuka. Model dengan bobot terbuka memberikan transparansi yang lebih baik daripada model yang tidak memiliki bobot terbuka. Bobot model adalah nilai numerik yang disimpan dalam arsitektur jaringan neural model yang merepresentasikan pola dan hubungan yang dipelajari dari data yang digunakan untuk melatih model. Parameter atau bobot model dengan bobot terbuka yang telah dilatih sebelumnya dirilis. Anda dapat menggunakan model bobot terbuka untuk inferensi dan penyesuaian. Detail seperti set data asli, arsitektur model, dan kode pelatihan tidak selalu diberikan.

Model open source

Model terbuka berbeda dengan model AI open source. Meskipun model terbuka sering kali mengekspos bobot dan representasi numerik inti dari pola yang dipelajari, model tersebut tidak selalu memberikan kode sumber lengkap atau detail pelatihan. Model open source, di sisi lain, biasanya menyediakan seluruh codebase, termasuk skrip dan data pelatihan, untuk umum. Memberikan bobot menawarkan tingkat transparansi model AI, sehingga Anda dapat memahami kemampuan model tanpa perlu membangunnya sendiri.

Model partner yang di-deploy sendiri

Model Garden membantu Anda membeli dan mengelola lisensi model dari partner yang menawarkan model eksklusif sebagai opsi deployment mandiri. Anda bisa mendapatkan akses ke model ini melalui Cloud Marketplace. Setelah memiliki lisensi, Anda dapat memilih untuk men-deploy di hardware on-demand atau menggunakan reservasi Compute Engine dan diskon penggunaan berkelanjutan yang ada untuk mengelola biaya. Dengan model partner yang di-deploy sendiri, Anda akan ditagih untuk penggunaan model dan infrastruktur Vertex AI yang mendasarinya.

Untuk meminta penggunaan model partner yang di-deploy sendiri:

  1. Buka konsol Model Garden.
  2. Temukan model partner yang relevan.
  3. Klik Aktifkan dan isi formulir yang disediakan untuk mendapatkan lisensi penggunaan komersial yang diperlukan.

Untuk mengetahui informasi selengkapnya tentang men-deploy dan menggunakan model partner, lihat Men-deploy model partner dan membuat permintaan prediksi.

Pertimbangan

Saat menggunakan model partner yang di-deploy sendiri, perhatikan hal berikut:

  • Ekspor Bobot: Tidak seperti beberapa model terbuka, Anda tidak dapat mengekspor bobot model partner yang di-deploy sendiri.
  • Jenis Endpoint: Hanya jenis endpoint publik bersama yang didukung untuk deployment ini.

Mempelajari lebih lanjut model yang di-deploy sendiri di Vertex AI