Mendaftarkan dan memanggil model AI jarak jauh di ringkasan AlloyDB

Sebelum mendaftarkan endpoint model AI dan memanggil prediksi dengan Mempelajari konsep utama untuk mendaftarkan endpoint model AI dan memanggil prediksi dengan Pengelolaan endpoint model. Dokumen ini memberikan ringkasan pengelolaan endpoint model, kasus penggunaan, dan konsep seperti skema, penyedia dan jenis model, autentikasi, dan berbagai jenis fungsi.

Untuk mendaftarkan endpoint model jarak jauh dengan AlloyDB Omni, lihat Mendaftarkan dan memanggil model AI jarak jauh di AlloyDB Omni.

Ringkasan

Pengelolaan endpoint model adalah fitur AlloyDB AI yang mencakup fungsi dan operator yang membantu Anda mendaftarkan dan mengelola metadata model AI. Anda dapat mendaftarkan endpoint model, mengelola metadata endpoint model di cluster database, dan melakukan panggilan ke endpoint model jarak jauh menggunakan kueri SQL.

Pengelolaan endpoint model menyediakan ekstensi google_ml_integration yang mencakup fungsi yang memungkinkan Anda mendaftarkan metadata terkait model AI dengan AlloyDB. Metadata terdaftar ini digunakan untuk membuat embedding vektor atau memanggil prediksi.

Fungsi AI mencakup rangkaian fungsi yang dibangun berdasarkan pengelolaan endpoint model (Pratinjau), dan menambahkan dukungan untuk operator AI yang memungkinkan Anda menggabungkan frasa bahasa alami dengan kueri SQL, seperti ai.if() untuk filter dan gabungan, ai.rank() untuk pengurutan, dan ai.generate() untuk membuat ringkasan data Anda. Fungsi ini juga menambahkan dukungan untuk model multimodal dan peringkat Platform Agen Gemini Enterprise.

Beberapa contoh jenis model yang dapat Anda daftarkan menggunakan pengelolaan endpoint model adalah sebagai berikut:

  • Platform Agen model embedding teks dan model generik
  • Model Multimodal Platform Agen
  • Model peringkat Platform Agen (Pratinjau)
  • Model embedding yang disediakan oleh penyedia pihak ketiga, seperti Hugging Face atau OpenAI
  • Model embedding teks yang dihosting kustom, termasuk model yang dihosting sendiri atau model yang tersedia melalui endpoint pribadi
  • Model generik dengan API berbasis JSON—misalnya, model facebook/bart-large-mnli yang dihosting di Hugging Face, model gemini-pro dari Model Garden, atau model claude dari Anthropic

Kasus penggunaan

Anda dapat memanggil endpoint model terdaftar untuk berinteraksi dengan data yang ada di database guna membuat embedding atau prediksi. Beberapa kasus penggunaan aplikasi adalah sebagai berikut:

  • Inferensi real-time dengan aplikasi transaksi: memberikan rekomendasi real-time berdasarkan histori penjelajahan pengguna saat ini dan konten dalam keranjang.
  • Mengidentifikasi sentimen dan membuat ringkasan: untuk database ulasan pelanggan, membuat ringkasan atau mengidentifikasi sentimen utama untuk setiap ulasan.
  • Sistem penelusuran dan pengambilan cerdas: membangun sistem penelusuran untuk database pusat informasi internal, dan membuat kueri menggunakan operator SQL yang didukung AI, bukan kata kunci.
  • Pengalaman pengguna yang dipersonalisasi: mengoptimalkan platform konten untuk mempersonalisasi secara dinamis konten yang ditampilkan kepada setiap pengguna berdasarkan interaksi mereka sebelumnya.

Untuk mengetahui informasi selengkapnya tentang kasus penggunaan AlloyDB AI, lihat Kasus penggunaan AlloyDB AI.

Cara kerjanya

Anda dapat menggunakan pengelolaan endpoint model untuk mendaftarkan endpoint model yang mematuhi hal berikut:

  • Input dan output model mendukung format JSON.
  • Model dapat dipanggil menggunakan protokol REST.

Saat Anda mendaftarkan endpoint model dengan pengelolaan endpoint model, setiap endpoint akan didaftarkan dengan ID model unik yang Anda berikan sebagai referensi ke model.

Anda dapat menggunakan ID endpoint model untuk membuat kueri model guna melakukan hal berikut:

  • Membuat embedding untuk menerjemahkan perintah teks ke vektor numerik. Anda dapat menyimpan embedding yang dibuat sebagai data vektor saat ekstensi vector diaktifkan di database. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri dan mengindeks embedding dengan pgvector.

  • Membuat embedding multimodal untuk menerjemahkan data multimodal seperti teks, gambar, dan video ke embedding. (Pratinjau)

  • Memberi peringkat atau skor pada daftar item dalam kueri berdasarkan kriteria yang dinyatakan menggunakan bahasa alami. (Pratinjau)

  • Memanggil prediksi menggunakan SQL.

Konsep utama

Sebelum mulai menggunakan pengelolaan endpoint model, pahami konsep yang diperlukan untuk terhubung ke dan menggunakan model.

Skema

Aplikasi Anda dapat mengakses pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Ekstensi google_ml_integration mencakup fungsi dalam skema public, google_ml, dan ai. Semua fungsi disertakan dalam skema google_ml, dan fungsi tertentu tersedia dalam skema public dan ai.

Untuk mengetahui informasi selengkapnya tentang skema, lihat Skema.

Penyedia model

Penyedia model menunjukkan penyedia hosting model yang didukung. Menetapkan penyedia model bersifat opsional, tetapi membantu pengelolaan endpoint model dengan mengidentifikasi penyedia, dan memformat header secara otomatis untuk model yang didukung.

Untuk mengetahui informasi selengkapnya tentang penyedia model, lihat Penyedia model.

Jenis model

Jenis model menunjukkan jenis model AI. Ekstensi ini mendukung embedding teks serta jenis model generik apa pun. Jenis model yang didukung yang dapat Anda tetapkan saat mendaftarkan endpoint model adalah text-embedding dan generic.

Menetapkan jenis model bersifat opsional saat mendaftarkan endpoint model generik karena generic adalah jenis model default.

Untuk mengetahui informasi selengkapnya tentang jenis model, lihat Jenis model.

Autentikasi

Jenis autentikasi menunjukkan jenis autentikasi yang dapat Anda gunakan untuk terhubung ke pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Menetapkan autentikasi bersifat opsional dan hanya diperlukan jika Anda perlu melakukan autentikasi untuk mengakses model.

Untuk mengetahui informasi selengkapnya tentang autentikasi, lihat Autentikasi.

Fungsi prediksi

Fungsi prediksi adalah fungsi SQL yang memungkinkan Anda berinteraksi dengan model AI dari dalam database AlloyDB. Fungsi ini memungkinkan Anda menggunakan kueri SQL standar untuk mengirim data ke endpoint model dan membuat embedding atau prediksi.

Untuk mengetahui informasi selengkapnya tentang fungsi prediksi, lihat Fungsi prediksi.

Fungsi operator

Ekstensi google_ml_integration mencakup fungsi operator berikut, yang menggunakan Gemini default untuk membuat kueri menggunakan operator SQL yang didukung AI.

Untuk mengetahui informasi selengkapnya tentang fungsi operator, lihat Fungsi operator.

Fungsi transformasi

Fungsi transformasi mengubah input ke format yang dipahami model, dan mengonversi respons model ke format yang diharapkan oleh fungsi prediksi. Fungsi transformasi digunakan saat mendaftarkan endpoint model text-embedding tanpa dukungan bawaan. Tanda tangan fungsi transformasi bergantung pada input yang diharapkan oleh model.

Untuk mengetahui informasi selengkapnya tentang fungsi transformasi, lihat Fungsi transformasi.

Fungsi pembuatan header HTTP

Fungsi pembuatan header HTTP menghasilkan output dalam key-value pair JSON yang digunakan sebagai header HTTP. Tanda tangan fungsi prediksi menentukan tanda tangan fungsi pembuatan header.

Untuk mengetahui informasi selengkapnya tentang fungsi pembuatan header HTTP, lihat Fungsi pembuatan header HTTP.

Langkah berikutnya