Embedding vektor otomatis di AlloyDB untuk PostgreSQL memungkinkan Anda mengotomatiskan pembuatan dan pemeliharaan embedding vektor di seluruh tabel besar untuk workload penelusuran semantik dan retrieval-augmented generation (RAG). Anda dapat melakukan inisialisasi embedding dalam batch untuk tabel baru atau yang diimpor, memperbarui embedding secara transaksional atau inkremental setelah perubahan data, dan memantau progres pembuatan untuk tabel reguler dan berpartisi.
Memahami embedding vektor otomatis
Embedding vektor otomatis di AlloyDB menyediakan cara yang skalabel untuk mengotomatiskan pembuatan dan pemeliharaan embedding vektor untuk data Anda. Daripada membuat embedding secara manual untuk setiap teks baru atau yang diperbarui, Anda dapat mengonfigurasi embedding vektor otomatis untuk menangani proses ini. Hal ini sangat berguna untuk aplikasi yang mengandalkan embedding terbaru untuk penelusuran semantik, Retrieval Augmented Generation (RAG), dan fitur berteknologi AI lainnya.
Dengan embedding vektor otomatis, Anda dapat melakukan hal berikut:
- Melakukan inisialisasi embedding untuk seluruh tabel: buat embedding untuk semua data yang ada di kolom tabel dengan satu perintah.
- Menjaga embedding tetap sinkron: mengupdate embedding secara otomatis saat data sumber berubah, sehingga memastikan aplikasi AI Anda selalu bekerja dengan informasi terbaru.
- Membuat embedding dalam skala besar: membuat embedding secara efisien untuk tabel besar dengan jutaan baris.
- Konfigurasikan dan kelola embedding untuk beberapa kolom dalam tabel yang sama dengan memanggil fungsi pengelolaan untuk setiap kolom embedding.
Fitur ini menyederhanakan pengembangan dan pemeliharaan aplikasi AI dengan mengabstraksi kompleksitas pembuatan dan pemeliharaan embedding vektor.
Model yang didukung
Embedding vektor otomatis mendukung jenis model embedding berikut:
- Embedding Google yang telah didaftarkan sebelumnya: model Google yang telah didaftarkan sebelumnya, seperti
text-embedding-005dangemini-embedding-001. Anda dapat menggunakan model ini tanpa pendaftaran. Untuk mengetahui informasi selengkapnya, lihat Model Gemini Enterprise Agent Platform yang telah didaftarkan. - Model pihak ketiga yang dihosting oleh penyedia eksternal: model embedding yang dihosting oleh penyedia pihak ketiga, seperti
text-embedding-3-smallatautext-embedding-3-largeOpenAI. Untuk menggunakan model ini, daftarkan endpoint model menggunakan pengelolaan endpoint model. Untuk mengetahui informasi selengkapnya, lihat Model embedding teks OpenAI. - Model kustom yang dihosting secara lokal atau jarak jauh: model yang dihosting sendiri, model yang dihosting secara lokal di infrastruktur pribadi, atau model yang dihosting di balik endpoint kustom. Untuk menggunakan model kustom dengan embedding vektor otomatis, tentukan fungsi transformasi dan daftarkan endpoint model dengan pengelolaan endpoint model. Untuk mengetahui informasi selengkapnya, lihat Model embedding teks yang dihosting kustom.
Sebelum memulai
Sebelum Anda dapat membuat dan mengelola embedding vektor untuk tabel besar, ikuti langkah-langkah berikut:
Periksa dan tingkatkan kuota Gemini Enterprise Agent Platform: Untuk memastikan performa optimal dan menghindari operasi yang lambat, QPS rendah, atau beberapa percobaan ulang, verifikasi dan, jika perlu, tingkatkan kuota Agent Platform Anda.
Untuk memeriksa dan meningkatkan kuota, ikuti langkah-langkah berikut:
- Di konsol Google Cloud , buka halaman Quotas.
- Filter metrik berikut yang relevan dengan model dan region Anda:
- Untuk permintaan per menit (RPM):
Regional online prediction requests per base model per minute per region per base_model - Untuk token Gemini:
Embed content input tokens per minute per region per base_model
- Untuk permintaan per menit (RPM):
- Jika batas saat ini tidak mencukupi untuk ukuran tabel Anda, temukan nilai kuota yang ingin Anda perbarui dan centang kotak di samping kuota.
Klik Edit. Dialog Quota changes akan muncul.
Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota
Untuk mengetahui batas model embedding Agent Platform dan daftar lengkap kuota, lihat Kuota dan batas Agent Platform.
Hubungkan ke database Anda menggunakan
psqlatau AlloyDB Studio sebagai penggunapostgres.Jika Anda menggunakan embedding Google, konfigurasikan AlloyDB agar berfungsi dengan Agent Platform. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan database Anda dengan Agent Platform.
Jika Anda menggunakan model embedding kustom atau pihak ketiga, daftarkan endpoint model dengan pengelolaan endpoint model sebelum melakukan inisialisasi embedding vektor otomatis.
Untuk mengelola dan memantau pembuatan embedding otomatis, pengguna memiliki akses
Selectke tabelgoogle_ml.embed_gen_progressdangoogle_ml.embed_gen_settingssecara default.Agar pengguna dapat mengelola pembuatan embedding otomatis, berikan izin
INSERT,UPDATE, danDELETEpada tabelgoogle_ml.embed_gen_progressdangoogle_ml.embed_gen_settings:GRANT INSERT, UPDATE, DELETE ON google_ml.embed_gen_progress TO "USER_NAME";Ganti kode berikut:
USER_NAME: nama pengguna yang diberi izin.
Selesaikan penyiapan awal yang dijelaskan dalam Membuat embedding teks.
Pastikan
AUTOCOMMITditetapkan keONdi klien PostgreSQL yang Anda gunakan.
Memverifikasi versi ekstensi
Untuk memeriksa versi ekstensi google_ml_integration, jalankan perintah berikut:
SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
Jika Anda perlu mengupdate ekstensi, jalankan perintah berikut:
ALTER EXTENSION google_ml_integration UPDATE;
Memastikan flag database ditetapkan ke on
Untuk memverifikasi bahwa flag database ditetapkan dengan benar, jalankan perintah berikut:
SHOW google_ml_integration.enable_model_support;
SHOW google_ml_integration.enable_faster_embedding_generation;
Jika flag ini ditetapkan ke off, lihat Mengonfigurasi flag database instance. Untuk mengetahui informasi selengkapnya tentang flag ini, lihat Flag database yang didukung.
Menyiapkan tabel Anda
Sebelum dapat membuat embedding otomatis, Anda harus membuat kolom di tabel untuk menyimpan vektor yang dihasilkan. Kolom ini biasanya menggunakan jenis vector(DIMENSION) dan harus memiliki nilai DEFAULT NULL.
Misalnya, untuk menambahkan kolom embedding 768 dimensi ke tabel bernama user_reviews:
ALTER TABLE user_reviews ADD COLUMN IF NOT EXISTS content_embeddings vector(768) DEFAULT NULL;
Melakukan inisialisasi embedding untuk tabel
Fungsi untuk mengelola embedding vektor otomatis tersedia dalam skema ai dan google_ml. Skema ai menyediakan antarmuka yang disederhanakan untuk fitur AI terbaru di AlloyDB.
Gunakan fungsi SQL ai.initialize_embeddings() untuk membuat embedding untuk kolom konten tabel. Ini adalah panggilan pemblokiran, yang berarti sesi database menunggu operasi selesai sebelum menampilkan hasil dan memungkinkan Anda mengeluarkan perintah baru dalam sesi tersebut. Namun, koneksi lain ke database tidak diblokir dan dapat terus berfungsi dengan tabel:
- Jika fungsi menampilkan keberhasilan, pembuatan embedding vektor selesai.
- Fungsi ini secara otomatis mencoba memulihkan dari masalah sementara seperti error kuota model. Kegagalan hanya akan ditampilkan kepada Anda jika upaya pemulihan ini tidak berhasil. Untuk masalah yang terus-menerus, seperti
batch_sizeyang salah dikonfigurasi yang menyebabkan permintaan melebihi batas ukuran, atau jika operasi dibatalkan secara manual, Anda harus mengeluarkan kembali panggilan secara manual.
Fungsi ini mendukung model embedding Google yang telah didaftarkan sebelumnya, model pihak ketiga yang dihosting oleh penyedia eksternal seperti OpenAI, dan model kustom yang dihosting secara lokal atau jarak jauh. Untuk mengetahui petunjuk tentang cara mendaftarkan model embedding pihak ketiga dan kustom dengan pengelolaan endpoint model, lihat Mendaftarkan dan memanggil model AI jarak jauh menggunakan pengelolaan endpoint model.
Melakukan pembuatan batch
Secara default, AlloyDB menggunakan pengelompokan untuk menghasilkan embedding untuk beberapa input teks dalam satu permintaan, sehingga meningkatkan efisiensi. Jika Anda tidak memberikan ukuran batch tertentu, AlloyDB akan menerapkan nilai default yang ditentukan secara otomatis.
Ukuran batch petunjuk
Parameter batch_size di ai.initialize_embeddings memungkinkan Anda memandu pengoptimal kueri AlloyDB dengan menyarankan ukuran batch yang diinginkan untuk model yang didukung secara langsung. AlloyDB dapat mengurangi ukuran ini secara dinamis berdasarkan batas atau kuota model, tetapi petunjuk Anda membantu memengaruhi rencana eksekusi kueri.
CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'user_reviews',
content_column => 'content',
embedding_column => 'content_embeddings',
batch_size => 50
);
Menggunakan model embedding kustom dengan dukungan batch
Jika Anda ingin menggunakan model kustom atau yang didukung secara eksternal yang mendukung batching, tentukan fungsi transformasi batch dan tentukan sebagai model_batch_in_transform_fn dan model_batch_out_transform_fn saat Anda membuat model. Anda juga dapat menentukan batch_size dalam panggilan initialize_embeddings. Untuk model yang mendukung pengelompokan, sebaiknya gunakan batch_size yang lebih besar dari 1 untuk mendapatkan performa yang lebih baik.
Untuk petunjuk tentang cara mendaftarkan model kustom, lihat Model embedding teks yang dihosting pelanggan.
Tentukan fungsi input, output, dan transformasi batch model kustom Anda.
-- Scalar input transform functions CREATE OR REPLACE FUNCTION acme_text_input_transform(model_id TEXT, input TEXT) RETURNS JSON; CREATE OR REPLACE FUNCTION acme_text_output_transform(model_id TEXT, model_output JSON) RETURNS real[]; CREATE OR REPLACE FUNCTION acme_generate_headers(model_id TEXT, input TEXT) RETURNS JSON; -- Batch input transform functions CREATE OR REPLACE FUNCTION acme_text_batch_input_transform(model_id TEXT, input TEXT[]) RETURNS JSON; CREATE OR REPLACE FUNCTION acme_text_batch_output_transform(model_id TEXT, model_output JSON) RETURNS real[][];Untuk membuat model, tentukan fungsi transformasi batch.
CALL ai.create_model( model_id => 'custom-embedding-model', model_request_url => 'https://acme.com/models/text/embeddings/v1', model_type => 'text_embedding', model_in_transform_fn => 'acme_text_input_transform', model_out_transform_fn => 'acme_text_output_transform', generate_headers_fn => 'acme_generate_headers', model_batch_in_transform_fn => 'acme_text_batch_input_transform', model_batch_out_transform_fn => 'acme_text_batch_output_transform' );Membuat embedding vektor dengan model kustom Anda.
CALL ai.initialize_embeddings( model_id => 'custom-embedding-model', table_name => 'user_reviews', content_column => 'content', embedding_column => 'content_embeddings', batch_size => 10 );
Anda juga dapat menggunakan fitur embedding otomatis dengan model kustom yang tidak mendukung pengelompokan secara native. Untuk melakukannya, Anda tetap harus menentukan fungsi transformasi batch model_batch_in_transform_fn dan model_batch_out_transform_fn. Untuk model non-batching, tentukan fungsi ini untuk memproses satu input pada satu waktu dari array input. Saat Anda memanggil ai.initialize_embeddings untuk model ini, tetapkan batch_size ke 1.
Menggunakan dimensi kustom dengan dukungan batch
Untuk menggunakan fungsi transformasi input batch kustom dengan parameter OUTPUT_DIMENSIONALITY, Anda dapat menentukan fungsi yang menentukan dimensi yang dipilih dalam parameter permintaan. Hal ini berguna untuk mengoptimalkan pembuatan embedding untuk model yang mendukung ukuran output variabel.
Misalnya, fungsi berikut menentukan transformasi input batch kustom untuk model yang memerlukan dimensi output 768:
CREATE OR REPLACE FUNCTION google_ml.vertexai_text_embedding_batch_input_transform_with_768_dims(model_id VARCHAR(100), input_list TEXT[])
RETURNS JSON
LANGUAGE SQL
AS $$
SELECT pg_catalog.json_build_object(
'instances',
pg_catalog.json_agg(pg_catalog.json_build_object('content', content)),
'parameters',
pg_catalog.json_build_object('outputDimensionality', 768)
) FROM unnest(input_list) AS content;
$$;
Menggunakan pengoptimalan JSONB dengan model kustom
Anda dapat menggunakan jenis data JSONB dalam fungsi transformasi output kustom untuk meningkatkan performa. Saat Anda membuat model kustom dengan dukungan batch, ekstensi google_ml_integration akan otomatis mencari dan menggunakan varian JSONB dari fungsi transformasi Anda.
Pengoptimalan ini dapat meningkatkan performa pembuatan embedding otomatis secara signifikan karena JSONB adalah format biner yang lebih efisien untuk menyimpan dan memproses data JSON di PostgreSQL.
Untuk memanfaatkan fitur ini, Anda harus menyediakan versi lain dari fungsi transformasi yang menerima argumen JSONB, bukan JSON.
Misalnya, jika Anda memiliki fungsi transformasi output batch dengan tanda tangan berikut:
CREATE OR REPLACE FUNCTION my_batch_output_transform(model_id TEXT, model_output JSON) RETURNS real[][];
Anda dapat membuat varian JSONB seperti ini:
CREATE OR REPLACE FUNCTION my_batch_output_transform(model_id TEXT, model_output JSONB) RETURNS real[][];
Ekstensi ini otomatis mendeteksi keberadaan versi JSONB dari fungsi tersebut dan menggunakannya untuk batch processing. Jika Anda sudah membuat pendaftaran model yang menggunakan fungsi transformasi JSON, Anda tidak perlu memperbarui panggilan ai.create_model. Selama fungsi JSONB baru menggunakan nama yang sama persis dengan fungsi JSON yang ada, ekstensi akan mendeteksi dan menggunakan varian JSONB secara transparan untuk batch processing.
Memperbarui embedding secara bertahap
Saat Anda memuat ulang embedding, embedding akan dibuat ulang berdasarkan nilai terbaru di kolom konten input.
Untuk memberi Anda kontrol atas konsistensi dan performa, AlloyDB mendukung berbagai mode untuk pembaruan embedding inkremental. Anda dapat memilih mode menggunakan argumen enum incremental_refresh_mode di ai.initialize_embeddings(). Berikut adalah daftar mode yang memungkinkan:
transactional: pembaruan embedding sebagai bagian dari transaksi yang memperbarui kolom konten. Proses ini, yang sering kali menggunakan mekanisme yang mirip dengan pemicu database untuk otomatis membuat embedding saat kolom konten diperbarui, dapat menimbulkan overhead dan memperlambat operasi update. Overhead yang diperkenalkan adalah konsekuensi untuk mempertahankan semantik transaksional dan memastikan bahwa embedding sinkron dengan konten. Mode ini mengandalkan fungsi transformasi skalar model Anda, sehingga Anda harus menentukanmodel_in_transform_fndanmodel_out_transform_fnsaat membuat model. Untuk menggunakan modetransactional, Anda harus memiliki peran pemilik di tabel.CALL ai.initialize_embeddings( model_id => 'text-embedding-005', table_name => 'user_reviews', content_column => 'content', embedding_column => 'content_embeddings', batch_size => 10, incremental_refresh_mode => 'transactional' );Dalam mode
transactional, fungsiai.refresh_embeddings()dinonaktifkan karena embedding terus disinkronkan secara otomatis menggunakan pemicu. Untuk membuat ulang embedding untuk seluruh tabel atau memulihkan dari panggilanai.initialize_embeddings()yang terganggu dalam mode ini, Anda harus menghapus konfigurasi terlebih dahulu menggunakan fungsiai.drop_embedding_config(), lalu mengeluarkan kembali panggilanai.initialize_embeddings().Mode otomatis ini berguna untuk demo, set data kecil, atau tabel dengan volume penyisipan dan pembaruan yang rendah dibandingkan dengan pemuatan awal, misalnya, beberapa ratus pembaruan harian pada tabel dengan satu juta baris. Pendekatan ini sesuai jika mempertahankan konsistensi data langsung lebih penting daripada latensi tambahan yang muncul selama operasi update.
manual: Ini adalah mode default. Dalam mode ini, kolom pelacakan boolean baru ditambahkan ke tabel Anda untuk melacak embedding yang tidak berlaku. Memanggil fungsiai.refresh_embeddings()akan melakukan refresh inkremental berkala dengan hanya membuat embedding untuk baris baru atau yang diperbarui. Sebaiknya gunakan mode ini jika Anda memerlukan kontrol lebih besar atas performa, terutama saat menangani banyak penyisipan atau pembaruan setelah pemuatan awal. Hal ini berguna untuk skenario yang memprioritaskan minimalisasi latensi tulis dan yang dapat menerima embedding yang tidak berlaku atau null untuk sementara hingga pemuatan ulang inkremental berkala dipicu menggunakanai.refresh_embeddings. Untuk memperbarui baris yang sudah tidak berlaku atau baris baru, gunakan fungsiai.refresh_embeddings()seperti yang dijelaskan di bagian Memperbarui semua embedding untuk tabel.
Memilih mode muat ulang
Tabel berikut membandingkan dua mode refresh inkremental untuk membantu Anda memilih pendekatan terbaik untuk aplikasi Anda.
| Mode | Deskripsi | Konsistensi dan performa | Paling cocok untuk |
|---|---|---|---|
transactional |
Embedding diperbarui sebagai bagian dari transaksi database menggunakan mekanisme yang mirip dengan pemicu. Perhatikan bahwa ai.refresh_embeddings() dinonaktifkan dalam mode ini.
|
Konsistensi langsung. Overhead latensi tulis yang tinggi karena setiap INSERT atau UPDATE memicu pembuatan embedding.
|
Demo, set data kecil, atau tabel yang mengutamakan konsistensi data. |
manual (default) |
Menggunakan kolom pelacakan boolean untuk memantau baris yang sudah tidak berlaku atau baru. Anda harus memanggil ai.refresh_embeddings() untuk memicu pembaruan inkremental berkala.
|
Konsistensi tertunda. Latensi tulis minimal karena embedding dibuat secara massal pada waktu yang Anda pilih. | Set data besar, lingkungan produksi dengan frekuensi penulisan tinggi, atau aplikasi yang sensitif terhadap performa. |
Memperbarui semua embedding untuk tabel
Setelah berhasil menjalankan ai.initialize_embeddings() untuk tabel menggunakan mode refresh inkremental manual, Anda dapat melakukan refresh inkremental berkala pada embedding, yang dipicu menggunakan ai.refresh_embeddings. Anda dapat menggunakan operasi refresh untuk memperbarui embedding untuk baris yang diubah secara serentak selama panggilan initialize_embeddings awal atau untuk melakukan refresh inkremental berkala.
Jika proses pembuatan embedding terganggu dalam mode manual, misalnya, oleh pg_cancel, panggil fungsi ai.refresh_embeddings() untuk menyelesaikan pembuatan untuk baris yang tersisa.
Fungsi refresh menggunakan kembali setelan dari panggilan awal, sehingga Anda hanya perlu menentukan tabel dan kolom embedding. Anda juga dapat memberikan batch_size opsional untuk mengganti nilai default.
CALL ai.refresh_embeddings(
table_name => 'user_reviews',
embedding_column => 'content_embeddings',
batch_size => 50 -- Optional override
);
Menggunakan data tabel selama pembuatan embedding vektor
Meskipun ai.initialize_embeddings() adalah panggilan pemblokiran untuk sesi yang dijalankannya, koneksi lain dapat terus berfungsi dengan tabel. Proses embedding vektor otomatis memperbarui baris dalam batch menggunakan penguncian tingkat baris standar. Artinya, operasi Bahasa Modifikasi Data (DML) serentak — seperti UPDATE atau DELETE — dari koneksi lain hanya diblokir sebentar jika mencoba mengubah baris yang sama yang ditargetkan oleh tugas embedding aktif. Kueri SELECT yang tidak mengubah data tidak akan diblokir.
Menghapus setelan embedding vektor otomatis
Jika Anda perlu menghapus konfigurasi embedding vektor otomatis untuk kombinasi tabel dan kolom embedding tertentu, gunakan fungsi ai.drop_embedding_config(). Fungsi ini dapat berguna untuk pembersihan atau saat Anda mengonfigurasi ulang pengelolaan embedding untuk kolom.
CALL
ai.drop_embedding_config(
table_name => 'user_reviews',
embedding_column => 'content_embeddings');
Menggunakan tabel berpartisi
Fitur embedding vektor otomatis mendukung tabel berpartisi. Dengan begitu, Anda dapat mengelola embedding untuk set data besar yang dipartisi secara efisien. Berikut adalah kasus penggunaan umum untuk menggunakan tabel berpartisi.
Melakukan inisialisasi embedding pada tabel berpartisi
Anda hanya dapat melakukan inisialisasi embedding pada partisi root tabel. Operasi ini hanya perlu Anda lakukan satu kali untuk seluruh tabel berpartisi.
CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'documents', -- This is the root partitioned table
content_column => 'content',
embedding_column => 'content_embeddings'
);
Memperbarui embedding pada tabel berpartisi
Setelah inisialisasi, Anda dapat memuat ulang embedding di partisi mana pun, termasuk partisi root, sub-partisi, atau partisi leaf individual. Untuk set data besar, Anda dapat meningkatkan performa dengan memperbarui embedding untuk partisi yang berbeda secara paralel dari koneksi database yang berbeda:
- Untuk memuat ulang seluruh tabel, jalankan perintah berikut:
CALL ai.refresh_embeddings(
table_name => 'documents', -- This is the root partitioned table
embedding_column => 'content_embeddings'
);
- Untuk memuat ulang satu partisi, jalankan perintah berikut:
CALL ai.refresh_embeddings(
table_name => 'documents_eu',
embedding_column => 'content_embeddings'
);
Memperbarui embedding untuk partisi yang baru ditambahkan atau dipasang
Fitur embedding otomatis mendukung pembuatan embedding untuk partisi yang digabungkan ke dalam tabel utama setelah penyiapan awal. Langkah-langkah spesifiknya bergantung pada apakah Anda menambahkan partisi yang benar-benar baru atau melampirkan tabel yang sudah ada.
- Partisi yang baru ditambahkan: jika Anda menambahkan partisi baru ke tabel, Anda dapat membuat embedding untuk partisi tersebut dengan memanggil
ai.refresh_embeddingspada partisi baru.
-- Add a new partition
CREATE TABLE documents_africa PARTITION OF documents
FOR VALUES IN ('africa');
-- Refresh embeddings for the new partition
CALL ai.refresh_embeddings(
table_name => 'documents_africa',
embedding_column => 'content_embeddings'
);
- Partisi yang baru dilampirkan: untuk melampirkan tabel yang ada sebagai partisi, gunakan prosedur
ai.embedding_prepare_partitionterlebih dahulu untuk memastikan skemanya kompatibel dengan tabel berpartisi. Fitur penyematan otomatis mendukung penambahan atau pemasangan partisi di tingkat mana pun dalam penyiapan partisi hierarkis. Prosedurai.embedding_prepare_partitionmemastikan skema kompatibel dengan tabel induk mana pun dalam hierarki.
Untuk melampirkan tabel yang ada sebagai partisi, gunakan prosedur ai.embedding_prepare_partition terlebih dahulu untuk memastikan skemanya kompatibel dengan tabel berpartisi:
-- Prepare the table to be attached
CALL ai.embedding_prepare_partition(
parent_table => 'documents',
child_table => 'documents_misc'
);
-- Attach the partition
ALTER TABLE documents ATTACH partition documents_misc DEFAULT;
-- Refresh embeddings for the newly attached partition
CALL ai.refresh_embeddings(
table_name => 'documents_misc',
embedding_column => 'content_embeddings'
);
Fitur penyematan otomatis mendukung penambahan atau pemasangan partisi di tingkat mana pun dalam penyiapan partisi hierarkis. Prosedur ai.embedding_prepare_partition memastikan skema kompatibel dengan tabel induk mana pun dalam hierarki:
-- Prepare a sub-partition for a non-root parent table
CALL ai.embedding_prepare_partition(
parent_table => 'documents_eu', -- An existing partition
child_table => 'documents_eu_germany'
);
-- Attach the new sub-partition
ALTER TABLE documents_eu ATTACH PARTITION documents_eu_germany
FOR VALUES IN ('germany');
-- Refresh embeddings for the new sub-partition
CALL ai.refresh_embeddings(
table_name => 'documents_eu_germany',
embedding_column => 'content_embeddings'
);
Memantau progres pembuatan embedding
Anda dapat memantau status real-time panggilan initialize_embeddings dan refresh_embeddings yang aktif dengan mengkueri ai.embedding_progress_view. Tampilan ini memberikan detail tentang progres operasi, termasuk persentase penyelesaian, waktu yang telah berlalu, dan perkiraan waktu yang tersisa.
Untuk memeriksa progresnya, jalankan kueri berikut:
SELECT
table_name,
content_column,
embedding_column,
model_id,
percent_progress,
status,
elapsed_time,
rows_processed,
partition_root
FROM
ai.embedding_progress_view;
Tampilan ini memberikan informasi berikut:
| Kolom | Deskripsi |
|---|---|
table_name |
Nama tabel atau partisi yang sedang diproses. |
content_column |
Kolom yang berisi konten sumber untuk embedding. |
embedding_column |
Kolom tempat embedding disimpan. |
model_id |
Model yang digunakan untuk pembuatan. |
percent_progress |
Persentase operasi yang telah selesai. |
status |
Status operasi saat ini (misalnya, berjalan, berhasil). |
elapsed_time |
Waktu yang telah berlalu sejak operasi dimulai. |
rows_processed |
Jumlah baris yang diproses sejauh ini. |
partition_root |
Nama tabel berpartisi root. |
Contoh untuk membuat embedding dalam mode otomatis
Bagian ini memberikan contoh untuk membuat embedding secara otomatis menggunakan endpoint model yang telah terdaftar atau terdaftar.
Model embedding Google
Untuk membuat embedding menggunakan endpoint model text-embedding-005 Google yang telah didaftarkan sebelumnya, jalankan pernyataan berikut:
CALL ai.initialize_embeddings(
model_id => 'text-embedding-005',
table_name => 'user_reviews',
content_column => 'content',
embedding_column => 'content_embeddings'
);
Model embedding OpenAI
Untuk membuat embedding menggunakan endpoint model text-embedding-3-small terdaftar yang disediakan oleh OpenAI, jalankan pernyataan berikut:
CALL ai.initialize_embeddings(
model_id => 'text-embedding-3-small',
table_name => 'user_reviews',
content_column => 'content',
embedding_column => 'content_embeddings'
);
Model embedding kustom
Untuk menggunakan model kustom Anda sendiri atau model yang didukung secara eksternal, Anda harus menentukan
fungsi transformasi input dan output serta mendaftarkannya dengan ai.create_model atau
google_ml.create_model. Jika Anda berencana menggunakan fitur embedding otomatis, Anda harus menentukan fungsi transformasi skalar—misalnya, acme_text_input_transform, acme_text_output_transform—dan fungsi transformasi batch—misalnya, acme_text_batch_input_transform, acme_text_batch_output_transform.
Untuk mengetahui informasi selengkapnya tentang cara mendaftarkan model kustom dan menentukan fungsi transformasi, lihat Model embedding teks yang dihosting kustom.
Langkah berikutnya
- Daftarkan dan panggil model AI jarak jauh menggunakan pengelolaan endpoint model.
- Menjalankan penelusuran kemiripan vektor.
- Pelajari cara membuat asisten belanja cerdas dengan AlloyDB, pgvector, dan pengelolaan endpoint model.
- Membuat indeks ScaNN.
- Melakukan penelusuran vektor.