Halaman ini memberikan ringkasan integrasi Spanner Agent Platform. Integrasi Spanner Agent Platform berfungsi dengan database GoogleSQL dan PostgreSQL.
Integrasi Spanner Agent Platform membantu Anda mengakses model ML klasifikasi dan regresi yang dihosting di Vertex AI melalui antarmuka GoogleSQL dan PostgreSQL. Hal ini membantu mengintegrasikan fungsi penyaluran prediksi ML secara lancar dengan operasi akses data Spanner umum yang dilakukan menggunakan kueri DQL/DML.
Manfaat integrasi Spanner Agent Platform
Membuat prediksi ML menggunakan integrasi Spanner Agent Platform memberikan beberapa manfaat dibandingkan dengan pendekatan saat akses data Spanner dan akses ke endpoint prediksi Vertex AI dilakukan secara terpisah:
- Performa:
- Latensi yang lebih baik: Integrasi Spanner Agent Platform yang berkomunikasi langsung dengan layanan Vertex AI akan menghilangkan perjalanan pulang pergi tambahan antara node komputasi yang menjalankan klien Spanner dan layanan Vertex AI.
- Throughput/paralelisme yang lebih baik: Integrasi Spanner Agent Platform berjalan di atas infrastruktur pemrosesan kueri terdistribusi Spanner, yang mendukung eksekusi kueri yang sangat paralel.
- Pengalaman pengguna:
- Kemampuan untuk menggunakan satu antarmuka SQL yang sederhana, koheren, dan familiar untuk memfasilitasi skenario transformasi data dan penyaluran ML pada tingkat skala Spanner menurunkan hambatan masuk ML dan memungkinkan pengalaman pengguna yang jauh lebih lancar.
- Biaya:
- Integrasi Spanner Agent Platform menggunakan kapasitas komputasi Spanner untuk menggabungkan hasil komputasi ML dan eksekusi kueri SQL, yang menghilangkan kebutuhan untuk menyediakan komputasi tambahan (misalnya, di Compute Engine atau Google Kubernetes Engine) untuk hal tersebut.
Bagaimana cara kerja integrasi Spanner Agent Platform?
Integrasi Spanner Agent Platform tidak menghosting model ML, tetapi mengandalkan infrastruktur layanan Vertex AI. Anda tidak perlu melatih model menggunakan Vertex AI untuk menggunakannya dengan integrasi Spanner Agent Platform, tetapi Anda harus men-deploy-nya ke endpoint Vertex AI.
Untuk melatih model pada data yang disimpan di Spanner, Anda dapat menggunakan hal berikut:
Kueri gabungan BigQuery bersama dengan BigQuery ML.
Dataflow untuk mengekspor data dari Spanner ke format CSV dan mengimpor sumber data CSV ke Vertex AI.
Integrasi Spanner Agent Platform memperluas fungsi berikut untuk menggunakan model ML:
Membuat prediksi ML dengan memanggil model menggunakan SQL pada data Spanner Anda. Anda dapat menggunakan model dari Vertex AI Model Garden atau model yang di-deploy ke endpoint Vertex AIAnda.
Membuat embedding teks agar LLM menerjemahkan perintah teks menjadi angka. Untuk mempelajari embedding lebih lanjut, lihat Mendapatkan embedding teks.
Menggunakan fungsi integrasi Spanner Agent Platform
Model dalam integrasi Spanner Agent Platform dapat digunakan untuk membuat prediksi atau embedding teks dalam kode SQL Anda menggunakan fungsi ML Predict. Fungsi ini adalah sebagai berikut:
GoogleSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk GoogleSQL:
Anda harus mendaftarkan model menggunakan pernyataan DDL CREATE MODEL
sebelum menggunakannya dengan fungsi ML.PREDICT.
Anda juga dapat menggunakan SAFE.ML.PREDICT untuk menampilkan null dan bukan error dalam prediksi Anda. Hal ini berguna jika menjalankan kueri besar yang dapat mentolerir beberapa prediksi yang gagal.
PostgreSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk PostgreSQL:
Untuk menggunakan fungsi ini, Anda dapat memilih model dari Vertex AI Model Garden atau menggunakan model yang telah Anda deploy ke Vertex AI.
Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint di Vertex AI, lihat Men-deploy model ke endpoint.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat prediksi ML, lihat Membuat prediksi ML menggunakan SQL.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat embedding teks, lihat Mendapatkan embedding teks.
Harga
Tidak ada biaya tambahan dari Spanner saat Anda menggunakannya dengan integrasi Spanner Agent Platform. Namun, ada potensi biaya lain yang terkait dengan fitur ini:
Anda membayar tarif standar untuk prediksi online Vertex AI. Total biaya bergantung pada jenis model yang Anda gunakan. Beberapa jenis model memiliki tarif tetap per jam, bergantung pada jenis mesin dan jumlah node yang Anda gunakan. Beberapa jenis model memiliki tarif per panggilan. Sebaiknya deploy model yang terakhir dalam project khusus tempat Anda menetapkan kuota prediksi eksplisit.
Anda membayar tarif standar untuk transfer data antara Spanner dan Vertex AI. Total biaya bergantung pada region yang menghosting server yang menjalankan kueri dan region yang menghosting endpoint yang dipanggil. Untuk meminimalkan biaya, deploy endpoint Vertex AI Anda di region yang sama dengan instance Spanner Anda. Saat menggunakan konfigurasi instance multi-region atau beberapa endpoint Vertex AI, deploy endpoint Anda di benua yang sama.
SLA
Karena ketersediaan prediksi online Vertex AI lebih rendah, Anda harus mengonfigurasi model ML Spanner dengan benar untuk mempertahankan ketersediaan tinggi Spanner saat menggunakan integrasi Spanner Agent Platform:
- Model ML Spanner harus menggunakan beberapa endpoint Vertex AI di backend untuk mengaktifkan failover.
- Endpoint Vertex AI harus sesuai dengan SLA Vertex AI.
- Endpoint Vertex AI harus menyediakan kapasitas yang cukup untuk menangani traffic masuk.
- Endpoint Vertex AI harus menggunakan region terpisah yang dekat dengan database Spanner untuk menghindari gangguan regional.
- Endpoint Vertex AI harus menggunakan project terpisah untuk menghindari masalah dengan kuota prediksi per project.
Jumlah endpoint Vertex AI redundan bergantung pada SLA-nya, dan jumlah baris dalam kueri Spanner:
| SLA Spanner | SLA Vertex AI | 1 baris | 10 baris | 100 baris | 1.000 baris |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Endpoint Vertex AI tidak perlu menghosting model yang sama persis. Sebaiknya konfigurasi model ML Spanner agar memiliki model utama, kompleks, dan intensif komputasi sebagai endpoint pertamanya. Endpoint failover berikutnya dapat mengarah ke model yang disederhanakan yang kurang intensif komputasi, dapat diskalakan dengan lebih baik, dan dapat menyerap lonjakan traffic.
Batasan
- Input dan output model harus berupa objek JSON.
Kepatuhan
Assured Workloads tidak mendukung Vertex AI Prediction API. Mengaktifkan batasan penggunaan resource akan menonaktifkan Vertex AI API dan secara efektif menonaktifkan fitur integrasi Spanner Agent Platform.
Selain itu, sebaiknya buat perimeter Kontrol Layanan VPC untuk memastikan database produksi Anda tidak dapat terhubung ke endpoint Vertex AI di project non-produksi yang mungkin tidak memiliki konfigurasi kepatuhan yang tepat.