Halaman ini memberikan ringkasan integrasi Spanner Agent Platform. Integrasi Spanner Agent Platform berfungsi dengan database GoogleSQL dan PostgreSQL.
Integrasi Spanner Agent Platform membantu Anda mengakses model ML klasifikasi dan regresi yang dihosting di Agent Platform melalui antarmuka GoogleSQL dan PostgreSQL. Hal ini membantu mengintegrasikan fungsi penayangan prediksi ML secara lancar dengan operasi akses data Spanner umum yang dilakukan menggunakan kueri DQL/DML.
Manfaat integrasi Spanner Agent Platform
Membuat prediksi ML menggunakan integrasi Spanner Agent Platform memberikan beberapa manfaat dibandingkan dengan pendekatan saat akses data Spanner dan akses ke endpoint prediksi Agent Platform dilakukan secara terpisah:
- Performa:
- Latensi yang lebih baik: Integrasi Spanner Agent Platform yang berkomunikasi langsung dengan layanan Agent Platform akan menghilangkan perjalanan pulang pergi tambahan antara node komputasi yang menjalankan klien Spanner dan layanan Agent Platform.
- Throughput/paralelisme yang lebih baik: Integrasi Spanner Agent Platform berjalan di atas infrastruktur pemrosesan kueri terdistribusi Spanner, yang mendukung eksekusi kueri yang sangat paralel.
- Pengalaman pengguna:
- Kemampuan untuk menggunakan satu antarmuka SQL yang sederhana, koheren, dan familiar untuk memfasilitasi skenario transformasi data dan penayangan ML pada tingkat skala Spanner akan menurunkan hambatan masuk ML dan memungkinkan pengalaman pengguna yang jauh lebih lancar.
- Biaya:
- Integrasi Spanner Agent Platform menggunakan kapasitas komputasi Spanner untuk menggabungkan hasil komputasi ML dan eksekusi kueri SQL, sehingga tidak perlu menyediakan komputasi tambahan (misalnya, di Compute Engine atau Google Kubernetes Engine) untuk hal tersebut.
Bagaimana cara kerja integrasi Spanner Agent Platform?
Integrasi Spanner Agent Platform tidak menghosting model ML, tetapi mengandalkan infrastruktur layanan Agent Platform. Anda tidak perlu melatih model menggunakan Agent Platform untuk menggunakannya dengan integrasi Spanner Agent Platform, tetapi Anda harus men-deploy-nya ke endpoint Agent Platform.
Untuk melatih model pada data yang disimpan di Spanner, Anda dapat menggunakan hal berikut:
Kueri gabungan BigQuery bersama dengan BigQuery ML.
Dataflow untuk mengekspor data dari Spanner ke dalam format CSV dan mengimpor sumber data CSV ke Agent Platform.
Integrasi Spanner Agent Platform memperluas fungsi berikut untuk menggunakan model ML:
Membuat prediksi ML dengan memanggil model menggunakan SQL pada data Spanner Anda. Anda dapat menggunakan model dari Model Garden Agent Platform atau model yang di-deploy ke endpoint Agent Platform Anda.
Membuat embedding teks agar LLM menerjemahkan perintah teks ke dalam angka. Untuk mempelajari embedding lebih lanjut, lihat Mendapatkan embedding teks.
Menggunakan fungsi integrasi Spanner Agent Platform
Model dalam integrasi Spanner Agent Platform dapat digunakan untuk membuat prediksi atau embedding teks dalam kode SQL Anda menggunakan fungsi ML Predict. Fungsi ini adalah sebagai berikut:
GoogleSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk GoogleSQL:
Anda harus mendaftarkan model menggunakan pernyataan DDL CREATE MODEL
sebelum menggunakannya dengan fungsi ML.PREDICT.
Anda juga dapat menggunakan SAFE.ML.PREDICT untuk menampilkan null dan bukan error dalam prediksi Anda. Hal ini berguna jika Anda menjalankan kueri besar yang dapat mentoleransi beberapa prediksi yang gagal.
PostgreSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk PostgreSQL:
Untuk menggunakan fungsi ini, Anda dapat memilih model dari Model Garden Agent Platform atau menggunakan model yang telah Anda deploy ke Agent Platform.
Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint di Agent Platform, lihat Men-deploy model ke endpoint.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat prediksi ML, lihat Membuat prediksi ML menggunakan SQL.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat embedding teks, lihat Mendapatkan embedding teks.
Harga
Tidak ada biaya tambahan dari Spanner saat Anda menggunakannya dengan integrasi Spanner Agent Platform. Namun, ada potensi biaya lain yang terkait dengan fitur ini:
Anda membayar tarif standar untuk prediksi online Agent Platform. Total biaya bergantung pada jenis model yang Anda gunakan. Beberapa jenis model memiliki tarif tetap per jam, bergantung pada jenis mesin dan jumlah node yang Anda gunakan. Beberapa jenis model memiliki tarif per panggilan. Sebaiknya deploy model yang terakhir dalam project khusus tempat Anda menetapkan kuota prediksi eksplisit.
Anda membayar tarif standar untuk transfer data antara Spanner dan Agent Platform. Total biaya bergantung pada region yang menghosting server yang menjalankan kueri dan region yang menghosting endpoint yang dipanggil. Untuk meminimalkan biaya, deploy endpoint Agent Platform Anda di region yang sama dengan instance Spanner Anda. Saat menggunakan konfigurasi instance multiregional atau beberapa endpoint Agent Platform, deploy endpoint Anda di benua yang sama.
SLA
Karena ketersediaan prediksi online Agent Platform lebih rendah, Anda harus mengonfigurasi model ML Spanner dengan benar untuk mempertahankan ketersediaan tinggi Spanner saat menggunakan integrasi Spanner Agent Platform:
- Model ML Spanner harus menggunakan beberapa endpoint Agent Platform di backend untuk mengaktifkan failover.
- Endpoint Agent Platform harus sesuai dengan SLA Agent Platform.
- Endpoint Agent Platform harus menyediakan kapasitas yang cukup untuk menangani traffic masuk.
- Endpoint Agent Platform harus menggunakan region terpisah yang dekat dengan database Spanner untuk menghindari pemadaman layanan regional.
- Endpoint Agent Platform harus menggunakan project terpisah untuk menghindari masalah dengan kuota prediksi per project.
Jumlah endpoint Agent Platform redundan bergantung pada SLA-nya, dan jumlah baris dalam kueri Spanner:
| SLA Spanner | SLA Agent Platform | 1 baris | 10 baris | 100 baris | 1.000 baris |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Endpoint Agent Platform tidak harus menghosting model yang sama persis. Sebaiknya konfigurasi model ML Spanner agar memiliki model utama, kompleks, dan intensif komputasi sebagai endpoint pertamanya. Endpoint failover berikutnya dapat mengarah ke model yang disederhanakan yang tidak terlalu intensif komputasi, dapat diskalakan dengan lebih baik, dan dapat menyerap lonjakan traffic.
Batasan
- Input dan output model harus berupa objek JSON.
Kepatuhan
Assured Workloads tidak mendukung Agent Platform Prediction API. Mengaktifkan batasan penggunaan resource akan menonaktifkan Agent Platform API dan secara efektif fitur integrasi Spanner Agent Platform.
Selain itu, sebaiknya buat perimeter Kontrol Layanan VPC untuk memastikan database produksi Anda tidak dapat terhubung ke endpoint Agent Platform di project non-produksi yang mungkin tidak memiliki konfigurasi kepatuhan yang tepat.