Halaman ini menjelaskan cara membuat prediksi ML menggunakan emulator Spanner untuk database dialek GoogleSQL dan database dialek PostgreSQL.
Integrasi Spanner Agent Platform dapat digunakan dengan emulator Spanner untuk membuat prediksi menggunakan fungsi prediksi ML GoogleSQL atau PostgreSQL. Emulator adalah biner yang meniru server Spanner, dan juga dapat digunakan dalam pengujian unit dan integrasi. Anda dapat menggunakan emulator sebagai project open source atau secara lokal menggunakan Google Cloud CLI. Untuk mempelajari lebih lanjut tentang fungsi prediksi ML, lihat Bagaimana cara kerja integrasi Spanner Agent Platform ?.
Anda dapat menggunakan model apa pun dengan emulator untuk membuat prediksi. Anda juga dapat menggunakan model dari Vertex AI Model Garden atau model yang di-deploy ke endpoint Vertex AI. Karena emulator tidak terhubung ke Vertex AI, emulator tidak dapat memverifikasi model atau skemanya untuk model apa pun yang digunakan dari Vertex AI Model Garden atau di-deploy ke endpoint Vertex AI.
Secara default, saat Anda menggunakan fungsi prediksi dengan emulator, fungsi tersebut akan menghasilkan nilai acak berdasarkan input model dan skema output model yang disediakan. Anda dapat menggunakan fungsi callback untuk mengubah input dan output model, serta membuat hasil prediksi berdasarkan perilaku tertentu.
Sebelum memulai
Selesaikan langkah-langkah berikut sebelum Anda menggunakan emulator Spanner untuk membuat prediksi ML.
Menginstal emulator Spanner
Anda dapat menginstal emulator secara lokal atau menyiapkan emulator menggunakan repositori GitHub.
Memilih model
Saat menggunakan fungsi ML.PREDICT (untuk GoogleSQL) atau ML_PREDICT_ROW (untuk PostgreSQL), Anda harus menentukan lokasi model ML. Anda dapat menggunakan model terlatih apa pun. Jika Anda memilih model yang
berjalan di Vertex AI Model Garden atau model yang
di-deploy ke endpoint Vertex AI,
Anda harus memberikan nilai input dan output untuk model ini.
Untuk mempelajari integrasi Spanner Agent Platform lebih lanjut, lihat Bagaimana cara kerja integrasi Spanner Agent Platform?.
Membuat prediksi
Anda dapat menggunakan emulator untuk membuat prediksi menggunakan fungsi prediksi ML Spanner.
Perilaku default
Anda dapat menggunakan model apa pun yang di-deploy ke endpoint dengan emulator Spanner untuk membuat prediksi. Contoh berikut menggunakan model bernama FraudDetection untuk menghasilkan hasil.
GoogleSQL
Untuk mempelajari lebih lanjut cara menggunakan fungsi ML.PREDICT untuk membuat
prediksi, lihat Membuat prediksi ML menggunakan SQL.
Mendaftarkan model
Sebelum dapat menggunakan model dengan fungsi
ML.PREDICT, Anda harus mendaftarkan model menggunakan pernyataan
CREATE MODEL
dan memberikan nilai input dan output:
CREATE MODEL FraudDetection
INPUT (Amount INT64, Name STRING(MAX))
OUTPUT (Outcome BOOL)
REMOTE OPTIONS (
endpoint = '//aiplatform.googleapis.com/projects/PROJECT_ID/locations/REGION_ID/endpoints/ENDPOINT_ID'
);
Ganti kode berikut:
PROJECT_ID: ID project tempat model berada Google CloudREGION_ID: ID Google Cloud region tempat model berada—misalnya,us-central1ENDPOINT_ID: ID endpoint model
Menjalankan prediksi
Gunakan fungsi GoogleSQL
ML.PREDICT
untuk membuat prediksi.
SELECT Outcome
FROM ML.PREDICT(
MODEL FraudDetection,
(SELECT 1000 AS Amount, "John Smith" AS Name))
Output yang diharapkan dari kueri ini adalah TRUE.
PostgreSQL
Untuk mempelajari lebih lanjut cara menggunakan fungsi spanner.ML_PREDICT_ROW untuk
membuat prediksi, lihat Membuat prediksi ML menggunakan SQL.
Menjalankan prediksi
Gunakan fungsi PostgreSQL spanner.ML_PREDICT_ROW untuk membuat prediksi.
SELECT (spanner.ml_predict_row(
'projects/`MODEL_ID`/locations/`REGION_ID`/endpoints/`ENDPOINT_ID`',
'{"instances": [{"Amount": "1000", "Name": "John Smith"}]}'
)->'predictions'->0->'Outcome')::boolean
Ganti kode berikut:
PROJECT_ID: ID project tempat model berada Google CloudREGION_ID: ID Google Cloud region tempat model berada—misalnya,us-central1ENDPOINT_ID: ID endpoint model
Output yang diharapkan dari kueri ini adalah TRUE.
Callback Kustom
Anda dapat menggunakan fungsi callback kustom untuk menerapkan perilaku model yang dipilih, dan untuk mengubah input model tertentu menjadi output. Contoh berikut menggunakan model gemini-pro dari Vertex AI Model Garden dan emulator Spanner untuk membuat prediksi menggunakan callback kustom.
Saat menggunakan callback kustom untuk model, Anda harus membuat fork repositori emulator Spanner, lalu mem-build dan men-deploy-nya. Untuk mengetahui informasi selengkapnya tentang cara mem build dan men-deploy emulator Spanner, lihat Panduan memulai emulator Spanner.
GoogleSQL
Mendaftarkan model
Sebelum dapat menggunakan model dengan ML.PREDICT fungsi, Anda harus mendaftarkan model menggunakan CREATE MODEL pernyataan:
CREATE MODEL GeminiPro
INPUT (prompt STRING(MAX))
OUTPUT (content STRING(MAX))
REMOTE OPTIONS (
endpoint = '//aiplatform.googleapis.com/projects/PROJECT_ID/locations/REGION_ID/publishers/google/models/gemini-pro',
default_batch_size = 1
);
Karena emulator tidak terhubung ke Vertex AI, Anda harus memberikan nilai input dan output.
Ganti kode berikut:
PROJECT_ID: ID project tempat model berada Google CloudREGION_ID: ID Google Cloud region tempat model berada—misalnya,us-central1
Callback
Gunakan callback untuk menambahkan logika kustom ke model GeminiPro.
absl::Status ModelEvaluator::Predict(
const googlesql::Model* model,
const CaseInsensitiveStringMap<const ModelColumn>& model_inputs,
CaseInsensitiveStringMap<ModelColumn>& model_outputs) {
// Custom logic for GeminiPro.
if (model->Name() == "GeminiPro") {
RET_CHECK(model_inputs.contains("prompt"));
RET_CHECK(model_inputs.find("prompt")->second.value->type()->IsString());
RET_CHECK(model_outputs.contains("content"));
std::string content;
// Process prompts used in tests.
int64_t number;
static LazyRE2 is_prime_prompt = {R"(Is (\d+) a prime number\?)"};
if (RE2::FullMatch(
model_inputs.find("prompt")->second.value->string_value(),
*is_prime_prompt, &number)) {
content = IsPrime(number) ? "Yes" : "No";
} else {
// Default response.
content = "Sorry, I don't understand";
}
*model_outputs["content"].value = googlesql::values::String(content);
return absl::OkStatus();
}
// Custom model prediction logic can be added here.
return DefaultPredict(model, model_inputs, model_outputs);
}
Menjalankan prediksi
Gunakan fungsi GoogleSQL
ML.PREDICT
untuk membuat prediksi.
SELECT content
FROM ML.PREDICT(MODEL GeminiPro, (SELECT "Is 7 a prime number?" AS prompt))
Output yang diharapkan dari kueri ini adalah "YES".
PostgreSQL
Gunakan fungsi PostgreSQL spanner.ML_PREDICT_ROW untuk membuat prediksi.
Callback
Gunakan callback untuk menambahkan logika kustom ke model GeminiPro.
absl::Status ModelEvaluator::PgPredict(
absl::string_view endpoint, const googlesql::JSONValueConstRef& instance,
const googlesql::JSONValueConstRef& parameters,
lesql::JSONValueRef prediction) {
if (endpoint.ends_with("publishers/google/models/gemini-pro")) {
RET_CHECK(instance.IsObject());
RET_CHECK(instance.HasMember("prompt"));
std::string content;
// Process prompts used in tests.
int64_t number;
static LazyRE2 is_prime_prompt = {R"(Is (\d+) a prime number\?)"};
if (RE2::FullMatch(instance.GetMember("prompt").GetString(),
*is_prime_prompt, &number)) {
content = IsPrime(number) ? "Yes" : "No";
} else {
// Default response.
content = "Sorry, I don't understand";
}
prediction.SetToEmptyObject();
prediction.GetMember("content").SetString(content);
return absl::OkStatus();
}
// Custom model prediction logic can be added here.
return DefaultPgPredict(endpoint, instance, parameters, prediction);
}
Menjalankan prediksi
SELECT (spanner.ml_predict_row(
'projects/`PROJECT_ID`/locations/`REGION_ID`/publishers/google/models/gemini-pro',
'{"instances": [{"prompt": "Is 7 a prime number?"}]}'
)->'predictions'->0->'content')::text
Ganti kode berikut:
PROJECT_ID: ID project tempat model berada Google CloudREGION_ID: ID Google Cloud region tempat model berada—misalnya,us-central1
Output yang diharapkan dari kueri ini adalah "YES".