Tutorial ini menunjukkan cara men-deploy cluster database vektor Weaviate di Google Kubernetes Engine (GKE).
Weaviate adalah database vektor open source dengan performa latensi rendah dan dukungan dasar untuk berbagai jenis media seperti teks dan gambar. Model ini mendukung penelusuran semantik, tanya jawab, dan klasifikasi. Weaviate sepenuhnya dibangun di Go dan menyimpan objek serta vektor, sehingga memungkinkan penggunaan penelusuran vektor, penelusuran kata kunci, dan kombinasi keduanya sebagai penelusuran campuran. Dari perspektif infrastruktur, Weaviate adalah database berbasis cloud dan toleran terhadap kesalahan. Fault tolerance diberikan oleh arsitektur tanpa pemimpin di mana setiap node cluster database dapat melayani permintaan baca dan tulis yang pada gilirannya mengecualikan satu titik kegagalan.
Tutorial ini ditujukan untuk administrator dan arsitek platform cloud, engineer ML, dan profesional MLOps (DevOps) yang tertarik untuk men-deploy cluster database vektor di GKE.
Manfaat
Weaviate menawarkan manfaat berikut:
- Library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
- Penskalaan horizontal.
- Keseimbangan antara efektivitas biaya dan kecepatan kueri, terutama saat menangani set data besar. Anda dapat memilih jumlah data yang disimpan dalam memori dibandingkan di disk.
Tujuan
Dalam tutorial ini, Anda akan mempelajari cara:
- Merencanakan dan men-deploy infrastruktur GKE untuk Weaviate.
- Deploy dan konfigurasi database Weaviate di cluster GKE.
- Jalankan Notebook untuk membuat dan menyimpan contoh embedding vektor dalam database Anda, serta jalankan kueri penelusuran berbasis vektor.
Menyiapkan lingkungan Anda
Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:
Tetapkan variabel lingkungan untuk project, region, dan awalan resource cluster Kubernetes Anda:
export PROJECT_ID=PROJECT_ID export KUBERNETES_CLUSTER_PREFIX=weaviate export REGION=us-central1
Ganti
PROJECT_ID
dengan project ID Google Cloud Anda.Tutorial ini menggunakan region
us-central1
untuk membuat resource deployment Anda.Periksa versi Helm:
helm version
Update versi jika lebih lama dari 3.13:
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
Clone repositori kode contoh dari GitHub:
git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
Buka direktori
weaviate
:cd kubernetes-engine-samples/databases/weaviate
Membuat infrastruktur cluster
Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat cluster GKE regional pribadi yang sangat tersedia untuk men-deploy database Weaviate Anda.
Anda dapat memilih untuk men-deploy Weaviate menggunakan cluster Standard atau Autopilot. Setiap jenis memiliki kelebihan dan model penetapan harga yang berbeda.
Autopilot
Diagram berikut menunjukkan cluster GKE Autopilot yang di-deploy di project.
Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
GKE mengganti variabel berikut saat runtime:
GOOGLE_OAUTH_ACCESS_TOKEN
menggunakan perintahgcloud auth print-access-token
untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud APIPROJECT_ID
,REGION
, danKUBERNETES_CLUSTER_PREFIX
adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.
Saat diminta, ketik yes
.
Outputnya mirip dengan hal berikut ini:
...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
Outputs:
kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"
Terraform membuat resource berikut:
- Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
- Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
- Cluster GKE pribadi di region
us-central1
. ServiceAccount
dengan izin logging dan pemantauan untuk cluster.- Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.
Standar
Diagram berikut menunjukkan cluster GKE regional pribadi Standard yang di-deploy ke tiga zona berbeda.
Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
GKE mengganti variabel berikut saat runtime:
GOOGLE_OAUTH_ACCESS_TOKEN
menggunakan perintahgcloud auth print-access-token
untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API.PROJECT_ID
,REGION
, danKUBERNETES_CLUSTER_PREFIX
adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Standar yang Anda buat.
Saat diminta, ketik yes
. Anda mungkin perlu menunggu beberapa menit agar perintah ini selesai
dan cluster akan menampilkan status siap.
Outputnya mirip dengan hal berikut ini:
...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.
Outputs:
kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"
Terraform membuat resource berikut:
- Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
- Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
- Cluster GKE pribadi di region
us-central1
dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona). ServiceAccount
dengan izin logging dan pemantauan untuk cluster.- Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.
Hubungkan ke cluster
Konfigurasi kubectl
untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:
gcloud container clusters get-credentials \
${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${REGION}
Deploy database Weaviate ke cluster Anda
Untuk menggunakan chart Helm guna men-deploy database Weaviate ke cluster GKE Anda, ikuti langkah-langkah berikut:
Tambahkan repositori Helm Chart database Weaviate sebelum Anda dapat men-deploy-nya di cluster GKE:
helm repo add weaviate https://weaviate.github.io/weaviate-helm
Buat namespace
weaviate
untuk database:kubectl create ns weaviate
Buat secret untuk menyimpan kunci API:
kubectl create secret generic apikeys --from-literal=AUTHENTICATION_APIKEY_ALLOWED_KEYS=$(openssl rand -base64 32) -n weaviate
Deploy load balancer internal untuk mengakses Weaviate dari dalam jaringan virtual:
kubectl apply -n weaviate -f manifests/05-ilb/ilb.yaml
Manifes
ilb.yaml
menjelaskan layanan load balancer:Terapkan manifes untuk men-deploy cluster Weaviate:
helm upgrade --install "weaviate" weaviate/weaviate \ --namespace "weaviate" \ --values ./manifests/01-basic-cluster/weaviate_cluster.yaml
Manifes
weaviate_cluster.yaml
menjelaskan Deployment. Deployment adalah objek Kubernetes API yang memungkinkan Anda menjalankan beberapa replika Pod yang didistribusikan di antara node dalam cluster.:Tunggu beberapa menit hingga cluster Weaviate dimulai sepenuhnya.
Periksa status Deployment:
kubectl get weaviate -n weaviate --watch
Outputnya akan mirip dengan berikut ini, jika database
weaviate
berhasil di-deploy:NAME: weaviate LAST DEPLOYED: Tue Jun 18 13:15:53 2024 NAMESPACE: weaviate STATUS: deployed REVISION: 1 TEST SUITE: None
Tunggu hingga Kubernetes memulai resource:
kubectl wait pods -l app.kubernetes.io/name=weaviate --for condition=Ready --timeout=300s -n weaviate
Menjalankan kueri dengan notebook Colab Enterprise Vertex AI
Bagian ini menjelaskan cara terhubung ke database Weaviate menggunakan Colab Enterprise.
Anda dapat menggunakan template runtime khusus untuk men-deploy ke weaviate-vpc
, sehingga notebook dapat berkomunikasi dengan resource di cluster GKE.
Untuk mengetahui informasi selengkapnya tentang Vertex AI Colab Enterprise, lihat dokumentasi Colab Enterprise.
Membuat template runtime
Untuk membuat template runtime Colab Enterprise:
Di konsol Google Cloud , buka halaman Runtime Templates Colab Enterprise, lalu pastikan project Anda dipilih:
Klik add_box Template Baru. Halaman Create new runtime template akan muncul.
Di bagian Dasar-dasar runtime:
- Di kolom Nama tampilan, masukkan
weaviate-connect
. - Di menu drop-down Region, pilih
us-central1
. Regionnya sama dengan cluster GKE Anda.
- Di kolom Nama tampilan, masukkan
Di bagian Configure compute:
- Di menu drop-down Machine type, pilih
e2-standard-2
. - Di kolom Disk size, masukkan
30
.
- Di menu drop-down Machine type, pilih
Di bagian Networking and security:
- Di menu drop-down Network, pilih jaringan tempat cluster GKE Anda berada.
- Di menu drop-down Subnetwork, pilih subnetwork yang sesuai.
- Hapus centang pada kotak Aktifkan akses internet publik.
Untuk menyelesaikan pembuatan template runtime, klik Buat. Template runtime Anda akan muncul dalam daftar di tab Runtime templates.
Membuat runtime
Untuk membuat runtime Colab Enterprise:
Dalam daftar template runtime untuk template yang baru saja Anda buat, di kolom Tindakan, klik more_vert, lalu klik Buat runtime. Panel Create Vertex AI Runtime akan muncul.
Untuk membuat runtime berdasarkan template Anda, klik Create.
Pada tab Runtimes yang terbuka, tunggu hingga status berubah menjadi Healthy.
Mengimpor notebook
Untuk mengimpor notebook di Colab Enterprise:
Buka tab Notebook Saya, lalu klik Impor. Panel Import notebooks akan muncul.
Di Sumber impor, pilih URL.
Di bagian URL Notebook, masukkan link berikut:
https://raw.githubusercontent.com/GoogleCloudPlatform/kubernetes-engine-samples/main/databases/weaviate/manifests/02-notebook/vector-database.ipynb
Klik Import.
Menghubungkan ke runtime dan menjalankan kueri
Untuk terhubung ke runtime dan menjalankan kueri:
Di notebook, di samping tombol Connect, klik arrow_drop_down Additional connection options. Panel Connect to Vertex AI Runtime akan muncul.
Pilih Connect to a runtime, lalu pilih Connect to an existing Runtime.
Pilih runtime yang Anda luncurkan, lalu klik Connect.
Untuk menjalankan sel notebook, klik tombol
Jalankan sel di samping setiap sel kode.
Notebook berisi sel kode dan teks yang menjelaskan setiap blok kode. Menjalankan sel kode akan mengeksekusi perintahnya dan menampilkan output. Anda dapat menjalankan sel secara berurutan, atau menjalankan setiap sel sesuai kebutuhan.
Melihat metrik Prometheus untuk cluster Anda
Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, dan analisis metrik dari cluster dan aplikasinya.
Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:
Cluster pribadi GKE dalam diagram berisi komponen berikut:
- Pod Weaviate yang mengekspos metrik di jalur
/metrics
dan port2112
. - Pengumpul berbasis Prometheus yang memproses metrik dari Pod Weaviate.
- Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.
Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:
Buat resource
PodMonitoring
untuk meng-scrape metrik menurutlabelSelector
:kubectl apply -n weaviate -f manifests/03-prometheus-metrics/pod-monitoring.yaml
Manifes
pod-monitoring.yaml
menjelaskan resourcePodMonitoring
:Untuk mengimpor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan dalam
dashboard.json
:gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json
Setelah perintah berhasil dijalankan, buka Dasbor Cloud Monitoring:
Dari daftar dasbor, buka dasbor
Weaviate Overview
. Mungkin perlu waktu untuk mengumpulkan dan menampilkan metrik. Dasbor menampilkan jumlah Shard, Vektor, dan latensi operasi