Men-deploy database vektor Weaviate di GKE

Tutorial ini menunjukkan cara men-deploy cluster database vektor Weaviate di Google Kubernetes Engine (GKE).

Weaviate adalah database vektor open source dengan performa latensi rendah dan dukungan dasar untuk berbagai jenis media seperti teks dan gambar. Model ini mendukung penelusuran semantik, tanya jawab, dan klasifikasi. Weaviate sepenuhnya dibangun di Go dan menyimpan objek serta vektor, sehingga memungkinkan penggunaan penelusuran vektor, penelusuran kata kunci, dan kombinasi keduanya sebagai penelusuran campuran. Dari perspektif infrastruktur, Weaviate adalah database berbasis cloud dan toleran terhadap kesalahan. Fault tolerance diberikan oleh arsitektur tanpa pemimpin di mana setiap node cluster database dapat melayani permintaan baca dan tulis yang pada gilirannya mengecualikan satu titik kegagalan.

Tutorial ini ditujukan untuk administrator dan arsitek platform cloud, engineer ML, dan profesional MLOps (DevOps) yang tertarik untuk men-deploy cluster database vektor di GKE.

Manfaat

Weaviate menawarkan manfaat berikut:

  • Library untuk berbagai bahasa pemrograman dan API terbuka untuk berintegrasi dengan layanan lain.
  • Penskalaan horizontal.
  • Keseimbangan antara efektivitas biaya dan kecepatan kueri, terutama saat menangani set data besar. Anda dapat memilih jumlah data yang disimpan dalam memori dibandingkan di disk.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

  • Merencanakan dan men-deploy infrastruktur GKE untuk Weaviate.
  • Deploy dan konfigurasi database Weaviate di cluster GKE.
  • Jalankan Notebook untuk membuat dan menyimpan contoh embedding vektor dalam database Anda, serta jalankan kueri penelusuran berbasis vektor.

Menyiapkan lingkungan Anda

Untuk menyiapkan lingkungan Anda dengan Cloud Shell, ikuti langkah-langkah berikut:

  1. Tetapkan variabel lingkungan untuk project, region, dan awalan resource cluster Kubernetes Anda:

    export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=weaviate
export REGION=us-central1

    Ganti PROJECT_ID dengan project ID Google Cloud Anda.

    Tutorial ini menggunakan region us-central1 untuk membuat resource deployment Anda.

  2. Periksa versi Helm:

    helm version

    Update versi jika lebih lama dari 3.13:

    curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

  3. Clone repositori kode contoh dari GitHub:

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

  4. Buka direktori weaviate:

    cd kubernetes-engine-samples/databases/weaviate

Membuat infrastruktur cluster

Di bagian ini, Anda akan menjalankan skrip Terraform untuk membuat cluster GKE regional pribadi yang sangat tersedia untuk men-deploy database Weaviate Anda.

Anda dapat memilih untuk men-deploy Weaviate menggunakan cluster Standard atau Autopilot. Setiap jenis memiliki kelebihan dan model penetapan harga yang berbeda.

Autopilot

Diagram berikut menunjukkan cluster GKE Autopilot yang di-deploy di project.

Cluster GKE Autopilot

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE mengganti variabel berikut saat runtime:

  • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API
  • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Autopilot yang Anda buat.

Saat diminta, ketik yes.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

  • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
  • Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
  • Cluster GKE pribadi di region us-central1.
  • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
  • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Standar

Diagram berikut menunjukkan cluster GKE regional pribadi Standard yang di-deploy ke tiga zona berbeda.

Cluster GKE Standard

Untuk men-deploy infrastruktur cluster, jalankan perintah berikut di Cloud Shell:

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

GKE mengganti variabel berikut saat runtime:

  • GOOGLE_OAUTH_ACCESS_TOKEN menggunakan perintah gcloud auth print-access-token untuk mengambil token akses yang mengautentikasi interaksi dengan berbagai Google Cloud API.
  • PROJECT_ID, REGION, dan KUBERNETES_CLUSTER_PREFIX adalah variabel lingkungan yang ditentukan di bagian Siapkan lingkungan Anda dan ditetapkan ke variabel baru yang relevan untuk cluster Standar yang Anda buat.

Saat diminta, ketik yes. Anda mungkin perlu menunggu beberapa menit agar perintah ini selesai dan cluster akan menampilkan status siap.

Outputnya mirip dengan hal berikut ini:

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials weaviate-cluster --region us-central1"

Terraform membuat resource berikut:

  • Jaringan VPC kustom dan subnet pribadi untuk node Kubernetes.
  • Cloud Router untuk mengakses internet melalui Network Address Translation (NAT).
  • Cluster GKE pribadi di region us-central1 dengan penskalaan otomatis diaktifkan (satu hingga dua node per zona).
  • ServiceAccount dengan izin logging dan pemantauan untuk cluster.
  • Konfigurasi Google Cloud Managed Service for Prometheus untuk pemantauan dan pemberitahuan cluster.

Hubungkan ke cluster

Konfigurasi kubectl untuk mengambil kredensial dan berkomunikasi dengan cluster GKE baru Anda:

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${REGION}

Deploy database Weaviate ke cluster Anda

Untuk menggunakan chart Helm guna men-deploy database Weaviate ke cluster GKE Anda, ikuti langkah-langkah berikut:

  1. Tambahkan repositori Helm Chart database Weaviate sebelum Anda dapat men-deploy-nya di cluster GKE:

    helm repo add weaviate https://weaviate.github.io/weaviate-helm

  2. Buat namespace weaviate untuk database:

    kubectl create ns weaviate

  3. Buat secret untuk menyimpan kunci API:

    kubectl create secret generic apikeys --from-literal=AUTHENTICATION_APIKEY_ALLOWED_KEYS=$(openssl rand -base64 32) -n weaviate

  4. Deploy load balancer internal untuk mengakses Weaviate dari dalam jaringan virtual:

    kubectl apply -n weaviate -f manifests/05-ilb/ilb.yaml

    Manifes ilb.yaml menjelaskan layanan load balancer:

    apiVersion: v1
kind: Service
metadata:
  annotations:
    #cloud.google.com/neg: '{"ingress": true}'
    networking.gke.io/load-balancer-type: "Internal"
  labels:
    app.kubernetes.io/name: weaviate
  name: weaviate-ilb
spec:
  ports:
  - name: http
    port: 8080
    protocol: TCP
    targetPort: 8080
  - name: grpc
    port: 50051
    protocol: TCP
    targetPort: 50051
  selector:
    app: weaviate
  type: LoadBalancer

  5. Terapkan manifes untuk men-deploy cluster Weaviate:

    helm upgrade --install "weaviate" weaviate/weaviate \
--namespace "weaviate" \
--values ./manifests/01-basic-cluster/weaviate_cluster.yaml

    Manifes weaviate_cluster.yaml menjelaskan Deployment. Deployment adalah objek Kubernetes API yang memungkinkan Anda menjalankan beberapa replika Pod yang didistribusikan di antara node dalam cluster.:

    initContainers:
  sysctlInitContainer:
    enabled: false
  extraInitContainers: {}
resources: 
   requests:
     cpu: '1'
     memory: '4Gi'
   limits:
     cpu: '2'
     memory: '4Gi'
replicas: 3
storage:
  size: 10Gi
  storageClassName: "premium-rwo"
service:
  name: weaviate
  ports:
    - name: http
      protocol: TCP
      port: 80
  type: ClusterIP
grpcService:
  enabled: true
  name: weaviate-grpc
  ports:
    - name: grpc
      protocol: TCP
      port: 50051
  type: ClusterIP
authentication:
  anonymous_access:
    enabled: false
authorization:
  admin_list:
    enabled: true
    users:
      - admin@example.com
modules:
  text2vec-palm:
    enabled: true
env:
  AUTHENTICATION_APIKEY_ENABLED: 'true'
  AUTHENTICATION_APIKEY_USERS: 'admin@example.com'
  PROMETHEUS_MONITORING_ENABLED: true
envSecrets:
  AUTHENTICATION_APIKEY_ALLOWED_KEYS: apikeys
tolerations:
  - key: "app.stateful/component"
    operator: "Equal"
    value: "weaviate"
    effect: NoSchedule

    Tunggu beberapa menit hingga cluster Weaviate dimulai sepenuhnya.

  6. Periksa status Deployment:

    kubectl get weaviate -n weaviate --watch

    Outputnya akan mirip dengan berikut ini, jika database weaviate berhasil di-deploy:

    NAME: weaviate
LAST DEPLOYED: Tue Jun 18 13:15:53 2024
NAMESPACE: weaviate
STATUS: deployed
REVISION: 1
TEST SUITE: None

  7. Tunggu hingga Kubernetes memulai resource:

    kubectl wait pods -l app.kubernetes.io/name=weaviate --for condition=Ready --timeout=300s -n weaviate

Menjalankan kueri dengan notebook Colab Enterprise Vertex AI

Bagian ini menjelaskan cara terhubung ke database Weaviate menggunakan Colab Enterprise. Anda dapat menggunakan template runtime khusus untuk men-deploy ke weaviate-vpc, sehingga notebook dapat berkomunikasi dengan resource di cluster GKE.

Untuk mengetahui informasi selengkapnya tentang Vertex AI Colab Enterprise, lihat dokumentasi Colab Enterprise.

Membuat template runtime

Untuk membuat template runtime Colab Enterprise:

  1. Di konsol Google Cloud , buka halaman Runtime Templates Colab Enterprise, lalu pastikan project Anda dipilih:

    Buka Template Runtime

  2. Klik Template Baru. Halaman Create new runtime template akan muncul.

  3. Di bagian Dasar-dasar runtime:

    • Di kolom Nama tampilan, masukkan weaviate-connect.
    • Di menu drop-down Region, pilih us-central1. Regionnya sama dengan cluster GKE Anda.

  4. Di bagian Configure compute:

    • Di menu drop-down Machine type, pilih e2-standard-2.
    • Di kolom Disk size, masukkan 30.

  5. Di bagian Networking and security:

    • Di menu drop-down Network, pilih jaringan tempat cluster GKE Anda berada.
    • Di menu drop-down Subnetwork, pilih subnetwork yang sesuai.
    • Hapus centang pada kotak Aktifkan akses internet publik.

  6. Untuk menyelesaikan pembuatan template runtime, klik Buat. Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

Membuat runtime

Untuk membuat runtime Colab Enterprise:

  1. Dalam daftar template runtime untuk template yang baru saja Anda buat, di kolom Tindakan, klik , lalu klik Buat runtime. Panel Create Vertex AI Runtime akan muncul.

  2. Untuk membuat runtime berdasarkan template Anda, klik Create.

  3. Pada tab Runtimes yang terbuka, tunggu hingga status berubah menjadi Healthy.

Mengimpor notebook

Untuk mengimpor notebook di Colab Enterprise:

  1. Buka tab Notebook Saya, lalu klik Impor. Panel Import notebooks akan muncul.

  2. Di Sumber impor, pilih URL.

  3. Di bagian URL Notebook, masukkan link berikut:

    https://raw.githubusercontent.com/GoogleCloudPlatform/kubernetes-engine-samples/main/databases/weaviate/manifests/02-notebook/vector-database.ipynb

  4. Klik Import.

Menghubungkan ke runtime dan menjalankan kueri

Untuk terhubung ke runtime dan menjalankan kueri:

  1. Di notebook, di samping tombol Connect, klik Additional connection options. Panel Connect to Vertex AI Runtime akan muncul.

  2. Pilih Connect to a runtime, lalu pilih Connect to an existing Runtime.

  3. Pilih runtime yang Anda luncurkan, lalu klik Connect.

  4. Untuk menjalankan sel notebook, klik tombol Jalankan sel di samping setiap sel kode.

Notebook berisi sel kode dan teks yang menjelaskan setiap blok kode. Menjalankan sel kode akan mengeksekusi perintahnya dan menampilkan output. Anda dapat menjalankan sel secara berurutan, atau menjalankan setiap sel sesuai kebutuhan.

Melihat metrik Prometheus untuk cluster Anda

Cluster GKE dikonfigurasi dengan Google Cloud Managed Service for Prometheus, yang memungkinkan pengumpulan metrik dalam format Prometheus. Layanan ini menyediakan solusi terkelola sepenuhnya untuk pemantauan dan pemberitahuan, yang memungkinkan pengumpulan, penyimpanan, dan analisis metrik dari cluster dan aplikasinya.

Diagram berikut menunjukkan cara Prometheus mengumpulkan metrik untuk cluster Anda:

Pengumpulan metrik Prometheus

Cluster pribadi GKE dalam diagram berisi komponen berikut:

  • Pod Weaviate yang mengekspos metrik di jalur /metrics dan port 2112.
  • Pengumpul berbasis Prometheus yang memproses metrik dari Pod Weaviate.
  • Resource PodMonitoring yang mengirim metrik ke Cloud Monitoring.

Untuk mengekspor dan melihat metrik, ikuti langkah-langkah berikut:

  1. Buat resource PodMonitoring untuk meng-scrape metrik menurut labelSelector:

    kubectl apply -n weaviate -f manifests/03-prometheus-metrics/pod-monitoring.yaml

    Manifes pod-monitoring.yaml menjelaskan resource PodMonitoring:

    apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: weaviate
spec:
  selector:
    matchLabels:
      app: weaviate
  endpoints:
  - port: 2112
    interval: 30s
    path: /metrics

  2. Untuk mengimpor dasbor Cloud Monitoring kustom dengan konfigurasi yang ditentukan dalam dashboard.json:

    gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json

  3. Setelah perintah berhasil dijalankan, buka Dasbor Cloud Monitoring:

    Buka Ringkasan dasbor

  4. Dari daftar dasbor, buka dasbor Weaviate Overview. Mungkin perlu waktu untuk mengumpulkan dan menampilkan metrik. Dasbor menampilkan jumlah Shard, Vektor, dan latensi operasi