Membuat Cluster GKE dengan Jalur

Anda dapat menggunakan Accelerated Processing Kit (XPK) untuk membuat cluster Google Kubernetes Engine (GKE) yang telah dikonfigurasi sebelumnya untuk workload berbasis Pathway. Anda juga dapat menggunakan gcloud untuk membuat cluster GKE secara manual bagi workload berbasis Pathways

Sebelum memulai

Pastikan Anda memiliki:

Menyiapkan lingkungan lokal Anda

Login dengan Google Cloud kredensial Anda.

gcloud auth application-default login

Tentukan variabel lingkungan berikut dengan nilai yang sesuai untuk beban kerja Anda.

Variabel yang diperlukan

Membuat cluster GKE

Pada contoh berikut, Anda membuat cluster dengan dua node pool v5e 2x4. Anda dapat membuat cluster menggunakan XPK atau perintah gcloud.

XPK

  1. Tetapkan beberapa variabel lingkungan

    CLUSTER_NODEPOOL_COUNT=CLUSTER_NODEPOOL_COUNT
PROJECT=PROJECT_ID
ZONE=ZONE
CLUSTER=GKE_CLUSTER_NAME
TPU_TYPE="v5litepod-8"
PW_CPU_MACHINE_TYPE="n2-standard-64"
NETWORK=NETWORK
SUBNETWORK=SUB_NETWORK

    Ganti kode berikut:

    • CLUSTER_NODEPOOL_COUNT: jumlah maksimum node pool yang dapat digunakan beban kerja
    • PROJECT_ID: nama project Google Cloud Anda
    • ZONE: zona tempat Anda membuat resource
    • CLUSTER: nama cluster GKE
    • TPU_TYPE: jenis TPU. Untuk mengetahui informasi selengkapnya, lihat jenis yang didukung di XPK
    • PW_CPU_MACHINE_TYPE: jenis node CPU untuk pengontrol Pathways
    • NETWORK: [Opsional] tetapkan nama Virtual Private Cloud jika menggunakan XPK. Nama ini harus dibuat sebelum membuat cluster Anda
    • SUBNETWORK: [Opsional] tetapkan nama subnetwork jika menggunakan XPK, subnetwork ini harus dibuat sebelum membuat cluster Anda

  2. Gunakan XPK untuk membuat cluster GKE Pathways. Perintah ini dapat memerlukan waktu beberapa menit untuk menyediakan kapasitas. Setelah selesai, kapasitas Anda akan dialokasikan dan Anda akan mulai dikenai biaya.

    xpk cluster create-pathways \
--num-slices=${CLUSTER_NODEPOOL_COUNT} \
--tpu-type=${TPU_TYPE} \
--pathways-gce-machine-type=${PW_CPU_MACHINE_TYPE} \
--on-demand \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster=${CLUSTER} \
--custom-cluster-arguments="--network=${NETWORK} --subnetwork=${SUBNETWORK} --enable-ip-alias"

Setelah cluster dibuat, Anda dapat membuat dan menghapus workload sesuai kebutuhan. Anda tidak perlu menyediakan ulang kapasitas TPU.

gcloud

  1. Tetapkan beberapa variabel lingkungan

    CLUSTER=GKE_CLUSTER_NAME
PROJECT=PROJECT_ID
ZONE=ZONE
REGION=REGION
CLUSTER_VERSION=GKE_CLUSTER_VERSION
PW_CPU_MACHINE_TYPE="n2-standard-64"
NETWORK=NETWORK
SUBNETWORK=SUB_NETWORK
CLUSTER_NODEPOOL_COUNT=3
TPU_MACHINE_TYPE="ct5lp-hightpu-4t"
WORKERS_PER_SLICE=2
TOPOLOGY="2x4"
NUM_CPU_NODES=1

    Ganti kode berikut:

    • CLUSTER: nama cluster GKE
    • PROJECT_ID: nama project Google Cloud Anda
    • ZONE: zona tempat Anda membuat resource
    • REGION: region tempat Anda membuat resource
    • CLUSTER_VERSION: [Opsional] versi cluster GKE, gunakan 1.32.2-gke.1475000 atau yang lebih baru
    • PW_CPU_MACHINE_TYPE: jenis node CPU untuk pengontrol Pathways
    • NETWORK: [Opsional] tetapkan nama Virtual Private Cloud jika menggunakan XPK. Nama ini harus dibuat sebelum membuat cluster Anda
    • SUBNETWORK: [Opsional] tetapkan nama subnetwork jika menggunakan XPK, subnetwork ini harus dibuat sebelum membuat cluster Anda
    • CLUSTER_NODEPOOL_COUNT: jumlah maksimum node pool yang dapat digunakan beban kerja
    • TPU_MACHINE_TYPE: jenis mesin TPU yang ingin Anda gunakan

    • WORKERS_PER_SLICE: jumlah node per node pool

    • GKE_ACCELERATOR_TYPE: jenis akselerator Google Kubernetes Engine, lihat Memilih versi TPU

    • TOPOLOGY: topologi TPU

    • NUM_CPU_NODES: ukuran node pool CPU Pathways

Langkah-langkah berikut menjelaskan cara membuat cluster GKE dan menyiapkannya untuk menjalankan workload Pathways.

  1. Buat cluster GKE:

    gcloud beta container clusters create ${CLUSTER} \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster-version=${CLUSTER_VERSION} \
--scopes=storage-full,gke-default,cloud-platform \
--machine-type ${PW_CPU_MACHINE_TYPE} \
--network=${NETWORK} \
--subnetwork=${SUBNETWORK}

  2. Buat TPU node pool:

    for i in $(seq 1 ${CLUSTER_NODEPOOL_COUNT}); do
gcloud container node-pools create "tpu-np-${i}" \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster=${CLUSTER} \
--machine-type=${TPU_MACHINE_TYPE} \
--num-nodes=${WORKERS_PER_SLICE} \
--placement-type=COMPACT \
--tpu-topology=${TOPOLOGY} \
--scopes=storage-full,gke-default,cloud-platform \
--workload-metadata=GCE_METADATA
done

  3. Buat node pool CPU:

    gcloud container node-pools create "cpu-pathways-np" \
--project ${PROJECT} \
--zone ${ZONE} \
--cluster ${CLUSTER} \
--machine-type ${PW_CPU_MACHINE_TYPE} \
--num-nodes ${NUM_CPU_NODES} \
--scopes=storage-full,gke-default,cloud-platform \
--workload-metadata=GCE_METADATA

  4. Instal API JobSet dan PathwaysJob

    Dapatkan kredensial untuk cluster dan tambahkan ke konteks kubectl lokal Anda.

    gcloud container clusters get-credentials ${CLUSTER} \
    [--zone=${ZONE} | --region=${REGION}] \
    --project=${PROJECT} \
    && kubectl config set-context --current --namespace=default

    Untuk menggunakan arsitektur Pathways di cluster GKE, Anda harus menginstal JobSet API dan PathwaysJob API.

    kubectl apply --server-side -f https://github.com/kubernetes-sigs/jobset/releases/download/v0.8.0/manifests.yaml
kubectl apply --server-side -f https://github.com/google/pathways-job/releases/download/v0.1.2/install.yaml

Langkah berikutnya