Membuat Cluster GKE dengan Jalur

Anda dapat menggunakan Accelerated Processing Kit (XPK) untuk membuat cluster Google Kubernetes Engine (GKE) yang telah dikonfigurasi sebelumnya untuk workload berbasis Pathways. Anda juga dapat menggunakan gcloud untuk membuat cluster GKE secara manual untuk workload berbasis Pathways

Sebelum memulai

Pastikan Anda memiliki:

Menyiapkan lingkungan lokal Anda

Login dengan kredensial Anda. Google Cloud 

gcloud auth application-default login

Tentukan variabel lingkungan berikut dengan nilai yang sesuai untuk workload Anda.

Variabel yang diperlukan

Membuat cluster GKE

Pada contoh berikut, Anda membuat cluster dengan dua node pool v5e 2x4. Anda dapat membuat cluster menggunakan XPK atau perintah gcloud.

XPK

  1. Tetapkan beberapa variabel lingkungan

    CLUSTER_NODEPOOL_COUNT=CLUSTER_NODEPOOL_COUNT
PROJECT=PROJECT_ID
ZONE=ZONE
CLUSTER=GKE_CLUSTER_NAME
TPU_TYPE="v5litepod-8"
PW_CPU_MACHINE_TYPE="n2-standard-64"
NETWORK=NETWORK
SUBNETWORK=SUB_NETWORK

    Ganti kode berikut:

    • CLUSTER_NODEPOOL_COUNT: jumlah maksimum node pool yang dapat digunakan workload
    • PROJECT_ID: nama Google Cloud project Anda
    • ZONE: zona tempat Anda membuat resource
    • CLUSTER: nama cluster GKE
    • TPU_TYPE: jenis TPU. Untuk mengetahui informasi selengkapnya, lihat jenis yang didukung di XPK
    • PW_CPU_MACHINE_TYPE: jenis node CPU untuk pengontrol Pathways
    • NETWORK: [Opsional] tetapkan nama Virtual Private Cloud jika menggunakan XPK, nama ini harus dibuat sebelum membuat cluster Anda
    • SUBNETWORK: [Opsional] tetapkan nama subnetwork jika menggunakan XPK, nama ini harus dibuat sebelum membuat cluster Anda

  2. Gunakan XPK untuk membuat cluster Pathways GKE. Perintah ini dapat memerlukan waktu beberapa menit untuk menyediakan kapasitas. Setelah selesai, kapasitas Anda akan dialokasikan dan Anda akan mulai dikenai biaya.

    xpk cluster create-pathways \
--num-slices=${CLUSTER_NODEPOOL_COUNT} \
--tpu-type=${TPU_TYPE} \
--pathways-gce-machine-type=${PW_CPU_MACHINE_TYPE} \
--on-demand \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster=${CLUSTER} \
--custom-cluster-arguments="--network=${NETWORK} --subnetwork=${SUBNETWORK} --enable-ip-alias"

Setelah cluster dibuat, Anda dapat membuat dan menghapus workload sesuai kebutuhan. Anda tidak perlu menyediakan ulang kapasitas TPU.

gcloud

  1. Tetapkan beberapa variabel lingkungan

    CLUSTER=GKE_CLUSTER_NAME
PROJECT=PROJECT_ID
ZONE=ZONE
REGION=REGION
CLUSTER_VERSION=GKE_CLUSTER_VERSION
PW_CPU_MACHINE_TYPE="n2-standard-64"
NETWORK=NETWORK
SUBNETWORK=SUB_NETWORK
CLUSTER_NODEPOOL_COUNT=3
TPU_MACHINE_TYPE="ct5lp-hightpu-4t"
WORKERS_PER_SLICE=2
TOPOLOGY="2x4"
NUM_CPU_NODES=1

    Ganti kode berikut:

    • CLUSTER: nama cluster GKE
    • PROJECT_ID: nama Google Cloud project Anda
    • ZONE: zona tempat Anda membuat resource
    • REGION: region tempat Anda membuat resource
    • CLUSTER_VERSION: [Opsional] versi cluster GKE, gunakan 1.32.2-gke.1475000 atau yang lebih baru
    • PW_CPU_MACHINE_TYPE: jenis node CPU untuk pengontrol Pathways
    • NETWORK: [Opsional] tetapkan nama Virtual Private Cloud jika menggunakan XPK, nama ini harus dibuat sebelum membuat cluster Anda
    • SUBNETWORK: [Opsional] tetapkan nama subnetwork jika menggunakan XPK, nama ini harus dibuat sebelum membuat cluster Anda
    • CLUSTER_NODEPOOL_COUNT: jumlah maksimum node pool yang dapat digunakan workload
    • TPU_MACHINE_TYPE: jenis mesin TPU yang ingin Anda gunakan

    • WORKERS_PER_SLICE: jumlah node per node pool

    • GKE_ACCELERATOR_TYPE: jenis akselerator Google Kubernetes Engine, lihat Memilih versi TPU

    • TOPOLOGY: topologi TPU

    • NUM_CPU_NODES: ukuran node pool CPU Pathways

Langkah-langkah berikut menjelaskan cara membuat cluster GKE dan menyiapkan cluster untuk menjalankan workload Pathways.

  1. Buat cluster GKE:

    gcloud beta container clusters create ${CLUSTER} \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster-version=${CLUSTER_VERSION} \
--scopes=storage-full,gke-default,cloud-platform \
--machine-type ${PW_CPU_MACHINE_TYPE} \
--network=${NETWORK} \
--subnetwork=${SUBNETWORK}

  2. Buat node pool TPU:

    for i in $(seq 1 ${CLUSTER_NODEPOOL_COUNT}); do
gcloud container node-pools create "tpu-np-${i}" \
--project=${PROJECT} \
--zone=${ZONE} \
--cluster=${CLUSTER} \
--machine-type=${TPU_MACHINE_TYPE} \
--num-nodes=${WORKERS_PER_SLICE} \
--placement-type=COMPACT \
--tpu-topology=${TOPOLOGY} \
--scopes=storage-full,gke-default,cloud-platform \
--workload-metadata=GCE_METADATA
done

  3. Buat node pool CPU:

    gcloud container node-pools create "cpu-pathways-np" \
--project ${PROJECT} \
--zone ${ZONE} \
--cluster ${CLUSTER} \
--machine-type ${PW_CPU_MACHINE_TYPE} \
--num-nodes ${NUM_CPU_NODES} \
--scopes=storage-full,gke-default,cloud-platform \
--workload-metadata=GCE_METADATA

  4. Instal JobSet dan PathwaysJob API

    Dapatkan kredensial untuk cluster dan tambahkan ke konteks kubectl lokal Anda.

    gcloud container clusters get-credentials ${CLUSTER} \
    [--zone=${ZONE} | --region=${REGION}] \
    --project=${PROJECT} \
    && kubectl config set-context --current --namespace=default

    Untuk menggunakan arsitektur Pathways di cluster GKE, Anda harus menginstal JobSet API dan PathwaysJob API.

    kubectl apply --server-side -f https://github.com/kubernetes-sigs/jobset/releases/download/v0.8.0/manifests.yaml
kubectl apply --server-side -f https://github.com/google/pathways-job/releases/download/v0.1.2/install.yaml

Langkah berikutnya