Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

GDC 에어 갭 적용형에서 Ollama를 사용하는 Gemma 모델 사용자 가이드

이 문서에서는 Google Distributed Cloud (GDC) 에어 갭 환경에서 Ollama를 사용하여 Google DeepMind의 개방형 가중치 모델, 특히 Gemma 4 제품군을 배포하는 방법을 단계별로 안내합니다. 여기에는 간소화된 서빙을 위해 Ollama를 사용하고 Kubernetes, Harbor, GPU 리소스를 비롯한 GDC 플랫폼의 기능을 사용하는 방법이 포함됩니다. 모델 섹션에서 모델과 GPU 옵션을 선택합니다. 다른 모든 단계는 모든 모델에서 동일합니다.

지원되는 모델

모델	Ollama 태그	매개변수	라이선스	GPU 옵션
Gemma 4 E2B	`gemma4:e2b`	51억 (20억 유효)	Gemma 이용약관	GPU 1개
Gemma 4 E4B	`gemma4:e4b`	80억 (40억 유효)	Gemma 이용약관	GPU 1개
Gemma 4 12B	`gemma4:12b`	12B (밀집)	Gemma 이용약관	GPU 1개
Gemma 4 26B-A4B	`gemma4:26b`	총 258억 개 / 활성 40억 개 (전문가 혼합)	Gemma 이용약관	GPU 1개
Gemma 4 31B	`gemma4:31b`	313억 (밀집)	Gemma 이용약관	GPU 1개

아키텍처

이 솔루션에는 Ollama를 표준 클러스터 내에서 컨테이너화된 서빙 백엔드(Deployment)로 배포하는 작업이 포함됩니다. 모델 가중치는 영구 볼륨에 저장되며, 로컬에서 다운로드되고 로더 포드를 사용하여 업로드된 파일에서 채워집니다. LoadBalancer 유형의 Kubernetes Service는 백엔드 API를 노출하고 NetworkPolicy / ProjectNetworkPolicy 객체는 이에 대한 액세스를 보호합니다.

시작하기 전에

워크스테이션에서 Ollama 참조 구현을 사용한 가중치 공개 모델을 완료하고 ${HOME}/gdcag-solutions 디렉터리에 액세스할 수 있는지 확인합니다.

Identity and Access Management

이 가이드에서는 표준 클러스터에 다음 역할이 있다고 가정합니다.

선택사항: 표준 클러스터 관리자 (콘솔에서 클러스터 보기)
표준 클러스터 관리자 (standard-cluster-admin)
StandardClusterRole cluster-admin에 대한 StandardClusterRoleBinding(프로젝트 IAM 관리자가 생성, 참조 구현의 Identity and Access Management 섹션 참고)

워크스테이션

달리 명시되지 않는 한 이 가이드의 모든 명령어는 필요한 도구와 환경 및 인터넷에 대한 연결이 있는 워크스테이션에서 실행합니다.

환경 구성은 계층화되어 있습니다.

${HOME}/gdcag-solutions/env.sh는 플랫폼 및 레지스트리 설정을 로드합니다.
${HOME}/gdcag-solutions/open-weight-models/ollama/env.sh는 Ollama 설정을 추가합니다.
이 사용자 가이드에서는 모델 섹션에 작성하는 env.d/model.sh (모델) 및 env.d/accelerator.sh (GPU 옵션 및 런타임 설정)과 env.d/model-common.sh (여기에서 파생된 값)를 추가합니다.

사용자 가이드 디렉터리 구조를 만듭니다.

mkdir -p ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d

공통 모델 환경 구성 파일을 만듭니다. 모델 이름에서 파생된 이름과 경로를 계산합니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model-common.sh && echo "Successfully created." || echo "Failed to create!"
# Model (derived from env.d/model.sh)
export GDCS_OLLAMA_MODEL_LOWERCASE="${GDCS_OLLAMA_MODEL,,}"
export GDCS_OLLAMA_MODEL_KUBERNETES="$(echo "${GDCS_OLLAMA_MODEL_LOWERCASE}" | tr ':' '-')"

# Paths
export GDCS_OLLAMA_MODEL_DOWNLOAD_DIR="${GDCS_USER_GUIDE_HOME}/models/${GDCS_OLLAMA_MODEL_LOWERCASE}"
export GDCS_OLLAMA_PV_MOUNT_PATH="/root/.ollama/models"

# Workload
export GDCS_WORKLOAD_NAMESPACE="ollama-gemma"
export GDCS_WORKLOAD_NAME="${GDCS_OLLAMA_MODEL_KUBERNETES}"
export GDCS_MODEL_LOADER_POD_NAME="loader-${GDCS_OLLAMA_MODEL_KUBERNETES}"
EOF

사용자 가이드 환경 로더 파일을 만듭니다. 루트 환경, 구현 환경, 모델 환경을 소싱합니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.sh && echo "Successfully created." || echo "Failed to create!"
source "${HOME}/gdcag-solutions/open-weight-models/ollama/env.sh"

export GDCS_USER_GUIDE_HOME="${HOME}/gdcag-solutions/open-weight-models/ollama/gemma"
echo "GDCS_USER_GUIDE_HOME=${GDCS_USER_GUIDE_HOME}"

# Sourced in dependency order: the model selection, the accelerator and runtime settings, then the values derived from them
source "${GDCS_USER_GUIDE_HOME}/env.d/model.sh"
source "${GDCS_USER_GUIDE_HOME}/env.d/accelerator.sh"
source "${GDCS_USER_GUIDE_HOME}/env.d/model-common.sh"
EOF

모델

각 탭에는 모델 사실, 모델 환경 파일 env.d/model.sh을 작성하는 명령어, 선택한 GPU 옵션에 대해 리소스 유형과 Ollama 설정이 자동 입력된 가속기 환경 파일 env.d/accelerator.sh을 작성하는 중첩된 탭이 나열됩니다. 나중에 모델 또는 GPU 옵션을 전환하려면 다른 환경 파일을 작성하고 환경을 다시 소싱한 후 구현 섹션을 반복합니다. 모든 리소스 이름이 모델 이름에서 파생되므로 여러 모델의 워크로드가 동일한 네임스페이스에서 나란히 실행될 수 있습니다.

GPU	메모리	머신 유형	가속기 리소스 유형
NVIDIA A100	40 GB	`a2-highgpu-1g-gdc`	`nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB`
NVIDIA A100	80GB	`a2-ultragpu-1g-gdc`, `a2-ultragpu-2g-gdc`	`nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE`
NVIDIA H100	94 GB	`a3-highgpu-1g-gdc` (프리뷰), `a3-highgpu-2g-gdc` (프리뷰), `a3-highgpu-4g-gdc`	`nvidia.com/gpu-pod-NVIDIA_H100_NVL`
NVIDIA H200	141 GB	`a3-ultragpu-8g-gdc`	`nvidia.com/gpu-pod-NVIDIA_H200`
NVIDIA B300	288 GB	`a4-ultragpu-8g-gdc`	`nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC`

배포하려는 모델 및 GPU 옵션에 대한 모델 및 가속기 환경 파일을 만듭니다.

Gemma 4 E2B

속성	값
Ollama 태그	`gemma4:e2b`
매개변수	51억 (20억 유효)
라이선스	Gemma 이용약관
가중치	Ollama 기본 양자화, 약 4.6GB
컨텍스트 길이	128,000토큰

모델 환경 파일을 만듭니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model.sh && echo "Successfully created." || echo "Failed to create!"
# Model: Gemma 4 E2B
export GDCS_OLLAMA_MODEL="gemma4:e2b"
EOF

GPU 옵션의 가속기 환경 파일을 만듭니다.

NVIDIA A100 40 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 40 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="12Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="6Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA A100 80GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 80 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="12Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="6Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H100 94 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H100 94 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H100_NVL"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="12Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="6Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H200 141GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H200 141 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H200"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="12Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="6Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA B300 288 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA B300 288 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="12Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="6Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

Gemma 4 E4B

속성	값
Ollama 태그	`gemma4:e4b`
매개변수	80억 (40억 유효)
라이선스	Gemma 이용약관
가중치	Ollama 기본 양자화, 약 6.6GB
컨텍스트 길이	128,000토큰

모델 환경 파일을 만듭니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model.sh && echo "Successfully created." || echo "Failed to create!"
# Model: Gemma 4 E4B
export GDCS_OLLAMA_MODEL="gemma4:e4b"
EOF

GPU 옵션의 가속기 환경 파일을 만듭니다.

NVIDIA A100 40 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 40 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA A100 80GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 80 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H100 94 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H100 94 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H100_NVL"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H200 141GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H200 141 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H200"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA B300 288 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA B300 288 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

Gemma 4 12B

속성	값
Ollama 태그	`gemma4:12b`
매개변수	12B (밀집)
라이선스	Gemma 이용약관
가중치	Ollama 기본 양자화, 약 7.7GB
컨텍스트 길이	256,000토큰

모델 환경 파일을 만듭니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model.sh && echo "Successfully created." || echo "Failed to create!"
# Model: Gemma 4 12B
export GDCS_OLLAMA_MODEL="gemma4:12b"
EOF

GPU 옵션의 가속기 환경 파일을 만듭니다.

NVIDIA A100 40 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 40 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA A100 80GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 80 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H100 94 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H100 94 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H100_NVL"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H200 141GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H200 141 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H200"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA B300 288 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA B300 288 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="16Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="8Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

Gemma 4 26B-A4B

속성	값
Ollama 태그	`gemma4:26b`
매개변수	총 258억 개 / 활성 40억 개 (전문가 혼합)
라이선스	Gemma 이용약관
가중치	Ollama 기본 양자화, 약 16GB
컨텍스트 길이	256,000토큰

모델 환경 파일을 만듭니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model.sh && echo "Successfully created." || echo "Failed to create!"
# Model: Gemma 4 26B-A4B
export GDCS_OLLAMA_MODEL="gemma4:26b"
EOF

GPU 옵션의 가속기 환경 파일을 만듭니다.

NVIDIA A100 40 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 40 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="32Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="16Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA A100 80GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 80 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="32Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="16Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H100 94 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H100 94 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H100_NVL"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="32Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="16Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H200 141GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H200 141 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H200"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="32Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="16Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA B300 288 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA B300 288 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="32Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="16Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

Gemma 4 31B

속성	값
Ollama 태그	`gemma4:31b`
매개변수	313억 (밀집)
라이선스	Gemma 이용약관
가중치	Ollama 기본 양자화, 약 19GB
컨텍스트 길이	256,000토큰

모델 환경 파일을 만듭니다.

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/model.sh && echo "Successfully created." || echo "Failed to create!"
# Model: Gemma 4 31B
export GDCS_OLLAMA_MODEL="gemma4:31b"
EOF

GPU 옵션의 가속기 환경 파일을 만듭니다.

NVIDIA A100 40 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 40 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_PCIE_40GB"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="40Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="20Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA A100 80GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA A100 80 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="40Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="20Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H100 94 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H100 94 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H100_NVL"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="40Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="20Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA H200 141GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA H200 141 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_H200"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="40Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="20Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

NVIDIA B300 288 GB

cat << 'EOF' > ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.d/accelerator.sh && echo "Successfully created." || echo "Failed to create!"
# Accelerator: NVIDIA B300 288 GB
export GDCS_WORKLOAD_ACCELERATOR_TYPE="nvidia.com/gpu-pod-NVIDIA_B300_SXM6_AC"
export GDCS_WORKLOAD_ACCELERATOR_COUNT="1"

# Resources
export GDCS_WORKLOAD_CPU_LIMIT="4"
export GDCS_WORKLOAD_CPU_REQUEST="2"
export GDCS_WORKLOAD_MEMORY_LIMIT="40Gi"
export GDCS_WORKLOAD_MEMORY_REQUEST="20Gi"

# Ollama
export GDCS_OLLAMA_NUM_PARALLEL="4"
export GDCS_OLLAMA_TEST_NUM_PREDICT="128"
EOF

환경 파일을 소싱합니다.

source ${HOME}/gdcag-solutions/open-weight-models/ollama/gemma/env.sh

클러스터

클러스터 사용자 인증 정보를 검색합니다.

gdcloud clusters get-credentials "${GDC_STANDARD_CLUSTER_NAME}" \
--project="${GDC_PROJECT}"

가속기 환경 파일의 가속기 리소스 유형을 클러스터에서 사용할 수 있는지 확인합니다.
```
kubectl get nodes \
-o custom-columns='NAME:.metadata.name,ACCELERATOR:.status.allocatable.'"${GDCS_WORKLOAD_ACCELERATOR_TYPE}"
```
참고: 리소스 수가 0 또는 <none>이면 클러스터에 이 GPU 유형의 노드가 없거나 노드 풀이 아직 생성 중인 것입니다. kubectl get nodes -L node.cluster.private.gdc.goog/machine-class를 사용하여 사용 가능한 유형을 확인합니다. 다른 GPU를 사용하려면 env.d/accelerator.sh의 GDCS_WORKLOAD_ACCELERATOR_TYPE를 나열된 리소스 유형 중 하나로 설정하고 환경을 다시 소싱한 후 이 단계를 다시 실행합니다.

구현

네임스페이스

네임스페이스를 만드세요.

kubectl create namespace "${GDCS_WORKLOAD_NAMESPACE}" \
--dry-run=client \
--output=yaml | kubectl apply -f -

imagePullSecret를 추가합니다.

kubectl create secret docker-registry "${GDCS_HARBOR_K8S_PULL_SECRET}" \
--dry-run=client \
--from-file=.dockerconfigjson=${GDCS_HARBOR_K8S_DOCKER_CONFIG}/config.json \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--output=yaml | kubectl apply -f -

모델 가중치

모델 가중치를 다운로드합니다.

${GDCS_IMPLEMENTATION_HOME}/ollama_model_weight_download.sh

다운로드한 모델 가중치에서 25% 오버헤드를 사용하여 필요한 PersistentVolumeClaim 크기를 계산합니다 (다음 전체 GiB로 반올림).

MODEL_KIB=$(du -sk "${GDCS_OLLAMA_MODEL_DOWNLOAD_DIR}" | awk '{print $1}')
export GDCS_MODEL_PVC_SIZE="$(( (MODEL_KIB * 125 / 100 + 1048575) / 1048576 ))Gi"
echo "GDCS_MODEL_PVC_SIZE=${GDCS_MODEL_PVC_SIZE}"

모델 가중치에 대한 PersistentVolumeClaim의 매니페스트를 만듭니다.

cat <<EOF > "${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-pvc.yaml" && echo "Successfully created." || echo "Failed to create!"
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ${GDCS_WORKLOAD_NAME}-rwo
  namespace: ${GDCS_WORKLOAD_NAMESPACE}
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: ${GDCS_MODEL_PVC_SIZE}
EOF

모델 가중치에 대한 PersistentVolumeClaim의 매니페스트를 적용합니다.
```
kubectl apply --filename="${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-pvc.yaml"
```

PersistentVolumeClaim가 바인딩되고 인프라 운영자가 I/O 서비스 품질 (QoS) 정책을 조정하는 데 필요한 값을 출력할 때까지 기다립니다.

kubectl wait \
--for=jsonpath='{.status.phase}'=Bound \
"pvc/${GDCS_WORKLOAD_NAME}-rwo" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--timeout=120s
BACKING_PVC=$(kubectl get pvc "${GDCS_WORKLOAD_NAME}-rwo" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--output=jsonpath='{.spec.volumeName}')
echo "BACKING_PVC=${BACKING_PVC} ORG=${GDC_ORG}"

클러스터에서 performance-rwo를 사용할 수 없는 경우 인프라 운영자에게 PersistentVolumeClaim를 지원하는 볼륨에 고성능 QoS 정책(system-performance-<ORG>-admin, GiB당 30 IOPS, 최소 6,148 IOPS)을 적용하도록 요청하세요. 이전 단계에서 출력된 BACKING_PVC 및 ORG 값을 제공합니다. 인프라 운영자는 FILE-R0097에 설명된 대로 정책을 적용합니다. 이 정책은 라이브 볼륨에 적용되므로 다음 단계를 계속 진행할 수 있습니다.

참고: 클러스터에서 고성능 블록 스토리지가 사용 설정된 경우 QoS 정책을 요청하는 대신 PersistentVolumeClaim 매니페스트에서 storageClassName: performance-rwo를 설정할 수 있습니다. kubectl get storageclass performance-rwo가 아무것도 반환하지 않으면 인프라 운영자가 고성능 블록 스토리지를 사용 설정하지 않은 것입니다.

모델 로더 Pod의 매니페스트를 만듭니다.

cat <<EOF > "${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-loader.yaml" && echo "Successfully created." || echo "Failed to create!"
apiVersion: v1
kind: Pod
metadata:
  name: ${GDCS_MODEL_LOADER_POD_NAME}
  namespace: ${GDCS_WORKLOAD_NAMESPACE}
spec:
  containers:
    - command: ["/bin/sh", "-c", "trap 'exit 0' TERM; while :; do sleep 1; done"]
      image: ${GDCS_HARBOR_PROJECT_URI}/busybox/busybox:${GDCS_BUSYBOX_IMAGE_TAG}
      imagePullPolicy: IfNotPresent
      name: loader
      volumeMounts:
        - mountPath: ${GDCS_OLLAMA_PV_MOUNT_PATH}
          name: model-cache
  imagePullSecrets:
    - name: ${GDCS_HARBOR_K8S_PULL_SECRET}
  restartPolicy: Never
  volumes:
    - name: model-cache
      persistentVolumeClaim:
        claimName: ${GDCS_WORKLOAD_NAME}-rwo
EOF

모델 로더 Pod의 매니페스트를 적용합니다.

kubectl apply --filename="${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-loader.yaml"

모델 로더 Pod가 실행될 때까지 기다립니다.

kubectl wait \
--for=jsonpath='{.status.phase}'=Running \
"pod/${GDCS_MODEL_LOADER_POD_NAME}" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--timeout=120s

모델 가중치를 업로드합니다.

${GDCS_IMPLEMENTATION_HOME}/model_weight_upload.sh \
--local-dir="${GDCS_OLLAMA_MODEL_DOWNLOAD_DIR}" \
--pod="${GDCS_MODEL_LOADER_POD_NAME}" \
--target-dir="${GDCS_OLLAMA_PV_MOUNT_PATH}"

모델 로더 Pod를 삭제합니다.

kubectl delete pod "${GDCS_MODEL_LOADER_POD_NAME}" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}"

추론 서버

Ollama Deployment의 매니페스트를 만듭니다.

cat <<EOF > "${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-deployment.yaml" && echo "Successfully created." || echo "Failed to create!"
apiVersion: v1
kind: ConfigMap
metadata:
  name: ${GDCS_WORKLOAD_NAME}
data:
  OLLAMA_FLASH_ATTENTION: "1"
  OLLAMA_HOST: "0.0.0.0"
  OLLAMA_KEEP_ALIVE: "-1"
  OLLAMA_MODELS: "${GDCS_OLLAMA_PV_MOUNT_PATH}"
  OLLAMA_NUM_PARALLEL: "${GDCS_OLLAMA_NUM_PARALLEL}"
  OLLAMA_ORIGINS: "*"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ${GDCS_WORKLOAD_NAME}
  labels:
    app: ${GDCS_WORKLOAD_NAME}
spec:
  replicas: 1
  selector:
    matchLabels:
      app: ${GDCS_WORKLOAD_NAME}
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: ${GDCS_WORKLOAD_NAME}
    spec:
      containers:
        - envFrom:
            - configMapRef:
                name: ${GDCS_WORKLOAD_NAME}
          image: ${GDCS_HARBOR_PROJECT_URI}/ollama/ollama:${GDCS_OLLAMA_IMAGE_TAG}
          imagePullPolicy: IfNotPresent
          lifecycle:
            postStart:
              exec:
                command:
                  - /bin/sh
                  - -c
                  - |
                    echo "Waiting for local API to respond..."
                    timeout=60
                    until /bin/ollama list > /dev/null 2>&1 || [ "\$timeout" -le 0 ]; do
                      sleep 1
                      timeout=\$((timeout - 1))
                    done
                    if [ "\$timeout" -le 0 ]; then
                      echo "Timed out waiting for Ollama server to start." >&2
                      exit 1
                    fi
                    echo "Preloading model into memory..."
                    /bin/ollama run "${GDCS_OLLAMA_MODEL}" ""
          livenessProbe:
            failureThreshold: 3
            httpGet:
              path: /
              port: 11434
            periodSeconds: 30
            timeoutSeconds: 10
          name: ollama
          ports:
            - containerPort: 11434
              name: http-ollama
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /api/tags
              port: 11434
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
          resources:
            limits:
              cpu: ${GDCS_WORKLOAD_CPU_LIMIT}
              memory: ${GDCS_WORKLOAD_MEMORY_LIMIT}
              ${GDCS_WORKLOAD_ACCELERATOR_TYPE}: "${GDCS_WORKLOAD_ACCELERATOR_COUNT}"
            requests:
              cpu: ${GDCS_WORKLOAD_CPU_REQUEST}
              memory: ${GDCS_WORKLOAD_MEMORY_REQUEST}
              ${GDCS_WORKLOAD_ACCELERATOR_TYPE}: "${GDCS_WORKLOAD_ACCELERATOR_COUNT}"
          securityContext:
            allowPrivilegeEscalation: false
            seLinuxOptions:
              type: spc_t
          startupProbe:
            failureThreshold: 60
            httpGet:
              path: /
              port: 11434
            periodSeconds: 10
            timeoutSeconds: 5
          volumeMounts:
            - mountPath: ${GDCS_OLLAMA_PV_MOUNT_PATH}
              name: model-cache
            - mountPath: /dev/shm
              name: shm
      imagePullSecrets:
        - name: ${GDCS_HARBOR_K8S_PULL_SECRET}
      volumes:
        - name: model-cache
          persistentVolumeClaim:
            claimName: ${GDCS_WORKLOAD_NAME}-rwo
        - emptyDir:
            medium: Memory
            sizeLimit: "8Gi"
          name: shm
---
apiVersion: v1
kind: Service
metadata:
  name: ${GDCS_WORKLOAD_NAME}
spec:
  ports:
    - name: http-ollama
      port: 80
      protocol: TCP
      targetPort: 11434
  selector:
    app: ${GDCS_WORKLOAD_NAME}
  type: LoadBalancer
EOF

Ollama Deployment의 매니페스트를 적용합니다.

kubectl apply --filename="${GDCS_USER_GUIDE_HOME}/${GDCS_WORKLOAD_NAME}-deployment.yaml" --namespace="${GDCS_WORKLOAD_NAMESPACE}"

Ollama NetworkPolicy의 매니페스트를 만듭니다.

cat <<EOF > "${GDCS_USER_GUIDE_HOME}/ollama-netpol.yaml" && echo "Successfully created." || echo "Failed to create!"
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-ollama-ingress
  namespace: ${GDCS_WORKLOAD_NAMESPACE}
spec:
  ingress:
  - from:
    - ipBlock:
        cidr: 0.0.0.0/0
    - namespaceSelector: {}
    ports:
    - port: 11434
      protocol: TCP
  podSelector: {}
  policyTypes:
  - Ingress
EOF

Ollama NetworkPolicy의 매니페스트를 적용합니다.

kubectl apply --filename="${GDCS_USER_GUIDE_HOME}/ollama-netpol.yaml"

Pod이 실행될 때까지 기다립니다.

kubectl wait \
--for=jsonpath='{.status.phase}'=Running \
"pod" \
--selector="app=${GDCS_WORKLOAD_NAME}" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--timeout=300s

Deployment이 준비될 때까지 기다립니다.

kubectl wait \
--for=condition=Available \
"deployment/${GDCS_WORKLOAD_NAME}" \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" \
--timeout=600s

선택사항: 컨테이너 로그를 스트리밍하여 시작 진행 상황을 모니터링합니다.

kubectl logs deployment/${GDCS_WORKLOAD_NAME} \
--follow \
--namespace="${GDCS_WORKLOAD_NAMESPACE}"

유효성 검사

Ollama의 LoadBalancer IP 주소를 검색합니다.

export OLLAMA_LB_IP=$(kubectl get service/${GDCS_WORKLOAD_NAME} --namespace="${GDCS_WORKLOAD_NAMESPACE}" --output=jsonpath='{.status.loadBalancer.ingress[*].ip}')
echo "OLLAMA_LB_IP=${OLLAMA_LB_IP}"

부하 분산기 (Ollama API, 텍스트 생성)를 사용하여 Ollama에 테스트 요청을 전송합니다.

curl http://${OLLAMA_LB_IP}/api/generate \
-H "Content-Type: application/json" \
-d '{
  "model": "'${GDCS_OLLAMA_MODEL}'",
  "prompt": "Explain Google Distributed Cloud air-gapped briefly.",
  "stream": false
}'

스트리밍 테스트 요청을 보냅니다.

curl http://${OLLAMA_LB_IP}/api/generate \
-H "Content-Type: application/json" \
-d '{
  "model": "'${GDCS_OLLAMA_MODEL}'",
  "prompt": "Explain Google Distributed Cloud air-gapped briefly.",
  "stream": true
}'

부하 분산기를 사용하여 Ollama의 OpenAI 호환 API에 테스트 요청을 전송합니다.

curl http://${OLLAMA_LB_IP}/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "'${GDCS_OLLAMA_MODEL}'",
  "messages": [
    {"role": "user", "content": "Explain Google Distributed Cloud air-gapped briefly."}
  ]
}'

포트 전달을 사용하여 Ollama에 테스트 요청을 전송합니다.
```
kubectl port-forward service/${GDCS_WORKLOAD_NAME} \
--namespace="${GDCS_WORKLOAD_NAMESPACE}" 11434:80 &
PF_PID=$!

sleep 1

curl http://127.0.0.1:11434/api/tags

kill ${PF_PID}
```
참고: Gemma 4는 사고 모델입니다. OpenAI 호환 엔드포인트에서 추론은 choices[0].message.reasoning로 반환되고 max_tokens에 반영됩니다. 예산이 적으면 content가 비어 있을 수 있습니다. 표시되는 답변이 필요한 경우 "think": false 또는 더 큰 max_tokens와 함께 Ollama 전용 /api/chat 엔드포인트를 사용합니다.

GDC 에어 갭 적용형에서 Ollama를 사용하는 Gemma 모델 사용자 가이드 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

지원되는 모델

아키텍처

시작하기 전에

Identity and Access Management

워크스테이션

모델

Gemma 4 E2B

NVIDIA A100 40 GB

NVIDIA A100 80GB

NVIDIA H100 94 GB

NVIDIA H200 141GB

NVIDIA B300 288 GB

Gemma 4 E4B

NVIDIA A100 40 GB

NVIDIA A100 80GB

NVIDIA H100 94 GB

NVIDIA H200 141GB

NVIDIA B300 288 GB

Gemma 4 12B

NVIDIA A100 40 GB

NVIDIA A100 80GB

NVIDIA H100 94 GB

NVIDIA H200 141GB

NVIDIA B300 288 GB

Gemma 4 26B-A4B

NVIDIA A100 40 GB

NVIDIA A100 80GB

NVIDIA H100 94 GB

NVIDIA H200 141GB

NVIDIA B300 288 GB

Gemma 4 31B

NVIDIA A100 40 GB

NVIDIA A100 80GB

NVIDIA H100 94 GB

NVIDIA H200 141GB

NVIDIA B300 288 GB

클러스터

구현

네임스페이스

모델 가중치

추론 서버

유효성 검사

GDC 에어 갭 적용형에서 Ollama를 사용하는 Gemma 모델 사용자 가이드