GKE에서 AI 추론 모델 서빙을 위한 네트워킹

Last reviewed 2026-11-12 UTC

이 문서에서는 Google Kubernetes Engine(GKE)을 사용하여 다중 모델 추론 서비스를 만드는 참조 아키텍처를 제공합니다. 이 아키텍처에서 GKE 호스팅 추론 풀은 GKE Inference Gateway 뒤에 배치됩니다. 이 아키텍처는 다음과 같은 이점이 있습니다.

  • 모든 추론 요청을 위한 단일 인터페이스입니다.
  • 각 요청을 가장 효율적으로 처리할 수 있는 모델 및 추론 서버로 지능적으로 라우팅합니다.
  • 중앙 집중식 승인, 보안, 기타 서비스

이 문서는 GKE에서 실행되는 추론 서버의 배포를 통합하는 업무를 담당하는 네트워킹 설계자를 대상으로 합니다. 모든 추론 서버가 GKE에서 호스팅되지 않는 경우 모든 백엔드에서 AI 추론 모델 서빙을 위한 네트워킹을 참조하세요. 이 문서에서는 애플리케이션을 설계하거나 개별 생성형 AI 모델을 배포하는 방법에 대한 안내를 제공하지 않습니다. 모델을 배포하는 방법에 대한 안내는 기업에서 생성형 AI 및 머신러닝 모델 빌드 및 배포를 참조하세요.

이 아키텍처는 애플리케이션 네트워킹 아키텍처 분산형 애플리케이션을 위한 크로스 클라우드 네트워크 및 기타 설계와 함께 작동합니다.

아키텍처

다음 다이어그램은 GKE 호스팅 추론 서버 앞에 Inference Gateway가 포함된 아키텍처를 보여줍니다. 게이트웨이는 호스팅된 모든 모델에 통합 서비스를 제공합니다.

AI 추론을 위한 네트워킹의 개략적인 개요

다이어그램에 표시된 아키텍처에는 다음 구성요소가 포함됩니다.

  • Private Service Connect 추론 엔드포인트: 호스팅된 모든 모델의 통합 엔드포인트입니다. 최종 사용자는 엔드포인트 IP 주소로 추론 요청을 전송합니다. 이 다이어그램은 단일 소비자 Virtual Private Cloud(VPC) 네트워크의 Private Service Connect 엔드포인트를 보여줍니다. 여러 VPC 네트워크 또는 공유 서비스 VPC 네트워크에서 엔드포인트를 호스팅할 수 있습니다.
  • Inference Gateway: Inference Gateway는 GKE Gateway를 개선하여 GKE가 생성형 AI 애플리케이션과 워크로드를 서빙하는 방식을 최적화합니다. 모델 이름을 기반으로 모델 복제본의 추론 풀로 트래픽을 라우팅합니다. 각 풀 내에서 llm-d 엔드포인트 선택기(EPP)는 실시간 모델 서버 신호를 사용하여 복제본의 점수를 매깁니다. 이러한 신호에는 프리픽스 캐시 일치 상태, 키-값(KV) 캐시 사용률, 대기 중인 요청 큐 길이, 활성 LoRA 어댑터 어피니티가 포함됩니다. EPP는 결합된 점수를 기반으로 각 요청에 최적의 복제본을 선택합니다. 이 아키텍처에서 고객 대상 애플리케이션은 OpenAI API를 호출하여 게이트웨이를 통해 모델에 액세스합니다. 게이트웨이는 리전 내부 애플리케이션 부하 분산기(gke-l7-rilb)를 기반으로 배포되므로 인터넷에서 직접 액세스할 수 없습니다.
    • API 관리: API 관리자는 API 인증, 보안, 비율 제한, 할당량 추적, 기타 API 관리 서비스를 제공합니다. 이 아키텍처는 Apigee를 사용하지만 다른 옵션도 지원합니다. 부하 분산기에서 Apigee를 호출하기 위해 아키텍처와 Terraform 배포는 서비스 확장 프로그램 트래픽 확장 프로그램을 사용하여 Apigee 확장 프로그램 프로세서를 호출합니다.
    • Model Armor: 추론 프롬프트가 추론 서버에 도달하기 전에 안전 검사를 수행하는 AI 가드레일 시스템입니다. 그런 다음 발신 대답에 대한 안전 확인을 수행합니다. 이 아키텍처는 AI 가드레일에 Model Armor를 사용하지만 NVIDIA NeMo Guardrails와 같은 다른 옵션도 지원합니다. 이 참조 아키텍처와 함께 제공되는 Terraform 배포에는 기본 Model Armor 구성이 포함되어 있습니다.
  • 추론 풀: 추론 풀에는 동일한 모델의 복제본이 포함됩니다. 게이트웨이가 프롬프트를 수신하면 HTTPRoute 조회를 사용하여 모델 식별자를 기반으로 추론 풀을 선택합니다. 풀에는 초기 크기가 있지만 자동 확장되도록 구성할 수 있습니다.
  • 모델 복제본 세트: 모델 복제본은 하나 이상의 GPU 또는 TPU에 배포된 추론 서버의 사본입니다. 모델 복제본은 단일 노드 또는 멀티 노드일 수 있습니다. 복제본 세트는 부하 분산기가 앞에 있는 균일한 모델 복제본 그룹입니다. 복제본 세트가 멀티 노드인 경우 GPU는 백엔드 RDMA VPC 네트워크를 통해 서로 연결됩니다. 이 네트워크는 레일 정렬, 고대역폭, 지연 시간이 짧은 GPU 간 네트워킹을 제공합니다.

요청 흐름

시스템은 다음과 같이 추론 요청을 라우팅합니다.

  1. 최종 사용자가 OpenAI API 요청을 Private Service Connect 엔드포인트로 전송합니다. 이 요청에는 다음이 포함됩니다.
    • 프롬프트입니다.
    • 호스팅된 추론 서버 중 하나의 모델 이름과 일치해야 하는 모델 이름입니다.
  2. Private Service Connect 엔드포인트는 요청을 Inference Gateway의 리전 내부 애플리케이션 부하 분산기 버전으로 전달합니다.
  3. 게이트웨이는 요청 본문에서 모델 이름을 추출하고 본문 기반 라우팅을 사용하여 요청 헤더에 삽입합니다.
  4. 게이트웨이는 필요한 API 관리 서비스를 위해 요청을 API 관리 시스템으로 전달합니다.
  5. 게이트웨이는 검사를 위해 프롬프트를 Model Armor로 전송합니다.
    • 프롬프트에 수정할 수 없는 민감한 정보가 포함된 경우 프롬프트가 차단되고 Model Armor는 정책 위반이 발견되었음을 나타내는 응답을 반환합니다.
    • 프롬프트에 수정할 수 있는 민감한 정보가 포함되어 있거나 프롬프트에 문제가 전혀 없는 경우 Model Armor는 민감한 정보를 수정하고 프롬프트를 전달합니다.
  6. 게이트웨이는 요청의 모델과 일치하는 InferencePool 백엔드의 HTTPRoute 리소스를 참조합니다. 여러 풀이 일치하면 게이트웨이는 구성된 트래픽 가중치를 사용하여 풀을 선택합니다.
  7. 게이트웨이는 EPP를 호출하여 풀의 복제본 전반에서 프리픽스 캐시 상태와 현재 부하를 평가하여 복제본을 선택합니다.
  8. 복제본은 요청을 처리하고 게이트웨이로 다시 전송합니다.
  9. 게이트웨이는 승인 또는 거부를 위해 응답을 Model Armor로 전송합니다.
  10. 게이트웨이는 응답을 Private Service Connect 엔드포인트로 다시 전송하고 최종 사용자에게 전달합니다.

다음 다이어그램은 샘플 배포의 라우팅 뷰를 보여줍니다.

샘플 복제본 세트에 대한 프롬프트 흐름

이 예시에서는 사용자가 선택한 모델에 따라 프롬프트가 처리됩니다.

  • Llama: 시스템은 Llama 모델을 제공하는 GKE의 두 InferencePool 복제본 세트 간에 이러한 프롬프트를 90/10 비율로 분할합니다. 이러한 풀은 서로 다른 GKE 노드 또는 가속기 구성을 사용하거나 새 모델 버전(llama-new)의 카나리아 출시를 실행할 수 있습니다.
  • LoRA-1-gemma 또는 LoRA-2-gemma: 시스템은 모든 프롬프트를 두 모델을 모두 처리할 수 있는 동일한 복제본 세트로 전송합니다.

모든 경우에 EPP는 프리픽스 캐시 어피니티, 부하 신호, LoRA 어댑터 상태를 결합하여 선택한 풀에서 복제본을 선택합니다.

사용 제품

이 참조 아키텍처에는 다음과 같은 Google Cloud제품이 사용됩니다.

  • Google Kubernetes Engine(GKE): Google 인프라를 사용하여 컨테이너화된 애플리케이션을 대규모로 배포 및 운영하는 데 사용할 수 있는 Kubernetes 서비스입니다.
  • GKE Inference Gateway: 생성형 AI 워크로드를 서빙하기 위한 최적화된 라우팅 및 부하 분산을 제공하는 Google Kubernetes Engine Gateway의 확장 프로그램입니다. AI 추론 워크로드의 배포, 관리, 모니터링 가능성을 간소화합니다.
  • 가상 프라이빗 클라우드(VPC): Google Cloud 워크로드에 확장 가능한 전역 네트워킹 기능을 제공하는 가상 시스템입니다. VPC에는 VPC 네트워크 피어링, Private Service Connect, 비공개 서비스 액세스, 공유 VPC가 포함됩니다.
  • Private Service Connect: 소비자가 VPC 네트워크 내부에서 비공개로 관리형 서비스에 액세스할 수 있는 기능입니다.
  • Cloud Run: Google의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 서버리스 컴퓨팅 플랫폼입니다.
  • Apigee: API 액세스 및 사용 방법을 세부적으로 제어할 수 있는 API 관리 도구입니다. 보안, 비율 제한, 할당량 적용, 분석을 제공합니다.
  • Model Armor: 프롬프트 인젝션, 민감한 데이터 유출, 유해한 콘텐츠로부터 생성형 AI 및 에이전트 AI 리소스를 보호하는 서비스입니다.

설계 대안

이 섹션에서는 이 아키텍처의 기본 가정에 대한 대안을 설명합니다.

AI 가드레일

AI 가드레일에 Model Armor를 사용합니다. 관리를 중앙 집중화하려면 이 아키텍처에 표시된 대로 부하 분산기에서 Model Armor를 직접 호출합니다. 다음과 같은 다른 방법으로 Model Armor를 구현할 수도 있습니다.

  • API 관리 정책을 사용하여 Model Armor를 호출합니다.
  • 복제본에만 Model Armor를 배포합니다.

다른 레이어에서 AI 가드레일을 구현하는 경우 프런트엔드 부하 분산기에서 Model Armor를 사용 중지할 수 있습니다. Model Armor를 사용하지 않으려면 트래픽 확장 프로그램을 사용하여 NVIDIA NeMo Guardrails와 같은 다른 가드레일 서비스를 통합할 수 있습니다.

API 관리

이 문서의 아키텍처는 API 관리에 Apigee를 사용하며, 이는 서비스 확장 프로그램 트래픽 확장 프로그램을 사용하여 배포됩니다. Apigee가 요구사항을 충족하지 않는 경우 서비스 확장 프로그램을 사용하여 다른 API 관리 서비스를 배포할 수 있습니다.

서비스 확장 프로그램을 사용하여 API 관리를 배포하는 것이 요구사항을 충족하지 않는 경우 클라이언트 연결 네트워크와 API 연결 네트워크를 배포해야 할 수 있습니다. 이 시나리오에서 API 관리 서비스는 두 네트워크 간의 브리지 역할을 합니다. Apigee에 이를 배포하는 방법에 대한 자세한 내용은 Apigee 네트워킹 옵션을 참조하세요.

다른 네트워크에 연결

이 문서의 아키텍처는 단일 소비자 VPC 네트워크를 사용합니다. 하지만 크로스 클라우드 네트워크 배포에서 서비스 액세스 VPC 네트워크를 사용하여 Private Service Connect 엔드포인트를 다른 여러 네트워크와 공유할 수 있습니다.

설계 고려사항

이 섹션에서는 Google Cloud Well-Architected Framework에 따른 설계 요소, 권장사항, 추천을 설명합니다. 이 참조 아키텍처를 사용하여 보안, 안정성, 비용 최적화, 운영 효율성, 성능에 대한 특정 요구사항을 충족하는 토폴로지를 개발할 때 이 정보를 고려하세요.

보안, 개인 정보 보호, 규정 준수

기준 아키텍처는 비공개 네트워크에서 추론 트래픽을 격리하고 Model Armor로 프롬프트를 검사합니다. GKE 추론 토폴로지를 더욱 강화하고 개인 정보 보호 및 규정 준수 요구사항을 충족하려면 다음 권장사항을 고려하세요.

  • 에지 및 애플리케이션 계층 보호: DDoS 보호, 웹 애플리케이션 방화벽(WAF) 규칙, IP 주소 검사를 추가하려면 Cloud Armor 보안 정책을 프런트엔드 리전 내부 애플리케이션 부하 분산기에 연결합니다.
  • 엔드 투 엔드 TLS 암호화:
    • 클라이언트-게이트웨이 트래픽을 암호화하려면 인증서 관리자를 사용하여 추론 게이트웨이 리스너에서 HTTPS를 종료합니다.
    • 게이트웨이에서 모델 서버 포드로의 트래픽을 암호화하고 인증하려면 각 InferencePool 백엔드에 BackendTLSPolicy 리소스를 연결합니다.
  • 제로 트러스트 액세스 및 경계 제어:
  • 맞춤 프롬프트 및 대답 템플릿:
    • 다양한 위험 프로필에 맞게 안전 기준을 조정하려면 사용자 프롬프트와 모델 대답에 대해 별도의 Model Armor 템플릿을 구성합니다.
    • 리전별 개인 식별 정보(PII)를 감지하고 익명화하려면 Sensitive Data Protection 템플릿을 Model Armor와 통합합니다.

안정성

기준 아키텍처는 자동 확장 InferencePool 백엔드 앞에 리전 추론 게이트웨이를 배포합니다. 트래픽 급증, 모델 출시, 클러스터 또는 리전 중단 중에 가용성을 개선하려면 다음 권장사항을 고려하세요.

  • 멀티 리전 및 멀티 클러스터 장애 조치:
    • 리전 서비스 중단을 방지하려면 Google Cloud 멀티 리전 배포 원형을 사용하여 배포를 두 번째 리전에 복제합니다.
    • 동일한 VPC 네트워크의 여러 GKE 클러스터에서 가속기 용량을 풀링하고 장애 조치를 수행하려면 멀티 클러스터 추론 게이트웨이를 고려하세요. 멀티 클러스터 게이트웨이는 Model Armor 또는 Apigee 게이트웨이 확장 프로그램을 지원하지 않으므로 멀티 클러스터 라우팅을 사용할 때는 업스트림 레이어에서 이러한 제어를 시행하세요.
  • 요청 우선순위 지정 및 부하 분산: 용량 급증 시 지연 시간에 민감한 트래픽을 보호하려면 InferenceObjective 리소스에서 숫자 Priority 수준을 정의합니다. InferencePool 백엔드가 과부하되면 Inference Gateway는 음수 우선순위 일괄 요청을 먼저 삭제합니다.
  • 점진적 출시 및 롤백: 중단을 최소화하면서 노드 하드웨어, 가속기 드라이버 또는 기본 모델을 업데이트하려면 병렬 InferencePool 백엔드를 배포하고 HTTPRoute 가중치를 사용하여 트래픽을 점진적으로 전환합니다. 오류가 증가할 경우 빠르게 롤백할 수 있도록 검증 중에 원래 InferencePool 백엔드를 활성 상태로 유지합니다.

비용 최적화

가속기 컴퓨팅은 일반적으로 GKE에서 AI 추론 비용의 가장 큰 부분을 차지합니다. 가속기 사용률을 극대화하고 기준 트래픽과 버스트 트래픽 간의 용량 비용을 분산하려면 다음 권장사항을 고려하세요.

운영 효율성

멀티 모델 추론 플랫폼을 운영하려면 게이트웨이 라우팅, KV 캐시 포화, 가속기 네트워킹에 대한 가시성이 필요합니다. GKE에서 2일 차 모니터링, 문제 해결, 클러스터 프로비저닝을 간소화하려면 다음 권장사항을 고려하세요.

  • 통합 추론 모니터링 가능성 및 알림: Google Cloud Managed Service for Prometheus의 llm-d 개요 대시보드를 사용하여 요청 처리량, 지연 시간, 오류율, 큐 깊이, KV 캐시 포화를 모니터링합니다.
  • 자동화된 가속기 네트워킹 및 벤치마킹:
    • 가속기 노드 풀에서 멀티 NIC 및 RDMA VPC 설정을 간소화하려면 가속기 VM용 자동 네트워킹을 사용하세요.
    • RDMA 네트워크 인터페이스를 멀티 노드 추론 포드에 동적으로 할당하려면 GKE 관리형 DRANET을 사용합니다.
    • 모델 및 가속기에 대한 벤치마킹된 서빙 매니페스트 및 HPA 기준점을 생성하려면 GKE 추론 빠른 시작을 사용합니다.

성능 최적화

추론 지연 시간과 처리량은 모델 서버 조정과 Inference Gateway가 복제본 간에 요청을 예약하는 방식에 따라 달라집니다. GKE에서 첫 번째 토큰까지의 시간(TTFT)을 줄이고 서빙 처리량을 늘리려면 다음 권장사항을 고려하세요.

배포

이 아키텍처의 샘플 구현을 배포하려면 GitHub에서 제공되는 AI 추론 모델 서빙을 위한 네트워킹 코드 샘플을 사용하세요.

다음 단계

참여자

작성자: 빅터 모레노 | Cloud Networking 제품 관리자

기타 참여자: