Vertex AI를 사용한 모델 공동 호스팅으로 LLM 제공의 효율성 격차 해소

요약: 대규모 언어 모델 (LLM)의 진화하는 환경에서 '머신당 모델 하나' 배포 패턴은 기업의 LLM 서빙 비용 효율성에 큰 병목 현상이 되고 있습니다. 모델 공동 호스팅은 여러 모델 인스턴스가 동일한 가상 머신과 GPU 리소스를 공유할 수 있도록 하여 이러한 효율성 격차를 해결합니다. 이 기술 블로그에서는 모델 공동 호스팅을 프로덕션에 즉시 사용 가능한 클라우드 서비스로 전환하는 Vertex AI 엔지니어링 프로세스를 자세히 설명합니다.
읽기 시간: 11분

대규모 언어 모델(LLM)의 진화하는 환경에서 '머신당 모델 하나' 배포 패턴은 기업의 LLM 서빙 비용 효율성에 큰 병목 현상이 되고 있습니다. LLM은 최대 부하를 관리하기 위해 전체 8x H100 GPU 노드와 같은 상당한 하드웨어 예약이 필요한 경우가 많습니다. 하지만 표준 작업 중에는 이러한 고가의 리소스가 충분히 활용되지 않는 경우가 많아 총소유비용 (TCO)이 높아집니다.

머신당 모델 1개 패턴을 나타내는 다이어그램 8개의 직사각형이 머신을 나타내는 더 큰 상자에 캡슐화되어 있습니다. 마지막 6개의 직사각형은 비활성화되어 있으며 점선 윤곽선이 있습니다. 이는 사용률이 낮은 리소스를 나타냅니다. 처음 두 직사각형에는 실선 윤곽선이 있습니다. 두 번째 직사각형도 비활성화되어 있고 첫 번째 직사각형은 파란색 배경에 '모델 A'라는 라벨이 지정되어 있습니다. 이 두 직사각형은 모델 A에서 사용하는 리소스를 나타냅니다.

이미지를 확대하려면 클릭

모델 공동 호스팅은 여러 모델 인스턴스가 동일한 가상 머신과 GPU 리소스를 공유할 수 있도록 하여 이러한 효율성 격차를 해결합니다. 여기에는 Llama 3.3 및 Gemma 3와 같은 완전히 다른 모델이 포함됩니다. Vertex AI Model Garden은 하위 GPU 메모리 슬라이싱과 지능형 리소스 파티셔닝을 활용하여 정적 하드웨어 예약을 유연한 고밀도 컴퓨팅 풀로 변환합니다.

모델 공동 호스팅 패턴을 나타내는 다이어그램 파란색 직사각형 3개가 고밀도 컴퓨팅 풀을 나타내는 더 큰 상자에 캡슐화되어 있습니다. 상자에는 'Llama 3.3', 'Gemma 3', 'Mistral 7B'라는 라벨이 지정되어 있습니다.

이미지를 확대하려면 클릭

이 기술 블로그에서는 Vertex AI 엔지니어링이 모델 공동 호스팅을 프로덕션에 즉시 사용 가능한 클라우드 서비스로 전환하는 과정을 자세히 설명합니다. 컨테이너 수준 구현 전략, 최적의 서빙 구성 식별, 광범위한 멀티 모델 벤치마크 연구의 주요 결과를 위한 방법론을 공유하여 LLM 서빙 비용 효율성을 극대화할 수 있도록 지원합니다.

모델 공동 호스팅 이해: 개념 및 아키텍처

모델 공동 호스팅은 여러 대규모 언어 모델 (LLM) 인스턴스 또는 서로 다른 모델 아키텍처가 단일 가상 머신 (VM) 내에서 동일한 물리적 하드웨어 리소스를 공유할 수 있는 고밀도 서빙 전략입니다. 전체 VM 또는 GPU를 단일 모델에 전용하는 기존 배포 모델과 달리 공동 호스팅은 세분화된 리소스 파티셔닝을 활용하여 하드웨어 ROI를 극대화하고 메모리 및 컴퓨팅 리소스의 활용도를 향상합니다.

Google의 구현은 독립적인 구성으로 여러 모델을 동시에 제공할 수 있는 컨테이너 수준 솔루션에 중점을 둡니다. 이 아키텍처는 단일 컨테이너 내에 여러 독립적인 모델 서버 인스턴스를 배포하는 것으로 시작하여 여러 통합 기술 메커니즘을 통해 작동합니다. 이러한 각 인스턴스는 모델 서버의 완전하고 독립적인 사본 역할을 하므로 가상 머신에서 동시 요청 처리가 가능합니다. 이 트래픽을 관리하기 위해 컨테이너 내에 인스턴스 라우팅 레이어를 구현하여 수신 요청을 활성 인스턴스 간에 효율적으로 분산했습니다.

이 설계는 각 공동 호스팅 모델이 텐서 동시 로드 (TP), 파이프라인 동시 로드 (PP), 특정 수의 모델 인스턴스에 대한 고유한 설정을 특징으로 하는 전용 서빙 구성을 활용할 수 있도록 하여 세분화된 동시 로드를 제공합니다. 이는 리소스 슬라이싱으로 보완됩니다. 리소스 슬라이싱은 특정 GPU 메모리 파티션(예: 모델당 0.4 GPU 메모리 파티션)을 각 모델에 할당하여 다양한 워크로드가 중요한 메모리 리소스를 서로 고갈시키지 않고 동일한 가속기에서 공존하도록 합니다. 이러한 아키텍처 접근 방식은 전체 8x H100 GPU 노드와 같은 정적 하드웨어 예약을 대규모 추론 모델부터 지연 시간이 짧은 소형 채팅 모델에 이르기까지 다양한 포트폴리오를 제공할 수 있는 유연한 컴퓨팅 풀로 변환합니다.

인스턴스 라우팅 구현을 보여주는 플로우 차트 수신 요청은 컨테이너로 전달되며, 여기에서 요청은 '인스턴스 라우팅' 구성요소에 의해 처리됩니다. 그런 다음 이 구성요소는 요청을 모델 A, 모델 B, 모델 C의 세 가지 'VLLM 서버 (모델)' 구성요소 중 하나로 라우팅합니다. VLLM 서버 아래에는 GPU 메모리가 파티셔닝되는 방식이 표시됩니다. '파티션 A (40%)', '파티션 B (30%)', '파티션 C(30%)'의 세 가지 GPU 메모리 부분이 있습니다.

이미지를 확대하려면 클릭

프로토타입 제작 및 벤치마크 연구

프로덕션에 즉시 사용 가능한 오케스트레이터를 개발하기 전에 모델 공동 호스팅의 이론적 효율성을 검증하기 위해 포괄적인 벤치마크 연구를 수행했습니다. 이 단계에서는 vLLM의 기본 동시 로드를 철저히 테스트하고 모델이 동일한 실리콘을 공유할 때의 '간섭' 정도를 정확하게 정량화하는 것을 목표로 했습니다.

병렬 처리 조사: '교차점' 찾기

초기 분석에서는 vLLM의 기본 텐서 동시 로드(TP)와 모델 인스턴스의 Vertex 구현을 여러 vLLM 서버 인스턴스로 사용하여 이러한 전략이 다양한 사용자 부하와 어떻게 상호작용하는지 확인하는 데 중점을 두었습니다. 최적의 구성은 동시 실행에 크게 좌우된다는 것을 발견했습니다. 동시 실행이 낮을 때는 높은 텐서 동시 로드 (예: TP=8)가 사용 가능한 모든 가속기에 레이어를 분산하여 개별 요청에 대해 가장 낮은 지연 시간을 제공합니다. 하지만 동시 트래픽이 증가하면 병목 현상이 이동합니다. 부하가 높은 조건에서 처리량을 극대화하기 위해 최적의 구성은 TP=8에서 TP=4, TP=2, 마지막으로 TP=1로 전환하는 동시에 독립적인 모델 인스턴스 수를 늘립니다. 이 전환은 낮은 TP 설정에서 GPU 간 통신 지연 시간 감소의 이점이 높은 TP 실행의 원시 속도보다 큰 '교차점'을 정의합니다. 다음은 Gemma 2 9B IT 모델의 교차점 차트입니다.

'Gemma 2 9B IT 요청 처리량, 가벼운 트래픽에서 무거운 트래픽'이라는 제목의 선 그래프입니다. '요청 처리량 (요청/초)'이라는 라벨이 지정된 Y축은 0.000에서 100.000까지이며 25.000씩 증가합니다. X축은 '동시 실행'으로 라벨이 지정되며 범위는 1~1024입니다. 그래프에는 각각 다른 병렬화 구성을 나타내는 5개의 데이터 계열이 표시됩니다. 한 선은 'TP=1, DP=8'입니다. 한 줄은 'TP=1, DP=1, 서버 인스턴스 8개'입니다. 한 줄은 'TP=4, DP 1, 2 서버 인스턴스'입니다. 한 줄은 'TP=2, DP=1, 서버 인스턴스 4개'입니다. 한 줄은 'TP=8, DP=1'입니다. 모든 데이터 계열은 심각도에 따라 유사한 로그 증가 추세를 보입니다.

이미지를 확대하려면 클릭

최적의 확장: 단일 모델, 다중 복제본

확장성에 대한 엄격한 기준을 설정하기 위해 단일 노드에서 동일한 모델의 여러 인스턴스를 서빙하는 것을 벤치마킹했습니다. 포화 트래픽 조건 (GPU당 동시 요청 2,048개)에서 8xH100 노드에서 독립적인 vLLM 서버 인스턴스 8개를 실행하면 단일 GPU 기준에 비해 지연 시간 회귀가 거의 없이 처리량이 약 7.8배 향상되었습니다.

인프라 비교: 컨테이너와 포드 공동 예약

또한 네이티브 인프라 수준 솔루션, 특히 포드 공동 예약과 비교하여 컨테이너 수준 조정을 평가했습니다. 두 솔루션 모두 멀티 복제본 서빙에서 비슷한 성능을 보였지만, 결국 최소 기능 제품(MVP)에는 컨테이너 수준 접근 방식을 선택했습니다. 이 결정은 컨테이너 수준 솔루션이 이기종 공동 호스팅에 제공하는 뛰어난 유연성 덕분에 이루어졌습니다. 이를 통해 개발자는 기본 Kubernetes 예약 제약 조건에 제한되지 않는 세분화된 소프트웨어 정의 메모리 파티션과 함께 다양한 모델 아키텍처를 나란히 제공할 수 있습니다. 또한 컨테이너 수준 조정은 훨씬 더 빠른 반복을 허용하며 맞춤설정과 혁신이 더 쉽습니다.

간섭 테스트: 서로 다른 모델 공동 호스팅

마지막 프로토타입 제작 단계는 '간섭 테스트'로, 동일한 VM에서 Gemma-3n-E2B-it과 Llama-3.1-8B-Instruct를 공동 호스팅했습니다. 각 모델에 0.4 GPU 메모리 파티션이 할당된 경우 서빙 성능은 단일 모델 벤치마크와 거의 동일하게 유지되었습니다. 예를 들어 Gemma-3n은 공동 호스팅 환경에서 30.21개의 요청을 달성한 반면, 격리된 환경에서는 30.96개의 요청을 달성했습니다. 이러한 결과는 KV 캐시 부족을 방지하기 위해 메모리 리소스가 적절하게 파티셔닝된 경우 트래픽이 많더라도 공동 호스팅 모델 간에 컴퓨팅 간섭이 거의 또는 전혀 없음을 확인해 줍니다.

MVP 컨테이너 구현

검증된 벤치마크에서 프로덕션에 즉시 사용 가능한 시스템으로 전환하려면 강력한 컨테이너화된 조정자를 엔지니어링해야 했습니다. 이 개발 단계에서는 결정론적 리소스 격리를 보장하면서 여러 모델 수명 주기의 복잡성을 관리할 수 있는 상위 수준 소프트웨어 레이어를 빌드하는 데 중점을 두었습니다.

모델 공동 호스팅 서버 설계

구현의 핵심은 컨테이너 내에서 마스터 조정자 역할을 하도록 설계된 맞춤 진입점인 model_cohost_server입니다. 이 서버는 표준 단일 프로세스 모델에서 벗어나 하위 프로세스 관리를 구현하여 vLLM과 같은 여러 독립 모델 서버 인스턴스를 격리된 하위 프로세스로 동시에 실행할 수 있도록 지원합니다. 수신 트래픽을 관리하기 위해 조정자는 상위 수준 요청 라우팅을 사용하여 --served-model-name와 같은 인수를 통해 고유한 모델 식별자로 요청을 식별하고 해당 내부 서버 인스턴스로 전달합니다. 서버는 라우팅 외에도 포괄적인 수명 주기 조정을 제공하여 모든 공동 호스팅 인스턴스의 초기화, 상태 모니터링, 종료를 관리합니다. 이러한 중앙 집중식 관리는 각 하위 프로세스의 고유한 운영 경계를 유지하면서 외부 트래픽에 대한 단일 통합 엔드포인트를 제공합니다.

모델 공동 호스트 서버를 통한 수신 요청 프로세스를 보여주는 흐름 다이어그램 프로세스는 '모델 공동 호스팅 서버'로 전달되는 '수신 요청'으로 시작됩니다. 여기에서 요청은 '수명 주기 조정' 구성요소로 이동한 다음 '모델 공동 호스팅 라우터'로 이동합니다. 라우터는 '모델 식별자 확인'을 수행한 후 요청을 세 개의 독립적인 모델 서버 인스턴스 중 하나로 전달합니다. 이 인스턴스는 '독립적인 모델 서버 인스턴스(Llama 3.3)', '독립적인 모델 서버 인스턴스 (Gemma 3.0)', '독립적인 모델 서버 인스턴스 (Mistral 7.0)'입니다.

이미지를 확대하려면 클릭

GPU 리소스 파티셔닝: 결정론적 슬라이싱

단일 모델의 워크로드가 공동 호스팅 환경에서 메모리 부족(OOM) 오류를 트리거하는 위험을 제거하기 위해 엄격한 리소스 슬라이싱 메커니즘을 구현했습니다. 이는 gpu-memory-partition 인수를 통해 운영되며, 이를 통해 개발자는 명시적인 메모리 비율 (예: 0.4, 0.4)을 정의하여 각 개별 모델 인스턴스에 대해 노드의 총 GPU 메모리 중 고정된 비율을 예약할 수 있습니다.

이 할당을 안내하기 위해 정적 리소스 요구사항과 동적 리소스 요구사항을 구분하는 '사전 할당 메모리 모델과 임시 메모리 모델'을 채택합니다. '사전 할당된' 메모리는 모델 가중치 및 KV 캐시에 사용되는 메모리로 구성됩니다. 모델 가중치에 사용되는 메모리 양은 모델의 파라미터 수와 정밀도에 따라 달라집니다. 예를 들어 BF16의 8B 파라미터 모델에는 약 16GB의 정적 스토리지가 필요합니다. KV 캐시에 사용되는 메모리 양은 모델 크기, 정밀도, 컨텍스트 길이, 시퀀스 수에 따라 달라집니다. '임시' 메모리는 중간 계산과 추론 작업 메모리로 구성됩니다. gpu-memory-partition 인수는 '사전 할당된' 메모리를 나타냅니다. gpu-memory-partition의 합계를 1.0보다 작게 설정하여 '임시' 메모리를 위한 버퍼 공간을 남겨두는 것이 좋습니다.

GPU 메모리 파티션을 보여주는 다이어그램으로, 세 섹션으로 나뉩니다. 첫 번째 섹션은 '파티션 A (0.40)'로 라벨이 지정되어 있으며 '사전 할당된 메모리 (모델 매개변수, KV 캐시)'와 '임시 메모리 (작업 메모리)'라는 두 가지 유형의 메모리에 대한 하위 섹션이 포함되어 있습니다. 두 번째 섹션은 '파티션 B(0.4)'로 라벨이 지정되어 있으며 첫 번째 파티션과 유사한 두 개의 하위 섹션이 포함되어 있습니다. 마지막 섹션에는 '시스템/오버헤드 (0.2)'라는 라벨이 지정되어 있습니다.

이미지를 확대하려면 클릭

제품화

Vertex AI를 사용한 모델 공동 호스팅의 제품화 단계는 단일 모델 다중 복제본 및 멀티 모델 서빙 구성 모두에 대해 원활하고 프로덕션에 즉시 사용 가능한 환경을 구축하는 데 전념했습니다. 이러한 전환을 통해 경험적 벤치마크 결과를 간소화된 배포 워크플로와 긴밀하게 통합된 인프라 지원 구조로 효과적으로 변환했습니다.

간소화된 배포 워크플로

고밀도 서빙의 진입 장벽을 낮추기 위해 기존 Vertex AI API와 기본적으로 통합되는 커스텀 컨테이너 인수를 사용하여 공동 호스팅 구성을 표준화했습니다. 8x H100 노드와 같은 전체 형태 가상 머신의 경우 특정 사용 사례에 가장 적합한 레시피를 맞춤설정할 수 있는 벤치마크 유틸리티를 개발했습니다. 이러한 벤치마크 유틸리티를 사용하면 모델의 특정 파라미터 수와 정밀도를 기반으로 텐서 동시 로드 (TP), 파이프라인 동시 로드(PP), 모델 인스턴스 수의 균형을 자동으로 조정하는 구성을 찾을 수 있습니다. 이는 강력한 Deployment API 지원으로 보완되어 개발자가 표준 deployModel 요청 내에서 직접 정확한 GPU 메모리 파티션을 포함한 이러한 세분화된 매개변수를 지정하고 모델을 배포할 수 있습니다.

동적 멀티 모델 서빙

기술 여정에서 중요한 발전은 정적 구성에서 동적 서빙 아키텍처로의 전환이었습니다. 이 기능은 트래픽 패턴이 빠르게 변화하는 프로덕션 환경에 매우 중요합니다. 전체 컨테이너를 다시 시작하지 않고도 모델을 로드하거나 언로드할 수 있는 기능은 인프라 민첩성과 고가용성을 유지하는 데 필수적이기 때문입니다.

Dynamic Update API (update_models)

불변 배포의 고유한 한계를 해결하기 위해 Vertex Model Garden vLLM 모델 공동 호스팅 컨테이너 내에 특수 모델 업데이트 API를 구현했습니다. 이 API는 핫 리로딩을 지원하므로 서버가 Google Cloud Storage(GCS) 버킷에 저장된 중앙 집중식 구성 파일을 기반으로 호스팅된 모델의 포트폴리오를 즉시 조정할 수 있습니다.

업데이트 프로세스는 GCS YAML 파일을 가리키는 model_config_path가 포함된 update_models 엔드포인트에 대한 POST 요청을 통해 시작됩니다. 이 요청을 수신하면 서버는 다운타임을 최소화하도록 최적화된 다단계 조정 시퀀스를 실행합니다.

  • 단계적 언로드: 시스템은 새 구성에 없는 모델을 식별하고 하위 프로세스를 먼저 종료하여 GPU 메모리와 컴퓨팅 리소스를 즉시 회수합니다.
  • 지능형 로드 및 재사용: 그런 다음 서버가 새 모델 인스턴스를 초기화합니다. 중요한 점은 텐서 동시 로드 (TP) 또는 파이프라인 동시 로드 (PP)와 같은 모델의 동시 로드 설정과 할당된 메모리 파티션이 변경되지 않으면 조정자가 기존 실행 인스턴스를 재사용한다는 것입니다. 이 최적화는 비용이 많이 드는 재초기화 단계를 우회하여 구성 변경 중에 활성 서비스가 중단되지 않도록 합니다.

동적 멀티 모델 서빙을 보여주는 흐름 다이어그램 맨 위 노드에는 'Post /update_models API 요청 (with 'model_config_path')' 라벨이 지정되어 있으며 'Read GCS YAML Config' 라벨이 지정된 노드로 흐릅니다. 'Read GCS YAML Config' 노드는 'Server Orchestration'이라는 라벨이 지정된 노드로 흐르고, 이 노드는 왼쪽과 오른쪽의 두 노드로 흐릅니다. 왼쪽 노드에는 '단계적 언로드 (삭제된 모델)' 라벨이 지정되고 오른쪽 노드에는 '지능형 로드 (새 모델/변경된 모델, 변경되지 않은 인스턴스 재사용)' 라벨이 지정됩니다. 두 노드 모두 '업데이트된 모델 활성'이라는 라벨이 지정된 노드로 이동합니다.

이미지를 확대하려면 클릭

지연 시간 및 성능 분석

이러한 업데이트 전략을 실증적으로 분석한 결과, 동적 핫 리로딩은 대규모 LLM 서빙과 관련된 '콜드 스타트' 페널티를 크게 완화하는 것으로 나타났습니다.

결론

Vertex AI를 사용한 모델 공동 호스팅은 경직되고 하드웨어 집약적인 모놀리식 배포에서 유연하고 효율적인 서빙 아키텍처로 전환하는 근본적인 패러다임 변화를 나타냅니다. 'VM당 모델 하나' 표준을 넘어 고밀도 컴퓨팅 풀 모델로 발전함으로써 조직은 성능 벤치마크를 유지하고 개선하면서 총소유비용 (TCO)을 크게 줄일 수 있습니다.

Google의 엔지니어링 여정과 광범위한 멀티 모델 벤치마크 연구를 통해 이 아키텍처에 대한 명확한 프로덕션 가이드라인이 수립되었습니다.

  1. 모든 상황에 적합한 단일 구성은 없습니다. Google은 특정 사용 사례 (모델, 하드웨어, 트래픽)에 가장 적합한 서빙 레시피를 찾고 이를 위한 도구를 빌드하는 것을 지지합니다.
  2. 복제본을 사용한 처리량 확장
  3. 하드웨어 경계를 허물고 메모리를 더 세분화된 수준으로 분할하여 리소스 사용률을 개선합니다.

공동 호스팅 아키텍처를 성공적으로 구현하려면 다음 기술 워크플로를 따르는 것이 좋습니다.

  1. 명시적 파티셔닝: --gpu-memory-partitions 인수를 사용하여 개별 모델에 메모리 리소스를 할당합니다.
  2. 반복 벤치마킹: 제공된 벤치마크 유틸리티를 사용하여 워크로드의 특정 '동시 실행 크로스오버' 지점, 즉 인스턴스 수, TP, PP의 '최적' 구성을 식별합니다.

Google Cloud Model Garden에서 공동 호스팅을 구현하면 고밀도 AI 애플리케이션을 빌드하기 위한 확장 가능한 청사진이 제공됩니다. 개발자는 이러한 기능을 살펴보고 제공된 튜토리얼 노트북을 사용하여 벤치마크를 재현하여 특정 엔터프라이즈 요구사항에 맞게 서빙 구성을 최적화하는 것이 좋습니다.

읽어 주셔서 감사합니다.

Vertex AI에 대한 의견이나 질문이 있으면 언제든지 알려주시기 바랍니다.

감사의 말씀

Google Cloud Vertex AI팀에 진심으로 감사드립니다. 특히 이 프로젝트 전반에 걸쳐 리더십과 지도를 제공해 주신 Bo Wu와 Ting Yu, 그리고 귀중한 기여를 해주신 Deborah He, Shawn Ma, Desmond Liu, Yang Pan, Surya K G Tangatur, Luis Rizo에게 감사드립니다.