GKE 에이전트 샌드박스 정보

Google Kubernetes Engine(GKE) 에이전트 샌드박스를 사용하면 GKE에서 격리된 스테이트풀(Stateful) 단일 복제본 워크로드를 관리할 수 있습니다. 신뢰할 수 없는 LLM 생성 코드를 안전하고 성능이 우수한 환경에서 실행해야 하는 AI 에이전트 런타임과 같은 사용 사례에 최적화되어 있습니다.

GKE 에이전트 샌드박스 부가기능은 오픈소스 에이전트 샌드박스 컨트롤러 프로젝트를 기반으로 하며 출시 주기를 따릅니다. 관리형 GKE 부가기능으로 Google은 자동 업그레이드 및 보안 패치를 포함하여 컨트롤러의 전체 수명 주기를 관리합니다.

이 문서에서는 GKE 에이전트 샌드박스의 개념 개요를 제공합니다.

GKE 에이전트 샌드박스를 사용해야 하는 이유

GKE 에이전트 샌드박스는 높은 수준의 확장성, 확장성, 보안이 필요한 에이전트 워크로드를 위해 빌드되었습니다. 이를 통해 얻을 수 있는 주요 이점은 다음과 같습니다.

  • gVisor와 같은 기술을 사용하여 신뢰할 수 없는 LLM 생성 코드에 강력한 커널 수준 격리를 제공합니다.
  • 1초 미만의 프로비저닝: 표준 Kubernetes 포드 예약 (일반적으로 1초 미만)보다 훨씬 빠르게 샌드박스를 제공하는 기본 제공 메커니즘을 제공합니다.
  • 클라우드 기반 확장성: Kubernetes 패러다임과 GKE의 관리형 인프라의 기능을 활용합니다.

선언적 표준화된 API를 제공함으로써 GKE 에이전트 샌드박스는 Kubernetes 기본 요소를 기반으로 완전히 빌드된 가상 머신 (VM)과 유사한 격리 및 지속성 특성을 제공하는 단일 컨테이너 환경을 제공합니다.

에이전트 샌드박스의 일반적인 사용 사례

격리, 지속성, 안정적인 ID가 필요한 워크로드에 GKE 에이전트 샌드박스를 사용합니다. 사용 사례의 예를 들면 다음과 같습니다.

  • gVisor와 같은 보안 중심 런타임으로 격리된 환경에서 신뢰할 수 없는 코드를 안전하게 실행합니다.
  • 개발 환경: 개발자에게 지속적이고 격리된 클라우드 기반 코딩 환경을 제공합니다.
  • 노트북 및 연구 도구: Jupyter 노트북과 같은 대화형 도구를 위한 단일 컨테이너 세션을 호스팅합니다.
  • 스테이트풀(Stateful) 단일 포드 서비스: 안정적인 ID와 스토리지가 필요한 애플리케이션을 StatefulSet의 복잡성 없이 실행합니다.
  • 프로그래매틱 환경 관리: Agent Sandbox Python SDK와 같은 제공된 클라이언트 라이브러리 SDK를 사용하여 Kubernetes YAML을 관리하지 않고 애플리케이션 로직에서 직접 샌드박스를 요청하고 관리합니다.

GKE 에이전트 샌드박스 작동 방식

GKE 에이전트 샌드박스는 커스텀 컨트롤러와 여러 Kubernetes 커스텀 리소스 정의 (CRD)를 사용하여 샌드박스 환경의 수명 주기를 관리합니다.

핵심 아키텍처

  • 샌드박스 CRD: 단일 스테이트풀(Stateful) 포드를 나타내는 기본 리소스입니다. 안정적인 호스트 이름, 네트워크 ID, 영구 스토리지를 관리합니다.
  • 샌드박스 라우터: 안정적인 엔드포인트를 제공하고 트래픽을 적절한 샌드박스 포드로 터널링하여 기본 네트워킹 복잡성을 추상화하는 구성요소입니다.
  • 포드 스냅샷과의 통합: GKE 에이전트 샌드박스는 GKE 포드 스냅샷 기능과 통합되어 컨테이너의 전체 상태를 저장하고 복원하여 워크로드를 일시중지하고 재개할 수 있습니다.

클레임 모델

클레임 모델 은 워크로드가 프로비저닝되는 위치와 방법과 같은 특정 구현 세부정보에서 환경에 대한 사용자 요청을 분리하는 주요 기능입니다. 표준 Kubernetes StatefulSet와 달리 클레임 모델을 사용하면 기본 포드 또는 스토리지 구성을 직접 관리하지 않고 샌드박스를 요청할 수 있습니다.

클레임 모델은 SandboxClaim 및 SandboxTemplate CRD를 사용하여 관리되며 다음과 같이 작동합니다.

  1. 사용자 또는 애플리케이션은 SandboxTemplate를 참조하는 SandboxClaim을 만들어 샌드박스를 요청합니다.
  2. 컨트롤러는 클레임을 실제 샌드박스 인스턴스에 매핑하여 유연한 백엔드 관리를 제공합니다. 이렇게 하면 시스템에서 기존 샌드박스를 재사용하거나 풀에서 할당할 수 있습니다.

웜 풀

웜 풀 기능은 대화형 AI 에이전트 시나리오에 중요한 시작 지연 시간을 최소화하도록 설계되었습니다. 이 기능을 사용하면 에이전트 샌드박스가 일반적인 포드 예약보다 훨씬 빠른 1초 미만의 실행 환경을 제공할 수 있습니다. 이 기능은 SandboxWarmPool CRD를 사용하여 관리되며 다음과 같이 작동합니다.

  1. SandboxWarmPool은 준비 상태의 사전 워밍된 포드 인스턴스 집합을 유지합니다.
  2. SandboxClaim이 생성되면 컨트롤러는 새 포드가 이미지를 가져오고 처음부터 시작할 때까지 기다리는 대신 풀에서 포드를 즉시 할당합니다.
  3. 포드 스냅샷과 결합하면 웜 풀은 사전 구성된 상태에서 포드를 복원하여 빠르고 '즉시 사용' 기능을 제공합니다.

네트워크 격리

GKE 에이전트 샌드박스는 모든 샌드박스 환경에 기본 거부 네트워크 보안 태세를 구현합니다. 이렇게 하면 샌드박스 내에서 실행되는 신뢰할 수 없는 코드가 기본적으로 승인되지 않은 내부 네트워크 또는 GKE 컨트롤 플레인에 액세스할 수 없습니다. SandboxTemplate 내에서 특정 네트워크 제한사항과 허용된 이그레스 또는 인그레스 규칙을 정의하여 에이전트 워크로드에 세분화된 보안을 제공할 수 있습니다.

SDK를 사용한 프로그래매틱 액세스

AI 엔지니어는 제공된 클라이언트 라이브러리를 사용하여 GKE 에이전트 샌드박스 리소스를 프로그래매틱 방식으로 사용할 수 있습니다. 예를 들어 Python SDK는 기본 SandboxClaim 및 SandboxTemplate 구성을 추상화하는 상위 수준 인터페이스를 제공합니다. 이를 통해 LangChain 또는 Vertex AI 에이전트 SDK와 같은 Python 기반 에이전트 프레임워크에서 직접 격리된 환경을 만들고 상호작용할 수 있습니다.

제한사항 및 요구사항

GKE 에이전트 샌드박스에는 다음과 같은 제한사항 및 요구사항이 있습니다.

  • 클러스터 버전: 스냅샷을 포함한 모든 기능을 지원하려면 GKE 버전 1.35.2-gke.1269000 이상이 필요합니다.
  • 인프라 요구사항: 특정 노드 구성 (예: N2 머신 유형)에 최적화되어 있으며 클러스터에 에이전트 샌드박스 컨트롤러를 설치하고 구성해야 합니다.
  • 격리 런타임: 여러 런타임을 지원하지만 주로 gVisor와 같은 보안 강화 런타임과 함께 사용하도록 설계되었습니다.
  • 기본 기능 가용성: GKE 포드 스냅샷과 같은 일부 기본 기능은 미리보기 상태이거나 특정 지역에서만 제공될 수 있습니다.

다음 단계