이 문서에서는 Gemini Enterprise 및 Gemini Enterprise Agent Platform을 사용하여 검색 증강 생성(RAG)으로 생성형 AI 애플리케이션의 인프라를 설계하는 데 사용할 수 있는 참조 아키텍처를 제공합니다. 이 참조 아키텍처에서는 관리형 서비스를 사용하고 단일 AI 에이전트를 배포하여 엔드 투 엔드 RAG 데이터 흐름을 지원하는 방법을 보여줍니다. Gemini Enterprise는 기업 전반의 에이전트 조정을 위한 통합 플랫폼 역할을 합니다. Agent Platform은 커스텀 에이전트의 개발 및 배포를 가속화하고 RAG의 효율적인 검색을 지원하는 관리형 데이터 스토어를 제공합니다.
이 문서의 주요 대상에는 생성형 AI 애플리케이션의 설계자, 개발자, 관리자가 포함됩니다. 이 문서는 AI, 머신러닝(ML), 대규모 언어 모델(LLM) 개념에 대한 기본 이해가 있다는 가정 하에 작성되었습니다. 이 문서에서는 생성형 AI 애플리케이션의 설계 및 개발 방법에 대한 안내를 제공하지 않습니다. 애플리케이션을 설계하는 방법에 대한 자세한 내용은 생성형 AI 애플리케이션 개발을 참조하세요.
아키텍처
다음 다이어그램은 이 문서에서 설명하는 아키텍처를 대략적으로 보여줍니다.
위 다이어그램의 아키텍처에는 데이터 수집과 서빙이라는 두 가지 하위 시스템이 있습니다.
- 데이터 수집 하위 시스템은 RAG에 사용할 외부 소스의 데이터를 수집하고 준비합니다. 하위 시스템은 수집된 데이터에 대한 임베딩을 생성하고 이를 사용하여 관리형 데이터 스토어에서 검색 가능한 벡터 색인을 빌드하고 유지보수합니다.
- 서빙 하위 시스템에는 생성형 AI 애플리케이션의 프런트엔드 및 백엔드 서비스가 포함됩니다.
- 프런트엔드 서비스는 애플리케이션 사용자와의 쿼리-응답 흐름을 처리하고 쿼리를 백엔드 서비스로 전달합니다.
- 백엔드 서비스는 Gemini Enterprise 및 Agent Platform을 사용하여 AI 에이전트를 빌드하고 배포하여 RAG 프로세스를 조정합니다. 이 프로세스는 색인이 생성된 벡터 데이터를 사용하여 문맥에 기반하고 책임감 있는 AI 안전 필터를 준수하는 대답을 생성합니다.
다음 다이어그램은 아키텍처를 세부적으로 보여줍니다.
다음 섹션에서는 앞의 아키텍처 다이어그램에 포함된 각 하위 시스템 내의 데이터 흐름을 설명합니다.
데이터 수집 하위 시스템
데이터 수집 하위 시스템은 외부 소스에서 데이터를 수집하고 RAG를 위해 데이터를 준비합니다. 데이터 수집 및 준비 흐름의 단계는 다음과 같습니다.
- 데이터 엔지니어가 외부 소스의 데이터를 Cloud Storage 버킷에 업로드합니다. 외부 소스는 애플리케이션, 데이터베이스 또는 스트리밍 서비스일 수 있습니다.
- 완료되면 Cloud Storage에서 Pub/Sub 주제에 메시지를 게시합니다.
- Pub/Sub 주제는 Cloud Run Functions에서 실행할 처리 작업을 트리거합니다.
- Cloud Run Functions는 메타데이터를 JSON Lines(JSONL) 파일로 생성하고 저장하여 원시 데이터를 처리합니다. JSONL 파일은 별도의 Cloud Storage 버킷에 저장됩니다.
- 완료되면 Cloud Run Functions가 Pub/Sub 주제에 메시지를 게시합니다.
- Pub/Sub 주제는 Discovery Engine API의
documents.import메서드를 호출하는 다운스트림 Cloud Run 함수를 트리거하여 Gemini Enterprise 내의 관리형 데이터 스토어에서 가져오기 작업을 시작합니다. 가져오기 작업은 Cloud Storage 버킷에서 수집된 원시 데이터와 메타데이터를 가져온 다음 서빙 중에 효율적으로 검색할 수 있도록 데이터를 파싱하고 청크합니다. Gemini Enterprise는 필수 구성 없이 벡터 임베딩을 자동으로 생성합니다.
서빙 하위 시스템
서빙 하위 시스템은 생성형 AI 애플리케이션과 사용자 사이의 쿼리-응답 흐름을 처리합니다. 서빙 흐름의 단계는 다음과 같습니다.
- 애플리케이션 사용자가 Cloud Run 프런트엔드 서비스 중 하나를 통해 쿼리를 전송합니다. 챗봇 UI, 검색 페이지, 모바일 애플리케이션과 같은 다양한 환경에 맞게 이러한 서비스를 맞춤설정할 수 있습니다.
- 프런트엔드 서비스는 쿼리를 수신한 후 중앙 집중식 Cloud Run 백엔드 서비스로 전달합니다. 이 백엔드는 모든 다양한 프런트엔드 클라이언트를 지원하는 단일 통합 엔드포인트를 제공합니다. 백엔드 서비스는 검색어의 필터 구성을 포함할 수 있는 필요한 사전 처리도 수행합니다. 이 접근 방식은 프런트엔드에 로직을 투명하게 유지합니다.
- 백엔드 서비스는 Gemini Enterprise API 엔드포인트를 사용하여 준비된 요청을 Gemini Enterprise로 전송하여 RAG 워크플로를 시작합니다.
- 쿼리를 처리하기 위해 Gemini Enterprise는 엔터프라이즈 검색 및 커스텀 에이전트를 사용하여 다음 작업을 수행합니다.
- 사용자 쿼리의 임베딩을 만듭니다.
- 관리형 데이터 스토어에서 색인이 생성된 데이터에 대한 시맨틱 검색을 수행하여 가장 관련성이 높은 정보를 찾습니다.
- 관리형 데이터 스토어에서 검색된 데이터로 원래 쿼리를 보강하여 상세하고 컨텍스트와 연결된 프롬프트를 만듭니다.
- 보강된 프롬프트를 기반으로 최종 대답을 생성합니다.
- Gemini Enterprise는 생성된 대답을 Cloud Run 백엔드 서비스로 전송합니다.
- 백엔드 서비스는 원래 요청을 보낸 프런트엔드 서비스에 최종 응답을 반환합니다. 프런트엔드 서비스는 애플리케이션 사용자에게 답변을 표시합니다.
사용 제품
이 참조 아키텍처에는 다음과 같은 Google Cloud 제품이 사용됩니다.
- Gemini Enterprise: 기업 내에서 AI 에이전트를 배포하고 관리할 수 있는 완전 관리형 보안 플랫폼입니다.
- Gemini Enterprise Agent Platform: 엔터프라이즈급 AI 에이전트를 빌드, 확장, 제어, 최적화할 수 있는 포괄적인 플랫폼입니다.
- Gemini Enterprise Agent Platform의 Agent Runtime: 프로덕션에서 AI 에이전트를 실행, 관리, 확장할 수 있는 플랫폼입니다.
- Cloud Run: Google의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 서버리스 컴퓨팅 플랫폼입니다.
- Cloud Run Functions: Google Cloud에서 직접 단일 목적 함수를 실행할 수 있는 서버리스 컴퓨팅 플랫폼입니다.
- Pub/Sub: 메시지 생성 서비스를 메시지 처리 서비스와 분리하는 비동기식의 확장 가능한 메시징 서비스입니다.
- Cloud Storage: 다양한 데이터 유형에 적합한 저비용, 무제한 객체 스토어입니다. Google Cloud내부 및 외부에서 데이터에 액세스할 수 있고 중복성을 위해 여러 위치에 복제됩니다.
사용 사례
이 아키텍처는 생성형 AI 애플리케이션이 최신 정보에 액세스해야 하고 정확한 대답을 제공하기 위해 심층적인 문맥 이해가 필요한 엔터프라이즈 시나리오를 위해 설계되었습니다.
이 아키텍처에는 두 가지 주요 기업 요구사항을 해결하기 위한 커스텀 데이터 수집 하위 시스템이 포함되어 있습니다.
- 실시간 데이터 가용성: 이벤트 기반 파이프라인은 조직에서 새 데이터(예: 새 제품 가이드 또는 업데이트된 보고서)를 사용할 수 있게 되는 즉시 처리합니다. 또한 파이프라인은 관리형 데이터 스토어에서 정보를 사용할 수 있도록 합니다. 이 설계는 데이터 가용성과 사용 간의 지연을 최소화하므로 정보 비활성화를 완화하는 데 도움이 됩니다.
- 보강된 문맥 검색: 커스텀 처리 작업을 사용하면 조직에서 자체 비즈니스 로직을 적용하여 가치 있는 메타데이터로 데이터를 보강할 수 있습니다. Cloud Run 함수는 제품 라인, 작성자, 위치, 문서 유형과 같은 특정 속성으로 각 문서에 태그를 지정할 수 있습니다. 이러한 풍부한 메타데이터는 에이전트가 검색 범위를 좁히고 더 정확하고 상황에 맞는 답변을 제공하는 데 도움이 됩니다.
RAG는 LLM에서 생성되는 출력의 품질을 개선하는 데 효과적인 기법입니다. 이 섹션에서는 RAG 지원 생성형 AI 애플리케이션을 사용할 수 있는 사용 사례에 대한 예시를 제공합니다.
맞춤화된 제품 추천
한 온라인 쇼핑 사이트에서 LLM 기반 챗봇을 사용하여 고객의 제품 검색을 도와주거나 쇼핑 관련 도움을 제공하려고 합니다. 사용자의 질문은 사용자의 구매 행동 및 웹 사이트 상호작용 패턴에 대한 과거 데이터를 사용하여 증강될 수 있습니다. 이러한 데이터에는 구조화되지 않은 데이터 스토어에 저장된 사용자 리뷰와 피드백이 포함되거나 웹로그 분석 데이터 웨어하우스에 저장된 검색 관련 측정항목이 포함될 수 있습니다. 그런 다음 LLM이 증강된 질문을 처리해서 사용자에게 더 매력적이고 설득력 있게 보이는 맞춤화된 응답을 생성합니다.
임상 지원 시스템
병원의 임상의는 정보에 입각한 치료 결정을 내리기 위해 환자 건강 정보를 검토하고 종합해야 합니다. MedGemma와 같은 의료 파운데이션 모델을 사용하는 생성형 AI 애플리케이션은 임상의가 임상 기록을 요약하고 의료 컨텍스트를 검토하는 데 도움이 될 수 있습니다. 애플리케이션이 생성하는 응답은 병원의 전자 건강 기록(EHR) 데이터베이스 또는 PubMed와 같은 외부 기술 자료의 데이터와 함께 프롬프트를 컨텍스트에 맞게 조정함으로써 과거 환자 기록에서 근거를 확보할 수 있습니다.
효율적인 법률 조사
생성형 AI 기반의 법률 조사를 통해 변호사는 대량의 법령과 판례를 빠르게 검색하여 관련 법적 선례를 확인하거나 복잡한 법률 개념을 요약할 수 있습니다. 이러한 조사의 결과는 법률 회사의 독점 계약 모음, 과거 법률 소통 자료 및 내부 사건 기록에서 검색된 데이터로 변호사의 프롬프트를 증강함으로써 향상될 수 있습니다. 이러한 설계 접근 방식은 변호사의 전문 법률 도메인과 관련이 있는 대답을 생성하는 데 도움이 됩니다.
설계 대안
이 섹션에서는 Google Cloud에서 RAG 지원 생성형 AI 애플리케이션에 대해 고려할 수 있는 대체 설계 접근 방식을 보여줍니다.
AI 인프라 대안
Google Cloud에서 RAG를 사용하여 생성형 AI 애플리케이션을 설계하고 배포하는 아키텍처 가이드 목록은 RAG를 사용한 생성형 AI를 참조하세요.
애플리케이션 호스팅 옵션
이 문서에 표시된 아키텍처에서 Cloud Run은 생성형 AI 애플리케이션 및 데이터 처리의 호스트입니다. Cloud Run은 개발자 중심의 완전 관리형 플랫폼입니다. Gemini Enterprise Agent Platform의 Agent Runtime, Google Kubernetes Engine(GKE) 클러스터 또는 Compute Engine VM에 애플리케이션을 배포할 수도 있습니다.
애플리케이션 호스트를 선택하려면 구성 유연성과 관리 노력 간의 다음과 같은 장단점을 고려하세요.
- 서버리스 Cloud Run 옵션을 사용하면 커스텀 서비스를 사전 구성된 관리형 환경에 배포할 수 있습니다. 요청 사전 처리를 위한 프런트엔드 서비스와 커스텀 백엔드 로직을 호스팅하려면 이 아키텍처에 커스텀 애플리케이션을 배포하는 기능이 필요합니다.
- Agent Runtime 옵션을 사용하면 에이전트 서빙을 위해 설계된 완전 관리형 플랫폼을 사용합니다. Agent Runtime은 관리 오버헤드를 줄이고 Gemini Enterprise와 긴밀하게 통합됩니다.
- Compute Engine VM 및 GKE 컨테이너를 사용하면 기본 컴퓨팅 리소스를 관리해야 하지만 구성 유연성과 제어 기능이 향상됩니다.
적절한 애플리케이션 호스팅 서비스를 선택하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.
기타 인프라 옵션
Google Cloud에서 생성형 AI 애플리케이션에 사용할 수 있는 기타 인프라 옵션, 지원되는 모델, 그라운딩 기법에 대한 자세한 내용은 생성형 AI 애플리케이션을 위한 모델 및 인프라 선택을 참조하세요.
설계 고려사항
이 섹션에서는 Google Cloud 에서 보안 및 규정 준수, 안정성, 비용, 성능 측면의 특정 요구사항을 충족하는 RAG 지원 생성형 AI 아키텍처를 개발하는 데 도움이 되는 안내를 제공합니다. 이 섹션의 안내는 일부일 뿐 모든 내용을 포함하지는 않습니다. 사용되는 생성형 AI 애플리케이션과 Google Cloud 제품 및 기능의 특정 요구사항에 따라 추가적인 설계 요소와 장단점을 고려해야 할 수 있습니다.
Google Cloud에서 AI 및 ML 워크로드와 관련된 아키텍처 원칙 및 권장사항에 대한 개요는 Well-Architected Framework의 AI 및 ML 관점을 참조하세요.
보안, 개인 정보 보호, 규정 준수
이 섹션에서는 워크로드의 보안 및 규정 준수 요구사항을 충족하는 Google Cloud 의 토폴로지를 설계하기 위한 설계 고려사항과 권장사항을 설명합니다.
AI 및 ML 워크로드와 관련된 보안 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 보안을 참조하세요.
Agent Platform
Agent Platform은 데이터 상주, 데이터 암호화, 네트워크 보안, 액세스 투명성에 대한 요구사항을 충족하기 위해 사용할 수 있는 Google Cloud보안 제어를 지원합니다. 자세한 내용은 다음 문서를 참조하세요.
- 머신러닝 서비스를 위한 보안 제어
- 생성형 AI를 위한 보안 제어
- Agent Platform 및 제로 데이터 보관
- Gemini Enterprise에 액세스 투명성 사용 설정하기
- Gemini Enterprise의 규정 준수 및 보안 제어
- Gemini Enterprise 규정 준수
- Google Cloud의 데이터 삭제
생성형 AI 모델은 특히 이러한 대답을 명시적으로 요청하는 경우 유해한 대답을 생성할 수 있습니다. 안전을 강화하고 잠재적인 오용을 완화하기 위해 유해한 대답을 차단하는 장벽 역할을 하도록 콘텐츠 필터를 구성할 수 있습니다. 자세한 내용은 안전 및 콘텐츠 필터를 참조하세요.
Cloud Run
기본적으로 Cloud Run은Google-owned and Google-managed encryption keys를 사용하여 데이터를 암호화합니다. 사용자가 제어하는 키를 사용해서 컨테이너를 보호하려면 고객 관리 암호화 키(CMEK)를 사용하면 됩니다. 자세한 내용은 고객 관리 암호화 키 사용을 참조하세요.
승인된 컨테이너 이미지만 Cloud Run에 배포되도록 하려면 Binary Authorization을 사용하면 됩니다.
Cloud Run은 데이터 상주 요구사항을 충족하도록 도와줍니다. Cloud Run Functions는 선택한 리전 내에서 실행됩니다.
Cloud Storage
기본적으로 Cloud Storage는 Google-owned and Google-managed encryption keys를 사용하여 저장하는 데이터를 암호화합니다. 필요한 경우 CMEK를 사용하거나 고객 제공 암호화 키(CSEK)와 같은 외부 관리 방법을 사용하여 관리하는 자체 키를 사용할 수 있습니다. 자세한 내용은 데이터 암호화 옵션을 참조하세요.
Cloud Storage는 버킷과 객체에 액세스할 수 있는 권한을 사용자에게 부여하기 위해 Identity and Access Management(IAM) 및 액세스 제어 목록(ACL)의 두 가지 방법을 지원합니다. 대부분의 경우 버킷 및 프로젝트 수준에서 권한을 부여할 수 있는 IAM을 사용하는 것이 좋습니다. 자세한 내용은 액세스 제어 개요를 참조하세요.
Cloud Storage를 통해 데이터 수집 하위 시스템에 로드하는 데이터에는 민감한 정보가 포함될 수 있습니다. Sensitive Data Protection을 사용하여 민감한 정보를 검색, 분류, 익명화할 수 있습니다. 자세한 내용은 Cloud Storage에 Sensitive Data Protection 사용을 참조하세요.
Cloud Storage는 데이터 상주 요구사항을 충족하도록 도와줍니다. Cloud Storage는 사용자가 지정한 리전 내에 데이터를 저장하거나 복제합니다.
Pub/Sub
기본적으로 Pub/Sub는Google-owned and Google-managed encryption keys를 사용하여 저장 중 및 전송 중인 메시지를 포함한 모든 메시지를 암호화합니다. Pub/Sub에서는 애플리케이션 계층에서 메시지 암호화를 위해 CMEK를 사용할 수 있습니다. 자세한 내용은 메시지 암호화 구성을 참조하세요.
데이터 레지던시 요구사항이 있는 경우 메시지 데이터가 특정 위치에 저장되도록 하려면 메시지 스토리지 정책을 구성하면 됩니다.
안정성
이 섹션에서는 Google Cloud에서 배포를 위한 안정적인 인프라를 빌드하고 운영하기 위한 설계 고려사항과 권장사항을 설명합니다.
AI 및 ML 워크로드와 관련된 안정성 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 안정성을 참조하세요.
Agent Platform
Agent Platform은 저장 데이터 레지던시를 지원합니다. Agent Platform은 선택한Google Cloud 위치 내에 관리형 데이터 스토어의 RAG용 데이터를 포함하는 소스 데이터를 저장합니다. 이러한 스토리지와 처리의 분리는 플랫폼이 높은 안정성과 규정 준수를 모두 제공하는 방식의 기본 측면입니다.
Cloud Run
Cloud Run은 리전 내 여러 영역에 스테이트리스(Stateless) 서비스 인스턴스를 자동으로 배포하고 부하를 분산하는 리전 서비스입니다. 영역 중단이 발생해도 Cloud Run 서비스와 Cloud Run Functions는 중단 없이 계속 실행됩니다. 리전 중단에 대한 복원력을 위해 전역 외부 애플리케이션 부하 분산기 뒤에 있는 여러 리전에 Cloud Run 서비스를 배포할 수 있습니다. 자세한 내용은 여러 리전의 트래픽 제공을 참조하세요.
데이터 수집 하위 시스템에서 이벤트 기반 Cloud Run Functions는 최소 1회 전송으로 인해 일시적인 오류가 발생하거나 중복 이벤트를 수신할 수 있습니다. 이러한 시나리오를 안정적으로 처리하려면 다음 권장사항을 고려하세요.
- 이벤트를 다시 처리해도 중복 레코드를 만들지 않고 동일한 결과를 생성하도록 멱등 함수를 설계합니다.
- Pub/Sub 트리거에서 지수 백오프를 사용하여 이벤트 기반 함수 재시도를 구성하여 일시적인 다운스트림 오류를 복구합니다.
- Pub/Sub 데드 레터 주제를 구성하여 별도의 검사 및 재생을 위해 처리에 반복적으로 실패하는 메시지를 격리합니다.
Cloud Storage
리전, 이중 리전, 멀티 리전의 세 가지 위치 유형 중 하나로 Cloud Storage 버킷을 만들 수 있습니다. 리전 버킷에 있는 데이터의 경우 Cloud Storage는 리전 내 여러 영역에 해당 데이터를 동기식으로 복제합니다. 더 높은 가용성을 위해서는 Cloud Storage가 리전 간에 데이터를 비동기식으로 복제하는 이중 리전 또는 멀티 리전 버킷을 사용하면 됩니다. 선택한 항목이 규정 준수 요구사항과 일치하는지 확인하세요.
비용 최적화
이 섹션에서는 이 참조 아키텍처를 사용하여 빌드하는 Google Cloud 토폴로지의 설정 및 운영 비용을 최적화하는 방법을 안내합니다.
AI 및 ML 워크로드와 관련된 비용 최적화 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 비용 최적화를 참조하세요.
Agent Platform
에이전트가 호출하는 기본 AI 모델은 해당 에이전트를 사용하는 비용에 직접적인 영향을 미칠 수 있습니다. 가격은 각 요청의 입력 및 출력 토큰 수를 기준으로 계산됩니다. 자세한 내용은 Agent Platform의 생성형 AI 할당량 및 시스템 한도와 Google Cloud 가격 계산기를 참조하세요.
토큰 수를 최소화하여 비용을 줄이는 방법에 대한 자세한 내용은 컨텍스트 캐싱 개요를 참조하세요.
Cloud Run
Cloud Run 서비스 및 Cloud Run Functions 비용을 최적화하려면 다음 권장사항을 고려하세요.
- 결제 설정: 트래픽 패턴에 따라 적절한 결제 설정을 선택합니다. 데이터 수집 파이프라인의 이벤트 기반 Cloud Run Functions와 같이 산발적이거나 급증하는 워크로드에는 요청 기반 결제(기본값)를 사용하세요. 그러면 요청이 처리되는 동안에만 CPU 및 메모리 비용을 지불합니다. 트래픽이 안정적이고 예측 가능한 Cloud Run 서비스의 경우 요청당 요금을 없애고 초당 컴퓨팅 요금을 낮추는 인스턴스 기반 결제를 고려하세요.
- CPU, 메모리, 동시 실행: 기본 CPU 및 메모리 할당으로 시작하고 모니터링된 사용률에 따라 CPU 한도 및 메모리 한도를 조정합니다. 더 적은 수의 인스턴스가 동시 I/O 바인딩 요청(예: 모델 또는 API 응답 대기)을 처리할 수 있도록 인스턴스당 최대 동시 요청 수를 조정합니다.
- 인스턴스 확장 한도: 예상치 못한 트래픽 급증 시 확장 비용을 제한하도록 최대 인스턴스를 구성하고 콜드 스타트 지연 시간 요구사항에 따라 최소 인스턴스의 균형을 맞춥니다.
- 약정 사용 할인: Cloud Run 워크로드의 컴퓨팅 요구사항을 예측할 수 있으면 Cloud Run 약정 사용 할인을 통해 비용을 절감할 수 있습니다.
자세한 내용은 비용 최적화 Cloud Run 서비스 권장사항을 참조하세요.
Cloud Storage
데이터 수집 하위 시스템에 데이터를 로드하기 위해 사용되는 Cloud Storage 버킷에 대해 워크로드의 데이터 보관 및 액세스 빈도 요구사항에 따라 적합한 스토리지 클래스를 선택합니다. 예를 들어 Standard Storage 클래스를 선택하고 객체 수명 주기 관리를 사용하여 스토리지 비용을 관리할 수 있습니다. 객체 수명 주기 관리는 설정한 조건에 따라 객체를 더 저렴한 스토리지 클래스로 자동으로 다운그레이드하거나 삭제합니다.
성능 최적화
이 섹션에서는 Google Cloud 에서 워크로드의 성능 요구사항을 충족하는 토폴로지를 설계하기 위한 설계 고려사항과 권장사항을 설명합니다.
AI 및 ML 워크로드와 관련된 성능 최적화 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 성능 최적화를 참조하세요.
Gemini Enterprise
서빙 중 지연 시간을 줄이려면 에이전트가 전체 출력을 생성하기 전에 모델 응답을 전송하여 응답을 스트리밍합니다. 이렇게 하면 출력을 실시간으로 처리할 수 있으며 개발자는 사용자 인터페이스를 즉시 업데이트하고 다른 동시 태스크를 수행할 수 있습니다. 스트리밍은 인지된 반응성을 향상시키고 더욱 상호적인 사용자 경험을 만듭니다. 자세한 내용은 StreamAssist를 사용하여 검색 결과 가져오기를 참조하세요.
Agent Runtime에서 커스텀 에이전트 개발 키트(ADK) 에이전트를 빌드하고 등록할 때는 순차적인 멀티 에이전트 홉, 도구 왕복, 중복 요약 단계를 최소화하여 엔드 투 엔드 차례 지연 시간을 줄이세요. 자세한 내용은 성능 및 안정성 권장사항을 참조하세요.
Cloud Run
워크로드 성능 요구사항에 따라 Cloud Run 서비스 및 Cloud Run Functions의 CPU 및 메모리 할당을 조정합니다. 0에서 확장할 때 콜드 스타트 지연 시간을 줄이려면 시작 CPU 부스트를 사용 설정하여 컨테이너 인스턴스 시작 중에 추가 CPU를 일시적으로 제공하거나 최소 인스턴스를 구성하여 인스턴스를 웜 상태로 유지합니다. 자세한 내용은 서비스의 CPU 한도 구성 및 서비스의 메모리 한도 구성을 참조하세요.
Cloud Storage
대용량 파일을 업로드하려면 병렬 복합 업로드라는 방법을 사용할 수 있습니다. 이 전략을 사용하면 큰 파일이 청크로 분할됩니다. 청크를 Cloud Storage에 병렬로 업로드하면 Cloud Storage가 Google Cloud에서 데이터를 재조립합니다. 병렬 복합 업로드는 네트워크 대역폭 및 디스크 속도가 충분할 때 일반적인 업로드 작업보다 속도가 빠를 수 있습니다. 그러나 이 전략은 일부 제한사항과 비용 영향이 있습니다. 자세한 내용은 동시 복합 업로드를 참조하세요.
배포
이 참조 아키텍처를 배포하려면 GitHub에서 제공되는 Terraform 예시를 사용하세요. 자세한 내용은 Gemini Enterprise 및 Agent Platform을 사용하는 생성형 AI 애플리케이션을 위한 RAG 인프라를 참조하세요.
다음 단계
- Gemini Enterprise가 RAG용 문서를 청크 처리하는 방법 알아보기
- Cloud Run에서 AI 앱 및 에이전트를 호스팅하는 방법 알아보기
- 책임감 있는 AI 권장사항 및 Agent Platform 안전 필터 알아보기
- LLM 프롬프팅 전략 알아보기
- Google Cloud에서 AI 및 ML 워크로드와 관련된 아키텍처 원칙 및 권장사항에 대한 개요는 Well-Architected Framework의 AI 및 ML 관점을 참조하세요.
- 그 밖의 참조 아키텍처, 다이어그램, 튜토리얼, 권장사항을 알아보려면 Cloud 아키텍처 센터를 확인하세요.
참여자
저자: 사만다 헤 | 테크니컬 라이터
기타 참여자:
- Deepak Michael | 네트워킹 전문 고객 엔지니어
- 저자: 쿠마르 다나고팔 | 크로스 프로덕트 솔루션 개발자
- 마크 슐라겐하우프 | 네트워킹 테크니컬 라이터
- 빅터 모레노 | Cloud Networking 제품 관리자
- 예히아 엘샤터 | Google Cloud 생성형 AI 부문 현장 솔루션 설계자
- Paarth Mahajan | Google Cloud 네트워크 전문가