에이전트 AI 사용 사례: 양방향 멀티모달 라이브 스트리밍 사용 설정

Last reviewed 2026-10-14 UTC

이 문서에서는 Google Cloud에서 실시간 양방향 멀티 에이전트 AI 시스템을 위한 대략적인 아키텍처를 제공합니다. 이 시스템은 사용자가 복잡한 구성요소 조립, 장비 오작동 진단, 복잡한 수리 절차 탐색과 같은 기술적 작업을 완료하는 데 도움이 됩니다. 에이전트 AI 시스템은 멀티모달 데이터의 지속적인 양방향 스트림을 통해 그라운딩된 기술 가이드와 자동화된 안전 모니터링을 제공합니다.

이 문서의 주요 대상은 클라우드에서 AI 인프라와 애플리케이션을 빌드하고 관리하는 설계자, 개발자, 관리자입니다. 이 문서에서는 AI 에이전트와 모델에 대한 기본적인 이해가 있다고 가정합니다. 이 문서에서는 AI 에이전트 설계 및 코딩에 대한 구체적인 안내를 제공하지 않습니다.

이 문서의 배포 섹션에는 멀티 에이전트 AI 시스템을 빌드하고 배포하는 방법을 알아보는 데 사용할 수 있는 코드 샘플이 나와 있습니다.

아키텍처

다음 다이어그램은 멀티 에이전트 AI 시스템을 사용하여 실시간 양방향 멀티모달 데이터 스트리밍을 지원하는 아키텍처를 간략하게 보여줍니다.

양방향 멀티모달 데이터 스트리밍을 지원하는 멀티 에이전트 AI 시스템의 대략적인 아키텍처

위 다이어그램의 아키텍처에는 기술 안내와 안전 모니터링이라는 두 가지 워크플로가 있습니다.

  • 기술 안내 워크플로를 사용하면 사용자가 복잡한 기술 문의에 대한 실시간 내레이션 솔루션을 받을 수 있습니다. 이 워크플로는 Gemini Live API를 사용하여 멀티모달 스트림을 처리하고 하위 에이전트와 조정하여 지식 데이터베이스에서 그라운딩된 제품 정보를 검색합니다.
  • 안전 모니터링 워크플로는 자동 위험 감지 기능을 제공하여 기술 절차 중에 사용자 안전을 보장합니다. 이 워크플로는 Gemini를 사용하여 라이브 동영상 세그먼트를 분석하고, 잠재적 위험을 식별하고, 클라이언트 대시보드를 통해 즉각적인 경고를 트리거합니다.

다음 탭에서는 기술 안내 및 안전 모니터링 워크플로를 보여주는 아키텍처 다이어그램을 제공합니다.

기술 안내 워크플로

다음 다이어그램은 기술 안내 워크플로의 세부 아키텍처를 보여줍니다.

기술 안내 워크플로를 보여주는 아키텍처

위 다이어그램에서는 다음과 같은 데이터 흐름을 보여줍니다.

  1. 사용자가 클라이언트 대시보드를 통해 음성으로 기술 문의를 하여 세션을 시작합니다. 예를 들어 기술자가 제어판에 카메라를 가리키고 "도와주세요. 이 빨간색 오류 표시등이 깜박이는 것은 무엇을 의미하나요?"라고 물어볼 수 있습니다.

  2. 클라이언트 대시보드는 프런트엔드와 백엔드 서버 간에 영구 WebSocket 연결을 설정합니다.

  3. WebSocket 메시지는 원시 멀티미디어 데이터를 Blob 객체로 패키징합니다. 에이전트 개발 키트 (ADK) LiveRequestQueue 구성요소는 입력 데이터를 디스패처 에이전트에 지속적으로 스트리밍합니다.

  4. 디스패처 에이전트는 기술 안내가 필요한 오디오 또는 시각적 명령어를 감지하고 입력 스트림을 Gemini Live API로 전송합니다.

  5. Gemini Live 모델은 원시 데이터를 검색하여 이벤트를 식별합니다. 이벤트는 '조립' 또는 '도움말'과 같은 오디오 키워드 또는 손동작과 같은 시각적 단서입니다.

    Gemini는 각 이벤트를 평가하여 사용자의 문의와 관련이 있는지 확인합니다. 예를 들어 손동작이나 추임새는 관련이 없을 수 있으므로 Gemini는 이러한 이벤트를 처리하지 않습니다.

  6. 각 관련 이벤트에 대해 Gemini는 함수 호출을 사용 설정하여 추가 컨텍스트가 필요한지 평가합니다. 추가 컨텍스트가 필요한지 여부에 따라 Gemini 또는 설계자 에이전트가 디스패처 에이전트에 대답을 다시 보냅니다.

    1. 더 많은 컨텍스트가 필요한 경우 Gemini는 설계자 에이전트 카드를 조회하여 요청을 구성하는 방법을 이해합니다.

    2. Gemini는 디스패처 에이전트에 구조화된 요청을 전송합니다. 요청에는 제품 유형, 모델 번호, 이벤트 유형, 속성과 같은 이벤트 세부정보가 포함됩니다.

    3. 디스패처 에이전트는 Agent2Agent (A2A) 프로토콜을 사용하여 구조화된 요청을 설계자 에이전트에 전송합니다.

    4. 설계자 에이전트는 서버리스 VPC 액세스 커넥터를 통해 쿼리를 전송합니다. 커넥터를 사용하면 에이전트가 이 아키텍처의 스토리지 리소스에 사용되는 가상 프라이빗 클라우드 (VPC) 네트워크의 리소스에 안전하게 액세스할 수 있습니다.

    5. 서버리스 VPC 액세스 커넥터는 Memorystore for Redis Cluster에 저장된 캐시된 데이터와 상호작용합니다. 캐시된 레이어에서 데이터를 사용할 수 없는 경우 설계자 에이전트는 기술 자료 데이터베이스를 호스팅하는 Compute Engine 인스턴스와 상호작용합니다.

    6. 설계자 에이전트는 데이터 캐시 또는 기술 자료 데이터베이스에서 제품 정보를 수신합니다. 설계사 에이전트는 제품 정보를 Gemini로 전송하여 대답을 생성합니다. 예를 들어 '오류 코드 3B: 팬 오작동. 권장 조치: 장애물이 있는지 확인하세요."

    7. 설계자 에이전트가 제품 정보를 디스패처 에이전트로 다시 전송합니다.

    추가 컨텍스트가 필요하지 않으면 Gemini는 사용자 요청에 대한 대답을 직접 생성합니다.

  7. 디스패처 에이전트는 Gemini 또는 설계자 에이전트로부터 대답을 수신하고 멀티모달 대답을 생성합니다.

    1. Gemini Live 모델과 ADK run_live 루프를 사용하여 기술 솔루션이 포함된 멀티모달 응답을 생성합니다.

    2. 응답을 Blob 객체로 저장합니다.

    3. 스트리밍 버퍼와 영구 WebSocket 연결을 통해 기술 솔루션을 전송하여 클라이언트 대시보드에 기술 솔루션을 제공합니다.

  8. 클라이언트 대시보드는 기술 솔루션에서 Blob 데이터를 추출하여 즉각적인 내레이션 안내를 제공하고 관련 스크립트 작성으로 UI를 업데이트합니다. 활성 양방향 스트림이 유지되는 동안 요청 루프가 완료됩니다.

안전 모니터링 워크플로

다음 다이어그램은 안전 모니터링 워크플로의 세부 아키텍처를 보여줍니다.

안전 모니터링 워크플로를 보여주는 아키텍처

위 다이어그램에서는 다음과 같은 데이터 흐름을 보여줍니다.

  1. 클라이언트 대시보드는 프런트엔드와 백엔드 서버 간에 영구적인 WebSocket 연결을 설정하여 라이브 동영상 스트림을 관찰합니다. WebSocket 메시지는 이 원시 멀티미디어 데이터를 Blob 객체로 패키징하고 ADK LiveRequestQueue 구성요소를 사용하여 스트리밍 버퍼로 지속적으로 전송합니다.
  2. 스트리밍 버퍼는 입력 스트림을 연속 백그라운드 루프에서 실행되는 스트리밍 도구로 전달하여 동영상 프레임의 위험을 감지합니다.
  3. 스트리밍 도구는 스트리밍 버퍼의 최신 동영상 프레임을 Gemini로 전송합니다.
  4. Gemini는 동영상 프레임에서 밝은 빛이나 증기와 같은 위험 요소를 관찰합니다.
    • 위험이 감지되지 않으면 아무 일도 일어나지 않습니다.
    • 위험이 감지되면 Gemini는 위험 유형, 속성, 위치가 포함된 멀티모달 대답을 생성하고 이를 Blob 객체로 저장합니다. Gemini는 위험 경고 응답을 스트리밍 도구로 다시 전송합니다.
  5. 스트리밍 도구는 위험 경고 응답을 스트리밍 버퍼로 전달합니다.
  6. 스트리밍 버퍼는 영구 WebSocket 연결을 사용하여 위험 경고 응답을 클라이언트 대시보드에 전달합니다.
  7. 클라이언트 대시보드는 위험 경고 응답에서 Blob 데이터를 추출하여 즉각적인 내레이션 안내를 제공하고 관련 스크립트로 UI를 업데이트합니다. 이렇게 하면 활성 양방향 스트림을 유지하면서 요청 루프가 완료됩니다.

사용 제품

이 참조 아키텍처에는 다음과 같은 Google Cloud 제품 및 도구가 사용됩니다.

  • Cloud Run: Google의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 서버리스 컴퓨팅 플랫폼입니다.
  • Gemini: Google에서 개발한 멀티모달 AI 모델 제품군입니다.
  • Gemini Enterprise Agent Platform: 엔터프라이즈급 AI 에이전트를 빌드, 확장, 제어, 최적화할 수 있는 포괄적인 플랫폼입니다.
  • 에이전트 개발 키트 (ADK): AI 에이전트를 개발, 테스트, 배포하기 위한 도구 및 라이브러리 집합입니다.
  • Agent2Agent (A2A) 프로토콜: 프로그래밍 언어 및 런타임에 관계없이 에이전트 간의 통신과 상호 운용성을 지원하는 개방형 프로토콜입니다.
  • 서버리스 VPC 액세스: 서버리스 환경을 가상 프라이빗 클라우드 네트워크의 리소스에 연결할 수 있는 서비스입니다.
  • 가상 프라이빗 클라우드(VPC): Google Cloud 워크로드에 확장 가능한 전역 네트워킹 기능을 제공하는 가상 시스템입니다. VPC에는 VPC 네트워크 피어링, Private Service Connect, 비공개 서비스 액세스, 공유 VPC가 포함됩니다.
  • Memorystore for Redis Cluster: Redis용 완전 관리형 인메모리 데이터 스토어 서비스입니다.
  • Compute Engine: Google 인프라에서 가상 머신을 만들고 실행할 수 있는 안전하고 맞춤설정 가능한 컴퓨팅 서비스입니다.

프레임워크, Agent Runtime, 도구, 메모리, 설계 패턴을 포함하여 에이전트 AI 시스템의 대체 구성요소를 선택하는 방법에 대한 자세한 내용은 에이전트 AI 아키텍처 구성요소 선택을 참조하세요.

사용 사례

이 참조 아키텍처는 연속적인 양방향 멀티모달 데이터 스트림의 실시간 합성이 필요한 사용 사례를 위해 설계되었습니다. 다음은 이 문서에 설명된 아키텍처의 사용 사례 예시입니다.

  • 산업 제조 및 현장 유지보수: 스마트 글라스의 실시간 오디오 및 동영상을 처리하는 AI 어시스턴트를 기술자에게 제공하여 복잡한 기계를 핸즈프리로 수리할 수 있습니다. 기술자는 AI 어시스턴트와 대화하여 기계 회로도를 가져옵니다. AI 어시스턴트는 제품 문서에 액세스하는 내부 데이터베이스 에이전트를 사용하여 근거가 확실한 수리 및 조립 안내를 제공합니다. 동시 백그라운드 비전 도구는 양방향 스트림을 모니터링하여 기계적 위험이나 잘못된 조립 단계에 대해 기술자에게 선제적으로 경고합니다.
  • 원격 기술 지원: 사용자가 멀티모달 에이전트 AI 시스템과 실시간 휴대전화 카메라 피드를 공유할 수 있도록 하여 고객 문제 해결 결과를 개선합니다. 양방향 스트리밍 아키텍처는 시스템이 실시간으로 하드웨어를 관찰하는 동적 대화를 지원합니다. 백그라운드 시각 프로세스에서 잘못된 포트에 케이블이 연결되는 등 잘못된 연결을 식별하면 시스템은 지연 시간이 짧은 스트림을 사용하여 즉시 사용자에게 수정 안내를 제공합니다.

설계 고려사항

이 섹션에서는 이 참조 아키텍처를 사용하여 보안, 운영, 비용, 성능 관련 특정 요구사항을 충족하는 토폴로지를 개발할 때 고려해야 하는 설계 요소, 권장사항, 권장사항을 설명합니다.

이 섹션의 안내는 일부일 뿐 모든 내용을 포함하지는 않습니다. 설계 요소 및 권장사항에 대한 자세한 내용과 멀티 에이전트 AI 시스템 빌드 및 배포에 대한 권장사항은 Google Cloud의 멀티 에이전트 AI 시스템을 참조하세요.

보안, 개인 정보 보호, 규정 준수

AI 에이전트의 고유한 보안 위험을 해결하기 위해 Google은 결정론적 보안 제어와 동적 추론 기반 방어를 결합하는 접근 방식을 권장합니다.

  • 인간 감독: 비즈니스에 중요한 시스템에 휴먼인더루프 흐름을 통합하여 인간 감독자가 출력을 검토하고 에이전트 작업을 승인, 재정의 또는 일시중지할 수 있도록 합니다.
  • 에이전트 ID: 각 에이전트에 워크로드 바인딩 ID를 할당하여 최소 권한 액세스 제어를 적용하고 외부 도구의 사용자 인증 정보를 중앙에서 관리합니다.
  • Agent Gateway: Model Armor를 사용하여 인그레스 및 이그레스 트래픽 거버넌스, 기본 거부 액세스 정책, 인라인 프롬프트 및 도구 검사를 시행합니다.

  • 에이전트 레지스트리: 에이전트가 승인된 하위 에이전트 및 MCP 도구에만 연결되는지 확인합니다.

  • 애플리케이션 인그레스 보안: 애플리케이션에 대한 액세스를 제어하려면 프런트엔드 Cloud Run 서비스의 기본 run.app URL을 사용 중지하고 리전 외부 애플리케이션 부하 분산기를 설정합니다. 부하 분산기는 애플리케이션으로 들어오는 트래픽을 부하 분산하는 것 외에도 SSL 인증서 관리를 처리합니다. 보호 기능을 강화하려면 Google Cloud Armor 보안 정책을 사용하여 서비스에 대한 요청 필터링, DDoS 보호, 비율 제한을 제공하면 됩니다.

  • WebSocket 보안: 모든 양방향 WebSocket 연결에 TLS 암호화를 적용하여 음성 지문 및 동영상과 같은 민감한 멀티모달 데이터를 보호합니다.

  • 보안 A2A 통신:

운영 효율성

에이전트 구성이 운영 효율성 요구사항을 충족하도록 하려면 다음 권장사항을 고려하세요.

  • 제어 루프 스크립트: 양방향 라이브 에이전트의 시스템 프롬프트를 단순한 성격 가이드라인이 아닌 엄격한 상태 머신 동작 루프로 작성합니다. 시스템 프롬프트는 트리거될 때까지 에이전트가 침묵을 유지하도록 명시적으로 명령해야 합니다. 음성 상호작용이 간결하고 자연스럽도록 간결하고 행동 중심의 대답을 적용해야 합니다.
  • 관심사 분리: 전용 백그라운드 스트리밍 도구를 사용하여 기본 에이전트와 별개로 동영상 피드를 모니터링합니다. 아키텍처의 루트 에이전트는 양방향이며, 자체 음성을 즉시 중단하여 이러한 중요한 안전 경고를 사용자에게 브로드캐스트할 수 있습니다. 또한 단일 에이전트에게 동영상 피드를 지속적으로 모니터링하도록 요청하면 인지 과부하와 할루시네이션이 발생할 수 있습니다.

비용 최적화

에이전트 구성이 비용 요구사항을 충족하도록 하려면 다음 권장사항을 고려하세요.

  • 데이터 수집 비용: 토큰 비용을 줄이고 컨텍스트 창 소진을 방지하려면 초당 2프레임과 같은 저주파 프레임 샘플링을 사용하고 모든 데이터를 Base64 JPEG 파일로 압축합니다.
  • 비용 효율적인 프롬프트 작성: 프롬프트 (입력) 및 생성된 응답 (출력)의 길이는 성능과 비용에 직접적인 영향을 미칩니다. 짧고 직접적이며 충분한 컨텍스트를 제공하는 프롬프트를 작성합니다. 모델에서 간결한 응답을 얻도록 프롬프트를 설계합니다. 예를 들어 '2문장으로 요약' 또는 '핵심 사항 3개 나열'과 같은 문구를 포함합니다. 자세한 내용은 프롬프트 설계 권장사항을 참조하세요.

성능 최적화

에이전트 구성이 성능 요구사항을 충족하는지 확인하려면 다음 권장사항을 고려하세요.

  • 비동기 버퍼링: 수신되는 오디오 및 동영상 패킷을 모델의 추론 엔진에서 분리하려면 스레드 안전 비동기 선입선출 (FIFO) 버퍼를 사용합니다. 이 버퍼는 과도한 계산 중에 사용자 인터페이스를 정지하지 않고 시스템이 사용자 중단에 계속 응답하도록 하는 멀티플렉서 역할을 합니다.
  • 인메모리 캐싱: 밀리초 미만의 읽기 속도를 달성하려면 설계자 에이전트의 스키매틱 저장소에 인메모리 Memorystore for Redis Cluster 데이터베이스를 사용합니다. 이 구현은 지연 시간을 최소화하고, 실시간 음성 상호작용 중 무음 상태를 방지하며, 확장 가능한 단일 정보 소스를 제공합니다.
  • 리소스 할당: 성능 요구사항에 따라 Cloud Run 서비스에 할당할 메모리 한도 및 CPU 한도를 구성합니다.

배포

이 아키텍처의 샘플 구현을 배포하려면 다음 Codelab을 시도해 보세요.

다음 단계

참여자

저자:

기타 참여자: