에이전트 AI 사용 사례: 경계 없는 개방형 데이터 레이크하우스 빌드

Last reviewed 2026-10-14 UTC

이 문서에서는 원시 경계 없는 사일로에서 AI 기반 작업으로 직접 연결되는 고도로 제어되고 안전한 파이프라인을 설정하는 경계 없는 개방형 데이터 레이크하우스를 빌드하기 위한 대략적인 아키텍처를 제공합니다. 이 가이드에서는 데이터를 중복할 수 있는 취약한 추출, 변환, 로드(ETL) 파이프라인에 의존하지 않고 Google Cloud, 다른 클라우드 제공업체, 실시간 운영 데이터베이스 전반에서 분산된 엔터프라이즈 데이터를 통합하는 방법을 보여줍니다.

이 문서의 주요 대상에는 개방형 표준을 사용하는 고성능 제휴 시스템을 설계해야 하는 데이터 엔지니어, 데이터 설계자, AI 개발자가 포함됩니다. 대상 사용자는 경계 없는 네트워크 라우팅, 엄격한 ID 및 액세스 관리 격리와 같은 엔터프라이즈 제약조건을 탐색할 수도 있습니다.

이 문서의 배포 섹션에서는 이 문서에 설명된 아키텍처를 빌드하고 배포하는 데 도움이 되는 코드 샘플을 제공합니다.

아키텍처

다음 다이어그램은 Google Cloud의 중앙 레이크하우스가 있는 경계 없는 아키텍처를 보여줍니다.

 Google Cloud의 중앙 레이크하우스가 있는 경계 없는 아키텍처를 보여주는 아키텍처

위 다이어그램의 아키텍처는 데이터 수집과 서빙이라는 두 가지 하위 시스템으로 구성됩니다.

  • 데이터 수집 하위 시스템은 외부 소스에서 데이터를 수집합니다. 중앙 레이크하우스를 사용하여 분산된 데이터베이스를 Google Cloud의 통합 고객 프로필로 통합하고 처리합니다.
  • 서빙 하위 시스템을 사용하면 사용자가 AI 어시스턴트와 데이터 분석 에이전트를 쿼리하여 통합 데이터를 분석할 수 있습니다.

다음 섹션에서는 하위 시스템 전반의 구성요소를 설명합니다.

데이터 수집 하위 시스템

데이터 수집 하위 시스템에는 다음 구성요소가 포함됩니다.

Lightning Engine이 포함된 Managed Service for Apache Spark

대규모의 경계 없는 데이터 결합 및 변환과 같은 복잡한 분석 워크로드를 처리하는 분산 처리 엔진을 제공하는 서비스입니다. 컴퓨팅 효율성을 극대화하기 위해 Managed Service for Apache Spark는 Lightning Engine을 사용하여 경계 없는 데이터 소스를 결합하는 데 필요한 대규모 다중 조인, 복잡한 윈도우, 동작 집계를 처리합니다.

Managed Service for Apache Spark는 Lightning Engine을 사용하여 다음 경로에서 데이터를 수집하여 분산 조인을 실행합니다.

외부 데이터 소스

다른 클라우드 환경에 있는 엔터프라이즈 데이터 애셋 이 문서에서 설명하는 아키텍처에서 외부 데이터 소스는 다음과 같습니다.

외부 데이터 소스에 연결하면 데이터를 제자리에서 분석할 수 있으며 비용과 시간이 많이 드는 데이터 마이그레이션이 필요하지 않습니다. 이 예시 아키텍처에서는 Databricks Unity Catalog 및 Amazon S3 버킷을 사용하지만 다른 외부 Iceberg 카탈로그 서비스 및 클라우드 스토리지 제공업체와 함께 이 아키텍처 패턴을 사용할 수 있습니다.

AlloyDB
실시간 인벤토리 또는 실시간 고객 프로필을 관리하는 경우와 같은 하이브리드 트랜잭션 및 분석 처리(HTAP)를 위한 고성능 데이터베이스입니다. BigQuery AlloyDB 통합을 사용하면 분석 엔진이 BigQuery에서 AlloyDB에 저장된 실시간 트랜잭션 데이터로 직접 쿼리를 전송할 수 있습니다. 이 접근 방식은 변경 데이터 캡처(CDC) 파이프라인과 관련된 지연 시간과 오버헤드를 방지하는 데 도움이 됩니다.
Cloud Storage
클릭스트림 이벤트와 같은 높은 처리량의 데이터를 위한 확장 가능한 객체 스토리지 서비스입니다. 다양한 처리 엔진에서 데이터에 액세스할 수 있도록 하려면 Cloud Storage를 사용하여 특정 컴퓨팅 서비스에서 데이터를 분리하고 Apache Parquet와 같은 개방형 Apache Iceberg 형식으로 데이터를 저장합니다.
경계 없는 레이크하우스

통합된 경계 없는 제휴를 지원하는 중앙 메타데이터 및 거버넌스 시스템입니다. 레이크하우스 메타데이터에 대한 연결을 설정하기 위해 레이크하우스는 다음 작업을 수행합니다.

  1. Databricks Unity Catalog에 연결하여 경계 없는 데이터의 스키마 및 라우팅 정보를 확인합니다.
  2. Secret Manager에 사용자 인증 정보를 확인하는 요청을 보냅니다.
    • 사용자 인증 정보가 승인되면 레이크하우스 메타데이터에 직접 연결을 설정합니다.
    • 사용자 인증 정보가 거부되면 오류 메시지를 반환하고 작업을 중단합니다.
Cloud NAT 및 Cloud Router
Google Cloud네트워크 내의 리소스가 공개 인터넷에 노출되지 않고 외부 클라우드 소스의 데이터에 안전하게 액세스할 수 있도록 하는 관리형 서비스입니다.
Virtual Private Cloud(VPC)
이 아키텍처의 일부로 배포되는 모든 Google Cloud 리소스에 대해 비공개, 보안, 격리 네트워크를 제공하는 서비스입니다.
Secret Manager
경계 없는 인증을 위해 클라이언트 ID 및 보안 비밀번호와 같은 Databricks 서비스 주 구성원 사용자 인증 정보를 안전하게 저장하는 서비스입니다.

서빙 하위 시스템

서빙 하위 시스템에는 다음 구성요소가 포함됩니다.

통합된 고객 프로필
분산 Spark 작업의 출력을 통합하는 BigQuery 데이터베이스입니다. BigQuery 테이블은 단편화된 국경 없는 측정항목을 복잡한 비정규화된 데이터 유형으로 변환하고 분석을 위한 중앙 관리형 데이터 스토어 역할을 합니다.
BigQuery 데이터 에이전트
사용자가 BigQuery에서 직접 데이터를 쿼리하고 엔터프라이즈 인사이트를 생성할 수 있는 대화형 분석 에이전트입니다. 에이전트는 쿼리에 보안 및 거버넌스 가드레일을 적용합니다.
BigQuery MCP 서버
BigQuery 데이터에 대한 액세스를 제공하는 Google 관리형 모델 컨텍스트 프로토콜(MCP) 서버입니다. BigQuery MCP 서버는 관리형 레이크하우스 컨텍스트를 Gemini CLI와 같은 로컬 또는 외부 AI 모델에 안전하게 노출합니다. AI 엔지니어가 커스텀 REST API 미들웨어를 빌드하고 유지관리할 필요 없이 엔드 투 엔드 에이전트 워크플로를 지원합니다.
Gemini CLI
사용자가 통합 고객 프로필과 상호작용하여 맞춤 마케팅 캠페인과 같은 맞춤설정된 데이터 기반 콘텐츠를 생성할 수 있는 명령줄 AI 어시스턴트입니다. Gemini CLI는 BigQuery MCP 서버의 클라이언트 역할을 하여 통합 고객 프로필에 저장된 데이터에 액세스합니다.

사용 제품

이 예시 아키텍처에서는 다음과 같은 Google Cloud 제품 및 도구를 사용합니다.

  • Lakehouse: 개방형 데이터 레이크하우스를 빌드할 수 있고 고급 분석 및 AI를 위한 통합 인터페이스를 제공하는 고성능 스토리지 엔진입니다.
  • BigQuery: 머신러닝, 지리 정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리 및 분석하는 데 도움이 되는 엔터프라이즈 데이터 웨어하우스입니다.
  • PostgreSQL용 AlloyDB: 하이브리드 트랜잭션 및 분석 처리를 비롯한 가장 까다로운 워크로드를 위해 설계된 완전 관리형 PostgreSQL 호환 데이터베이스 서비스입니다.
  • Managed Service for Apache Spark: 관리형 컴퓨팅 인프라에서 Apache Spark 일괄 워크로드를 실행하는 관리형 서비스입니다.
  • Cloud Storage: 다양한 데이터 유형에 적합한 저비용, 무제한 객체 스토어입니다. Google Cloud내부 및 외부에서 데이터에 액세스할 수 있고 중복성을 위해 여러 위치에 복제됩니다.
  • Gemini: Google에서 개발한 멀티모달 AI 모델 제품군입니다.
  • Google Cloud MCP 서버: 모델 컨텍스트 프로토콜(MCP)을 구현하여 AI 애플리케이션에 Google 및 Google Cloud 제품 및 서비스에 대한 액세스 권한을 제공하는 Google 관리형 원격 서비스입니다.
  • Cloud NAT: Google Cloud에서 관리하는 고성능 네트워크 주소 변환을 제공하는 서비스입니다.
  • Cloud Router: 경계 게이트웨이 프로토콜(BGP) 스피커 및 응답자 기능을 제공하는 분산형 및 완전 관리형 제품입니다. Cloud Router는 Cloud Interconnect, Cloud VPN, 라우터 어플라이언스와 함께 작동하여 BGP 수신 및 커스텀 학습된 경로를 기반으로 VPC 네트워크에 동적 경로를 만듭니다.
  • 가상 프라이빗 클라우드(VPC): Google Cloud 워크로드에 확장 가능한 전역 네트워킹 기능을 제공하는 가상 시스템입니다. VPC에는 VPC 네트워크 피어링, Private Service Connect, 비공개 서비스 액세스, 공유 VPC가 포함됩니다.

이 예시 아키텍처에서는 다음 서드 파티 제품을 사용합니다.

  • Databricks Unity Catalog: Databricks 플랫폼의 데이터 및 AI 애셋을 위한 통합 거버넌스 및 메타데이터 카탈로그입니다.
  • Amazon S3: 데이터를 객체로 저장하고 관리하는 Amazon Web Services(AWS)의 스토리지 서비스입니다.

사용 사례

이 참조 아키텍처는 여러 클라우드 환경과 온프레미스 시스템의 사일로화된 데이터를 통합하여 분석 및 AI 이니셔티브를 추진해야 하는 조직을 위해 설계되었습니다. 이 아키텍처는 다음과 같은 이점이 있습니다.

  • 경계 없는 통합 프로필: 분석가와 의사 결정권자가 포괄적인 인사이트를 얻을 수 있는 비즈니스 법인의 단일하고 전체적인 뷰입니다. 이 통합 뷰는 분석의 정확성을 개선하고 데이터가 저장된 위치와 관계없이 데이터가 일관되고 최신 상태로 유지되도록 합니다.
  • 운영 복잡성 감소 및 총소유비용(TCO) 절감: 레이크하우스는 취약한 데이터 파이프라인을 빌드하고 유지보수할 필요가 없습니다. 이 접근 방식을 사용하면 여러 클라우드에서 데이터가 있는 위치에서 직접 데이터를 쿼리할 수 있습니다. 물리적 데이터 이동과 관련된 운영 오버헤드, 스토리지 비용, 지연 시간을 방지합니다.
  • 에이전트형 AI 워크플로: AI 에이전트는 데이터 분석가가 복잡한 행동 집계를 실행 가능한 비즈니스 전략으로 직접 변환할 수 있도록 지원합니다. 에이전트를 사용하면 분석가가 표준 프로토콜을 통해 관리되는 정형 레이크하우스 데이터에 안전하게 액세스할 수 있습니다.

다음은 이 문서에 설명된 아키텍처의 사용 사례 예시입니다.

  • 실시간 소매 분석: 소매업체는 판매 및 인벤토리를 기반으로 즉각적인 결정을 내려야 합니다. 이 아키텍처를 사용하면 AWS에서 관리되는 정적 제품 카탈로그 데이터를 Google Cloud의 운영 AlloyDB 데이터베이스에서 가져온 실시간 판매 거래 데이터와 결합할 수 있습니다. 분석가와 매장 관리자는 사전 정의된 일괄 간격으로 이 통합 뷰를 쿼리하여 판매 실적을 모니터링하고, 재입고를 위해 빠르게 판매되는 상품을 식별하거나, 지역별 구매 패턴을 분석할 수 있습니다.
  • 고객 맞춤설정: 금융 서비스 회사는 관계 관리자에게 고객에 대한 완전하고 통합된 뷰를 제공하고자 합니다. 이 회사는 이 아키텍처를 사용하여 AWS의 데이터 레이크에 있는 이전 마케팅 참여 데이터를 AlloyDB의 실시간 고객 계정 정보와 통합할 수 있습니다. 그러면 관계 관리자가 AI 어시스턴트를 사용하여 "이 고객의 최근 세 건의 거래를 요약하고 새로운 고수익 저축 계좌를 제안하는 맞춤 이메일을 작성해 줘"와 같은 질문을 할 수 있습니다.

설계 고려사항

이 섹션에서는 이 참조 아키텍처를 사용하여 보안 및 비용 관련 특정 요구사항을 충족하는 토폴로지를 개발할 때 고려해야 하는 설계 요소, 권장사항, 권장사항을 설명합니다.

이 섹션의 안내는 일부일 뿐 모든 내용을 포함하지는 않습니다. 설계 요소 및 권장사항에 대한 자세한 내용과 멀티 에이전트 AI 시스템 빌드 및 배포에 대한 권장사항은 Google Cloud의 멀티 에이전트 AI 시스템을 참조하세요.

보안, 개인 정보 보호, 규정 준수

최소 권한의 원칙을 적용하려면 시스템 관리 ID를 통해 액세스를 관리하세요. 다음 권장사항을 고려하세요.

에이전트 보안 및 거버넌스

AI 에이전트의 고유한 보안 위험을 해결하기 위해 Google은 결정론적 보안 제어와 동적 추론 기반 방어를 결합하는 접근 방식을 권장합니다.

  • 인간의 감독: 비즈니스에 중요한 시스템에 휴먼인더루프 흐름을 통합하여 인간 감독자가 출력을 검토하고 에이전트 작업을 승인, 재정의 또는 일시중지할 수 있도록 합니다.
  • 에이전트 ID: 각 에이전트에 워크로드 바인딩 ID를 할당하여 최소 권한 액세스 제어를 적용하고 외부 도구의 사용자 인증 정보를 중앙에서 관리합니다.
  • Agent Gateway: Model Armor를 사용하여 인그레스 및 이그레스 트래픽 거버넌스, 기본 거부 액세스 정책, 인라인 프롬프트 및 도구 검사를 시행합니다.
  • Agent Registry: 에이전트가 승인된 하위 에이전트 및 MCP 도구에만 연결되는지 확인합니다.

비용 및 성능 최적화

에이전트 구성이 비용 및 성능 요구사항을 충족하도록 하려면 다음 권장사항을 고려하세요.

  • 컴퓨팅 선택: 성능과 비용을 최적화하려면 워크로드의 각 부분에 가장 적합한 컴퓨팅 서비스를 선택합니다. 최신 데이터 레이크하우스는 모놀리식 컴퓨팅 서비스에 의존하지 않습니다. 운영 데이터베이스에 정확히 일치 필터를 수행하려면 BigQuery 페더레이션 쿼리를 사용합니다. 벡터화된 경계 없는 조인과 같이 메모리 사용량이 많고 복잡한 데이터 조작을 오프로드하려면 Lightning Engine과 함께 Managed Service for Apache Spark를 사용하세요.
  • AI 모델 그라운딩: AI 모델 할루시네이션을 완화하려면 통합 고객 프로필에서 모델을 그라운딩하여 비즈니스 정의 및 통계 검증을 적용합니다. AI 모델을 수십억 행에 걸쳐 집계되지 않은 원시 경계 없는 데이터에 노출하면 과도한 토큰 소비와 높은 할루시네이션 비율이 발생할 수 있습니다.
  • 네트워크 토폴로지 및 이그레스 전략: 경계 없는 네트워크에서 안정적인 성능을 보장하고 데이터 전송 비용을 최소화하려면 Cross-Cloud Interconnect를 사용하여 Google Cloud 와 AWS 간에 비공개 연결을 설정합니다. 그렇지 않으면 Google Cloud 에서 AWS로 공개 인터넷을 통해 데이터를 쿼리하면 높은 이그레스 요금과 예측할 수 없는 지연 시간이 발생할 수 있습니다.

배포

이 아키텍처를 배포하려면 경계 없는 개방형 데이터 레이크하우스 빌드 Codelab을 참조하세요. 이 샘플 구현은 특정 네트워크 인프라를 프로비저닝하고, C++ PySpark 워크플로를 실행하고, 레이크하우스와 안전하게 상호작용하도록 AI 에이전트를 구성하는 데 도움이 됩니다.

다음 단계

참여자

저자: 임현욱 | Developer Advocate

기타 참여자: