AlloyDB의 레이크하우스 제휴 개요

이 페이지에서는 AlloyDB의 쿼리 기능을 확장하는 통합 데이터 관리 솔루션인 PostgreSQL용 AlloyDB의 레이크하우스 페더레이션을 소개합니다. 이 통합을 사용하면 다음을 비롯한 다양한 BigQuery 리소스를 원활하게 쿼리할 수 있습니다.

레이크하우스 제휴를 사용하면 동일한 인터페이스 내에서 애플리케이션의 트랜잭션 및 분석 워크로드를 AlloyDB의 쿼리 엔진으로 구동할 수 있습니다. 또한 애플리케이션에서 더 빠르게 액세스할 수 있도록 이 데이터를 AlloyDB에 구체화하거나 가져올 수 있으며, 이를 통해 AlloyDB AI와 열 기반 엔진을 사용할 수 있습니다.

AlloyDB용 레이크하우스 통합을 사용하면 BigQuery 또는 Iceberg에서 데이터를 AlloyDB로 로드하고 변환하여 운영 애플리케이션을 지원하거나 이전 데이터와 실시간 트랜잭션 데이터를 조인할 수 있습니다. 이 사용 사례는 통합 분석과 애플리케이션 컨텍스트에서 비즈니스의 전체 보기를 지원합니다.

AlloyDB를 트랜잭션 데이터베이스로 사용할 수 있으며 대량의 데이터를 BigQuery 또는 BigLake에 저장할 수 있습니다. 애플리케이션은 일반적으로 이러한 두 시스템과 독립적으로 통합되어 이러한 다양한 Google Cloud서비스 전반에서 데이터에 액세스합니다. Lakehouse Federation을 사용하면 AlloyDB에 SQL 인터페이스를 사용하여 BigQuery 및 AlloyDB 데이터에 액세스할 수 있도록 외부 데이터 래퍼로 구현된 AlloyDB의 페더레이션 쿼리 지원을 사용할 수 있습니다.

푸시다운

필터 및 집계 푸시다운 기법을 사용하여 AlloyDB에서 데이터를 이동하거나 처리하기 전에 BigQuery에서 데이터를 필터링하거나 요약하여 쿼리 속도를 높이고 비용을 절감할 수 있습니다. 이 접근 방식을 사용하면 네트워크 트래픽과 메모리 사용량이 최소화되므로 리소스 한도를 초과하지 않고도 대규모 데이터 세트를 빠르고 효율적으로 분석할 수 있습니다.

필터 푸시다운

필터 푸시다운(조건자 푸시다운이라고도 함)은 데이터 필터링을 스토리지 레이어에 최대한 가깝게 이동하는 최적화 기법입니다. 대규모 테이블을 메모리에 읽어들인 다음 필요하지 않은 행을 삭제하는 대신 데이터베이스는 WHERE 절을 사용하여 필터를 초기 데이터 스캔으로 '푸시'합니다.

필터 푸시다운을 사용하면 WHERE 절이 있는 SQL 쿼리를 사용하여 원격 테이블의 데이터 하위 집합에 액세스할 수 있습니다. 이 데이터는 로컬 테이블에 구체화하거나 PostgreSQL 테이블에 로컬 파티션으로 연결할 수도 있습니다.

지원되는 필터

다음 비교 및 산술 연산은 PostgreSQL 쿼리의 필터링 (WHERE) 절에 표현식으로 표시되는 경우 BigQuery API를 사용하여 BigQuery로 푸시됩니다.

비교 연산자

=, >, <, >=, <=, <>, ~~, !~~

산술 연산자

+, -, *, /

집계 푸시다운

집계 푸시다운은 SUM, COUNT, AVG, GROUP BY과 같은 계산을 스토리지 레이어에 최대한 가깝게 실행하는 고급 데이터베이스 최적화입니다. 필터 푸시다운은 불필요한 행을 삭제하는 반면, 집계 푸시다운은 데이터베이스 엔진이 추가로 처리하기 전에 필요한 행을 요약합니다.

지원되는 집계

다음 집계 함수는 지원되는 데이터 유형에 적용되는 경우 BigQuery API를 사용하여 BigQuery로 푸시됩니다.

  • SUM
  • AVG
  • MIN
  • MAX
  • COUNT

BigQuery 비용 및 결제

BigQuery 외부 데이터 래퍼는 다음을 기반으로 합니다.

  • BigQuery 컴퓨팅 가격 책정
  • BigQuery Storage API 가격 책정

자세한 내용은 BigQuery 가격 책정을 참고하세요.

제한사항

  • AlloyDB와 BigQuery는 서로 다른 콜레이션을 사용할 수 있으며, 이로 인해 두 시스템 간에 데이터 순서가 달라질 수 있습니다. BigQuery에서 원격으로 실행되는 쿼리의 모든 부분에 대해 콜레이션은 BigQuery의 설정을 따릅니다.
  • 푸시다운 후 BigQuery에서 매우 많은 양의 데이터를 반환하는 쿼리는 최적화되지 않습니다.

다음 단계