인메모리 등급 개요

인메모리 계층은 특수 노드를 사용하는 클러스터 수준 설정입니다. 이 페이지를 읽기 전에 인스턴스, 클러스터, 노드를 이해해야 합니다. 제한사항도 숙지하는 것이 좋습니다.

Bigtable 인메모리는 Bigtable 노드의 일부로 통합된 메모리 계층으로, 단일 API를 통해 액세스 패턴과 성능 요구사항에 따라 원활하고 비용 최적화된 데이터 계층화를 지원합니다. 원격 직접 메모리 액세스 (RDMA)를 사용하는 Bigtable 인메모리 계층은 응답 시간을 크게 줄이고, 핫스팟을 완화하며, 지연 시간에 민감한 데이터의 높은 처리량을 보장합니다. 자세한 내용은 성능 이해하기를 참고하세요.

인메모리를 사용해야 하는 경우

다음 사용 사례에는 인메모리 계층을 사용 설정하는 것이 좋습니다.

  • 밀리초 미만 지연 시간 요구사항: 읽기 지연 시간이 1ms 미만인 워크로드로, 일반적으로 자체 관리 캐시 솔루션으로 데이터베이스를 프런트엔드에 배치하여 해결합니다.
  • 높은 처리량 포인트 읽기: 특정 데이터 하위 집합에 대한 읽기 트래픽 처리량 요구사항이 높은 애플리케이션
  • 핫스팟 완화: 트래픽 급증 또는 특정 행 키의 핫스팟이 포함될 수 있는 높은 처리량 워크로드
  • 비용 최적화: 읽기 볼륨이 많은 작업을 비용 효율성이 더 높은 인메모리 계층으로 오프로드하여 Bigtable 노드 수를 줄이려는 시나리오

인 메모리 계층 작동 방식

인메모리 지원은 하이브리드 스토리지 노드에서 제공됩니다. 이러한 특수 노드는 Bigtable의 컴퓨팅 및 스토리지 분리를 확장하여 수직으로 확장 가능한 처리량을 갖춘 메모리 계층을 포함합니다. 메모리 내에서 특화된 노드를 프로비저닝하는 데 최대 30분이 걸릴 수 있습니다. 이 기간 동안 Bigtable은 영구 스토리지에서 트래픽을 계속 처리합니다.

클러스터 수준에서 인메모리 계층을 사용 설정할 수 있습니다.

인메모리 계층은 다음과 같이 작동합니다.

  • 메모리 계층에서 데이터 가져오기: 메모리는 리드스루 캐싱 동작을 제공합니다. 행은 인메모리용으로 구성한 앱 프로필을 통해 읽기 작업과 함께 메모리 계층으로 이동합니다. 행 데이터가 이미 인메모리 계층에 있는 경우 앱 프로필의 쓰기 작업이 메모리 계층을 업데이트합니다.
  • 제거 및 무효화 정책: 메모리 내에서는 행 수준에서 최소 사용 빈도(LRU) 제거를 사용하고 수명 (TTL) 무효화 정책은 15분입니다.
  • 음성 캐싱: 백엔드 과부하를 방지하기 위해 리소스가 일정 기간 동안 누락되었는지 메모리에 저장합니다.
  • 보안: 인메모리는 저장 데이터 암호화 및 전송 중 데이터 암호화 (TLS)를 지원합니다.
  • 복제: 멀티 클러스터 인스턴스에서 서로 다른 클러스터의 메모리 계층이 동기화되지 않습니다. 각 메모리 계층은 수신하는 읽기 트래픽을 기반으로 메모리에 로드할 데이터를 독립적으로 결정하므로 클러스터마다 메모리 계층에 보유하는 row key가 다를 수 있습니다. Bigtable은 로컬 클러스터의 SSD 계층에서 메모리로 데이터를 로드합니다. 행에 대한 쓰기는 eventual consistency의 표준 Bigtable 복제 모델에 따라 행이 있는 모든 메모리 계층에서 결국 업데이트됩니다.
  • 수직 자동 확장: 인메모리 계층은 Bigtable 자동 확장과 함께 작동하는 노드 수준의 수직 자동 확장을 지원합니다.

인메모리 계층은 현재 데이터에 대한 고성능 액세스에 최적화되어 있습니다. 이 성능을 유지하기 위해 타임스탬프가 지정된 행의 최신 버전만 메모리 계층에 상주합니다. 이전 버전의 데이터라고도 하는 이전 버전의 데이터 요청은 메모리 계층을 자동으로 우회하고 영구 스토리지에서 제공됩니다.

데이터 일관성

Bigtable은 인메모리 데이터가 SSD 또는 액세스 빈도가 낮은 스토리지 계층의 영구 데이터와 일치하도록 합니다. 이 하이브리드 아키텍처를 통해 Bigtable은 모든 스토리지 계층에서 일관된 스토리지 모델을 제공하므로 데이터가 RAM에 있든 영구 스토리지에 있든 동일한 시맨틱 인터페이스를 통해 데이터에 액세스할 수 있습니다. Bigtable 인메모리를 사용 설정하면 클러스터 수준에서 작성한 항목을 읽을 수 있는 일관성이 유지됩니다.

수직 확장

인메모리 계층을 사용 설정하면 각 노드에서 수직 확장을 사용하여 인메모리 처리량 용량을 수정할 수 있습니다. 각 노드에는 인메모리 계층용 RAM 8GB가 포함되어 있으며 초당 40,000회의 읽기 기본 용량으로 시작합니다. 포인트 읽기 트래픽 급증을 관리하기 위해 노드는 초당 40,000회의 읽기 단위로 자동 확장되어 노드당 최대 초당 120,000회의 읽기에 도달할 수 있습니다.

이 수직 확장 기능은 Bigtable 자동 확장과 통합됩니다. 클러스터의 모든 노드에서 최대 인메모리 용량에 도달하고 자동 확장이 활성 상태인 경우 Bigtable은 인메모리 처리량을 더욱 높이기 위해 추가 노드를 자동으로 프로비저닝합니다.

노드의 수직 확장은 초당 인메모리 읽기에만 적용되며 클러스터 수준 자동 확장 사용 설정 여부와 관계없이 작동합니다. 기본 초당 40,000회의 읽기 이상으로 수직 확장하면 노드의 시간당 비용에 승수를 적용하여 청구됩니다. 자세한 내용은 가격 책정 및 한도를 참고하세요.

제한사항

인 메모리 계층에는 다음과 같은 제한사항이 적용됩니다.

  • 인메모리에는 SSD 스토리지가 필요합니다.
  • 인메모리는 단일 행 수준 포인트 읽기 작업만 지원합니다.
  • 인 메모리는 데이터 스캔을 제공하지 않으며 SQL 쿼리를 지원하지 않습니다.
  • 인메모리 앱 프로필은 단일 클러스터 라우팅만 지원합니다.
  • 인메모리에서는 row key당 1MiB로 행 크기를 제한합니다. Bigtable은 영구 스토리지에서 이 한도를 초과하는 행을 읽습니다.
  • 인 메모리에는 Java용 Bigtable 클라이언트 라이브러리 버전 2.77.0 이상 또는 BOM 버전 26.80.0 이상이 필요합니다.
  • 고객 관리 암호화 키 (CMEK) 클러스터는 인메모리를 지원하지 않습니다.

다음 단계