인메모리 계층 개요

인메모리 계층은 특수 노드를 사용하는 클러스터 수준 설정입니다. 이 페이지를 읽기 전에 인스턴스, 클러스터 및 노드를 이해하세요. 제한사항을 숙지하는 것도 좋습니다 .

Bigtable 인메모리는 Bigtable 노드의 일부로 통합된 메모리 계층으로, 단일 API를 통해 액세스 패턴 및 성능 요구사항을 기반으로 원활하고 비용이 최적화된 데이터 계층화를 지원합니다. 원격 직접 메모리 액세스 (RDMA)를 사용하는 Bigtable 인메모리 계층은 응답 시간을 크게 줄이고, 부하 집중을 완화하며, 지연 시간에 민감한 데이터의 높은 처리량을 보장합니다. 자세한 내용은 성능 이해를 참조하세요.

인메모리를 사용해야 하는 경우

다음 사용 사례에서는 인메모리 계층을 사용 설정하는 것이 좋습니다.

  • 1밀리초 미만의 지연 시간 요구사항: 일반적으로 자체 관리 캐시 솔루션으로 데이터베이스를 프런팅하여 해결되는 1ms 미만의 읽기 지연 시간이 필요한 워크로드입니다.
  • 높은 처리량의 포인트 읽기: 특정 데이터 하위 집합에 높은 읽기 트래픽 처리량 요구사항이 있는 애플리케이션입니다.
  • 부하 집중 완화: 특정 행 키에 트래픽 급증 또는 부하 집중이 포함될 수 있는 높은 처리량 워크로드입니다.
  • 비용 최적화: 높은 읽기 볼륨을 비용 효율적인 인메모리 계층으로 오프로드하여 Bigtable 노드 수를 줄이려는 시나리오입니다.

인메모리 계층 작동 방식

인메모리 지원은 하이브리드 스토리지 노드 에서 제공합니다. 이러한 특수 노드는 Bigtable의 컴퓨팅 및 스토리지 분리를 확장하여 수직으로 확장 가능한 처리량의 메모리 계층을 포함합니다. 인메모리는 특수 노드를 프로비저닝하는 데 최대 30분이 걸릴 수 있습니다. 이 기간 동안 Bigtable은 영구 스토리지에서 트래픽을 계속 처리합니다.

클러스터 수준에서 인메모리 계층을 사용 설정할 수 있습니다.

인메모리 계층은 다음과 같이 작동합니다.

  • 메모리 계층에서 데이터 가져오기: 인메모리는 리드스루 캐싱 동작을 제공합니다. 행은 인메모리에 대해 구성하는 앱 프로필을 통해 읽기 작업과 함께 메모리 계층으로 이동합니다. 행 데이터가 이미 인메모리 계층에 있는 경우 모든 앱 프로필의 쓰기 작업은 메모리 계층을 업데이트합니다.
  • 제거 및 무효화 정책: 인메모리는 행 수준에서 가장 최근에 사용되지 않은 항목 (LRU) 제거와 15분의 TTL (수명) 무효화 정책을 사용합니다.
  • 음성 캐싱: 인메모리는 백엔드 과부하를 방지하기 위해 리소스가 일정 기간 동안 누락되었는지 기억합니다.
  • 보안: 인메모리는 저장 데이터 암호화 및 전송 중 암호화 (TLS)를 지원합니다.
  • 복제: 멀티 클러스터 인스턴스에서 서로 다른 클러스터의 메모리 계층은 동기화되지 않습니다. 각 메모리 계층은 수신하는 읽기 트래픽을 기반으로 메모리에 로드할 데이터를 독립적으로 결정하므로 서로 다른 클러스터는 메모리 계층에 서로 다른 row key를 보유할 수 있습니다. Bigtable은 로컬 클러스터의 SSD 계층에서 메모리로 데이터를 로드합니다. 행에 대한 쓰기는 eventual consistency의 표준 Bigtable 복제 모델에 따라 결국 모든 메모리 계층에서 업데이트됩니다.
  • 수직 자동 확장: 인메모리 계층은 노드 수준의 수직 자동 확장 을 지원하며 Bigtable 자동 확장과 함께 작동합니다.

인메모리 계층은 현재 데이터에 대한 고성능 액세스에 최적화되어 있습니다. 이 성능을 유지하기 위해 행의 최신 타임스탬프 버전만 메모리 계층에 상주합니다. _이전 셀_이라고도 하는 이전 버전의 데이터 요청은 메모리 계층을 자동으로 바이패스하고 영구 스토리지에서 제공됩니다.

데이터 일관성

Bigtable은 인메모리 데이터가 SSD 또는 자주 액세스하지 않는 스토리지 계층의 영구 데이터와 일관되도록 합니다. 이 하이브리드 아키텍처를 사용하면 Bigtable이 모든 스토리지 계층에서 일관된 스토리지 모델을 제공하여 데이터가 RAM 또는 영구 스토리지에 물리적으로 상주하는지 여부에 관계없이 동일한 시맨틱 인터페이스를 통해 데이터에 액세스할 수 있습니다. Bigtable 인메모리를 사용 설정하면 클러스터 수준에서 쓰기 후 읽기 일관성을 유지할 수 있습니다.

수직 확장

인메모리 계층을 사용 설정하면 각 노드가 수직 확장 을 사용하여 인메모리 처리량 용량을 수정할 수 있습니다. 각 노드에는 인메모리 계층을 위한 8GB의 RAM이 포함되어 있으며 초당 40,000회의 읽기 기본 용량으로 시작합니다. 포인트 읽기 트래픽 급증을 관리하기 위해 노드는 초당 40,000회의 읽기 증분으로 자동으로 확장하여 노드당 최대 초당 120,000회의 읽기에 도달할 수 있습니다.

이 수직 확장 기능은 Bigtable 자동 확장과 통합됩니다. 클러스터의 모든 노드에서 최대 인메모리 용량에 도달하고 자동 확장이 활성 상태인 경우 Bigtable은 인메모리 처리량을 더욱 높이기 위해 추가 노드를 자동으로 프로비저닝합니다.

노드의 수직 확장은 초당 인메모리 읽기에만 적용되며 클러스터 수준 자동 확장 사용 설정 여부와 관계없이 작동합니다. 초당 40,000회의 기본 읽기를 초과하는 수직 확장은 노드의 시간당 비용에 곱셈기를 적용하여 청구됩니다. 자세한 내용은 가격 책정 및 제한사항을 참조하세요.

제한사항

인메모리 계층에는 다음과 같은 제한사항이 적용됩니다.

  • 인메모리에는 SSD 스토리지가 필요합니다.
  • 인메모리는 단일 행 수준 포인트 읽기 작업만 지원합니다.
  • 인메모리는 데이터 스캔을 제공하거나 SQL 쿼리를 지원하지 않습니다.
  • 인메모리 앱 프로필은 단일 클러스터 라우팅만 지원합니다.
  • 인메모리는 행 크기를 행 키당 1MiB로 제한합니다. Bigtable은 이 한도를 초과하는 행을 영구 스토리지에서 읽습니다.
  • 인메모리에는 Java용 Bigtable 클라이언트 라이브러리 버전 2.77.0 이상 또는 BOM 버전 26.80.0 이상이 필요합니다. 다른 클라이언트 라이브러리는 지원되지 않습니다.
  • 고객 관리 암호화 키 (CMEK) 클러스터는 인메모리를 지원하지 않습니다.

다음 단계