Storage Write API 소개

BigQuery Storage Write API는 레코드를 BigQuery로 실시간 스트리밍하는 데 사용할 수 있는 통합 데이터 수집 API입니다. Storage Write API는 gRPC 및 REST 엔드포인트를 통해 사용할 수 있습니다.

스트리밍 방법 선택

Storage Write API는 gRPC 스트리밍 또는 REST 엔드포인트를 통해 두 가지 방법으로 사용할 수 있습니다. gRPC 스트리밍은 장기 연결 및 지속적인 스트리밍에 적합하며 REST 엔드포인트는 일시적, 상태 비저장 또는 제약된 환경에 가장 적합합니다.

새 워크로드의 경우 다음과 같은 이유로 gRPC 스트리밍을 사용하는 것이 좋습니다.

  • 효율적인 프로토콜. gRPC 스트리밍은 HTTP를 통한 REST보다 더 효율적입니다. 또한 JSON보다 효율적인 쓰기 형식인 프로토콜 버퍼 바이너리 형식과 Apache Arrow 열 형식도 지원합니다. 쓰기 요청은 비동기적으로 수행되며 순서가 보장됩니다.
  • 비용 절감. gRPC 스트리밍은 REST보다 비용이 훨씬 저렴합니다. 또한 매월 최대 2TiB를 무료로 수집할 수 있습니다.
  • 정확히 한 번의 전달 시맨틱스. gRPC 스트리밍은 스트림 오프셋 사용을 통해 정확히 한 번의 시맨틱스를 지원하며 클라이언트가 레코드를 추가할 때 스트림 오프셋을 제공하는 경우 스트림 내에서 오프셋이 동일한 두 메시지를 작성하지 않습니다.
  • 스트림 수준 트랜잭션. gRPC 스트리밍을 사용하면 스트림에 데이터를 쓰고 데이터를 단일 트랜잭션으로 커밋할 수 있습니다. 커밋 작업이 실패하더라도 작업을 안전하게 다시 시도할 수 있습니다.
  • 스트림 간 트랜잭션. gRPC 스트리밍을 사용하면 여러 작업자가 개별 스트림을 만들어 데이터를 독립적으로 처리할 수 있습니다. 모든 작업자가 작업을 완료하면 모든 스트림을 하나의 트랜잭션으로 커밋할 수 있습니다.
  • 스키마 업데이트 감지. gRPC 스트리밍을 사용하면 클라이언트가 스트리밍하는 동안 기본 테이블 스키마가 변경되면 API가 이를 클라이언트에 알립니다. 클라이언트는 업데이트된 스키마를 사용하여 다시 연결하거나 기존 연결로 계속 작성할지 선택할 수 있습니다.

다음 다이어그램은 스트리밍 방법을 선택할 때 알아야 할 기타 기술 세부정보를 보여줍니다.

Storage Write API 스트리밍 접근 방식을 선택하기 위한 다이어그램

다음 단계