BigQuery 커넥터

BigQuery 커넥터를 사용하여 BigQuery에 대한 프로그래매틱 읽기/쓰기 액세스 권한을 사용 설정할 수 있습니다. 이 방법은 BigQuery에 저장된 데이터를 처리하는 최적의 방법입니다. 명령줄 액세스는 공개되지 않습니다. BigQuery 커넥터는 Spark 및 Hadoop 애플리케이션이 기본 용어를 사용하여 BigQuery의 데이터를 처리하고 BigQuery에 데이터를 쓸 수 있도록 하는 라이브러리입니다.

가격 책정

커넥터 사용시 요금에는 BigQuery 사용 요금이 포함됩니다. 다음 서비스별 요금도 적용될 수 있습니다.

  • Cloud Storage - 커넥터가 작업 실행 전이나 도중에 데이터를 Cloud Storage 버킷에 다운로드합니다. 작업이 완료되면 데이터가 Cloud Storage에서 삭제됩니다. Cloud Storage 가격에 따라 스토리지 비용이 청구됩니다. 초과 요금이 발생하지 않도록 Cloud Storage 계정을 확인하고 불필요한 임시 파일을 삭제하세요.
  • BigQuery Storage API - 커넥터는 성능 향상을 위해 BigQuery Storage API를 사용하여 데이터를 읽습니다. 이 사용량은 BigQuery Storage API 가격 책정에 따라 청구됩니다.

사용 가능한 커넥터

다음 BigQuery 커넥터는 Hadoop 생태계에서 사용할 수 있습니다.

  1. Spark BigQuery 커넥터는 Spark 데이터 소스를 추가하여 DataFrame이 Spark의 read 및 write 작업을 통해 BigQuery 테이블과 직접 상호작용할 수 있도록 합니다.
  2. Hive BigQuery 커넥터는 Apache Hive가 HiveQL 문법을 사용하여 BigQuery 테이블과 직접 상호작용할 수 있는 스토리지 핸들러를 추가합니다.
  3. Hadoop BigQuery 커넥터는 InputFormat 및 OutputFormat 클래스의 추상화된 버전을 사용하여 Hadoop mapper 및 reducer가 BigQuery 테이블과 상호작용하도록 허용합니다.

커넥터 사용

BigQuery 커넥터를 사용하여 빠르게 시작하려면 다음 예시를 참조하세요.

다음 단계