BigQuery コネクタを使用することで、BigQuery へのプログラマティックな読み取り / 書き込みアクセスが可能になります。これは、BigQuery に保存されているデータの処理に最適です。コマンドラインによるアクセスは公開されません。BigQuery コネクタは、Spark アプリケーションと Hadoop アプリケーションが BigQuery から取得したデータを処理し、ネイティブの用語を使用してデータを BigQuery に書き込むことができるようにするライブラリです。
料金
コネクタを使用する場合、料金には BigQuery の使用料金が含まれます。次のサービス固有の料金が適用される場合もあります。
- Cloud Storage - コネクタは、ジョブの実行前または実行中に Cloud Storage バケットにデータをダウンロードします。ジョブが正常に完了すると、データは Cloud Storage から削除されます。このストレージは、Cloud Storage の料金に従って課金されます。余分な料金の発生を避けるために、ご利用の Cloud Storage アカウントを確認し、不要な一時ファイルを削除してください。
- Storage Read API - コネクタは、Storage Read API を使用してテーブルからデータを読み取り、高スループットを実現します。
- リクエストが Managed Service for Apache Spark サーバーレスまたは Apache Spark 用 BigQuery ストアド プロシージャから送信された場合、Storage Read API のストリーミング読み取りの費用は追加料金なしでコネクタに委任されます。リージョン間でデータを読み取る場合は、標準の下り（外向き）ネットワーク料金が引き続き適用されます。
- リクエストがクラスタベースの Apache Spark ワークロード（クラスタ上の Managed Service for Apache Spark や Google Kubernetes Engine（GKE）で実行されている Apache Spark など）から送信される場合、標準の Storage Read API の料金が適用されます。
使用可能なコネクタ
Hadoop エコシステムで使用できる BigQuery コネクタは次のとおりです。
- Spark BigQuery コネクタを使用すると、Spark のデータソースを追加できます。これにより、Spark の
readオペレーションとwriteオペレーションによって、DataFrame で BigQuery テーブルを直接操作できます。 - Hive BigQuery コネクタは、Storage Handler を追加します。これにより、Apache Hive は HiveQL 構文を使用して BigQuery テーブルを直接操作できます。
Hadoop BigQuery コネクタによって、Hadoop のマッパーとレデューサーは InputFormat クラスと OutputFormat クラスの抽象化バージョンを使用して BigQuery テーブルを操作できます。
コネクタを使用する
BigQuery コネクタのクイックスタートについては、次の例をご覧ください。
次のステップ
- BigQuery の詳細を確認する。
- Spark に関する BigQuery の例に沿って操作する
- Hive BigQuery コネクタの詳細を確認する。
- Java MapReduce に関する BigQuery の例に沿って操作する