Conector do BigQuery

Pode usar um conetor do BigQuery para ativar o acesso de leitura e escrita programático ao BigQuery. Esta é uma forma ideal de processar dados armazenados no BigQuery. O acesso à linha de comandos não está exposto. O conetor do BigQuery é uma biblioteca que permite que as aplicações Spark e Hadoop processem dados do BigQuery e escrevam dados no BigQuery através da respetiva terminologia nativa.

Preços

Quando usa o conetor, as cobranças incluem taxas de utilização do BigQuery. Também podem aplicar-se as seguintes cobranças específicas do serviço:

  • Cloud Storage: o conetor transfere dados para um contentor do Cloud Storage antes ou durante a execução da tarefa. Após a conclusão bem-sucedida da tarefa, os dados são eliminados do Cloud Storage. Este armazenamento é-lhe cobrado de acordo com os preços do Cloud Storage. Para evitar cobranças excessivas, verifique a sua conta de armazenamento na nuvem e remova os ficheiros temporários desnecessários.
  • API BigQuery Storage: para alcançar um melhor desempenho, o conector lê dados através da API BigQuery Storage. Esta utilização é cobrada de acordo com os preços da API BigQuery Storage.

Conetores disponíveis

Os seguintes conetores do BigQuery estão disponíveis para utilização no ecossistema Hadoop:

  1. O conetor do BigQuery do Spark adiciona uma origem de dados do Spark, que permite que os DataFrames interajam diretamente com as tabelas do BigQuery através das operações read e write do Spark.
  2. O conetor do Hive BigQuery adiciona um controlador de armazenamento, que permite que o Apache Hive interaja diretamente com tabelas do BigQuery através da sintaxe HiveQL.
  3. O conetor do Hadoop BigQuery permite que os mapeadores e os redutores do Hadoop interajam com as tabelas do BigQuery através de versões abstratas das classes InputFormat e OutputFormat.

Use os conetores

Para começar rapidamente a usar o conetor do BigQuery, consulte os seguintes exemplos:

O que se segue?