Exporte os resultados da consulta para o armazenamento de blobs
Este documento descreve como exportar o resultado de uma consulta executada numa tabela do BigLake para o seu armazenamento de blobs do Azure.
Para obter informações sobre como os dados fluem entre o BigQuery e o armazenamento de blobs do Azure, consulte o artigo Fluxo de dados ao exportar dados.
Limitações
Para ver uma lista completa das limitações aplicáveis às tabelas BigLake com base no Amazon S3 e no armazenamento de blobs, consulte o artigo Limitações.
Antes de começar
Certifique-se de que tem os seguintes recursos:
- Uma ligação para aceder ao seu armazenamento de blobs.
Na associação, tem de criar uma política para o caminho do contentor do Blob Storage para o qual quer exportar. Em seguida, nessa política,
crie uma função com a autorização
Microsoft.Storage/storageAccounts/blobServices/containers/write
. - Uma tabela do BigLake de armazenamento de blobs.
- Se estiver a usar o modelo de preços baseado na capacidade, certifique-se de que ativou a API BigQuery Reservation para o seu projeto. Para informações sobre os preços, consulte os preços do BigQuery Omni.
Exporte os resultados da consulta
O BigQuery Omni escreve na localização do armazenamento de blobs especificada, independentemente do conteúdo existente. A consulta de exportação pode substituir os dados existentes ou misturar o resultado da consulta com os dados existentes. Recomendamos que exporte o resultado da consulta para um contentor do Blob Storage vazio.
Na Google Cloud consola, aceda à página BigQuery.
No campo Editor de consultas, introduza uma consulta de exportação GoogleSQL:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Substitua o seguinte:
CONNECTION_REGION
: a região onde a ligação foi criada.CONNECTION_NAME
: o nome da associação que criou com a autorização necessária para escrever no contentor.AZURE_STORAGE_ACCOUNT_NAME
: o nome da conta de armazenamento de blobs na qual quer escrever o resultado da consulta.CONTAINER_NAME
: o nome do contentor no qual quer escrever o resultado da consulta.FILE_PATH
: o caminho onde quer escrever o ficheiro exportado. Tem de conter exatamente um caráter universal*
em qualquer parte do diretório folha da string de caminho, por exemplo,../aa/*
,../aa/b*c
,../aa/*bc
e../aa/bc*
. O BigQuery substitui*
por0000..N
consoante o número de ficheiros exportados. O BigQuery determina a quantidade e os tamanhos dos ficheiros. Se o BigQuery decidir exportar dois ficheiros,*
no nome do ficheiro do primeiro ficheiro é substituído por000000000000
e*
no nome do ficheiro do segundo ficheiro é substituído por000000000001
.FORMAT
: os formatos suportados sãoJSON
,AVRO
,CSV
ePARQUET
.QUERY
: a consulta para analisar os dados armazenados numa tabela do BigLake.
Resolução de problemas
Se receber um erro relacionado com quota failure
, verifique se reservou capacidade para as suas consultas. Para mais informações sobre reservas de horários, consulte a secção Antes de começar neste documento.
O que se segue?
- Saiba mais acerca do BigQuery Omni.
- Saiba como exportar dados de tabelas.
- Saiba como consultar dados armazenados no armazenamento de blobs.
- Saiba como configurar o VPC Service Controls para o BigQuery Omni.