Exporte os resultados da consulta para o armazenamento de blobs
Este documento descreve como exportar o resultado de uma consulta executada numa tabela do BigLake para o seu armazenamento de blobs do Azure.
Para obter informações sobre como os dados fluem entre o BigQuery e o armazenamento de blobs do Azure, consulte o artigo Fluxo de dados ao exportar dados.
Limitações
Para ver uma lista completa das limitações aplicáveis às tabelas BigLake com base no Amazon S3 e no armazenamento de blobs, consulte o artigo Limitações.
Antes de começar
Certifique-se de que tem os seguintes recursos:
- Uma ligação para aceder ao seu armazenamento de blobs.
Na associação, tem de criar uma política para o caminho do contentor do Blob Storage para o qual quer exportar. Em seguida, nessa política,
crie uma função com a autorização
Microsoft.Storage/storageAccounts/blobServices/containers/write. - Uma tabela do BigLake de armazenamento de blobs.
- Se estiver a usar o modelo de preços baseado na capacidade, certifique-se de que ativou a API BigQuery Reservation para o seu projeto. Para informações sobre os preços, consulte os preços do BigQuery Omni.
Exporte os resultados da consulta
O BigQuery Omni escreve na localização do armazenamento de blobs especificada, independentemente do conteúdo existente. A consulta de exportação pode substituir os dados existentes ou misturar o resultado da consulta com os dados existentes. Recomendamos que exporte o resultado da consulta para um contentor do Blob Storage vazio.
Na Google Cloud consola, aceda à página BigQuery.
No campo Editor de consultas, introduza uma consulta de exportação GoogleSQL:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Substitua o seguinte:
CONNECTION_REGION: a região onde a ligação foi criada.CONNECTION_NAME: o nome da associação que criou com a autorização necessária para escrever no contentor.AZURE_STORAGE_ACCOUNT_NAME: o nome da conta de armazenamento de blobs na qual quer escrever o resultado da consulta.CONTAINER_NAME: o nome do contentor no qual quer escrever o resultado da consulta.FILE_PATH: o caminho onde quer escrever o ficheiro exportado. Tem de conter exatamente um caráter universal*em qualquer parte do diretório folha da string de caminho, por exemplo,../aa/*,../aa/b*c,../aa/*bce../aa/bc*. O BigQuery substitui*por0000..Nconsoante o número de ficheiros exportados. O BigQuery determina a quantidade e os tamanhos dos ficheiros. Se o BigQuery decidir exportar dois ficheiros,*no nome do ficheiro do primeiro ficheiro é substituído por000000000000e*no nome do ficheiro do segundo ficheiro é substituído por000000000001.FORMAT: os formatos suportados sãoJSON,AVRO,CSVePARQUET.QUERY: a consulta para analisar os dados armazenados numa tabela do BigLake.
Resolução de problemas
Se receber um erro relacionado com quota failure, verifique se reservou capacidade para as suas consultas. Para mais informações sobre reservas de horários, consulte a secção Antes de começar neste documento.
O que se segue?
- Saiba mais acerca do BigQuery Omni.
- Saiba como exportar dados de tabelas.
- Saiba como consultar dados armazenados no armazenamento de blobs.
- Saiba como configurar o VPC Service Controls para o BigQuery Omni.