Usar transferências de terceiros
As transferências de terceiros para o serviço de transferência de dados do BigQuery permitem que você programe e gerencie automaticamente jobs de carregamento recorrentes para origens de dados externas, como Salesforce CRM, Adobe Analytics e Facebook Ads.
Antes de começar
Antes de criar uma transferência de dados de terceiros, siga estas recomendações:
- Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
- Crie um conjunto de dados do BigQuery para armazenar os dados.
- Consulte a documentação da origem de dados de terceiros para verificar se você configurou as permissões necessárias para ativar a transferência.
- Se você pretende configurar notificações de execução de transferência do Pub/Sub,
é preciso ter permissões
pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias se você configurar notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.
Papéis obrigatórios do BigQuery
Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery,
peça ao administrador para conceder a você o papel do IAM
Administrador do BigQuery (roles/bigquery.admin)
no seu projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:
-
Permissões do serviço de transferência de dados do BigQuery:
-
bigquery.transfers.update -
bigquery.transfers.get
-
-
Permissões do BigQuery:
-
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.datasets.setIamPolicy -
bigquery.jobs.create
-
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Para mais informações, consulte Conceder acesso ao bigquery.admin.
Limitações
As transferências de terceiros estão sujeitas às seguintes limitações:
- Você precisa criar ou atualizar uma transferência de terceiros usando o consoleGoogle Cloud .
- Não é possível configurar ou atualizar as transferências de terceiros usando a ferramenta de linha de comando bq.
Configurar uma transferência de dados de terceiros
Para criar uma transferência de dados de terceiros usando o console Google Cloud :
Acesse o Google Cloud Marketplace.
Clique no provedor de terceiros apropriado.
Na página de documentação do provedor terceirizado, clique em Inscrever-se. O processo de inscrição pode demorar um pouco.
Após a conclusão da inscrição, clique em Configurar transferência.
Na página Criar transferência:
Para Origem, escolha a origem de dados de terceiros apropriada. Clique em Explorar origens de dados para ver uma lista de provedores de terceiros no Google Cloud Marketplace.
Em Nome de exibição, insira um nome para a transferência, como
My Transfer. Ele pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la no futuro.
Para Programação, deixe o valor padrão Iniciar agora ou clique em Iniciar em um horário definido.
Para Repetições, escolha uma opção para a frequência de execução da transferência. As opções incluem:
- Diário (padrão)
- Semanais
- Mensais
- Personalizadas
- Sob demanda
Se você escolher uma opção diferente de "Diário", outras opções estarão disponíveis. Por exemplo, se você escolher "Semanal", aparecerá uma opção para selecionar o dia da semana.
Para Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.
Para o Conjunto de dados de destino, escolha o conjunto de dados que você criou para armazenar seus dados.
(Opcional) Na seção Opções de notificação:
- Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail quando uma execução de transferência falha.
- Em Selecionar um tópico do Pub/Sub, escolha o nome do seu tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub para sua transferência.
Clique em Conectar origem.
Quando solicitado, clique em Aceitar para permitir que o serviço de transferência de dados do BigQuery se conecte à origem de dados e gerencie seus dados no BigQuery.
Siga as instruções nas próximas páginas para configurar a conexão com sua origem de dados externa.
Depois de concluir as etapas de configuração, clique em Salvar.
Resolver problemas na configuração de transferências de terceiros
Se você tiver problemas ao configurar sua transferência, consulte o fornecedor terceirizado apropriado. As informações de contato estão disponíveis na página de documentação da transferência no Google Cloud Marketplace.
Consultar dados
Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.
Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, veja Como consultar tabelas particionadas.
A seguir
- Consulte Introdução ao serviço de transferência de dados do BigQuery para uma visão geral desse serviço.
- Para informações sobre o uso de transferências, incluindo ver detalhes sobre a configuração, listar configurações e visualizar o histórico de execução, consulte Como trabalhar com transferências.