Agende uma transferência do Centro para serviço de comparação de preços

Este documento mostra-lhe como agendar e gerir tarefas de carregamento recorrentes para dados de relatórios do CSS Center através do Serviço de transferência de dados do BigQuery.

Antes de começar

Antes de criar uma transferência de dados do centro de SSCs:

  • Ative o Serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do centro de SCCs.
    • Para a região do conjunto de dados, recomendamos a utilização da opção predefinida, multirregião, nos EUA ou na UE.
    • Se quiser criar um conjunto de dados numa região específica, a transferência de dados do centro do SCP só é suportada nas seguintes regiões:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Tem de ter o ID do domínio do SCP para criar uma transferência de dados do CSS Center.
  • Se pretender configurar notificações de execução de transferências para o Pub/Sub, tem de ter pubsub.topics.setIamPolicy autorizações. Não são necessárias autorizações do Pub/Sub se configurar apenas notificações por email. Para mais informações, consulte Notificações de execução do Serviço de transferência de dados do BigQuery.

Autorizações necessárias

Certifique-se de que concedeu as seguintes autorizações.

Funções do BigQuery necessárias

Para receber as autorizações de que precisa para criar uma transferência de dados do Serviço de transferência de dados do BigQuery, peça ao seu administrador para lhe conceder a função do IAM de administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar uma transferência de dados do Serviço de transferência de dados do BigQuery. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar uma transferência de dados do Serviço de transferência de dados do BigQuery:

  • Autorizações do Serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorizações do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para mais informações, consulte o artigo Conceda acesso ao bigquery.admin.

Funções obrigatórias do CSS Center

Tem de ter acesso à conta do CSS Center usada na configuração de transferência.

Configure uma transferência do CSS Center

Para criar uma transferência de dados para relatórios do CSS Center:

Consola

  1. Aceda à página Transferências de dados na Google Cloud consola.

    Aceda a Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência:

    • Na secção Tipo de origem, em Origem, escolha Centro de SCCs do Google.

    • Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados, como My Transfer. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.

      Nome da transferência

    • A secção Opções de agendamento não é configurável. As transferências de dados do CSS Center são agendadas para serem executadas uma vez a cada 24 horas.

    • Na secção Definições de destino, para Conjunto de dados de destino, escolha o conjunto de dados que criou para armazenar os seus dados.

    • Na secção Detalhes da origem de dados, para ID de CSS, introduza o ID do domínio do CSS.

    • Selecione os relatórios que quer transferir. Consulte o artigo Relatórios suportados para mais detalhes.

    • (Opcional) Na secção Opções de notificação:

      • Clique no botão para ativar as notificações por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução de transferência falha.
      • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Esta opção configura notificações executadas pelo Pub/Sub para a transferência de dados.

    Transfira dados do CSS Center.

  4. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a flag de criação de transferência — --transfer_config. Os seguintes indicadores também são obrigatórios:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Também pode fornecer a flag --project_id para especificar um projeto em particular. Se --project_id não for especificado, é usado o projeto predefinido.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Onde:

  • project_id é o ID do seu projeto.
  • dataset é o conjunto de dados de destino para a configuração da Transferência de dados.
  • name é o nome a apresentar da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.
  • parameters contém os parâmetros da configuração de transferência de dados criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'.
    • css_id: o ID do domínio do SCP.
    • export_products: se deve ou não transferir os dados dos produtos e dos problemas dos produtos. Este parâmetro é incluído por predefinição, mesmo que não especifique o parâmetro export_products. Recomendamos que inclua este parâmetro explicitamente e o defina como true.
  • data_source é a origem de dados — css_center.

Por exemplo, o comando seguinte cria uma transferência de dados do centro de CSS denominada My Transfer usando o ID do domínio do CSS 1234 e o conjunto de dados de destino mydataset. A transferência de dados é criada no seu projeto predefinido.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Na primeira vez que executar o comando, recebe uma mensagem semelhante à seguinte:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções na mensagem e cole o código de autenticação na linha de comandos.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.