Programar uma transferência do Comparison Shopping Service Center

Neste documento, mostramos como programar e gerenciar jobs de carregamento recorrentes para dados de relatórios do CSS Center usando o serviço de transferência de dados do BigQuery.

Antes de começar

Antes de criar uma transferência de dados do CSS Center:

  • Ative o serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do CSS Center.
    • Para a região do conjunto de dados, é possível usar a opção padrão, multirregional, nos EUA ou na UE.
    • Se você quiser criar um conjunto de dados em uma região específica, a transferência de dados do CSS Center só será aceita nas seguintes regiões:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Você precisa ter o ID do domínio do CSS para criar uma transferência de dados do CSS Center.
  • Se você pretende configurar notificações de execução de transferência do Pub/Sub, é preciso ter permissões pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Permissões necessárias

Verifique se você concedeu as seguintes permissões.

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações, consulte Conceder acesso ao bigquery.admin.

Funções obrigatórias do CSS Center

Você precisa ter acesso à conta do CSS Center usada na configuração da transferência.

Configurar uma transferência do CSS Center

Para criar uma transferência de dados para relatórios do CSS Center:

Console

  1. Acesse a página "Transferências de dados" no console Google Cloud .

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência:

    • Na seção Tipo de origem, em Origem, escolha Google CSS Center.

    • No campo Nome de exibição da seção Transferir nome da configuração, insira um nome para a transferência de dados, como My Transfer. O nome da transferência pode ser qualquer valor que permita a identificação dela, caso você precise modificá-la mais tarde.

      Nome da transferência

    • A seção Opções de programação não é configurável. Centro de CSS as transferências de dados são programadas para execução a cada 24 horas.

    • No campo Conjunto de dados de destino da seção Configurações de destino, escolha o conjunto criado para armazenar seus dados.

    • No campo ID do CSS da seção Detalhes da fonte de dados, insira o ID do domínio do CSS.

    • Selecione os relatórios que você quer transferir. Consulte Relatórios aceitos para saber mais.

    • Opcional: na seção Opções de notificação:

      • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
      • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub para a transferência de dados.

    Dados de transferência do CSS Center.

  4. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações a seguir também são obrigatórias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Também é possível fornecer a sinalização --project_id para especificar um projeto determinado. Se --project_id não for especificado, o projeto padrão será usado.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Em que:

  • project_id é o ID do projeto;
  • dataset é o conjunto de dados de destino na configuração da transferência de dados.
  • name é o nome de exibição da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la facilmente, caso precise modificá-la mais tarde.
  • parameters contém os parâmetros da configuração da transferência de dadps criada no formato JSON. Por exemplo, --params='{"param":"param_value"}'.
    • css_id: o ID do domínio do CSS.
    • export_products: se é necessário ou não transferir os dados do produto e de problemas do produto. Esse parâmetro está incluído por padrão, mesmo que você não especifique o parâmetro export_products. Recomendamos que você inclua esse parâmetro explicitamente e o defina como true.
  • data_source é a fonte de dados: css_center.

Por exemplo, o comando a seguir cria uma transferência de dados do CSS Center chamada My Transfer usando o ID de domínio do CSS 1234 e o conjunto de dados de destino mydataset. A transferência de dados é criada no projeto padrão.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Ao executar o comando pela primeira vez, você recebe uma mensagem como esta:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções na mensagem e cole o código de autenticação na linha de comando.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.