Carregue dados do PayPal para o BigQuery

Pré-visualização

Esta funcionalidade está sujeita aos "Termos das Ofertas de Pré-DG" na secção Termos Gerais de Serviço dos Termos Específicos do Serviço. As funcionalidades de pré-DG estão disponíveis "tal como estão" e podem ter apoio técnico limitado. Para mais informações, consulte as descrições das fases de lançamento.

Nota: para receber apoio técnico ou enviar feedback sobre esta funcionalidade, contacte [e-mail].

Pode carregar dados do PayPal para o BigQuery através do conetor do PayPal com o Serviço de transferência de dados do BigQuery. Com o conetor do PayPal, pode agendar tarefas de transferência recorrentes que adicionam os seus dados mais recentes do PayPal ao BigQuery.

O conetor do PayPal suporta contas do PayPal de produção e sandbox.

Objetos suportados

Tipos de objetos do PayPal	Objetos suportados pelo BigQuery	Suporte do filtro de data
Transações	TransactionReports	Suportado
	TransactionReportsCartInfoItemDetails	Suportado
	TransactionReportsIncentiveDetails	Suportado
Diferendos	Diferendos	Suportado
	DisputeDetails	Suportado
	DisputeTransactions	Suportado
Pagamentos	Pagamentos	Suportado
	PaymentTransactions	Suportado
Equilíbrio	Equilíbrio	Não suportado
Produtos	Produtos	Não suportado
	ProductDetails	Não suportado
Faturas	Faturas	Suportado

Limitações

As transferências de dados do PayPal estão sujeitas às seguintes limitações:

• Pode haver um atraso de várias horas antes de as transações do PayPal ficarem disponíveis através da API PayPal.
  • Recomendamos que agende transferências de dados subsequentes com intervalos mais longos (não mais do que uma por hora) para evitar a falta de dados.
• O conetor do PayPal só suporta dados de transações dos últimos 3 anos.
• O conetor do PayPal só suporta dados de contestações dos últimos 6 meses.
• As APIs PayPal usam limites de tamanho de página diferentes para cada objeto de dados. O conector do PayPal usa o tamanho máximo da página permitido pelo PayPal numa transferência de dados.
  • No entanto, alguns objetos, como Payments ou Payment Transactions, usam limites de tamanho de página mais pequenos. Isto pode levar a transferências de dados mais lentas, especialmente quando se trata de grandes conjuntos de dados.

Antes de começar

As secções seguintes descrevem os passos que tem de realizar antes de criar uma transferência de dados do PayPal.

Pré-requisitos do PayPal

Para ativar as transferências de dados do PayPal, tem de ter o seguinte:

• Tem de ter uma conta de programador do PayPal. Para mais informações, consulte o Programa para programadores do PayPal.
• Crie uma app da API REST do PayPal. Para mais informações, consulte o artigo Comece a usar as APIs REST do PayPal.
  • Na secção Apps e credenciais, anote o ID do cliente e a chave secreta da app.
  • Na secção Funcionalidades, ative as autorizações da API Pesquisa de transações e Faturação.

Funções do BigQuery necessárias

Para obter as autorizações de que precisa para criar uma transferência, peça ao seu administrador para lhe conceder a função do IAM de administrador do BigQuery (roles/bigquery.admin). Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar uma transferência. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar uma transferência:

• bigquery.transfers.update no utilizador
• bigquery.datasets.get no conjunto de dados de destino
• bigquery.datasets.update no conjunto de dados de destino

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Pré-requisitos do BigQuery

• Verifique se concluiu todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os seus dados.
• Se pretender configurar notificações de execução de transferências para o Pub/Sub, certifique-se de que tem a autorização de pubsub.topics.setIamPolicygestão de identidade e de acesso (IAM). Não são necessárias autorizações do Pub/Sub se configurar apenas notificações por email. Para mais informações, consulte Notificações de execução do Serviço de transferência de dados do BigQuery.

Configure uma transferência de dados do PayPal

Adicione dados do PayPal ao BigQuery configurando uma configuração de transferência através de uma das seguintes opções:

Consola

1. Aceda à página Transferências de dados na Google Cloud consola.

   Aceda a Transferências de dados

2. Clique em Criar transferência.

3. Na secção Tipo de origem, para Origem, selecione PayPal.

4. Na secção Detalhes da origem de dados, faça o seguinte:

   • Para ID de cliente, introduza o ID de cliente do PayPal. Para mais informações, consulte os pré-requisitos do PayPal.
   • Para o segredo do cliente, introduza a chave secreta do cliente do PayPal. Para mais informações, consulte os pré-requisitos do PayPal.
   • Selecione Is Sandbox se estiver a usar uma conta do PayPal em ambiente de testes.
   • Para Data de início, introduza uma data no formato YYYY-MM-DD. A transferência de dados carrega os dados do PayPal a partir desta data.
     • Se este campo for deixado em branco, esta transferência tem como predefinição a obtenção de dados dos últimos 3 anos.
     • Para informações sobre que objetos suportam o filtro de data de início, consulte o artigo Objetos suportados.
   • Para transferir objetos do PayPal, introduza os nomes dos objetos do PayPal a transferir ou clique em Procurar e selecione os objetos que quer transferir.

5. Na secção Definições de destino, para Conjunto de dados, selecione o conjunto de dados que criou para armazenar os seus dados.

6. Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados.

7. Na secção Opções de agendamento, faça o seguinte:

   • Na lista Frequência de repetição, selecione uma opção para especificar a frequência com que esta transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizado. Se selecionar A pedido, esta transferência é executada quando aciona manualmente a transferência.
   • Se aplicável, selecione Começar agora ou Começar à hora definida e indique uma data de início e um tempo de execução.

8. Opcional: na secção Opções de notificação, faça o seguinte:

   • Para ativar as notificações por email, altere o botão Notificação por email para a posição ativada. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução de transferência falha.
   • Para ativar as notificações de execução da transferência do Pub/Sub para esta transferência, ative as notificações do Pub/Sub. Pode selecionar o nome do tópico ou clicar em Criar um tópico para criar um.

9. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a flag de criação de transferência --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Onde:

• PROJECT_ID (opcional): o ID do seu Google Cloud projeto. Se --project_id não for fornecido para especificar um projeto em particular, é usado o projeto predefinido.
• DATA_SOURCE: a origem de dados: paypal.
• DISPLAY_NAME: o nome a apresentar da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.
• DATASET: o conjunto de dados de destino para a configuração de transferência.

• PARAMETERS: os parâmetros da configuração de transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Seguem-se os parâmetros para uma transferência de dados do PayPal:

  • assets: uma lista de objetos do PayPal a incluir nesta transferência.
  • connector.authentication.clientId: ID de cliente da aplicação PayPal.
  • connector.authentication.clientSecret: segredo do cliente da aplicação PayPal.
  • connector.isSandbox: defina o valor como true se estiver a usar uma conta do PayPal de teste ou false se estiver a usar uma conta do PayPal de produção.
  • connector.createdStartDate: (opcional) introduza uma data no formato YYYY-MM-DD. A transferência de dados carrega os dados do PayPal a partir desta data.

Por exemplo, o comando seguinte cria uma transferência de dados do PayPal no projeto predefinido com todos os parâmetros necessários:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

Quando cria uma transferência de dados através da ferramenta de linha de comandos bq, a configuração de transferência agenda transferências de dados a cada 8 horas.

Nota: não pode configurar notificações se configurar uma configuração de transferência através da ferramenta de linha de comandos bq.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Quando guarda a configuração de transferência, o conector do PayPal aciona automaticamente uma execução de transferência de acordo com a opção de agendamento. Com cada execução de transferência, o conetor do PayPal transfere todos os dados disponíveis do PayPal para o BigQuery.

Para executar manualmente uma transferência de dados fora da sua programação normal, pode iniciar uma execução de preenchimento.

Mapeamento de tipos de dados

A tabela seguinte mapeia os tipos de dados do PayPal para os tipos de dados do BigQuery correspondentes.

Tipo de dados do PayPal	Tipo de dados do BigQuery
String	STRING
Decimal	BIGNUMERIC
Boolean	BOOL
Datetime	TIMESTAMP

Resolva problemas de configuração da transferência

Se estiver a ter problemas com a configuração da transferência de dados, consulte o artigo Problemas de transferência do PayPal.

Preços

Não existe custo para transferir dados do PayPal para o BigQuery enquanto esta funcionalidade estiver em pré-visualização.

O que se segue?

• Para uma vista geral do Serviço de transferência de dados do BigQuery, consulte o artigo Introdução ao Serviço de transferência de dados do BigQuery.
• Para saber como gerir as configurações de transferência, incluindo como obter informações, listar configurações e ver o histórico de execuções, consulte o artigo Gerir transferências.
• Saiba como carregar dados com operações em várias nuvens.