Acelerador de pré-pagamento do SAP

O acelerador do SAP para o processo de pré-pagamento é uma amostra de implementação do recurso Fonte de lote de tabela da SAP no Cloud Data Fusion. O acelerador do pré-pagamento do SAP ajuda você a começar a criar sua análise e o processo completo de pré-pagamento. Ele inclui pipelines de amostra do Cloud Data Fusion que podem ser configurados para realizar as seguintes tarefas:

• Conecte-se à sua fonte de dados SAP.
• Faça transformações nos dados do Cloud Data Fusion.
• Armazene seus dados no BigQuery.
• Configure análises no Looker. Isso inclui painéis e um modelo de ML, em que é possível definir os indicadores principais de desempenho (KPIs) para o pré-pagamento.

Este guia descreve a implementação de amostra e como começar a usar suas configurações.

O acelerador está disponível nos ambientes do Cloud Data Fusion em execução na versão 6.3.0 e posterior.

Antes de começar

Faça login na sua Conta do Google.

Se você ainda não tiver uma, inscreva-se agora.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Data Fusion and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Data Fusion and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Faça o download do SAP Table Batch Source.
2. Você precisa ter acesso a uma instância do Looker e ativar o recurso de laboratórios do Marketplace para instalar o bloco do Looker. É possível solicitar um teste sem custo financeiro para ter acesso a uma instância.

Habilidades necessárias

Para configurar o acelerador de pré-pagamento do SAP, são necessárias as seguintes habilidades:

• Experiência em configurações e sistemas de ERP no local da SAP
• Conhecimento sobre o Cloud Data Fusion
• Conhecimento sobre o BigQuery
• Familiaridade com o Looker
• Familiaridade com contas de serviço de gerenciamento de identidade e acesso (IAM, na sigla em inglês) e controle de acesso
• Conhecimento sobre análise de dados, incluindo a criação de consultas SQL
• Familiaridade com o modelo de dados dimensionais do Kimball

Usuários obrigatórios

As configurações descritas nesta página exigem mudanças no seu sistema SAP e no Google Cloud. É necessário trabalhar com os seguintes usuários desses sistemas para executar as configurações:

Tipo de usuário	Descrição
Administrador do SAP	Administrador do sistema SAP que pode acessar o site do serviço SAP para fazer o download de software.
Usuário do SAP	Um usuário SAP autorizado a se conectar a um sistema SAP.
Administrador do GCP	Administrador que controla o acesso do IAM para sua organização, que cria e implanta contas de serviço e concede permissões para o Cloud Data Fusion, BigQuery e Looker.
Usuário do Cloud Data Fusion	Usuários autorizados a projetar e executar pipelines de dados no Cloud Data Fusion.
Proprietário de dados do BigQuery	Usuários autorizados a criar, visualizar e modificar conjuntos de dados do BigQuery.
Desenvolvedor do Looker	Esses usuários podem instalar o bloco do Looker pelo Marketplace. Eles precisam ter as permissões develop, manage_model e deploy.

Papéis do IAM obrigatórios

Na implementação de amostra do acelerador, os papéis do IAM a seguir são obrigatórios. Talvez você precise de papéis adicionais se o seu projeto depender de outros serviços do Google Cloud.

• Administrador do BigQuery (roles/bigquery.admin)
• Proprietário de dados do BigQuery (roles/bigquery.dataOwner)
• Leitor de objetos do Storage (roles/storage.objectViewer)
• O executor do Cloud Data Fusion (roles/datafusion.runner) precisa ser concedido à conta de serviço do serviço gerenciado para Apache Spark

Visão geral do processo

Para implementar o acelerador no seu projeto, siga estas etapas:

1. Configure o sistema ERP da SAP e instale o transporte SAP fornecido.
2. Configure o ambiente do Cloud Data Fusion para usar o plug-in do SAP Table Batch Source Source.
3. Crie conjuntos de dados no BigQuery. O acelerador fornece conjuntos de dados de amostra para tabelas de preparo, dimensão e fatos.
4. Configure os pipelines de amostra do Cloud Data Fusion do acelerador para integrar os dados SAP.
5. No hub do Cloud Data Fusion, implante os pipelines associados ao processo de análise do pré-pagamento. Esses pipelines precisam ser configurados corretamente para criar o conjunto de dados do BigQuery.
6. Conecte o Looker ao projeto do BigQuery.
7. Instale e implante o Looker Block.

Para mais informações, consulte Como usar o plug-in do SAP Table Batch Source Source.

Conjuntos de dados de amostra no BigQuery

No exemplo de implementação nesse acelerador, os conjuntos de dados a seguir são criados no BigQuery.

Nome do conjunto de dados	Descrição
sap_cdf_staging	Contém todas as tabelas do sistema SAP Source, conforme identificado para esse processo comercial.
sap_cdf_dimension	Contém as principais entidades de dimensão, como a dimensão do cliente e a dimensão do Material Design.
sap_cdf_fact	Contém as tabelas de fatos geradas a partir do pipeline.

Pipelines de amostra no Cloud Data Fusion

Observação: uma tabela é um conjunto de registros dentro de um conjunto de dados no BigQuery. Um pipeline é a série de funções ETL que existem para mover dados entre uma origem e um destino (como uma tabela do BigQuery).

Os pipelines de amostra desse acelerador estão disponíveis no Cloud Data Fusion Hub.

Para receber os pipelines de amostra do Hub:

1. Acesse sua instância:

   1. No console Google Cloud , acesse a página do Cloud Data Fusion.

   2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

2. Clique em Hub.
3. Selecione a guia SAP.
4. Selecione Pipelines. Uma página de pipelines de amostra é aberta.
5. Selecione os pipelines desejados para fazer o download.

Cada um dos pipelines contém macros que podem ser configuradas para serem executadas no ambiente.

Observação: a alteração das macros SQL não é trivial. Por exemplo, uma alteração no esquema de destino também requer alterações no carregamento de dados e nas configurações do Looker.

Há três tipos de pipelines de amostra:

• Pipelines da camada de preparo: o conjunto de dados de preparo nesse tipo de pipeline é um mapeamento direto para a tabela de origem original no SAP. Os pipelines de amostra de camada de preparo têm nomes que se referem à tabela de origem SAP e à tabela de destino do BigQuery. Por exemplo, um pipeline chamado LFA1_Supplier_Master refere-se à tabela de origem do SAP (LFA1) e à tabela de destino do BigQuery (CustomerMaster).
• Pipelines da camada de dimensão: o conjunto de dados da camada de dimensão nesse tipo de pipeline é uma versão selecionada e refinada do conjunto de dados de preparo que cria a dimensão e os fatos necessários para a análise. Os pipelines de amostra têm nomes que se referem à entidade de destino no conjunto de dados de destino do BigQuery. Por exemplo, um pipeline chamado customer_dimension refere-se à entidade de dimensão do cliente no conjunto de dados sap_cdf_fact do BigQuery.
• Pipelines da camada de fatos: uma coleção selecionada e refinada do conjunto de dados de preparo que cria os fatos necessários para a análise. Esses pipelines de amostra têm nomes que se referem à entidade de destino no conjunto de dados de destino do BigQuery. Por exemplo, um pipeline chamado sales_order_fact fornece dados selecionados para a entidade de fatos da ordem em dinheiro no conjunto de dados sap_cdf_fact correspondente do BigQuery.

As seções a seguir resumem como fazer os pipelines funcionarem no seu ambiente.

Configurar pipelines de camada de preparo

Há duas etapas de configuração para os pipelines de preparo:

1. Configure o sistema SAP de origem.
2. Configure a tabela e o conjunto de dados de destino do BigQuery.

Parâmetros do plug-in SAP Source Source Batch

O plug-in SAP Source Batch da SAP lê o conteúdo de uma tabela ou visualização da SAP. O acelerador fornece as macros a seguir, que podem ser modificadas para controlar as conexões SAP de forma centralizada.

Nome da macro	Descrição	Exemplo
${SAP Client}	Cliente SAP para usar	100
${SAP Language}	Linguagem de logon da SAP	EN
${SAP Application Server Host}	Nome do servidor SAP ou endereço IP	10.132.0.47
${SAP System Number}	Número do sistema SAP	00
${secure(saplogonusername)}	Nome de usuário do SAP	Para mais informações, consulte Como usar chaves seguras.
${secure(saplogonpassword)}	Senha do usuário do SAP	Para mais informações, consulte Como usar chaves seguras.
${Number of Rows to Fetch}	Limita o número de registros extraídos	100000

Para mais informações, consulte Como configurar o agente.

Parâmetros para o destino do BigQuery

O acelerador fornece as seguintes macros para destinos do BigQuery.

Configuração do conector de destino do BigQuery

Nome da macro	Descrição	Exemplo
${ProjectID}	O ID do projeto em que o conjunto de dados do BigQuery foi criado.	sap_adaptor
${Dataset}	Conjunto de dados de destino	sap_cdf_staging

Pipelines de amostra usados para KPIs do pré-pagamento

As principais entidades de negócios a seguir no processo de pré-pagamento correspondem aos pipelines de amostra no acelerador. Esses pipelines fornecem os dados que compõem a análise sobre essas entidades.

Principais entidades comerciais	Nome do pipeline correspondente
Supplier As tabelas de origem do SAP capturam detalhes sobre o fornecedor em relação a ele. As informações dessas tabelas contribuem para supplier_dimension na camada dimensional do armazenamento de dados.	LFA1_SupplierMaster LFB1_SupplierMasterCompanyCode BUT000_BPGeneralInformation
Material ou Product é o bem que é negociado entre a empresa e os clientes. As informações dessas tabelas contribuem para a material_dimension na camada dimensional do data warehouse.	MARA_MaterialMaster
O processo de pré-pagamento começa com um pedido, que inclui a quantidade e os detalhes do pedido sobre os itens.	EKKO_PurchaseOrderHeader EKPO_PurchaseOrdertItem
O subprocesso de comprovante dos produtos, que inclui detalhes de movimento sobre os itens.	MATDOC_GoodsReceipt
Os subprocessos do Faturamento, que incluem detalhes solicitados do documento de fatura.	RBKP_InvoiceHeader RSEG_InvoiceLineItem
O processo de pré-pagamento termina quando o pagamento da fatura é registrado no sistema.	ACDOCA_UniversalJournalItem

Todos os pipelines de preparação do Cloud Data Fusion

As amostras de pipeline de preparo do Cloud Data Fusion a seguir estão disponíveis no acelerador:

• ACDOCA_JournalLedgerDetails
• ADR6_SupplierMasterEMailDetails
• ADRC_SupplierMasterAddressDetails
• BKPF_AccountingDocumentHeaderDetail
• BSEG_AccountDocumentItem
• BUT000_BusinessPartnerGeneralDataDetails
• BUT020_BusinessPartnerAddressDetails
• CEPCT_ProfitCenterDescription
• EBAN_PurchaseRequisitionDetails
• EKBE_PurchaseOrderHistoryDetail
• EKET_PurchaseOrderScheduleLinesDetail
• EKKO_PurchaseOrderHeaderDetail
• EKPO_PurchaseOrderItemDetail
• FINSC_BTTYPE_T_BusinessTransactionTypeDescription
• FINSC_LEDGER_T_JournalLedgerDescription
• LFA1_SupplierMasterDetails
• LFB1_SupplierMasterCompanyCodeDetails
• MARA_MaterialMaster
• MATDOC_MaterialMovementDetails
• MKPF_MaterialMovementHeaderDetail
• MSEG_MaterialMovementItemDetail
• RBKP_InvoiceReceiptHeaderDetail
• RSEG_IncomingInvoiceItemDetail
• T001_CompanyCodes
• T001_CompanyCodes
• T001K_ValuationAreaDetails
• T001L_MaterialStorageLocation
• T001W_PlantDetails
• T002T_LanguageKeyDescription
• T003T_AccountingDocumentTypeDescription
• T005_CountryMaster
• T006A_UnitOfMeasure
• T007S_PurchaseSalesTaxCodeDescription
• T023T_MaterialGroupDescription
• T024_PurchasingGroupsDetails
• T024E_PurchasingOrganizationsDetails
• T024W_PlantPurchasingOrganizationsDetails
• T156HT_MaterialMovementTypeDescription
• T161T_PurchasingDocumentTypeDescription
• T163M_ConfirmationCategoryDescription
• T16FE_PurchaseDocumentReleaseIndicatorDescription
• TBSLT_PostingKeyDescription
• TCURT_CurrencyCodesText
• TKA01_ControllingAreaMaster

Configure pipelines de camadas dimensionais

Extraia KPIs de tabelas SAP de origem. Para preparar os dados para análise, organize-os na tabela de origem para corresponder à estrutura de esquemas da tabela do BigQuery.

O acelerador cria as quatro tabelas de amostra a seguir:

Nome da tabela	Descrição da tabela
Supplier_dimension	Lista selecionada* de fornecedores e os fatos associados a eles, como informações gerais e informações de vendas do fornecedor
Material_dimension	Lista selecionada de materiais e fatos associados, como número de SKU, hierarquia de produtos e classificação
Purchase_Order_Fact	Lista de ordens de compra, incluindo organização da compra, grupo e tipo de ordem.
Goods_Receipt_Fact	Lista selecionada de recibos de mercadorias, incluindo informações sobre centro de lucro e tipo de movimento.
Invoice_Fact	Lista selecionada de informações relacionadas à fatura, incluindo o tipo, a quantidade, o valor e a data da postagem da fatura.
Accounting_Fact	Lista selecionada de postagens contábeis para cada item de linha da ordem de compra.

*Nesse contexto, a lista selecionada vem da lógica de negócios que é aplicada à lista de colunas selecionada.

O acelerador cria a camada dimensional do conjunto de dados do BigQuery usando scripts SQL, que podem ser modificados no seu projeto. Por exemplo, é possível adaptar esses scripts para adicionar mais colunas às entidades de conjunto de dados de destino do BigQuery.

Transformação para o esquema de estrela: nomes de pipeline do executor do BigQuery

Os seguintes pipelines do executor do BigQuery no Cloud Data Fusion carregam dados em tabelas de fatos e fatos:

Todos os pipelines de transformação dimensional:

• Supplier_dimension
• Material_dimension
• Purchase_Order_Fact
• Goods_Receipt_Fact
• Invoice_Fact
• Accounting_Fact

Configuração do executor do BigQuery

Nome da macro	Exemplo
${ProjectID}	sap_adaptor
${StagingDatasetName}	sap_cdf_staging
${TargetDatasetName}	sap_cdf_dimension

Conecte o Looker ao projeto do BigQuery

Para conectar o Looker ao BigQuery, consulte a documentação do Looker sobre conexões do BigQuery.

Instale o bloco

Observação: é necessário ter acesso a uma instância do Looker para instalar e usar esse bloco.

É possível acessar o SAP Looker Block no GitHub.

O Looker Block instala um modelo LookML pré-configurado com dois ambientes de Análise Detalhada e dois painéis.

A seguir

• Saiba mais sobre o Cloud Data Fusion.
• Saiba mais sobre o SAP no Google Cloud.
• Saiba mais sobre o BigQuery.
• Saiba mais sobre os Blocos do Looker.