O acelerador SAP para o processo de aquisição ao pagamento é uma implementação de exemplo da funcionalidade SAP Table Batch Source no Cloud Data Fusion. O acelerador SAP Procure to Pay ajuda a começar quando cria o seu processo de aprovisionamento a pagamento e estatísticas ponto a ponto. Inclui exemplos de pipelines do Cloud Data Fusion que pode configurar para realizar as seguintes tarefas:
- Faça a ligação à sua origem de dados SAP.
- Realize transformações nos seus dados no Cloud Data Fusion.
- Armazene os seus dados no BigQuery.
- Configure o Analytics no Looker. Isto inclui painéis de controlo e um modelo de ML, onde pode definir os indicadores essenciais de desempenho (IEDs) para o seu processo de aquisição ao pagamento.
Este guia descreve a implementação de exemplo e como pode começar com as suas configurações.
O acelerador está disponível em ambientes do Cloud Data Fusion com a versão 6.4.0 e superior.
Antes de começar
-
Sign in to your Google Account.
If you don't already have one, sign up for a new account.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. - Transfira a origem do lote de tabelas SAP.
- Tem de ter acesso a uma instância do Looker e ter a funcionalidade Labs do mercado ativada para instalar o bloco do Looker. Pode pedir uma avaliação gratuita para aceder a uma instância.
- Competências em sistemas ERP no local e configuração da SAP
- Familiaridade com o Cloud Data Fusion
- Familiaridade com o BigQuery
- Familiaridade com o Looker
- Familiaridade com as contas de serviço da gestão de identidade e de acesso (IAM) e o controlo de acesso
- Familiaridade com a análise de dados, incluindo a escrita de consultas SQL
- Familiaridade com o modelo de dados dimensionais de Kimball
- Administrador do BigQuery
(
roles/bigquery.admin) - Proprietário de dados do BigQuery
(
roles/bigquery.dataOwner) - Storage Object Viewer
(
roles/storage.objectViewer) - O papel Executor do Cloud Data Fusion
(
roles/datafusion.runner) tem de ser concedido à conta de serviço do Dataproc - Configure o sistema ERP da SAP e instale o transporte da SAP fornecido.
- Configure o seu ambiente do Cloud Data Fusion para usar o plug-in de origem em lote de tabelas SAP.
- Crie conjuntos de dados no BigQuery. O acelerador fornece conjuntos de dados de amostra para tabelas de preparação, dimensionais e de factos.
- Configure os pipelines de exemplo do Cloud Data Fusion a partir do acelerador para integrar os seus dados SAP.
- No hub do Cloud Data Fusion, implemente os pipelines associados ao processo de estatísticas de dados de aquisição a pagamento. Estes pipelines têm de ser configurados corretamente para criar o conjunto de dados do BigQuery.
- Associe o Looker ao projeto do BigQuery.
- Instale e implemente o bloco do Looker.
- Aceda à sua instância:
Na Google Cloud consola, aceda à página do Cloud Data Fusion.
Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.
- Clique em Hub.
- Selecione o separador SAP.
- Selecione Pipelines. É aberta uma página de pipelines de exemplo.
- Selecione os pipelines pretendidos para os transferir.
- Pipelines de camada de preparação: o conjunto de dados de preparação neste tipo de pipeline é um mapeamento direto para a tabela de origem original no SAP. Os pipelines da camada de preparação de amostras têm nomes que se referem à tabela de origem do SAP e à tabela de destino do BigQuery. Por exemplo, um pipeline
denominado
LFA1_Supplier_Masterrefere-se à tabela de origem SAP (LFA1) e à tabela de destino do BigQuery (CustomerMaster). - Pipelines de camada de dimensões: o conjunto de dados da camada de dimensões neste tipo de pipeline é uma versão organizada e refinada do conjunto de dados de preparação que cria a dimensão e os factos necessários para a análise. Os pipelines de exemplo têm nomes que se referem à entidade de destino no conjunto de dados do BigQuery de destino. Por exemplo, um pipeline denominado
customer_dimensionrefere-se à entidade Customer Dimension no conjunto de dados do BigQuerysap_cdf_fact. - Pipelines da camada de factos: o conjunto de dados da camada de factos é uma versão organizada e refinada do conjunto de dados de preparação que cria os factos necessários para a análise. Estes pipelines de exemplo têm nomes que se referem à entidade de destino no conjunto de dados do BigQuery de destino.
Por exemplo, um pipeline denominado
sales_order_factfornece dados organizados à entidade Sales Order Fact no conjunto de dados do BigQuery correspondentesap_cdf_fact. - Configure o sistema SAP de origem.
- Configure o conjunto de dados e a tabela do BigQuery de destino.
ACDOCA_JournalLedgerDetailsADR6_SupplierMasterEMailDetailsADRC_SupplierMasterAddressDetailsBKPF_AccountingDocumentHeaderDetailBSEG_AccountDocumentItemBUT000_BusinessPartnerGeneralDataDetailsBUT020_BusinessPartnerAddressDetailsCEPCT_ProfitCenterDescriptionEBAN_PurchaseRequisitionDetailsEKBE_PurchaseOrderHistoryDetailEKET_PurchaseOrderScheduleLinesDetailEKKO_PurchaseOrderHeaderDetailEKPO_PurchaseOrderItemDetailFINSC_BTTYPE_T_BusinessTransactionTypeDescriptionFINSC_LEDGER_T_JournalLedgerDescriptionLFA1_SupplierMasterDetailsLFB1_SupplierMasterCompanyCodeDetailsMARA_MaterialMasterMATDOC_MaterialMovementDetailsMKPF_MaterialMovementHeaderDetailMSEG_MaterialMovementItemDetailRBKP_InvoiceReceiptHeaderDetailRSEG_IncomingInvoiceItemDetailT001_CompanyCodesT001_CompanyCodesT001K_ValuationAreaDetailsT001L_MaterialStorageLocationT001W_PlantDetailsT002T_LanguageKeyDescriptionT003T_AccountingDocumentTypeDescriptionT005_CountryMasterT006A_UnitOfMeasureT007S_PurchaseSalesTaxCodeDescriptionT023T_MaterialGroupDescriptionT024_PurchasingGroupsDetailsT024E_PurchasingOrganizationsDetailsT024W_PlantPurchasingOrganizationsDetailsT156HT_MaterialMovementTypeDescriptionT161T_PurchasingDocumentTypeDescriptionT163M_ConfirmationCategoryDescriptionT16FE_PurchaseDocumentReleaseIndicatorDescriptionTBSLT_PostingKeyDescriptionTCURT_CurrencyCodesTextTKA01_ControllingAreaMasterSupplier_dimensionMaterial_dimensionPurchase_Order_FactGoods_Receipt_FactInvoice_FactAccounting_Fact- Saiba mais sobre o Cloud Data Fusion.
- Saiba mais sobre o SAP no Google Cloud.
- Saiba mais acerca do BigQuery.
- Saiba mais sobre os blocos do Looker.
Competências necessárias
A configuração do acelerador SAP Procure to Pay requer as seguintes competências:
Utilizadores necessários
As configurações descritas nesta página requerem alterações no seu sistema SAP e em Google Cloud. Tem de trabalhar com os seguintes utilizadores desses sistemas para fazer as configurações:
| Tipo de utilizador | Descrição |
|---|---|
| Administrador do SAP | Administrador do seu sistema SAP que pode aceder ao site de serviços SAP para transferir software. |
| Utilizador do SAP | Um utilizador do SAP autorizado a estabelecer ligação a um sistema SAP. |
| Administrador da GCP | Administrador que controla o acesso do IAM para a sua organização, que cria e implementa contas de serviço e concede autorizações para o Cloud Data Fusion, o BigQuery e o Looker. |
| Utilizador do Cloud Data Fusion | Utilizadores autorizados a conceber e executar pipelines de dados no Cloud Data Fusion. |
| Proprietário de dados do BigQuery | Utilizadores autorizados a criar, ver e modificar conjuntos de dados do BigQuery. |
| Programador do Looker | Estes utilizadores podem instalar o bloco do Looker através do
Marketplace.
Têm de ter autorizações de develop, manage_model e
deploy. |
Funções de IAM necessárias
Na implementação de exemplo do acelerador, são necessárias as seguintes funções do IAM. Pode precisar de funções adicionais se o seu projeto depender de outros serviços do Google Cloud.
Vista geral do processo
Pode implementar o acelerador no seu projeto seguindo estes passos:
Para mais informações, consulte o artigo Usar o plug-in de origem de lotes de tabelas SAP.
Conjuntos de dados de exemplo no BigQuery
Na implementação de exemplo neste acelerador, são criados os seguintes conjuntos de dados no BigQuery.
| Nome do conjunto de dados | Descrição |
|---|---|
sap_cdf_staging |
Contém todas as tabelas do sistema de origem SAP identificadas para esse processo empresarial. |
sap_cdf_dimension |
Contém as entidades de dimensões principais, como a dimensão do cliente e a dimensão do material. |
sap_cdf_fact |
Contém as tabelas de factos geradas a partir do pipeline. |
Exemplos de pipelines no Cloud Data Fusion
Os pipelines de exemplo para este acelerador estão disponíveis no Hub do Cloud Data Fusion.
Para obter os pipelines de exemplo a partir do Hub:
Cada um dos pipelines contém macros que pode configurar para serem executadas no seu ambiente.
Existem três tipos de pipelines de exemplo:
As secções seguintes resumem como fazer com que os pipelines funcionem no seu ambiente.
Configure pipelines de camadas de preparação
Existem dois passos de configuração para os pipelines de preparação:
Parâmetros para o plug-in de origem de lote de tabelas SAP
O plug-in SAP Table Batch Source lê o conteúdo de uma tabela ou uma vista SAP. O acelerador fornece as seguintes macros, que pode modificar para controlar as ligações SAP de forma centralizada.
| Nome da macro | Descrição | Exemplo |
|---|---|---|
${SAP Client} |
Cliente SAP a usar | 100 |
${SAP Language} |
Idioma de início de sessão do SAP | EN |
${SAP Application Server Host} |
Nome do servidor SAP ou endereço IP | 10.132.0.47 |
${SAP System Number} |
Número do sistema SAP | 00 |
${secure(saplogonusername)} |
Nome de utilizador da SAP | Para mais informações, consulte o artigo Usar chaves de segurança. |
${secure(saplogonpassword)} |
Palavra-passe de utilizador do SAP | Para mais informações, consulte o artigo Usar chaves seguras. |
${Number of Rows to Fetch} |
Limita o número de registos extraídos | 100000 |
Para mais informações, consulte o artigo Configurar o plug-in.
Parâmetros do destino do BigQuery
O acelerador fornece as seguintes macros para alvos do BigQuery.
Configuração do conetor de destino do BigQuery
| Nome da macro | Descrição | Exemplo |
|---|---|---|
${ProjectID} |
O ID do projeto onde o conjunto de dados do BigQuery foi criado. | sap_adaptor |
${Dataset} |
Conjunto de dados de destino | sap_cdf_staging |
Exemplos de pipelines usados para IEDs de aquisição a pagamento
As seguintes entidades empresariais principais no processo de aquisição ao pagamento correspondem a pipelines de exemplo no acelerador. Estes pipelines fornecem os dados que permitem gerar estatísticas sobre estas entidades.
| Entidades empresariais principais | Nome do pipeline correspondente |
|---|---|
Supplier As tabelas de origem SAP captam detalhes
sobre o fornecedor, conforme se relacionam com a empresa. As informações destas tabelas contribuem para o supplier_dimension na camada dimensional do armazém de dados.
|
LFA1_SupplierMaster
|
Material ou Product é a mercadoria que é
negociada entre a empresa e os respetivos clientes. As informações destas tabelas contribuem para a material_dimension na camada dimensional do data warehouse.
|
MARA_MaterialMaster |
| O processo de aquisição ao pagamento começa com uma encomenda, que inclui a quantidade encomendada e detalhes sobre os artigos materiais. |
EKKO_PurchaseOrderHeader
|
| O subprocesso Goods Receipt, que inclui detalhes de movimento sobre artigos de material. |
MATDOC_GoodsReceipt
|
| Os subprocessos de Faturação, que incluem detalhes dos documentos de faturação pedidos. |
RBKP_InvoiceHeader
|
| O processo de aquisição ao pagamento termina quando o pagamento da fatura é registado no seu sistema. |
ACDOCA_UniversalJournalItem
|
Todos os pipelines de preparação do Cloud Data Fusion
Os seguintes exemplos de pipelines de preparação do Cloud Data Fusion estão disponíveis no acelerador:
Configure pipelines de camadas dimensionais
Pode extrair IEDs de tabelas SAP de origem. Para preparar os dados para análise, organize os dados na tabela de origem de forma a corresponder à estrutura do esquema da tabela do BigQuery.
O acelerador cria as seguintes tabelas de exemplo:
| Nome da tabela | Descrição da tabela |
|---|---|
Supplier_dimension |
Lista organizada* de fornecedores e os respetivos dados associados, como informações gerais do fornecedor e informações relacionadas com as vendas do fornecedor. |
Material_dimension |
Lista organizada de materiais e factos associados, como o número de SKU, a hierarquia de produtos e a classificação. |
Purchase_Order_Fact |
Lista de notas de encomenda, incluindo a organização de compras, o grupo e o tipo de encomenda. |
Goods_Receipt_Fact |
Lista organizada de recibos de mercadorias, incluindo informações sobre o centro de lucro e o tipo de movimento. |
Invoice_Fact |
Lista organizada de informações relacionadas com a fatura, incluindo o tipo de fatura, a quantidade de artigos, o valor e a data de lançamento da fatura. |
Accounting_Fact |
Lista organizada de lançamentos contabilísticos para cada elemento publicitário da nota de encomenda. |
*Neste contexto, a lista organizada provém da lógica empresarial que é aplicada à lista de colunas selecionada.
O acelerador cria a camada dimensional do conjunto de dados do BigQuery através de scripts SQL, que pode modificar para o seu projeto. Por exemplo, pode adaptar estes scripts para adicionar mais colunas às entidades do conjunto de dados do BigQuery de destino.
Transformação no esquema em estrela: nomes de pipelines do executor do BigQuery
Os seguintes pipelines do executor do BigQuery no Cloud Data Fusion carregam dados em tabelas de dimensões e factos:
Todos os pipelines de transformação dimensional:
Configuração do executor do BigQuery
| Nome da macro | Exemplo |
|---|---|
${ProjectID} |
sap_adaptor |
${StagingDatasetName} |
sap_cdf_staging |
${TargetDatasetName} |
sap_cdf_dimension |
Associe o Looker ao projeto do BigQuery
Para associar o Looker ao BigQuery, consulte a documentação do Looker sobre associações do BigQuery.
Instale o bloco
Pode aceder ao SAP Looker Block no GitHub.
O bloco do Looker instala um modelo LookML pré-configurado com dois ambientes Explorar e dois painéis de controlo.