Fonte de lote do SAP OData

Neste guia, descrevemos como implantar, configurar e executar pipelines de dados que usam o plug-in SAP OData.

É possível usar o SAP como uma fonte de extração de dados baseada em lote no Cloud Data Fusion usando o Open Data Protocol (OData). O plug-in SAP OData ajuda a configurar e executar transferências de dados do SAP OData Catalog Services sem programação.

Para mais informações sobre os serviços e fontes de dados do catálogo OData da SAP compatíveis, consulte os detalhes de suporte. Para mais informações sobre o SAP em Google Cloud, consulte a Visão geral do SAP em Google Cloud.

Objetivos

  • Configurar o sistema SAP ERP (ativar DataSources no SAP).
  • Implante o plug-in no ambiente do Cloud Data Fusion.
  • Faça o download do transporte SAP do Cloud Data Fusion e instale-o no SAP.
  • Usar o Cloud Data Fusion e o SAP OData para criar pipelines de dados e integrar dados do SAP.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

  • Criar pipelines no Cloud Data Fusion
  • Gerenciamento de acesso com o IAM
  • Como configurar sistemas de planejamento de recursos empresariais (ERP) locais e da SAP Cloud

Papéis do usuário

As tarefas nesta página são realizadas por pessoas com as seguintes funções no Google Cloud ou no sistema SAP:

Tipo de usuário Descrição
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se você estiver usando o controle de acesso baseado em papéis, talvez seja necessário usar outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Pré-requisitos para extração de OData

  1. O serviço de catálogo OData precisa estar ativado no sistema SAP.

  2. Os dados precisam ser preenchidos no serviço OData.

Pré-requisitos para o sistema SAP

  • No SAP NetWeaver 7.02 até a versão 7.31, as funcionalidades do OData e do SAP Gateway são fornecidas com os seguintes componentes de software SAP:

    • IW_FND
    • GW_CORE
    • IW_BEP

  • No SAP NetWeaver versão 7.40 e mais recentes, todas as funcionalidades estão disponíveis no componente SAP_GWFND, que precisa ser disponibilizado no SAP NetWeaver.

Opcional: instalar arquivos de transporte SAP

Os componentes da SAP necessários para chamadas de balanceamento de carga para a SAP são entregues como arquivos de transporte da SAP arquivados como um arquivo ZIP (uma solicitação de transporte, que consiste em um cofile e um arquivo de dados). Use esta etapa para limitar várias chamadas paralelas ao SAP, com base nos processos de trabalho disponíveis no SAP.

O download do arquivo ZIP fica disponível quando você implanta o plug-in no Hub do Cloud Data Fusion.

Ao importar os arquivos de transporte para o SAP, os seguintes projetos SAP OData são criados:

  • Projetos do OData

    • /GOOG/GET_STATISTIC
    • /GOOG/TH_WPINFO

  • Nó de serviço do ICF:GOOG

Para instalar o transporte SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema operacional da instância do SAP.
  2. Use o código de transação AL11 do SAP para acessar o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
  3. Copie os cofiles para a pasta DIR_TRANS/cofiles.
  4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
  5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador da SAP pode importar os arquivos de solicitação de transporte usando uma das seguintes opções:

Opção 1: importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte SAP
  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna Fila, clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.

  9. Na guia Opções, selecione Substituir originais e Ignorar a versão inválida do componente (se disponível).

    (Opcional) Para programar uma reimportação de transportes para um momento posterior, selecione Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.

  10. Clique em Continuar.

  11. Para verificar a importação, use transações, como SE80 e SU01.

Opção 2: importar os arquivos de solicitações de transporte no nível do sistema operacional
  1. Faça login no sistema SAP como administrador do sistema.

  2. Adicione as solicitações apropriadas ao buffer de importação executando o seguinte comando:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por exemplo: tp addtobuffer IB1K903958 DD1

  3. Importe as solicitações de transporte executando o seguinte comando:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e SU01.

Receber uma lista de colunas filtráveis para um serviço de catálogo do SAP

Somente algumas colunas da DataSource podem ser usadas para condições de filtro. Essa é uma limitação do SAP por padrão.

Para receber uma lista de colunas filtráveis de um serviço de catálogo da SAP, siga estas etapas:

  1. Faça login no sistema SAP.
  2. Acesse o t-code SEGW.

  3. Insira o nome do projeto OData, que é uma substring do nome do serviço. Exemplo:

    • Nome do serviço: MM_PUR_POITEMS_MONI_SRV
    • Nome do projeto: MM_PUR_POITEMS_MONI

  4. Pressione Enter.

  5. Acesse a entidade que você quer filtrar e selecione Propriedades.

    Use os campos mostrados em Propriedades como filtros. As operações aceitas são Igual e Entre (intervalo).

    Filtrar propriedades no SAP

Para uma lista de operadores compatíveis com a linguagem de expressão, consulte a documentação de código aberto do OData: Convenções de URI (OData versão 2.0).

Exemplo de URI com filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configurar o sistema ERP da SAP

O plug-in SAP OData usa um serviço OData ativado em cada servidor SAP de onde os dados são extraídos. Esse serviço OData pode ser um padrão fornecido pela SAP ou um serviço OData personalizado desenvolvido no seu sistema SAP.

Etapa 1: instalar o SAP Gateway 2.0

O administrador do SAP (Basis) precisa verificar se os componentes do SAP Gateway 2.0 estão disponíveis no sistema de origem do SAP, dependendo da versão do NetWeaver. Para mais informações sobre a instalação do SAP Gateway 2.0, faça login no SAP ONE Support Launchpad e consulte a Nota 1569624 (login obrigatório) .

Etapa 2: ativar o serviço OData

Ative o serviço OData necessário no sistema de origem. Para mais informações, consulte Servidor front-end: ativar serviços OData.

Etapa 3: criar uma função de autorização

Para se conectar à fonte de dados, crie uma função de autorização com as autorizações necessárias no SAP e conceda-a ao usuário do SAP.

Para criar o papel de autorização no SAP, siga estas etapas:

  1. Na GUI do SAP, digite o código da transação PFCG para abrir a janela Manutenção de papéis.

  2. No campo Papel, insira um nome para o papel.

    Por exemplo: ZODATA_AUTH

  3. Clique em Papel único.

    A janela Criar papéis é aberta.

  4. No campo Descrição, insira uma descrição e clique em Salvar.

    Por exemplo, Authorizations for SAP OData plugin.

  5. Clique na guia Autorizações. O título da janela muda para Alterar papéis.

  6. Em Editar dados de autorização e gerar perfis, clique em Alterar dados de autorização.

    A janela Choose Template será aberta.

  7. Clique em Não selecionar modelos.

    A janela Alterar papel: autorizações é aberta.

  8. Clique em Manualmente.

  9. Forneça as autorizações mostradas na tabela de autorização da SAP a seguir.

  10. Clique em Save.

  11. Para ativar o papel de autorização, clique no ícone Gerar.

Autorizações da SAP

Classe de objeto Texto de classe do objeto Objeto de autorização Texto do objeto de autorização Autorização Texto Valor
AAAB Objetos de autorização entre aplicativos S_SERVICE Verificar no início dos serviços externos SRV_NAME Nome do programa, da transação ou do módulo de função *
AAAB Objetos de autorização entre aplicativos S_SERVICE Verificar no início dos serviços externos SRV_TYPE Tipo de flag de verificação e valores padrão de autorização HT
Finlândia Contabilidade financeira F_UNI_HIER Acesso universal à hierarquia ACTVT. Atividade 03
Finlândia Contabilidade financeira F_UNI_HIER Acesso universal à hierarquia HRYTYPE Tipo de hierarquia *
Finlândia Contabilidade financeira F_UNI_HIER Acesso universal à hierarquia HRYID ID da hierarquia *

Para projetar e executar um pipeline de dados no Cloud Data Fusion (como o usuário do Cloud Data Fusion), você precisa de credenciais de usuário SAP (nome de usuário e senha) para configurar o plug-in e se conectar à fonte de dados.

O usuário SAP precisa ser dos tipos Communications ou Dialog. Para evitar o uso de recursos da caixa de diálogo do SAP, o tipo Communications é recomendado. Os usuários podem ser criados usando o código de transação SU01 do SAP.

Opcional: etapa 4: proteger a conexão

É possível proteger a comunicação pela rede entre sua instância privada do Cloud Data Fusion e o SAP.

Para proteger a conexão, siga estas etapas:

  1. O administrador do SAP precisa gerar um certificado X509. Para gerar o certificado, consulte Como criar um PSE de servidor SSL.
  2. O administrador do Google Cloud precisa copiar o arquivo X509 para um bucket legível do Cloud Storage no mesmo projeto da instância do Cloud Data Fusion e fornecer o caminho do bucket ao usuário do Cloud Data Fusion, que o insere ao configurar o plug-in.
  3. O administrador do Google Cloud precisa conceder acesso de leitura ao arquivo X509 para o usuário do Cloud Data Fusion que projeta e executa pipelines.

Opcional: etapa 5: criar serviços OData personalizados

É possível personalizar a extração de dados criando serviços OData personalizados no SAP:

Configurar o Cloud Data Fusion

Verifique se a comunicação está ativada entre a instância do Cloud Data Fusion e o servidor SAP. Para instâncias particulares, configure o peering de rede. Depois que o peering de rede é estabelecido com o projeto em que os sistemas SAP estão hospedados, nenhuma configuração adicional é necessária para se conectar à instância do Cloud Data Fusion. O sistema SAP e a instância do Cloud Data Fusion precisam estar dentro do mesmo projeto.

Etapa 1: configurar o ambiente do Cloud Data Fusion

Para configurar o ambiente do Cloud Data Fusion para o plug-in, siga estas etapas:

  1. Acesse os detalhes da instância:

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Clique em Instâncias e, depois, no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

  2. Verifique se a instância fez upgrade para a versão 6.4.0 ou posterior. Se a instância estiver em uma versão anterior, será necessário fazer upgrade dela.

  3. Clique em Visualizar instância. Na IU do Cloud Data Fusion, clique em Hub.

  4. Selecione a guia SAP > SAP OData.

    Se a guia "SAP" não for exibida, consulte Solução de problemas de integrações do SAP.

  5. Clique em Implantar plug-in SAP OData.

    O plug-in agora será exibido no menu Origem na página do Studio.

    OData no menu &quot;Origem&quot; da página do Data Fusion Studio

Etapa 2: configurar o plug-in

O plug-in SAP OData lê o conteúdo de um DataSource do SAP.

Para filtrar os registros, configure as seguintes propriedades na página "Propriedades do SAP OData".

Nome da propriedade Descrição
Basic
Nome de referência Nome usado para identificar exclusivamente essa origem para linhagem ou anotação de metadados.
URL base do SAP OData URL de base do OData do SAP Gateway (use o caminho completo do URL, semelhante a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versão do OData Versão compatível do SAP OData.
Nome do serviço Nome do serviço SAP OData de que você quer extrair uma entidade.
Nome da entidade Nome da entidade que está sendo extraída, como Results. Você pode usar um prefixo, como C_PurchaseOrderItemMoni/Results. Esse campo aceita parâmetros de categoria e entidade. Exemplos:
  • Um parâmetro para categoria: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results
  • Um parâmetro para entidade: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD')
  • Um parâmetro para categoria e entidade: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Credenciais*
Tipo de SAP Básica (por nome de usuário e senha).
Nome de usuário de logon SAP Nome de usuário SAP
Recomendado: se o nome de usuário de logon SAP mudar periodicamente, use uma macro.
Senha de logon do SAP Senha do usuário SAP
Recomendado: use macros seguras para valores sensíveis, como senhas.
Certificado do cliente X.509 da SAP
. Consulte Como usar certificados do cliente X.509 no servidor de aplicativos SAP NetWeaver para ABAP.
ID do projeto do GCP Um identificador globalmente exclusivo para seu projeto. Esse campo é obrigatório se o campo Caminho do certificado X.509 no Cloud Storage não tiver um valor de macro.
Caminho do GCS O caminho do bucket do Cloud Storage que contém o certificado X.509 enviado pelo usuário, que corresponde ao servidor de aplicativos SAP para chamadas seguras com base nos seus requisitos. Consulte a etapa Proteger a conexão.
Senha longa Senha longa correspondente ao certificado X.509 fornecido.
Botão Ver esquema Gera um esquema com base nos metadados da SAP, com mapeamento automático dos tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion (mesma funcionalidade do botão Validar).
Avançado
Opções de filtro Indica o valor que um campo precisa ter para ser lido. Use essa condição de filtro para restringir o volume de dados de saída. Por exemplo, "Price Gt 200" seleciona os registros com um valor de campo "Price" maior que "200". Consulte Receber uma lista de colunas filtráveis para um serviço de catálogo da SAP.
Selecionar campos Campos a serem preservados nos dados extraídos (por exemplo: Categoria, Preço, Nome, Fornecedor/Endereço).
Expandir campos Lista de campos complexos a serem expandidos nos dados de saída extraídos (por exemplo, "Produtos/Fornecedores").
Número de linhas a serem ignoradas Número total de linhas a serem ignoradas (por exemplo: 10).
Número de linhas a serem buscadas Número total de linhas a serem extraídas.
Número de divisões a serem geradas O número de divisões usadas para particionar os dados de entrada. Mais partições aumentam o nível de paralelismo, mas exigem mais recursos e sobrecarga.
Se deixado em branco, o plug-in escolhe um valor ideal (recomendado).
Tamanho do lote Número de linhas a serem buscadas em cada chamada de rede para o SAP. Um tamanho pequeno causa chamadas de rede frequentes que repetem a sobrecarga associada. Um tamanho grande pode diminuir a velocidade da recuperação de dados e causar uso excessivo de recursos no SAP. Se o valor for definido como 0, o valor padrão será 2500, e o limite de linhas a serem buscadas em cada lote será 5000.
Tempo limite de leitura O tempo, em segundos, para aguardar o serviço OData do SAP. O valor padrão é 300. Para não ter limite de tempo, defina como 0.

* As macros são compatíveis com as propriedades das credenciais. É possível usá-las para gerenciar de maneira centralizada as conexões SAP. Por exemplo, é possível definir valores no tempo de execução usando parâmetros de execução ou um plug-in Argument Setter.

Tipos de OData compatíveis

A tabela a seguir mostra o mapeamento entre os tipos de dados OData v2 usados em aplicativos SAP e os tipos de dados do Cloud Data Fusion.

Tipo OData Descrição (SAP) Tipo de dados do Cloud Data Fusion
Numérico
SByte Valor inteiro assinado de 8 bits int
Byte Valor inteiro de 8 bits sem sinal int
Int16 Valor inteiro assinado de 16 bits int
Int32 Valor inteiro assinado de 32 bits int
Int64 Valor inteiro assinado de 64 bits anexado com o caractere "L"
Exemplos: 64L, -352L		 long
Cluster único Número de ponto flutuante com precisão de sete dígitos que pode representar valores com um intervalo aproximado de ± 1,18e -38 a ± 3,40e +38, anexado com o caractere: "f"
Exemplo: 2.0f		 float
Duplo Número de ponto flutuante com precisão de 15 dígitos que pode representar valores com intervalos aproximados de ± 2,23e -308 a ± 1,79e +308, anexado com o caractere: "d"
Exemplos: 1E+10d, 2.029d, 2.0d		 double
Decimal Valores numéricos com precisão e escala fixas que descrevem um valor numérico que varia de -10^255 + 1 a 10^255 -1, anexado com o caractere: "M" ou "m"
Exemplo: 2.345M		 decimal
Caractere
Guid Um valor de identificador exclusivo de 16 bytes (128 bits), começando com o caractere: "guid"
Exemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'		 string
String Dados de caracteres de comprimento fixo ou variável codificados em UTF-8 string
Byte
Binário Dados binários de comprimento fixo ou variável, começando com "X" ou "binary" (ambos sensíveis a maiúsculas e minúsculas)
Exemplo: X'23AB', binary'23ABFF'		 bytes
Lógica
Booleano Conceito matemático de lógica binária boolean
Data/hora
Data/hora Data e hora com valores que variam de 00:00:00 de 1º de janeiro de 1753 a 23:59:59 de 31 de dezembro de 9999 timestamp
Hora Horário do dia com valores que variam de 0:00:00.x a 23:59:59.y, em que "x" e "y" dependem da precisão. time
DateTimeOffset Data e hora como um deslocamento, em minutos do GMT, com valores que variam de 00:00:00 de 1º de janeiro de 1753 a 23:59:59 de 31 de dezembro de 9999. timestamp
Complexo
Propriedades de navegação e não navegação (multiplicidade = *) Coleções de um tipo, com uma multiplicidade de um para muitos. array,
string,
int.
Propriedades (multiplicidade = 0,1) Referências a outros tipos complexos com uma multiplicidade de um para um record

Validação

Clique em Validate no canto superior direito ou em Get Schema.

O plug-in valida as propriedades e gera um esquema com base nos metadados da SAP. Ele mapeia automaticamente os tipos de dados da SAP para os tipos de dados correspondentes do Cloud Data Fusion.

Executar um pipeline de dados

  1. Depois de implantar o pipeline, clique em Configurar no painel central superior.
  2. Selecione Recursos.
  3. Se necessário, altere a CPU do Executor e a Memória com base no tamanho geral dos dados e no número de transformações usadas no pipeline.
  4. Clique em Save.
  5. Para iniciar o pipeline de dados, clique em Executar.

Desempenho

Os plug-ins usam os recursos de carregamento em paralelo do Cloud Data Fusion. As diretrizes a seguir ajudarão a configurar o ambiente de execução para que você forneça recursos suficientes ao mecanismo para atingir o grau de paralelismo e desempenho desejado.

Otimizar a configuração do plug-in

Recomendado:a menos que você conheça as configurações de memória do sistema SAP, deixe o Número de divisões a serem geradas e o Tamanho do lote em branco (não especificado).

Para melhorar o desempenho ao executar o pipeline, use as seguintes configurações:

  • Número de divisões a serem geradas: recomendamos valores entre 8 e 16. No entanto, eles podem aumentar para 32 ou até mesmo 64 com configurações adequadas no lado do SAP (alocando recursos de memória apropriados para os processos de trabalho no SAP). Essa configuração melhora o paralelismo no lado do Cloud Data Fusion. O mecanismo do ambiente de execução cria o número especificado de partições (e conexões SAP) enquanto extrai os registros.

    • Se o serviço de configuração (que vem com o plug-in ao importar o arquivo de transporte da SAP) estiver disponível, o plug-in vai usar a configuração padrão do sistema SAP. As divisões são 50% dos processos de trabalho de caixa de diálogo disponíveis no SAP. Observação: o serviço de configuração só pode ser importado de sistemas S4HANA.

    • Se o serviço de configuração não estiver disponível, o padrão será 7 divisões.

    • Em qualquer caso, se você especificar um valor diferente, ele vai prevalecer sobre o valor de divisão padrão,exceto quando for limitado pelos processos de diálogo disponíveis no SAP, menos duas divisões.

    • Se o número de registros a serem extraídos for menor que 2500, o número de divisões será 1.

  • Tamanho do lote: é a contagem de registros a serem buscados em cada chamada de rede para o SAP. Um tamanho de lote menor causa chamadas de rede frequentes, repetindo a sobrecarga associada. Por padrão, a contagem mínima é 1000 e a máxima é 50000.

Para mais informações, consulte Limites de entidades do OData.

Configurações de recursos do Cloud Data Fusion

Recomendado:use 1 CPU e 4 GB de memória por Executor. Esse valor se aplica a cada processo de Executor. Faça isso na caixa de diálogo Configurar > Recursos.

Otimizar as configurações de recursos na janela &quot;Configurar&quot; do Cloud Data Fusion

Configurações do cluster do Managed Service for Apache Spark

Recomendado:no mínimo, aloque um total de CPUs (entre workers) maior que o número pretendido de divisões. Consulte Configuração de plug-ins.

Cada worker precisa ter 6,5 GB ou mais de memória alocada por CPU nas configurações do Managed Service para Apache Spark.Isso significa 4 GB ou mais disponíveis por executor do Cloud Data Fusion. As outras configurações podem ser mantidas com os valores padrão.

Recomendado:use um cluster permanente do Managed Service para Apache Spark para reduzir o ambiente de execução do pipeline de dados. Isso elimina a etapa de provisionamento, que pode levar alguns minutos ou mais. Faça isso na seção de configuração do Compute Engine.

Exemplos de configurações e capacidade de transmissão

As seções a seguir descrevem exemplos de configurações de desenvolvimento e produção e de capacidade de processamento.

Exemplos de configurações de desenvolvimento e teste

  • Cluster do Managed Service for Apache Spark com oito workers, cada um com quatro CPUs e 26 GB de memória. Gere até 28 divisões.
  • Serviço gerenciado para cluster do Apache Spark com dois workers, cada um com oito CPUs e 52 GB de memória. Gere até 12 divisões.

Exemplos de configurações de produção e capacidade de processamento

  • Cluster do Serviço Gerenciado para Apache Spark com oito workers, cada um com oito CPUs e 32 GB de memória. Gere até 32 divisões (metade das CPUs disponíveis).
  • Cluster do Managed Service for Apache Spark com 16 workers, cada um com 8 CPUs e 32 GB de memória. Gere até 64 divisões (metade das CPUs disponíveis).

Exemplo de capacidade de processamento para um sistema de origem de produção do SAP S4HANA 1909

A tabela a seguir tem exemplos de capacidade de processamento. A capacidade de processamento mostrada não tem opções de filtro, a menos que especificado de outra forma. Ao usar opções de filtro, a capacidade de processamento é reduzida.

Tamanho do lote Divisões Serviço OData Total de linhas Linhas extraídas Capacidade de processamento (linhas por segundo)
1000 4 ZACDOCA_CDS 5,37 M 5,37 M 1069
2500 10 ZACDOCA_CDS 5,37 M 5,37 M 3384
5000 8 ZACDOCA_CDS 5,37 M 5,37 M 4.630
5000 9 ZACDOCA_CDS 5,37 M 5,37 M 4817

Exemplo de capacidade de processamento para um sistema de origem de produção na nuvem do SAP S4HANA

Tamanho do lote Divisões Serviço OData Total de linhas Linhas extraídas Capacidade de processamento (GB/hora)
2500 40 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 25,48
5000 50 TEST_04_UOM_ODATA_CDS/ 201 M 10 M 26.78

Detalhes do suporte

O plug-in é compatível com os seguintes casos de uso:

Produtos e versões do SAP compatíveis

  • As fontes compatíveis incluem SAP S4/HANA 1909 e versões mais recentes, S4/HANA na nuvem SAP e qualquer aplicativo SAP capaz de expor serviços OData.

  • O arquivo de transporte que contém o serviço OData personalizado para balancear as chamadas ao SAP precisa ser importado no S4/HANA 1909 e versões mais recentes. O serviço ajuda a calcular o número de divisões (partições de dados) que o plug-in pode ler em paralelo (consulte número de divisões).

  • A versão 2 do OData é compatível.

  • O plug-in foi testado com servidores SAP S/4HANA implantados em Google Cloud.

Os serviços do catálogo OData da SAP são compatíveis com extração

O plug-in é compatível com os seguintes tipos de DataSource:

  • Dados de transações
  • Visualizações de CDS expostas pelo OData

  • Dados principais

    • Atributos
    • Textos
    • hierarquias

Observações da SAP

Nenhuma nota do SAP é necessária antes da extração, mas o sistema SAP precisa ter o SAP Gateway disponível. Para mais informações, consulte a nota 1560585 (esse site externo requer um login da SAP).

Limites no volume de dados ou na largura do registro

Não há limite definido para o volume de dados extraídos. Testamos até 6 milhões de linhas extraídas em uma chamada, com uma largura de registro de 1 KB. Para o SAP S4/HANA na nuvem, testamos até 10 milhões de linhas extraídas em uma chamada, com uma largura de registro de 1 KB.

Capacidade de processamento esperada do plug-in

Para um ambiente configurado de acordo com as diretrizes da seção Performance, o plug-in pode extrair cerca de 38 GB por hora. O desempenho real pode variar de acordo com as cargas de sistema do Cloud Data Fusion e do SAP ou o tráfego de rede.

Extração delta (dados alterados)

A extração delta não é compatível.

Cenários de erro

No ambiente de execução, o plug-in grava entradas de registro no registro do pipeline de dados do Cloud Data Fusion. Essas entradas têm o prefixo CDF_SAP para identificação.

No momento do design, quando você valida as configurações do plug-in, as mensagens são exibidas na guia Propriedades e destacadas em vermelho.

A lista a seguir descreve alguns dos erros:

ID da mensagem Mensagem Ação recomendada
Nenhum Required property 'CONNECTION_PROPERTY' for connection type 'CONNECTION_PROPERTY_SETTING'. Insira um valor real ou uma variável de macro.
Nenhum Invalid value for property 'PROPERTY_NAME'. Insira um número inteiro não negativo (0 ou maior, sem um decimal) ou uma variável de macro.
CDF_SAP_ODATA_01505 Failed to prepare the Cloud Data Fusion output schema. Please check the provided runtime macros value. Confira se os valores de macro fornecidos estão corretos.
N/A SAP X509 certificated 'STORAGE_PATH' is missing. Please make sure the required X509 certificate is uploaded to your specified Cloud Storage bucket 'BUCKET_NAME'. Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_ODATA_01532 Código de erro genérico relacionado a problemas de conectividade do SAP OData
Failed to call given SAP OData service. Root Cause: MESSAGE.		 Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01534 Código de erro genérico relacionado a qualquer erro do serviço SAP OData.
Service validation failed. Root Cause: MESSAGE.		 Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01503 Failed to fetch total available record count from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01506 No records found to extract in SAP_ODATA_SERVICE_ENTITY_NAME. Please ensure that the provided entity contains records. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01537 Failed to process records for SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01536 Failed to pull records from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01504 Failed to generate the encoded metadata string for the given OData service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_ODATA_01533 Failed to decode the metadata from the given encoded metadata string for service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.

A seguir