Fonte de replicação do SAP SLT

Nesta página, descrevemos como ativar a replicação de dados em tempo real de aplicativos SAP para Google Cloud usando o SAP Landscape Transformation (SLT). O conteúdo se aplica aos plug-ins SAP SLT Replication e SAP SLT No RFC Replication, que estão disponíveis no Hub do Cloud Data Fusion. Ele mostra as configurações do sistema de origem SAP, SLT, Cloud Storage e Cloud Data Fusion para fazer o seguinte:

  • Envie metadados e dados de tabela do SAP para Google Cloud usando o SAP SLT.
  • Crie um job de replicação do Cloud Data Fusion que leia os dados de um bucket do Cloud Storage.

Com a replicação do SAP SLT, é possível replicar seus dados continuamente e em tempo real de fontes SAP para o BigQuery. É possível configurar e executar transferências de dados dos sistemas SAP sem programação.

O processo de replicação SLT do Cloud Data Fusion é o seguinte:

  1. Os dados vêm de um sistema de origem SAP.
  2. A SLT rastreia e lê os dados e os envia para o Cloud Storage.
  3. O Cloud Data Fusion extrai dados do bucket de armazenamento e os grava no BigQuery.

É possível transferir dados de sistemas SAP compatíveis, incluindo sistemas SAP hospedados em Google Cloud.

Para mais informações, consulte a Visão geral do SAP em Google Cloud e os detalhes de suporte.

Antes de começar

Para usar esse plug-in, é necessário ter conhecimento dos domínios nas seguintes áreas:

  • Criar pipelines no Cloud Data Fusion
  • Gerenciamento de acesso com o IAM
  • Como configurar sistemas de planejamento de recursos empresariais (ERP) locais e da SAP Cloud

Administradores e usuários que fazem as configurações

As tarefas nesta página são realizadas por pessoas com as seguintes funções no Google Cloud ou no sistema SAP:

Tipo de usuário Descrição
Administrador do Google Cloud Os usuários atribuídos a esse papel são administradores de contas do Google Cloud.
Usuário do Cloud Data Fusion Os usuários atribuídos a esse papel estão autorizados a projetar e executar pipelines de dados. Eles recebem, no mínimo, o papel de leitor do Data Fusion ( roles/datafusion.viewer). Se você estiver usando o controle de acesso baseado em papéis, talvez seja necessário usar outros papéis.
Administrador do SAP Os usuários atribuídos a essa função são administradores do sistema SAP. Eles têm acesso para fazer o download de softwares do site de serviços da SAP. Não é um papel do IAM.
Usuário SAP Os usuários atribuídos a esse papel estão autorizados a se conectar a um sistema SAP. Não é um papel do IAM.

Operações de replicação compatíveis

O plug-in SAP SLT Replication é compatível com as seguintes operações:

Modelagem de dados: todas as operações de modelagem de dados (registro insert, delete e update) são compatíveis com esse plug-in.

Definição de dados: conforme descrito na Nota SAP 2055599 (login de suporte da SAP necessário para visualizar), há limitações quanto a quais mudanças na estrutura da tabela do sistema de origem são replicadas automaticamente pelo SLT. Algumas operações de definição de dados não são compatíveis com o plug-in. É necessário propagá-las manualmente.

  • Compatível:
    • Adicione um campo sem chave (depois de fazer as mudanças no SE11, ative a tabela usando o SE14).
  • Não compatível:
    • Adicionar/excluir campo de chave
    • Excluir campo não principal
    • Modificar tipos de dados

Requisitos da SAP

Os seguintes itens são necessários no seu sistema SAP:

  • Você tem a versão 2011 SP17 ou mais recente do SLT Server instalada no sistema SAP de origem (incorporado) ou como um sistema de hub SLT dedicado.
  • O sistema SAP de origem é o SAP ECC ou o SAP S/4HANA, que oferece suporte ao DMIS 2011 SP17 ou superior, como DMIS 2018 e DMIS 2020.
  • O complemento de interface do usuário SAP precisa ser compatível com sua versão do SAP Netweaver.

  • Seu pacote de suporte é compatível com a classe PL 12 do /UI2/CL_JSON ou versões mais recentes. Caso contrário, implemente a Nota SAP mais recente para a classe /UI2/CL_JSON corrections de acordo com a versão do complemento da interface do usuário, como a Nota SAP 2798102 para PL12.

  • As seguintes medidas de segurança estão em vigor:

Requisitos do Cloud Data Fusion

  • Você precisa de uma instância do Cloud Data Fusion, versão 6.4.0 ou mais recente, em qualquer edição.
  • A conta de serviço atribuída à instância do Cloud Data Fusion recebe os papéis necessários (consulte Conceder permissão de usuário da conta de serviço).
  • Para instâncias particulares do Cloud Data Fusion, o peering de VPC é obrigatório.

Requisitos doGoogle Cloud

Criar o bucket de armazenamento

Antes de criar um job de replicação do SLT, crie o bucket do Cloud Storage. O job transfere dados para o bucket e atualiza o bucket de staging a cada cinco minutos. Quando você executa o job, o Cloud Data Fusion lê os dados no bucket de armazenamento e os grava no BigQuery.

Se o SLT estiver instalado em Google Cloud

O servidor SLT precisa ter permissão para criar e modificar objetos do Cloud Storage no bucket que você criou.

No mínimo, conceda os seguintes papéis à conta de serviço:

Se o SLT não estiver instalado em Google Cloud

Instale o Cloud VPN ou o Cloud Interconnect entre a VM do SAP e Google Cloud para permitir a conexão com um endpoint de metadados interno. Consulte Configurar o Acesso privado do Google para hosts locais.

Se os metadados internos não puderem ser mapeados:

  • Instale a Google Cloud CLI com base no sistema operacional da infraestrutura em que a SLT está sendo executada.

  • Crie uma conta de serviço no projeto Google Cloud em que o Cloud Storage está ativado.

  • No sistema operacional do SLT, autorize o acesso a Google Cloud com uma conta de serviço.

  • Crie uma chave de API para a conta de serviço e autorize o escopo relacionado ao Cloud Storage.

  • Importe a chave de API para a CLI gcloud instalada anteriormente usando a CLI.

  • Para ativar o comando da CLI gcloud que imprime o token de acesso, configure o comando do sistema operacional SAP na ferramenta de transação SM69 no sistema SLT.

O administrador do SAP configura o comando do sistema operacional, SM69, que recupera um token de acesso de Google Cloud.

Crie um script para imprimir um token de acesso e configure um comando do sistema operacional SAP para chamar o script como usuário <sid>adm no host do SAP LT Replication Server.

Linux

Para criar um comando do SO:

  1. No host do SAP LT Replication Server, em um diretório acessível a <sid>adm, crie um script bash que contenha as linhas a seguir:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. Usando a interface do usuário do SAP, crie um comando de SO externo:

    1. Insira a transação SM69.
    2. Clique em Criar.
    3. Na seção Comando do painel Comando externo, insira o nome do comando, como ZGOOGLE_CDF_TOKEN.

    4. Na seção Definição:

      1. No campo Comando do sistema operacional, insira sh como a extensão de arquivo de script.

      2. No campo Parâmetros do comando do sistema operacional, digite:

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Clique em Salvar.

    6. Para testar o script, clique em Executar.

    7. Clique em Executar novamente.

    Um token Google Cloud é retornado e exibido na parte de baixo do painel da interface do usuário do SAP.

Windows

Usando a interface do usuário do SAP, crie um comando de sistema operacional externo:

  1. Insira a transação SM69.
  2. Clique em Criar.
  3. Na seção Comando do painel Comando externo, insira o nome do comando, como ZGOOGLE_CDF_TOKEN.

  4. Na seção Definição:

    1. No campo Operating System Command, digite cmd /c.

    2. No campo Parâmetros do comando do sistema operacional, digite:

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Clique em Salvar.

  6. Para testar o script, clique em Executar.

  7. Clique em Executar novamente.

Um token Google Cloud é retornado e exibido na parte de baixo do painel da interface do usuário do SAP.

Requisitos de SLT

O conector da SLT precisa ter a seguinte configuração:

  • O conector é compatível com SAP ECC NW 7.02, DMIS 2011 SP17 e versões mais recentes.
  • Configure uma conexão RFC ou de banco de dados entre o SLT e o sistema do Cloud Storage.
  • Configure os certificados SSL:
    • Faça o download dos seguintes certificados de CA no repositório do Google Trust Services:
      • GTS Root R1
      • GTS CA 1C3
    • Na interface do usuário do SAP, use a transação STRUST para importar os certificados raiz e subordinado para a pasta SSL Client (Standard) PSE.
  • O Gerenciador de comunicações da Internet (ICM) precisa ser configurado para HTTPS. Verifique se as portas HTTP e HTTPS são mantidas e ativadas no sistema SAP SLT. Isso pode ser verificado com o código de transação SMICM > Services.
  • Ative o acesso às APIs Google Cloud na VM em que o sistema SAP SLT está hospedado. Isso permite a comunicação particular entre os serviçosGoogle Cloud sem roteamento pela Internet pública.
  • Verifique se a rede pode oferecer suporte ao volume e à velocidade necessários da transferência de dados entre a infraestrutura SAP e o Cloud Storage. Para uma instalação bem-sucedida, recomendamos o Cloud VPN e/ou o Cloud Interconnect. A taxa de transferência da API de streaming depende das cotas do cliente concedidas ao seu projeto do Cloud Storage.

Configurar o SLT Replication Server

O usuário do SAP executa as seguintes etapas.

Nas etapas a seguir, você conecta o servidor SLT ao sistema de origem e ao bucket no Cloud Storage, especificando o sistema de origem, as tabelas de dados a serem replicadas e o bucket de armazenamento de destino.

Configurar o SDK do Google ABAP

Para configurar a SLT para replicação de dados (uma vez por instância do Cloud Data Fusion), siga estas etapas:

  1. Para configurar o conector SLT, o usuário do SAP insere as seguintes informações na tela de configuração (transação SAP /GOOG/CDF_SETTINGS) sobre a chave da conta de serviço Google Cloud para transferir dados para o Cloud Storage. Configure as seguintes propriedades na tabela /GOOG/CDF_CLT_KY usando a transação SE16 e anote esta chave:

    • NAME: o nome da chave da conta de serviço (por exemplo, CDFSLT)
    • NOME DA CONTA DE SERVIÇO: o nome da conta de serviço do IAM.
    • SCOPE: o escopo da conta de serviço.
    • ID DO PROJETO: o ID do seu projeto do Google Cloud
    • Opcional: comando do SO EXT: use este campo somente se o SLT não estiver instalado em Google Cloud.

    • AUTH CLASS: se o comando do SO estiver configurado na tabela /GOOG/CDF_CLT_KY, use o valor fixo: /GOOG/CDF_CL_GCP_AUTH.

    • TOKEN REFRESH SEC: duração da atualização do token de autorização

Inserir detalhes sobre a chave da conta de serviço

Crie a configuração de replicação

Crie uma configuração de replicação no código da transação: LTRC.

  • Antes de continuar com a configuração do LTRC, verifique se a conexão RFC entre o SLT e o sistema SAP de origem está estabelecida.
  • Para uma configuração do SLT, pode haver várias tabelas SAP atribuídas para replicação.

  1. Acesse o código da transação LTRC e clique em Nova configuração.

    Inserir detalhes sobre a chave da conta de serviço

  2. Insira o Nome da configuração e a Descrição e clique em Próxima.

  3. Especifique a conexão RFC do sistema de origem SAP e clique em Próxima.

    Especificar detalhes da conexão RFC do sistema de origem

  4. Em "Detalhes da conexão do sistema de destino", selecione Outro.

  5. Expanda o campo Cenário para comunicação RFC, selecione SDK SLT e clique em Próxima.

  6. Acesse a janela Specify Transfer Settings e insira o nome do aplicativo: ZGOOGLE_CDF.

    Especificar as configurações de transferência

  7. Insira o Número de jobs de transferência de dados, o Número de jobs de carregamento inicial e o Número de jobs de cálculo. Para mais informações sobre desempenho, consulte o Guia de otimização de desempenho do SAP LT Replication Server.

  8. Clique em Tempo real > Próxima.

  9. Revise a configuração e clique em Salvar. Anote o ID da transferência em massa para as etapas a seguir.

    Salve a configuração e anote o ID da transferência em massa

  10. Para manter o ID de transferência em massa e os detalhes da tabela do SAP, execute a transação do SAP: /GOOG/CDF_SETTINGS.

  11. Clique em Executar ou pressione F8.

  12. Clique no ícone de anexar linha para criar uma nova entrada.

    1. Insira o ID da transferência em massa, a Chave de transferência em massa, o Nome da chave do GCP e o Bucket de destino do GCS. Marque a caixa de seleção Está ativo e salve as mudanças.

      Inserir detalhes da transferência em massa de transporte

  13. Selecione a configuração na coluna Nome da configuração e clique em Provisionamento de dados.

    Selecionar provisionamento de dados

  14. Opcional: personalize os nomes de tabelas e campos.

    1. Clique em Nomes personalizados e salve.

    2. Clique em Tela.

    3. Clique nos botões Adicionar linha ou Criar para criar uma nova entrada.

    4. Insira o nome da tabela SAP e o nome da tabela externa para usar no BigQuery e salve as mudanças.

    5. Clique no botão Ver na coluna Mostrar campos para manter o mapeamento dos campos da tabela.

    6. Uma página com mapeamentos sugeridos é aberta. Opcional: edite o Nome do campo temporário e a Descrição do campo e salve os mapeamentos.

  15. Acesse a transação LTRC.

  16. Selecione o valor na coluna Nome da configuração e clique em Provisionamento de dados.

  17. Insira o nome da tabela no campo Nome da tabela no banco de dados e selecione o cenário de replicação.

    Selecionar o cenário de replicação

  18. Clique em Executar. Isso aciona a implementação do SDK SLT e inicia a transferência dos dados para o bucket de destino no Cloud Storage.

Instalar arquivos de transporte SAP

Para projetar e executar jobs de replicação no Cloud Data Fusion, os componentes do SAP são entregues como arquivos de transporte SAP arquivados em um arquivo ZIP. O download fica disponível quando você implanta o plug-in no Hub do Cloud Data Fusion.

Para instalar os transportes SAP, siga estas etapas:

Etapa 1: fazer upload dos arquivos de solicitação de transporte

  1. Faça login no sistema operacional da instância do SAP.
  2. Use o código de transação AL11 do SAP para acessar o caminho da pasta DIR_TRANS. Normalmente, o caminho é /usr/sap/trans/.
  3. Copie os cofiles para a pasta DIR_TRANS/cofiles.
  4. Copie os arquivos de dados para a pasta DIR_TRANS/data.
  5. Defina o usuário e o grupo de dados e o coarquivo como <sid>adm e sapsys.

Etapa 2: importar os arquivos de solicitação de transporte

O administrador do SAP pode importar os arquivos de solicitação de transporte usando o sistema de gerenciamento de transporte do SAP ou o sistema operacional:

Sistema de gerenciamento de transporte SAP

  1. Faça login no sistema SAP como administrador da SAP.
  2. Digite o STMS da transação.
  3. Clique em Visão geral > Importações.
  4. Na coluna "Fila", clique duas vezes no SID atual.
  5. Clique em Extras > Outras solicitações > Adicionar.
  6. Selecione o ID da solicitação de transporte e clique em Continuar.
  7. Selecione a solicitação de transporte na fila de importação e clique em Solicitar > Importar.
  8. Digite o número do cliente.

  9. Na guia Opções, selecione Substituir originais e Ignorar a versão inválida do componente (se disponível).

    Opcional: para reimportar os transportes mais tarde, clique em Deixar solicitações de transporte na fila para importação posterior e Importar solicitações de transporte novamente. Isso é útil para upgrades do sistema SAP e restaurações de backup.

  10. Clique em Continuar.

  11. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando transações, como SE80 e PFCG.

Sistema operacional

  1. Faça login no sistema SAP como administrador da SAP.

  2. Adicione solicitações ao buffer de importação:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por exemplo: tp addtobuffer IB1K903958 DD1

  3. Importe as solicitações de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Substitua NNN pelo número do cliente. Por exemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifique se o módulo da função e os papéis de autorização foram importados com êxito usando as transações apropriadas, como SE80 e PFCG.

Autorizações SAP necessárias

Para executar um pipeline de dados no Cloud Data Fusion, você precisa de um usuário SAP. O usuário SAP precisa ser do tipo "Comunicações" ou "Caixa de diálogo". Para evitar o uso de recursos de caixa de diálogo do SAP, recomendamos o tipo "Comunicações". Os usuários podem ser criados pelo administrador do SAP usando o código de transação SU01.

As autorizações do SAP são necessárias para manter e configurar o conector para SAP, uma combinação de objetos de autorização padrão do SAP e do novo conector. Você mantém objetos de autorização com base nas políticas de segurança da sua organização. A lista a seguir descreve algumas autorizações importantes necessárias para o conector:

  • Objeto de autorização: o objeto de autorização ZGOOGCDFMT é enviado como parte da função de solicitação de transporte.

  • Criação de função: crie uma função usando o código de transação PFCG.

    Criar uma função usando um código de transação do SAP

  • Para objetos de autorização padrão do SAP, sua organização gerencia as permissões com o próprio mecanismo de segurança.

  • Para objetos de autorização personalizados, forneça valores nos campos de autorização para objetos de autorização ZGOOGCDFMT.

  • Para controle de acesso detalhado, o ZGOOGCDFMT oferece autorização com base em grupos de autorização. Os usuários com acesso total, parcial ou nenhum aos grupos de autorização recebem acesso com base no grupo atribuído à função deles.

  • /GOOG/SLT_CDF_AUTH: função com acesso a todos os grupos de autorização. Para restringir o acesso específico a um determinado grupo de autorização, mantenha o FICDF do grupo de autorização na configuração.

Criar um destino RFC para a origem

Antes de iniciar a configuração, verifique se a conexão RFC foi estabelecida entre a origem e o destino.

  1. Acesse o código da transação SM59.

  2. Clique em Criar > Tipo de conexão 3 (conexão ABAP).

    Criar código de transação

  3. Na janela Configurações técnicas, insira os detalhes sobre o destino da RFC.

  4. Clique na guia Login e segurança para manter as credenciais da RFC (usuário e senha da RFC).

  5. Clique em Salvar.

  6. Clique em Teste de conexão. Depois de um teste bem-sucedido, você pode continuar.

  7. Verifique se o teste de autorização da RFC foi concluído.

  8. Clique em Utilitários > Teste > Teste de autorização.

Configurar o plug-in

Para configurar o plug-in, implante-o no Hub, crie um job de replicação e configure a origem e o destino seguindo as etapas abaixo.

Implante o plug-in no Cloud Data Fusion

O usuário do Cloud Data Fusion executa as seguintes etapas.

Antes de executar o job de replicação do Cloud Data Fusion, implante o plug-in de replicação do SAP SLT:

  1. Acesse sua instância:

    1. No console Google Cloud , acesse a página Instâncias do Cloud Data Fusion.

      Acesse "Instâncias"

    2. Ative a replicação em uma instância nova ou atual:

      • Para uma nova instância, clique em Criar instância, digite um nome de instância, clique em Adicionar aceleradores, selecione a caixa de seleção Replicação e clique em Salvar.
      • Para uma instância atual, consulte Ativar a replicação em uma instância atual.

    3. Clique em Ver instância para abrir a instância na interface da Web do Cloud Data Fusion.

  2. Clique em Hub.

  3. Acesse a guia SAP, clique em SAP SLT e em Plug-in de replicação do SAP SLT ou Plug-in de replicação do SAP SLT sem RFC.

  4. Clique em Implantar.

Criar um job de replicação

O plug-in SAP SLT Replication lê o conteúdo das tabelas SAP usando um bucket de preparação da API Cloud Storage.

Para criar um job de replicação para sua transferência de dados, siga estas etapas:

  1. Na instância aberta do Cloud Data Fusion, clique em Página inicial > Replicação > Criar um job de replicação. Se não houver uma opção Replicação, ative a replicação para a instância.

  2. Insira um Nome e uma Descrição exclusivos para o job de replicação.

  3. Clique em Próxima.

Configurar a origem

  1. Configure a origem inserindo valores nos seguintes campos:

    • ID do projeto: o ID do seu projeto do Google Cloud . Esse campo é preenchido automaticamente.

    • Caminho do GCS de replicação de dados: o caminho do Cloud Storage que contém dados para replicação. Precisa ser o mesmo caminho configurado nos jobs do SAP SLT. Internamente, o caminho fornecido é concatenado com Mass Transfer ID e Source Table Name:

      Formato: gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Exemplo: gs://slt_bucket/012/MARA

    • GUID: o GUID do SLT, um identificador exclusivo atribuído ao ID de transferência em massa do SAP SLT.

    • ID de transferência em massa: o ID de transferência em massa do SLT é um identificador exclusivo atribuído à configuração no SAP SLT.

    • Caminho do GCS da biblioteca SAP JCo: o caminho de armazenamento que contém os arquivos da biblioteca SAP JCo enviados pelo usuário. As bibliotecas do SAP JCo podem ser baixadas no portal de suporte da SAP. (Removido na versão 0.10.0 do plug-in.)

    • Host do servidor SLT: nome do host ou endereço IP do servidor SLT. (Removido na versão 0.10.0 do plug-in.)

    • Número do sistema SAP: número do sistema de instalação fornecido pelo administrador do sistema (por exemplo, 00). Removido na versão 0.10.0 do plug-in.

    • Cliente SAP: o cliente SAP a ser usado (por exemplo, 100). Removido na versão 0.10.0 do plug-in.

    • Idioma SAP: idioma de logon SAP (por exemplo, EN). Removido na versão 0.10.0 do plug-in.

    • Nome de usuário de logon SAP: nome de usuário SAP. (Removido na versão 0.10.0 do plug-in.)

      • Recomendado: se o nome de usuário do SAP Logon mudar periodicamente, use uma macro.

    • Senha de logon do SAP (M): senha de usuário SAP para autenticação de usuário.

      • Recomendado: use macros seguras para valores sensíveis, como senhas. (Removido na versão 0.10.0 do plug-in.)

    • Suspender a replicação do SLT quando o job do CDF for interrompido: tenta interromper o job de replicação do SLT (para as tabelas envolvidas) quando o job de replicação do Cloud Data Fusion é interrompido. Pode falhar se o job no Cloud Data Fusion for interrompido inesperadamente.

    • Replicar dados atuais: indica se é necessário replicar os dados atuais das tabelas de origem. Por padrão, os jobs replicam os dados atuais das tabelas de origem. Se definido como false, todos os dados nas tabelas de origem serão ignorados, e apenas as mudanças que ocorrerem após o início do job serão replicadas.

    • Chave da conta de serviço: a chave a ser usada ao interagir com o Cloud Storage. A conta de serviço precisa ter permissão para gravar no Cloud Storage. Ao executar em uma VM Google Cloud , isso precisa ser definido como auto-detect para usar a conta de serviço anexada à VM.

  2. Clique em Próxima.

Configurar o destino

Para gravar dados no BigQuery, o plug-in precisa de acesso de gravação ao BigQuery e a um bucket de staging. Primeiro, os eventos de mudança são gravados em lotes da SLT para o Cloud Storage. Em seguida, eles são carregados em tabelas de teste no BigQuery. As mudanças da tabela de staging são mescladas na tabela de destino final usando uma consulta de mesclagem do BigQuery.

A tabela de destino final inclui todas as colunas originais da tabela de origem e uma coluna _sequence_num adicional. O número de sequência garante que os dados não sejam duplicados ou perdidos em cenários de falha do replicador.

  1. Configure a origem inserindo valores nos seguintes campos:

    • ID do projeto: projeto do conjunto de dados do BigQuery. Ao executar em um cluster do Dataproc, esse campo pode ser deixado em branco, o que vai usar o projeto do cluster.
    • Credenciais: consulte Credenciais.
    • Chave da conta de serviço: o conteúdo da chave da conta de serviço a ser usada ao interagir com o Cloud Storage e o BigQuery. Quando executado em um cluster do Dataproc, esse campo deve ficar em branco, o que usa a conta de serviço do cluster.
    • Nome do conjunto de dados: nome do conjunto de dados a ser criado no BigQuery. É opcional e, por padrão, o nome do conjunto de dados é igual ao nome do banco de dados de origem. Um nome válido só pode conter letras, números e sublinhados, e o comprimento máximo é de 1.024 caracteres. Todos os caracteres inválidos são substituídos por sublinhados no nome final do conjunto de dados, e os caracteres que excedem o limite de comprimento são truncados.
    • Nome da chave de criptografia: a chave de criptografia gerenciada pelo cliente (CMEK) usada para proteger os recursos criados por essa meta. O nome da chave de criptografia precisa estar no formato projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
    • Local: o local em que o conjunto de dados do BigQuery e o bucket de preparo do Cloud Storage são criados. Por exemplo, us-east1 para buckets regionais, us para buckets multirregionais (consulte Locais). Esse valor será ignorado se um bucket existente for especificado, já que o bucket de preparo e o conjunto de dados do BigQuery serão criados no mesmo local que esse bucket.

    • Bucket de teste: o bucket em que os eventos de mudança são gravados antes de serem carregados em tabelas de teste. As mudanças são gravadas em um diretório que contém o nome e o namespace do replicador. É seguro usar o mesmo bucket em vários replicadores na mesma instância. Se ele for compartilhado por replicadores em várias instâncias, verifique se o namespace e o nome são exclusivos. Caso contrário, o comportamento será indefinido. O bucket precisa estar no mesmo local que o conjunto de dados do BigQuery. Se não for fornecido, um novo bucket será criado para cada job com o nome df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>.

    • Intervalo de carregamento (segundos): número de segundos a serem aguardados antes de carregar um lote de dados no BigQuery.

    • Prefixo da tabela de teste: as mudanças são gravadas primeiro em uma tabela de teste antes de serem mescladas à tabela final. Os nomes das tabelas de staging são gerados adicionando esse prefixo ao nome da tabela de destino.

    • Require Manual Drop Intervention: se é necessário uma ação administrativa manual para excluir tabelas e conjuntos de dados quando um evento de exclusão de tabela ou banco de dados é encontrado. Quando definido como verdadeiro, o replicador não exclui uma tabela ou um conjunto de dados. Em vez disso, ele falha e tenta de novo até que a tabela ou o conjunto de dados não exista. Se o conjunto de dados ou a tabela não existir, nenhuma intervenção manual será necessária. O evento é ignorado normalmente.

    • Ativar exclusões temporárias: se definido como verdadeiro, quando um evento de exclusão for recebido pelo destino, a coluna _is_deleted do registro será definida como true. Caso contrário, o registro será excluído da tabela do BigQuery. Essa configuração não faz nada para uma origem que gera eventos fora de ordem e os registros são sempre excluídos de forma reversível da tabela do BigQuery.

  2. Clique em Próxima.

Credenciais

Se o plug-in for executado em um cluster do Dataproc, a chave da conta de serviço deverá ser definida como detecção automática. As credenciais são lidas automaticamente no ambiente do cluster.

Se o plug-in não for executado em um cluster do Dataproc, o caminho para uma chave de conta de serviço precisará ser fornecido. A chave da conta de serviço pode ser encontrada na página do IAM no console do Google Cloud . Verifique se a chave da conta tem permissão para acessar o BigQuery. O arquivo de chave da conta de serviço precisa estar disponível em todos os nós do cluster e ser legível por todos os usuários que executam o job.

Limitações

  • As tabelas precisam ter uma chave primária para serem replicadas.
  • Não é possível renomear tabelas.
  • As alterações de tabela são parcialmente compatíveis.
    • Uma coluna não anulável pode ser alterada para uma coluna anulável.
    • Novas colunas que aceitam valores nulos podem ser adicionadas a uma tabela atual.
    • Qualquer outro tipo de alteração no esquema da tabela vai falhar.
    • As mudanças na chave primária não vão falhar, mas os dados atuais não serão reescritos para obedecer à unicidade na nova chave primária.

Selecionar tabelas e transformações

Na etapa Selecionar tabelas e transformações, aparece uma lista de tabelas selecionadas para replicação no sistema SLT.

  1. Selecione as tabelas a serem replicadas.
  2. Opcional: selecione outras operações de esquema, como Inserções, Atualizações ou Exclusões.
  3. Para conferir o esquema, clique em Colunas a serem replicadas em uma tabela.

  4. Opcional: para renomear colunas no esquema, siga estas etapas:

    1. Ao visualizar o esquema, clique em Transformar > Renomear.
    2. No campo Renomear, digite um novo nome e clique em Aplicar.
    3. Para salvar o novo nome, clique em Atualizar e Salvar.

  5. Clique em Próxima.

Opcional: configurar propriedades avançadas

Se você souber a quantidade de dados que está replicando em uma hora, selecione a opção adequada.

Revisar a avaliação

A etapa Analisar avaliação verifica problemas de esquema, recursos ausentes ou problemas de conectividade que ocorrem durante a replicação.

  1. Na página Revisar avaliação, clique em Ver mapeamentos.

    Se ocorrer algum problema, ele precisará ser resolvido antes de continuar.

  2. Opcional: se você renomeou colunas ao selecionar tabelas e transformações, verifique se os novos nomes estão corretos nesta etapa.

  3. Clique em Próxima.

Ver o resumo e implantar o job de replicação

Na página Revisar detalhes do job de replicação, revise as configurações e clique em Implantar job de replicação.

Selecione um perfil do Compute Engine

  1. Depois de implantar o job de replicação, clique em Configurar em qualquer página da interface da Web do Cloud Data Fusion.

  2. Selecione o perfil do Compute Engine que você quer usar para executar esse job de replicação.

  3. Clique em Salvar.

    Selecione um perfil de computação na interface da Web do Cloud Data Fusion.

Iniciar o job de replicação

  • Para executar o job de replicação, clique em Iniciar.

Iniciar o job de replicação na interface da Web do Cloud Data Fusion

Opcional: otimizar a performance

Por padrão, o plug-in é configurado para ter o melhor desempenho. Para outras otimizações, consulte Argumentos de ambiente de execução.

O desempenho da comunicação entre a SLT e o Cloud Data Fusion depende destes fatores:

  • SLT no sistema de origem x um sistema SLT central dedicado (opção preferida)
  • Processamento de jobs em segundo plano no sistema SLT
  • Processos de trabalho de diálogo no sistema SAP de origem
  • O número de processos de jobs em segundo plano alocados a cada ID de transferência em massa na guia Administração do LTRC.
  • Configurações de LTRS
  • Hardware (CPU e memória) do sistema SLT
  • O banco de dados usado (por exemplo, HANA, Sybase ou DB2)
  • A largura de banda da Internet (conectividade entre o sistema SAP e Google Cloud pela Internet)
  • Utilização (carga) preexistente no sistema
  • O número de colunas na tabela. Com mais colunas, a replicação fica lenta e a latência pode aumentar.

Os seguintes tipos de leitura nas configurações do LTRS são recomendados para cargas iniciais:

Sistema SLT Sistema de origem Tipo de tabela Tipo de leitura recomendado
[carga inicial]
SLT 3.0 independente
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparente (pequena/média)
Transparente (grande)
Tabela de cluster		 1 cálculo de intervalo
1 cálculo de intervalo
4 fila do remetente
SLT incorporado
[S4CORE 104 HANA 1909]		 N/A Transparente (pequena/média)
Transparente (grande)
Tabela de cluster		 1 cálculo de intervalo
1 cálculo de intervalo
4 fila do remetente
SLT 2.0 independente
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparente (pequena/média)
Transparente (grande)
Tabela de cluster		 5 filas do remetente
5 filas do remetente
4 filas do remetente
SLT incorporado
[DMIS 2011_1_700 SP 17]		 N/A Transparente (pequena/média)
Transparente (grande)
Tabela de cluster		 5 filas de remetente
5 filas de remetente
4 filas de remetente
  • Para replicação, use "Sem intervalos" para melhorar a performance:
    • Os intervalos só devem ser usados quando os pendências são geradas em uma tabela de registros com alta latência.
    • Usar um cálculo de intervalo: o tipo de leitura para carga inicial não é recomendado em caso de SLT 2.0 e sistemas não HANA.
    • Usar um cálculo de intervalo: o tipo de leitura para o carregamento inicial pode resultar em registros duplicados no BigQuery.
  • O desempenho é sempre melhor quando um sistema SLT independente é usado.
  • Um sistema SLT independente é sempre recomendado se a utilização de recursos do sistema de origem já for alta.

Argumentos de ambiente de execução

  • snapshot.thread.count: transmite o número de linhas de execução para iniciar a execução do carregamento de dados SNAPSHOT/INITIAL em paralelo. Por padrão, ele usa o número de vCPUs disponíveis no cluster do Dataproc em que o job de replicação é executado.

    Recomendado: defina esse parâmetro apenas nos casos em que você precisa de controle preciso sobre o número de linhas de execução paralelas (por exemplo, para diminuir o uso no cluster).

  • poll.file.count: transmite o número de arquivos a serem pesquisados no caminho do Cloud Storage fornecido no campo Caminho do GCS de replicação de dados na interface da Web. Por padrão, o valor é 500 por pesquisa, mas pode ser aumentado ou diminuído com base na configuração do cluster.

    Recomendado: defina esse parâmetro apenas se você tiver requisitos rigorosos para o atraso de replicação. Valores mais baixos podem reduzir o atraso. Você pode usar isso para melhorar a capacidade (se não houver resposta, use valores maiores que o padrão).

  • bad.files.base.path: transmite o caminho base do Cloud Storage em que todos os arquivos de dados com erros ou falhas encontrados durante a replicação são copiados. Isso é útil quando há requisitos rigorosos para auditoria de dados e um local específico precisa ser usado para registrar transferências com falha.

    Por padrão, todos os arquivos com falha são copiados do caminho do Cloud Storage fornecido no campo Caminho do Cloud Storage de replicação de dados na interface da Web.

    • Padrão de caminho final com falha dos arquivos de dados: 

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Exemplo:

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Os critérios para um arquivo ruim são um arquivo XML corrompido ou inválido, valores PK ausentes ou um problema de incompatibilidade de tipo de dados de campo.

Detalhes do suporte

Produtos e versões do SAP compatíveis

  • Versão SAP_BASIS 702, SP-Level 0016 e posterior.
  • Versão SAP_ABA 702, SP-Level 0016 e posterior.
  • Versão DMIS 2011_1_700, SP-Level 0017 e posterior.

Versões compatíveis do SLT

As versões 2 e 3 do SLT são compatíveis.

Modelos de implantação do SAP compatíveis

SLT como um sistema independente ou incorporado ao sistema de origem.

Notas do SAP que precisam ser implementadas antes de começar a usar o SLT

Se o pacote de suporte não incluir correções de classe /UI2/CL_JSON para PL 12 ou mais recente, implemente a Nota SAP mais recente para correções de classe /UI2/CL_JSON, por exemplo, a Nota SAP 2798102 para PL12.

Recomendado: implemente as notas do SAP recomendadas pelo relatório CNV_NOTE_ANALYZER_SLT com base na condição do sistema central ou de origem. Para mais informações, consulte a Nota SAP 3016862 (login da SAP necessário).

Se o SAP já estiver configurado, nenhuma outra nota precisará ser implementada. Para erros ou problemas específicos, consulte a observação central do SAP para sua versão do SLT.

Limites para o volume de dados ou a largura do registro

Não há limite definido para o volume de dados extraídos e a largura do registro.

Capacidade esperada para o plug-in SAP SLT Replication

Para um ambiente configurado de acordo com as diretrizes em Otimizar a performance, o plug-in pode extrair cerca de 13 GB por hora para o carregamento inicial e 3 GB por hora para a replicação (CDC). O desempenho real pode variar de acordo com a carga do sistema do Cloud Data Fusion e do SAP ou o tráfego de rede.

Compatibilidade com a extração delta do SAP (dados alterados)

A extração delta do SAP é compatível.

Obrigatório: peering de locatário para instâncias do Cloud Data Fusion

O peering de locatário é necessário quando a instância do Cloud Data Fusion é criada com um endereço IP interno. Para mais informações sobre o peering de locatários, consulte Como criar uma instância particular.

Resolver problemas

O job de replicação continua reiniciando

Se o job de replicação continuar reiniciando automaticamente, aumente a memória do cluster e execute o job de replicação novamente.

Duplicatas no coletor do BigQuery

Se você definir o número de jobs paralelos nas configurações avançadas do plug-in de replicação do SAP SLT, quando as tabelas forem grandes, ocorrerá um erro que causará colunas duplicadas no coletor do BigQuery.

Para evitar o problema, remova os jobs paralelos ao carregar dados.

Cenários de erro

A tabela a seguir lista algumas mensagens de erro comuns (o texto entre aspas será substituído por valores reais no tempo de execução):

ID da mensagem Mensagem Ação recomendada
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Verifique se o ID da transferência em massa fornecido está no formato correto.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Verifique se o caminho do Cloud Storage fornecido está correto.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03408 Failed to start the event reader. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Verifique a causa raiz exibida na mensagem e tome as medidas adequadas.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento entre os tipos de dados usados em aplicativos SAP e no Cloud Data Fusion.

Tipo de dados do SAP Tipo ABAP Descrição (SAP) Tipo de dados do Cloud Data Fusion
Numérico
INT1 b Inteiro de 1 byte int
INT2 s Inteiro de 2 bytes int
INT4 i Inteiro de 4 bytes int
INT8 8 Inteiro de 8 bytes long
DEZ p Número no pacote no formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Ponto flutuante decimal de 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Ponto flutuante decimal de 16 bytes IEEE 754r decimal
FLTP f Número de ponto flutuante binário double
Caractere
CHAR
LCHR		 c String de caracteres string
SSTRING
GEOM_EWKB		 string String de caracteres string
STRING
GEOM_EWKB		 string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Dados binários bytes
RAWSTRING xstring String de bytes BLOB bytes
Data/hora
DATS d Data date
Tims t Hora time
TIMESTAMP utcl ( Utclong )
TimeStamp		 timestamp

A seguir