Fuente de lotes de SAP BW Open Hub

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento de fuente de lotes de SAP BW Open Hub. Puedes usar SAP como fuente para la extracción de datos basada en lotes y en delta en Cloud Data Fusion a través del servicio de BW Open Hub.

Este complemento permite la integración masiva de datos desde aplicaciones de SAP con Cloud Data Fusion. Puedes configurar y ejecutar transferencias de datos masivas desde DataSources de SAP sin programación.

Para conocer las aplicaciones y los objetos de SAP admitidos para la extracción, consulta Detalles de asistencia. Para obtener más información sobre cómo ejecutar SAP en Google Cloud, consulta Descripción general de SAP en Google Cloud.

Objetivos

  • Configura el sistema SAP BW.
  • Implementa el complemento en tu entorno de Cloud Data Fusion.
  • Descarga el transporte de SAP desde Cloud Data Fusion y, luego, instálalo en SAP.
  • Usa Cloud Data Fusion y la fuente de lotes de SAP BW Open Hub para crear canalizaciones de datos que integren datos de SAP.

Antes de comenzar

Para usar este complemento, necesitas conocimientos de dominio en las siguientes áreas:

Funciones de usuario

Las tareas de esta página las realizan personas con los siguientes roles en Google Cloud o en su sistema SAP:

Tipo de usuario Descripción
Administrador de Google Cloud Los usuarios con este rol son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion Los usuarios a los que se les asignó este rol están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, el rol de Visualizador de Data Fusion ( roles/datafusion.viewer). Si usas el control de acceso basado en roles, es posible que necesites roles adicionales.
Administrador de SAP Los usuarios con este rol son administradores del sistema SAP. Tiene acceso para descargar software desde el sitio del servicio de SAP. No es un rol de IAM.
Usuario de SAP Los usuarios con este rol están autorizados a conectarse a un sistema SAP. No es un rol de IAM.

Requisitos previos para SAP BW

Necesitas SAP HANA Studio para crear y editar procesos de transferencia de datos y cadenas de procesos.

Requisitos previos para Cloud Data Fusion

  • Se requiere una red de VPC para crear una instancia de Cloud Data Fusion.
  • Se requiere una instancia de Cloud Data Fusion, versión 6.8.0 o posterior, cualquier edición.
  • Se deben otorgar los roles requeridos a la cuenta de servicio asignada a la instancia de Cloud Data Fusion. Para obtener más información, consulta Otorga permiso de usuario de cuenta de servicio.
  • Debes usar una conexión de intercambio de tráfico entre tu VPC y la red de VPC compartida de Google.

Configura el sistema SAP BW

La fuente de lote de SAP BW Open Hub usa un Módulo de función remota (RFM), que se debe instalar en cada servidor de SAP desde el que se extraen los datos. Este RFM se entrega como un transporte de SAP.

Para configurar tu sistema SAP, sigue estos pasos:

  1. El usuario de Cloud Data Fusion debe descargar el archivo ZIP que contiene el transporte de SAP y proporcionárselo al administrador de SAP. Para obtener más información, consulta Configura Cloud Data Fusion.
  2. El administrador de SAP debe importar el transporte de SAP al sistema SAP y verificar los objetos creados. Para obtener más información, consulta Instala el transporte de SAP.
  3. Opcional: El usuario de SAP puede modificar los objetos de autorización estándar de SAP del rol entregado /GOOG/BWOH_CDF_AUTH según las políticas de seguridad de su organización.

Instala los archivos de transporte de SAP

Para diseñar y ejecutar canalizaciones de datos en Cloud Data Fusion, los componentes de SAP se entregan en archivos de transporte de SAP, que se archivan en un archivo zip. La descarga está disponible cuando implementas el complemento en el Centro de noticias de Cloud Data Fusion.

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

  1. Accede al sistema operativo de la instancia de SAP.
  2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
  3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
  4. Copia los archivos de datos a la carpeta DIR_TRANS/data.
  5. Establece el usuario y el grupo de datos y el archivo compartido en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con una de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP
  1. Accede al sistema SAP como administrador de SAP.
  2. Ingresa el STMS de la transacción.
  3. Haz clic en Overview > Imports.
  4. En la columna Cola, haz doble clic en el SID actual.
  5. Haz clic en Adicionales > Otras solicitudes > Agregar.
  6. Selecciona el ID de la solicitud de transporte y haz clic en Continuar.
  7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
  8. Ingresa el número de cliente.

  9. En la pestaña Opciones, selecciona Reemplazar originales y Ignorar versión de componente no válida.

    Opcional: Selecciona Dejar solicitudes de transporte en la cola para importarlas más tarde. Esto hace que las solicitudes se vuelvan a importar en el orden correcto con la siguiente importación de todas las solicitudes. Esta opción es útil si tienes que realizar importaciones preliminares para solicitudes individuales.

  10. Haz clic en Continuar.

  11. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta con las transacciones adecuadas, como SE80 y PFCG.

Opción 2: Importar los archivos de solicitud de transporte a nivel del sistema operativo
  1. Accede al sistema SAP como administrador de SAP.

  2. Agrega las solicitudes correspondientes al búfer de importación:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por ejemplo: tp addtobuffer BW1K900054 DD1.

  3. Importa las solicitudes de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Reemplaza NNN por el número de cliente. Por ejemplo:

    tp import BW1K900054 DD1 client=100 U1238

  4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Autorizaciones necesarias de SAP

Para ejecutar una canalización de datos en Cloud Data Fusion, necesitas un usuario de SAP. El usuario de SAP debe ser de los tipos Communications o Dialog. Para evitar el uso de recursos de diálogo de SAP, se recomienda el tipo Communications. El administrador de SAP puede crear usuarios con el código de transacción SU01 de SAP.

Se requieren autorizaciones de SAP para configurar el conector para SAP. Los objetos de autorización de SAP específicos del conector se envían como parte de la solicitud de transporte. Importa el transporte del rol de autorización como se describe en Instala el transporte de SAP para incorporar el rol a tu sistema y generarlo desde el código de transacción PFCG.

En el caso de los objetos de autorización estándar de SAP, tu organización administra los permisos con su propio mecanismo de seguridad. Puedes mantener objetos de autorización según las políticas de seguridad de tu organización.

Crea una cadena de procesos (PC) y un proceso de transferencia de datos (DTP)

Crear una cadena de procesos y un proceso de transferencia de datos requiere algunas habilidades y conocimientos adicionales.

Conceptos básicos

Para crear o editar un PC y un DTP, usa SAP HANA Studio.

Habilidades previas necesarias

  • Usaste transformaciones para definir el flujo de datos entre el objeto de origen y el de destino.
  • Debes tener un buen conocimiento de los conceptos básicos de BW y HANA, como los objetos DataStore (DSO), las transformaciones de datos, los InfoCubes, la optimización de consultas, el modelado de HANA y las funciones de la BD de HANA con HANA Studio. Para obtener más información sobre estos conceptos, consulta los tutoriales de SAP sobre BW y HANA.

Tipo de extracción

Existen dos modos de extracción de datos para un proceso de transferencia de datos: completo y delta.

  • Completo: Selecciona todos los datos disponibles en la fuente según las condiciones de filtro mencionadas en el DTP. Si la fuente de datos es uno de los siguientes InfoProviders, solo estará disponible el modo de extracción completa:

    • InfoObjects
    • InfoSets
    • Objetos de DataStore para la actualización directa

  • Delta: A diferencia de InfoPackage, la transferencia de Delta con un DTP no requiere una inicialización explícita. Cuando se ejecuta un DTP con el modo de extracción Delta por primera vez, se recuperan de la fuente todas las solicitudes existentes hasta el momento de la extracción y, luego, se inicializa automáticamente el delta.

    Las siguientes opciones están disponibles para un DTP con el modo de extracción Delta:

    • Only Get Delta Once
    • Get All New Data Request By Request
    • Recuperar hasta que no haya más datos nuevos

Tamaño del paquete: Es la cantidad de registros de datos presentes en un paquete de datos individual. El valor predeterminado es 50,000.

Crea una cadena de procesamiento

Para crear una cadena de procesos (PC), usa la transacción RSPC en la GUI de SAP. Define un proceso de inicio y, luego, agrega los pasos del proceso y el DTP. Para obtener más información, consulta la documentación de SAP sobre cómo crear cadenas de procesos.

En HANA Studio, hay varias opciones disponibles para supervisar y administrar las PCs. Para obtener más información, consulta SAP BW/4HANA Process Chain Operations.

Crea un proceso de transferencia de datos con una cadena de procesos

Ve a la vista Planificación de la cadena de procesos que deseas usar para el proceso de transferencia de datos. En la vista Planning, puedes crear el DTP con HANA Studio. Para obtener más información, consulta la documentación de SAP sobre cómo crear un proceso de transferencia de datos.

Para obtener más información sobre las opciones de configuración, consulta All about Data Transfer Process (DTP) – SAP BW 7.

Conexión RFC

Para notificar al sistema de devolución de llamada, como el complemento de la fuente de lote de SAP BW Open Hub, que los datos están disponibles, se debe actualizar la cadena de procesamiento para que use un destino RFC:

  1. En SM59, crea una conexión RFC de tipo Conexiones TCP/IP para notificar al sistema de destino desde BW una vez que se complete la carga de datos en IE.

  2. Para asegurarte de que el ID de programa esté configurado en la conexión RFC, haz doble clic en ella. El ID de programa debe ser único para cada destino de RFC para evitar conflictos del objeto de escucha en el tiempo de ejecución.

  3. Usa la conexión TCP/IP recién creada en la cadena de procesamiento para enviar una notificación cuando se complete un trabajo por lotes de Cloud Data Fusion. El nombre de la cadena de procesos no distingue mayúsculas de minúsculas. Se debe especificar correctamente en mayúsculas en el proceso de integración de extremo a extremo.

Visualiza los registros de las cadenas de procesos y los procesos de transferencia de datos

  1. Ve al código de transacción RSPC y haz clic en Process Chains.

  2. Haz clic con el botón derecho en la cadena de procesos para la que deseas mostrar los registros y, luego, haz clic en Mostrar registros.

Configura el clúster de Managed Service para Apache Spark cuando uses Process Chain

Para habilitar la comunicación a través del servidor RFC, debes agregar las entradas del puerto de SAP Gateway en el archivo /etc/services de los nodos del clúster de Managed Service para Apache Spark. Se recomienda usar un init action, la secuencia de comandos que se ejecutará cuando se inicialice el clúster. Para obtener más información, consulta Acciones de inicialización.

Crea un archivo de secuencia de comandos y guárdalo en un bucket de Cloud Storage. En el siguiente ejemplo, se muestra el contenido del archivo de secuencia de comandos:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

En el ejemplo anterior, ten en cuenta lo siguiente:

  • Las entradas tienen el formato sapgwxx 33xx/tcp, en el que XX es el número de instancia de SAP.

  • Se agregan los puertos para las instancias de SAP 00 a 04.

Sigue estos pasos si usas un clúster efímero, un clúster persistente recién creado o un clúster persistente existente de Managed Service para Apache Spark.

Clúster efímero de Managed Service para Apache Spark

Si usas un clúster efímero de Managed Service para Apache Spark, agrega la ruta de acceso de la secuencia de comandos init a las propiedades del clúster:

  1. En el monitor de trabajos, en la página de la canalización de Cloud Data Fusion, haz clic en Configurar.
  2. Selecciona el perfil de procesamiento y haz clic en Personalizar.
  3. En Configuración avanzada, en el campo Acciones de inicialización, ingresa la ruta de acceso a la secuencia de comandos init.

Nuevo clúster persistente de Managed Service para Apache Spark

Si usas un clúster de Dataproc persistente recién creado, usa el script init en el comando de gcloud para crear el clúster. Por ejemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Clúster persistente existente de Managed Service para Apache Spark

Si usas un clúster de Dataproc persistente existente, sigue estos pasos:

Si el clúster ya se creó sin usar la secuencia de comandos init, agrega las entradas de forma manual en los nodos principal y de trabajador del clúster de Managed Service para Apache Spark.

  1. Establece una conexión SSH al nodo principal y al nodo del clúster.
  2. Accede con el ID de usuario raíz.
  3. Navega a /etc/ y abre el archivo /etc/services en un editor de VI.
  4. Agrega la entrada sapgwxx 33xx/tcp. Reemplaza xx por el número de instancia de SAP.
  5. Guarda el archivo /etc/services.

Configura Cloud Data Fusion

Asegúrate de que la comunicación esté habilitada entre la instancia de Cloud Data Fusion y el servidor de SAP. En el caso de las instancias privadas, configura el intercambio de tráfico entre redes. Una vez que se establece la interconexión de redes con el proyecto en el que se alojan los sistemas SAP, no se requiere ninguna configuración adicional para conectarse a tu instancia de Cloud Data Fusion. Tanto el sistema SAP como la instancia de Cloud Data Fusion deben estar dentro del mismo proyecto.

Pasos para los usuarios de Cloud Data Fusion

  1. Ve a los detalles de la instancia:

    1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

    2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

  2. Verifica que la instancia se haya actualizado a la versión 6.8.0 o una posterior. Si la instancia está en una versión anterior, debes actualizarla.
  3. Abre la instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Hub.
  4. Selecciona la pestaña SAP > SAP BW. Si no ves la pestaña SAP, consulta Solución de problemas de las integraciones de SAP.
  5. Haz clic en Implementar complemento de SAP BW. El complemento aparece en el menú Fuente de la página de Studio.

Pasos para el administrador de SAP y el Google Cloud administrador

El administrador de SAP descarga los siguientes artefactos de JCo del sitio de asistencia de SAP y se los entrega al administrador de Google Cloud .

  • Uno independiente de la plataforma (sapjco3.jar)
  • Uno dependiente de la plataforma (libsapjco3.so en Unix)

Para descargar los archivos, sigue estos pasos:

  1. Ve a la página SAP Connectors.
  2. Haz clic en Conector Java de SAP/Herramientas y servicios. Puedes seleccionar vínculos específicos de cada plataforma para la descarga.

  3. Selecciona la plataforma en la que se ejecuta tu instancia de Cloud Data Fusion:

    1. Si usas imágenes Google Cloud estándar para las VMs en tu clúster, que es el valor predeterminado para Cloud Data Fusion, selecciona Linux para procesadores Intel compatibles de 64 bits x86.
    2. Si usas una imagen personalizada, selecciona la plataforma correspondiente.

  4. El administrador debe copiar los archivos JCo en un bucket de Cloud Storage legible. Google Cloud Proporciona la ruta de acceso del bucket al usuario de Cloud Data Fusion para que la ingrese en la propiedad correspondiente del complemento en Cloud Data Fusion: Ruta de acceso de GCS de la biblioteca de SAP JCo. Consulta Configura el complemento.

  5. El administrador de Google Cloud debe otorgar acceso de lectura a los dos archivos a la cuenta de servicio de Cloud Data Fusion para el entorno de diseño y a la cuenta de servicio de Managed Service para Apache Spark para el entorno de ejecución. Para obtener más información, consulta Cuentas de servicio de Cloud Data Fusion.

Cómo configurar el complemento

El complemento de la fuente de lotes de SAP BW Open Hub lee el contenido de una DataSource de SAP.

Para filtrar los registros, puedes configurar las siguientes propiedades para la fuente de lotes de código abierto de SAP BW Open Hub.

Los siguientes indicadores se usan para definir los campos:

  • (M): Indica que se admiten macros para el campo respectivo.
  • (O): Campo opcional

Etiqueta: Es la etiqueta del complemento en el lienzo.

Básico

En la siguiente lista de propiedades, (M) significa que la opción admite macros y que se pueden usar para administrar de forma centralizada las conexiones de SAP. Por ejemplo, puedes usar macros para las propiedades de conexión y establecer los valores en el tiempo de ejecución con parámetros de tiempo de ejecución o un complemento Argument Setter.

  • Nombre de referencia: Nombre que se usa para identificar de forma única esta fuente para el linaje y anotar los metadatos.

  • Use connection (botón de activación On/Off): Indica si se debe usar una conexión existente (consulta Administrar conexiones). Si eliges usar una conexión existente, no tienes que proporcionar ningún detalle de conexión de SAP.

  • Connection (conexión; browse connections): Elige la conexión existente que deseas usar. También puedes usar la función de macro ${conn(connection-name)}.

  • Cliente de SAP (M): Cliente de SAP que se usará. Por ejemplo, 100

  • Lenguaje de SAP (M): Lenguaje de inicio de sesión de SAP. Por ejemplo, EN

  • Tipo de conexión: Tipo de conexión SAP: directa o con balanceo de cargas. No se admiten las conexiones balanceadas para la extracción basada en cadenas de procesamiento. Para obtener más información, consulta Detalles de asistencia.

    Si seleccionas un tipo de conexión, cambiarán los campos disponibles.

    En el caso de una conexión directa, están disponibles los siguientes campos:

    • SAP Application Server Host (M): Es el nombre del servidor de SAP o la dirección IP.
    • Número de sistema SAP (M): Es el número de sistema SAP. Por ejemplo, 00
    • Router SAP (M, O): Es la cadena del router.

    Para una conexión con balanceo de cargas, están disponibles los siguientes campos:

    • Host del servidor de mensajes de SAP (M): Es el nombre de host o la dirección IP del servidor de mensajes de SAP.
    • Número de puerto o servicio del servidor de mensajes de SAP (M): Es el número de puerto o servicio del servidor de mensajes de SAP. Por ejemplo, sapms02
    • ID del sistema SAP (SID) (M): Es el ID del sistema SAP. Por ejemplo, N75
    • Nombre del grupo de inicio de sesión de SAP (M): Es el nombre del grupo de inicio de sesión de SAP. Por ejemplo, PUBLIC

  • Use Process Chain (M): Este campo contiene dos opciones.

    Si habilitas la cadena de procesamiento con la opción Sí, se habilitarán las siguientes propiedades:

    • Automatically Resolve PC and DTP Errors: Controla el comportamiento cuando se identifica una ejecución que falló anteriormente. Cuando se inhabilita, el complemento hace que la canalización falle con los errores pertinentes. Cuando está habilitado (opción predeterminada), el complemento verifica el estado de la cadena de procesamiento y del proceso de transferencia de datos en SAP. Si se identifica alguno de los siguientes errores, el complemento intentará resolverlos automáticamente:

    • Data Transfer Process in error state: El complemento borra la solicitud anterior.

    • Cadena de procesamiento en estado rojo con el error previous request status has not been set: El complemento borra la solicitud de bloqueo después de obtener el ID de solicitud del registro de la cadena de procesamiento y, luego, intenta ejecutar la cadena de procesamiento.

    • Tiempo de espera de la notificación de estado de la cadena de procesamiento (en minutos) (M, O): Espera el tiempo determinado, en minutos, para que la cadena de procesamiento complete la preparación de los datos y notifique a la canalización que inicie la extracción. Si especificas 0 o lo dejas en blanco, el valor se toma como 10 minutos, que es el valor predeterminado.

    • Cadena de procesos (M): Es el nombre de la cadena de procesos de SAP. Por ejemplo, PC_RFC

    Si inhabilitas la cadena de procesamiento con la opción No, se habilitarán las siguientes propiedades:

    • Open Hub Destination (M): Nombre del Open Hub Destination que se leerá.
    • ID de solicitud (M,O): Es el ID de la solicitud del proceso de transferencia de datos que ya se ejecutó.

Credenciales

  • Nombre de usuario de inicio de sesión de SAP (M): Nombre de usuario de SAP. Recomendación: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.
  • Contraseña de inicio de sesión de SAP (M): Contraseña de usuario de SAP. Recomendación: Para valores sensibles, como la Contraseña de usuario, usa macros seguras.

Detalles de SAP JCo

  • ID del proyecto de GCP (M): Es el ID del proyecto Google Cloud , que identifica de forma única un proyecto. Se lo puede encontrar en el panel de la consola deGoogle Cloud .
  • Ruta de acceso de GCS de la biblioteca de SAP JCo (M): Es la ruta de acceso de Cloud Storage que contiene los archivos de la biblioteca de SAP JCo subidos por el usuario.
  • Obtener esquema: Haz clic en este botón si deseas que el complemento genere un esquema basado en los metadatos de SAP, con la asignación automática de los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion. La funcionalidad de este botón es la misma que la del botón Validar.

Para obtener más información sobre los certificados de cliente, consulta Cómo usar certificados de cliente X.509 en el servidor de aplicaciones SAP NetWeaver para ABAP.

Avanzado

  • Cantidad de divisiones que se generarán (M, O): La cantidad de divisiones se usa para particionar los datos de entrada. Más particiones aumentan el nivel de paralelismo, pero requieren más recursos y sobrecarga. En el caso de un sistema local de SAP, si el valor no se especifica en la IU, las divisiones corresponden al 50% de los procesos de trabajo de diálogo disponibles en SAP. De lo contrario, las divisiones se optimizan entre el usuario especificado y el 50% de los procesos de trabajo disponibles.

    Recomendación: Deja la propiedad en blanco, a menos que conozcas la configuración de tu sistema SAP.

  • Additional SAP Connection Properties (M, O): Establece propiedades adicionales de SAP JCo que anulan los valores predeterminados de SAP JCo. Por ejemplo, establecer jco.destination.pool_capacity = 10 anula la capacidad predeterminada del grupo de conexiones.

    En la siguiente tabla, se enumeran las propiedades de SAP JCo compatibles:

Propiedad Descripción
jco.destination.peak_limit Es la cantidad máxima de conexiones activas que se pueden crear para un destino de forma simultánea.
jco.destination.pool_capacity Es la cantidad máxima de conexiones inactivas que mantiene abiertas el destino. Un valor de 0 tiene el efecto de que no hay agrupación de conexiones, es decir, las conexiones se cerrarán después de cada solicitud.
jco.destination.expiration_time Es el tiempo en ms después del cual se pueden cerrar las conexiones que mantiene el grupo interno.
jco.destination.expiration_check_period Intervalo en ms con el que el subproceso del verificador de tiempo de espera comprueba si las conexiones del grupo vencieron.
jco.destination.max_get_client_time Es el tiempo máximo en ms para esperar una conexión, si la aplicación asigna la cantidad máxima permitida de conexiones.

Comportamiento de los modos de extracción de datos

El modo de extracción de datos se controla a través de la configuración del proceso de transferencia de datos. El comportamiento es diferente cuando se usa una cadena de procesamiento en comparación con cuando se usa un destino de Open Hub.

Cuando se usa una cadena de procesamiento

La configuración a nivel del proceso de transferencia de datos controla si se realiza una carga completa o delta. El ID de solicitud llega como una notificación de SAP al complemento. El complemento lee los datos de paquetes asociados con este único ID de solicitud.

Cuando se usa Open Hub Destination sin un ID de solicitud

Carga completa: Cuando se ejecuta la canalización por primera vez, se obtienen todos los IDs de solicitud disponibles en la tabla de Open Hub. El complemento lee los datos de paquetes asociados con estos IDs de solicitud.

Carga delta: Cuando se ejecuta la misma canalización por segunda vez, se recuperan todos los IDs de solicitud delta disponibles después del último ID de solicitud recuperado. El complemento lee los datos de paquetes asociados con estos IDs de solicitud.

Cuando se usa Open Hub Destination con el ID de solicitud

Carga completa: Cuando se ejecuta la canalización por primera vez, se obtienen todos los IDs de solicitud disponibles siguientes que son mayores que el ID de solicitud especificado. El complemento lee los datos de paquetes asociados con estos IDs de solicitud.

Carga delta: Cuando se ejecuta la misma canalización la próxima vez, se recuperan todos los IDs de solicitud delta disponibles después del último ID de solicitud recuperado. El complemento lee los datos de paquetes asociados con estos IDs de solicitud.

Asignación de tipos de datos

En la siguiente tabla, se muestra la asignación entre los tipos de datos que se usan en SAP BW y Cloud Data Fusion.

Tipo de datos de BW Tipo de ABAP Descripción (SAP) Tipo de datos de Cloud Data Fusion
Numérico
INT1 b Número entero de 1 byte integer
INT2 s Número entero de 2 bytes integer
INT4 i Número entero de 4 bytes integer
INT8 8 Número entero de 8 bytes long
DIC p Número empaquetado en formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Punto flotante decimal de 8 bytes, IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Punto flotante decimal de 16 bytes, IEEE 754r decimal
FLTP f Número de punto flotante binario double
Regla
CHAR
LCHR		 c Cadena de caracteres string
SSTRING
GEOM_EWKB		 string Cadena de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Datos binarios bytes
STRING SIN PROCESAR xstring BLOB de cadena de bytes bytes
fecha/hora
DATS d Fecha date
TIMS t Hora time
TIMESTAMP utcl TimeStamp
Utclong		 timestamp

Validación

Haz clic en Validar o Obtener esquema.

El complemento valida las propiedades y genera un esquema basado en los metadatos de SAP. Asigna automáticamente los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion.

Ejecuta una canalización de datos

  1. Después de implementar la canalización, haz clic en Configurar.
  2. Selecciona Recursos.
  3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
  4. Haz clic en Guardar.
  5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Optimiza el rendimiento

Optimiza la configuración del complemento

Usa las siguientes propiedades para obtener un rendimiento óptimo cuando ejecutes la canalización:

  • Number of Splits to Generate en las propiedades del complemento de Cloud Data Fusion: Controla directamente el paralelismo en el lado de Cloud Data Fusion. El motor de ejecución crea la cantidad especificada de particiones y conexiones SAP mientras extrae los registros de la tabla. Se recomiendan valores entre 8 y 16, pero puedes aumentarlos hasta 32 o 64 con la configuración adecuada del lado de SAP, asignando recursos de memoria apropiados para los procesos de trabajo en SAP.

    Si el valor es 0 o se deja en blanco (recomendado), el sistema elige automáticamente un valor adecuado en función de la cantidad de procesos de trabajo de SAP disponibles, los registros que se extraerán y el tamaño del paquete.

  • Package Size en las propiedades de BW Data Transfer Process: Controla la cantidad de registros de datos presentes en un paquete de datos individual. El valor predeterminado es 50,000. Aumentar este valor podría generar un mejor rendimiento, pero también una mayor carga de recursos. Si ya usas valores más altos, disminúyelos para permitir una mejor paralelización de la extracción.

Configuración de recursos de Cloud Data Fusion

Recomendado: Usa 1 CPU y 4 GB de memoria por ejecutor. Este valor se aplica a cada proceso del ejecutor. Establece estos valores en el diálogo Configurar > Recursos.

Configuración del clúster de Managed Service para Apache Spark

Recomendado: Como mínimo, asigna una cantidad total de CPU entre los trabajadores que sea mayor que la cantidad prevista de divisiones. Consulta Configuración del complemento.

Por ejemplo, si tienes 16 divisiones, define 20 o más CPUs en total en todos los trabajadores. Hay una sobrecarga de 4 CPU que se usan para la coordinación.

Recomendado: Usa un clúster persistente de Managed Service para Apache Spark para reducir el tiempo de ejecución de la canalización de datos. Esto elimina el paso de aprovisionamiento, que puede tardar unos minutos o más. Establece este valor en la sección de configuración de Compute Engine.

Detalles de asistencia

Productos y versiones de SAP compatibles

Fuentes admitidas:

  • SAP NW BW 7.5 y versiones posteriores
  • SAP BW4HANA 2.0 SP9 (para incluir la API de Open Hub Destination; las versiones anteriores de BW4HANA no admiten la API de Open Hub Destination)

Compatibilidad con la conexión SAP con balanceo de cargas (servidor de mensajes)

Se admite la conexión con balanceo de cargas de SAP (servidor de mensajes) para la extracción basada en el destino de Open Hub, en la que no se usa un servidor RFC.

La conexión SAP con balanceo de cargas (servidor de mensajes) no se admite para la extracción basada en cadenas de procesos. El motivo es una limitación de SAP cuando se proporciona la notificación data ready al sistema cliente, lo que requiere registrar el servidor RFC (receptor de complementos) en cada servidor de SAP en el entorno de BW, lo que aumenta la huella del conector y puede afectar el rendimiento y el uso de recursos de SAP. Para obtener más información, consulta la Nota de SAP 2572564 (se requiere acceso de asistencia de SAP para verla).

Modelos de implementación de SAP compatibles

El complemento se prueba con servidores SAP implementados en Google Cloud.

Objetos de SAP compatibles

Fuentes de datos para el destino de Open Hub: InfoProviders (InfoObject, InfoCube, DataStore Object, Advanced DataStore Object, Composite Provider)

Cadenas de procesos para ejecutar automáticamente el proceso de transferencia de datos en el destino de Open Hub

Licencia independiente para usar Oracle HTTP Server y extraer datos de SAP

No necesitas una licencia independiente para usar Oracle HTTP Server (OHS) y extraer datos de SAP. Sin embargo, consulta con tu representante de SAP sobre tu acuerdo y caso de uso específicos.

Capacidad de procesamiento esperada del complemento

Para un entorno configurado de acuerdo con los lineamientos de Optimiza el rendimiento, el complemento puede extraer alrededor de 38 GB por hora. El rendimiento real puede variar según la carga del sistema SAP y Cloud Data Fusion, o el tráfico de red.

¿Qué sigue?