Fuente de lotes de SAP OData

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento de SAP OData.

Puedes usar SAP como fuente para la extracción de datos por lotes en Cloud Data Fusion con el protocolo de datos abiertos (OData). El complemento de SAP OData te ayuda a configurar y ejecutar transferencias de datos desde SAP OData Catalog Services sin ninguna codificación.

Para obtener más información sobre los servicios y las fuentes de datos del catálogo de OData de SAP compatibles, consulta los detalles de asistencia. Para obtener más información sobre SAP enGoogle Cloud, consulta la descripción general de SAP en Google Cloud.

Objetivos

• Configura el sistema SAP ERP (activa DataSources en SAP).
• Implementa el complemento en tu entorno de Cloud Data Fusion.
• Descarga el transporte de SAP desde Cloud Data Fusion y, luego, instálalo en SAP.

• Usa Cloud Data Fusion y SAP OData para crear canalizaciones de datos que permitan integrar datos de SAP.

Antes de comenzar

Para usar este complemento, necesitarás conocimientos de dominio en las siguientes áreas:

• Compila canalizaciones en Cloud Data Fusion
• Administración de acceso con IAM
• Configuración de sistemas de planificación de recursos empresariales (ERP) locales y en la nube de SAP

Funciones de usuario

Las tareas de esta página las realizan personas con los siguientes roles en Google Cloud o en su sistema SAP:

Tipo de usuario	Descripción
Administrador de Google Cloud	Los usuarios con este rol son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion	Los usuarios a los que se les asignó este rol están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, el rol de Visualizador de Data Fusion ( roles/datafusion.viewer). Si usas el control de acceso basado en roles, es posible que necesites roles adicionales.
Administrador de SAP	Los usuarios con este rol son administradores del sistema SAP. Tiene acceso para descargar software desde el sitio del servicio de SAP. No es un rol de IAM.
Usuario de SAP	Los usuarios con este rol están autorizados a conectarse a un sistema SAP. No es un rol de IAM.

Requisitos previos para la extracción de OData

1. El servicio de catálogo de OData debe estar activado en el sistema SAP.

2. Los datos deben completarse en el servicio de OData.

Requisitos previos para tu sistema SAP

• En SAP NetWeaver 7.02 a SAP NetWeaver 7.31, las funcionalidades de OData y SAP Gateway se entregan con los siguientes componentes de software de SAP:

  • IW_FND
  • GW_CORE
  • IW_BEP

• En la versión 7.40 y posteriores de SAP NetWeaver, todas las funcionalidades están disponibles en el componente SAP_GWFND, que debe estar disponible en SAP NetWeaver.

Opcional: Instala archivos de transporte de SAP

Los componentes de SAP necesarios para las llamadas de balanceo de cargas a SAP se entregan como archivos de transporte de SAP archivados como un archivo ZIP (una solicitud de transporte, que consta de un archivo de datos y un archivo de co). Puedes usar este paso para limitar varias llamadas paralelas a SAP, según los procesos de trabajo disponibles en SAP.

La descarga del archivo ZIP está disponible cuando implementas el complemento en el Centro de Cloud Data Fusion.

Cuando importas los archivos de transporte a SAP, se crean los siguientes proyectos de SAP OData:

• Proyectos de OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Nodo de servicio de ICF: GOOG

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

1. Accede al sistema operativo de la instancia de SAP.
2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
4. Copia los archivos de datos a la carpeta DIR_TRANS/data.
5. Establece el usuario y el grupo de datos y el archivo compartido en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con una de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP

1. Accede al sistema SAP como administrador de SAP.
2. Ingresa el STMS de la transacción.
3. Haz clic en Resumen > Importaciones.
4. En la columna Queue, haz doble clic en el SID actual.
5. Haz clic en Adicionales > Otras solicitudes > Agregar.
6. Selecciona el ID de la solicitud de transporte y haz clic en Continuar.
7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
8. Ingresa el número de cliente.

9. En la pestaña Opciones, selecciona Reemplazar originales y Ignorar versión de componente no válida (si está disponible).

   (Opcional) Para programar una nueva importación de los transportes más adelante, selecciona Dejar las solicitudes de transporte en la cola para una importación posterior y Volver a importar solicitudes de transporte. Esto es útil para las actualizaciones del sistema SAP y los restablecimientos de copias de seguridad.

10. Haga clic en Continuar.

11. Para verificar la importación, usa cualquier transacción, como SE80 y SU01.

Opción 2: Importa los archivos de solicitud de transporte a nivel del sistema operativo

1. Accede al sistema SAP como administrador del sistema SAP.

2. Ejecuta el siguiente comando para agregar las solicitudes adecuadas al búfer de importación:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por ejemplo: tp addtobuffer IB1K903958 DD1.

3. Ejecuta el siguiente comando para importar las solicitudes de transporte:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Reemplaza NNN por el número de cliente. Por ejemplo: tp import IB1K903958 DD1 client=800 U1238

   Nota: U1238 indica que debes configurar las opciones que se describen en los pasos 9 y 10 de la Opción 1. Los números indican el número de orden de opción correspondiente en la GUI de SAP, que puede variar según el sistema. Tu administrador de SAP debe ajustar las cifras.

4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y SU01.

Obtén una lista de las columnas filtrables para un servicio de catálogo de SAP

Solo se pueden usar algunas columnas de DataSource para las condiciones de filtro (esta es una limitación de SAP por diseño).

Para obtener una lista de las columnas que se pueden filtrar para un servicio de catálogo de SAP, sigue estos pasos:

1. Accede al sistema SAP.
2. Ve al código de transacción SEGW.

3. Ingresa el nombre del proyecto de OData, que es una subcadena del nombre del servicio. Por ejemplo:

   • Nombre del servicio: MM_PUR_POITEMS_MONI_SRV
   • Nombre del proyecto: MM_PUR_POITEMS_MONI

4. Haz clic en Ingresar.

5. Ve a la entidad que deseas filtrar y selecciona Propiedades.

   Puedes usar los campos que se muestran en Propiedades como filtros. Las operaciones admitidas son Equal y Between (rango).

   

Para obtener una lista de los operadores admitidos en el lenguaje de expresiones, consulta la documentación de código abierto de OData: URI Conventions (OData Version 2.0).

Ejemplo de URI con filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configura el sistema SAP ERP

El administrador de SAP realiza las tareas de esta sección.

El complemento de SAP OData usa un servicio de OData que se activa en cada servidor de SAP desde el que se extraen los datos. Este servicio de OData puede ser un servicio estándar proporcionado por SAP o un servicio de OData personalizado desarrollado en tu sistema SAP.

Paso 1: Instala SAP Gateway 2.0

El administrador de SAP (Basis) debe verificar que los componentes de SAP Gateway 2.0 estén disponibles en el sistema fuente de SAP, según la versión de NetWeaver. Para obtener más información sobre la instalación de SAP Gateway 2.0, accede a SAP ONE Support Launchpad y consulta la nota 1569624 (se requiere acceso) .

Paso 2: Activa el servicio de OData

Activa el servicio OData requerido en el sistema de origen. Para obtener más información, consulta Servidor de frontend: Activa los servicios de OData.

Paso 3: Crea un rol de autorización

Para conectarte a la fuente de datos, crea un rol de autorización con las autorizaciones necesarias en SAP y, luego, otórgale acceso al usuario de SAP.

Para crear el rol de autorización en SAP, sigue estos pasos:

1. En la GUI de SAP, ingresa el código de transacción PFCG para abrir la ventana Mantenimiento de roles.

2. En el campo Rol, ingresa un nombre para el rol.

   Por ejemplo: ZODATA_AUTH.

3. Haz clic en Rol único.

   Se abre la ventana Crear roles.

4. En el campo Descripción, ingresa una descripción y haz clic en Guardar.

   Por ejemplo: Authorizations for SAP OData plugin.

5. Haz clic en la pestaña Autorizaciones. El título de la ventana cambiará a Change Roles.

6. En Edit Authorization Data and Generate Profiles, haz clic en Change Authorization Data.

   Se abrirá la ventana Elegir plantilla.

7. Haz clic en No seleccionar plantillas.

   Se abrirá la ventana Cambiar rol: autorizaciones.

8. Haz clic en Manualmente.

9. Proporciona las autorizaciones que se muestran en la siguiente tabla de autorizaciones de SAP.

10. Haz clic en Guardar.

11. Para activar el rol de autorización, haz clic en el ícono Generar.

Autorizaciones de SAP

Clase de objeto	Texto de la clase de objeto	Objeto de autorización	Texto del objeto de autorización	Autorización	Texto	Valor
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificación al inicio de los servicios externos	SRV_NAME	Nombre del programa, la transacción o el módulo de funciones	*
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificación al inicio de los servicios externos	SRV_TYPE	Tipo de marca de verificación y valores predeterminados de autorización	HT
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	ACTVT	Actividad	03
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	HRYTYPE	Tipo de jerarquía	*
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	HRYID	ID de jerarquía	*

Para diseñar y ejecutar una canalización de datos en Cloud Data Fusion (como usuario de Cloud Data Fusion), necesitas credenciales de usuario de SAP (nombre de usuario y contraseña) para configurar el complemento y conectarte a DataSource.

El usuario de SAP debe ser de los tipos Communications o Dialog. Para evitar el uso de recursos de diálogo de SAP, se recomienda el tipo Communications. Los usuarios se pueden crear con el código de transacción SU01 de SAP.

Opcional: Paso 4: Protege la conexión

Puedes proteger la comunicación a través de la red entre tu instancia privada de Cloud Data Fusion y SAP.

Nota: Para esta tarea, se requiere un certificado X.509.

Para proteger la conexión, sigue estos pasos:

1. El administrador de SAP debe generar un certificado X509. Para generar el certificado, consulta Cómo crear un PSE de servidor SSL.
2. El administrador de Google Cloud debe copiar el archivo X509 en un bucket de Cloud Storage legible en el mismo proyecto que la instancia de Cloud Data Fusion y proporcionar la ruta de acceso al bucket al usuario de Cloud Data Fusion, quien la ingresa cuando configura el complemento.
3. El administrador Google Cloud debe otorgar acceso de lectura al archivo X509 para el usuario de Cloud Data Fusion que diseña y ejecuta canalizaciones.

Opcional: Paso 5: Crea servicios de OData personalizados

Puedes personalizar la forma en que se extraen los datos creando servicios OData personalizados en SAP:

• Para crear servicios OData personalizados, consulta Creación de servicios OData para principiantes.
• Para crear servicios OData personalizados con vistas de servicios de datos centrales (CDS), consulta Cómo crear un servicio OData y exponer vistas de CDS como un servicio OData.
• Cualquier servicio de OData personalizado debe admitir consultas $top, $skip y $count. Estas consultas permiten que el complemento particione los datos para la extracción secuencial y paralela. Si se usa, también se deben admitir las búsquedas $filter, $expand o $select.

Configura Cloud Data Fusion

El usuario de Cloud Data Fusion realiza las tareas de esta sección.

Asegúrate de que la comunicación esté habilitada entre la instancia de Cloud Data Fusion y el servidor de SAP. En el caso de las instancias privadas, configura el intercambio de tráfico entre redes. Después de establecer el intercambio de tráfico de red con el proyecto en el que se alojan los sistemas SAP, no se requiere ninguna configuración adicional para conectarse a tu instancia de Cloud Data Fusion. Tanto el sistema SAP como la instancia de Cloud Data Fusion deben estar dentro del mismo proyecto.

Paso 1: Configura tu entorno de Cloud Data Fusion

Para configurar tu entorno de Cloud Data Fusion para el complemento, haz lo siguiente:

1. Ve a los detalles de la instancia:

   1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

   2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

2. Verifica que la instancia se haya actualizado a la versión 6.4.0 o una posterior. Si la instancia está en una versión anterior, debes actualizarla.

3. Haz clic en Ver instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Hub.

4. Selecciona la pestaña SAP > SAP OData.

   Si no se ve la pestaña de SAP, consulta Solución de problemas de las integraciones de SAP.

5. Haz clic en Implementar complemento de SAP OData.

   El complemento ahora aparece en el menú Fuente de la página de Studio.

   

Paso 2: Configura el complemento

El complemento de SAP OData lee el contenido de una DataSource de SAP.

Para filtrar los registros, puedes configurar las siguientes propiedades en la página SAP OData Properties.

Nombre de la propiedad	Descripción
Básica
Nombre de referencia	Nombre que se usa para identificar de forma única esta fuente para el linaje o anotar los metadatos.
URL base de SAP OData	URL base de OData de SAP Gateway (usa la ruta de URL completa, similar a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versión de OData	Versión de SAP OData compatible.
Nombre del servicio	Nombre del servicio de SAP OData desde el que deseas extraer una entidad.
Nombre de la entidad	Nombre de la entidad que se extrae, como Results. Puedes usar un prefijo, como C_PurchaseOrderItemMoni/Results. Este campo admite parámetros de categoría y entidad. Ejemplos: Un parámetro para la categoría: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Un parámetro para la entidad: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Un parámetro para la categoría y la entidad: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Credenciales^*
Tipo de SAP	Básica (a través de nombre de usuario y contraseña)
Nombre de usuario de inicio de sesión de SAP	Nombre de usuario de SAP Recomendación: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.
Contraseña de inicio de sesión de SAP	Contraseña de usuario de SAP Recomendación: Usa macros seguras para valores sensibles, como contraseñas.
Certificado de cliente X.509 de SAP (consulta Cómo usar certificados de cliente X.509 en el servidor de aplicaciones de SAP NetWeaver para ABAP).
ID del proyecto de GCP	Es un identificador único a nivel global para tu proyecto. Este campo es obligatorio si el campo Ruta de Cloud Storage del certificado X.509 no contiene un valor de macro.
Ruta de acceso de GCS	Es la ruta del bucket de Cloud Storage que contiene el certificado X.509 cargado por el usuario, que corresponde al servidor de aplicaciones de SAP para llamadas seguras según tus requisitos (consulta el paso Protege la conexión).
Frase de contraseña	Es la contraseña correspondiente al certificado X.509 proporcionado.
Botón Obtener esquema	Genera un esquema basado en los metadatos de SAP, con asignación automática de tipos de datos de SAP a tipos de datos de Cloud Data Fusion correspondientes (la misma funcionalidad que el botón Validar).
Aspectos avanzados
Opciones de filtro	Indica el valor que debe tener un campo para que se pueda leer. Usa esta condición de filtro para restringir el volumen de datos de salida. Por ejemplo, `Price Gt 200` selecciona los registros con un valor del campo "Price" mayor que "200". (Consulta Cómo obtener una lista de columnas filtrables para un servicio de catálogo de SAP).
Seleccionar campos	Son los campos que se conservarán en los datos extraídos (por ejemplo, categoría, precio, nombre, proveedor o dirección).
Expandir campos	Lista de campos complejos que se expandirán en los datos de salida extraídos (por ejemplo, Products/Suppliers).
Cantidad de filas que se omitirán	Cantidad total de filas que se omitirán (por ejemplo, 10).
Cantidad de filas para recuperar	Es la cantidad total de filas que se extraerán.
Cantidad de divisiones que se generarán	Es la cantidad de divisiones que se usan para particionar los datos de entrada. Más particiones aumentan el nivel de paralelismo, pero requieren más recursos y sobrecarga. Si se deja en blanco, el complemento elige un valor óptimo (recomendado).
Tamaño del lote	Es la cantidad de filas que se recuperarán en cada llamada de red a SAP. Un tamaño pequeño provoca llamadas frecuentes de red que repiten la sobrecarga asociada. Un tamaño grande podría ralentizar la recuperación de datos y provocar un uso excesivo de recursos en SAP. Si el valor se establece en 0, el valor predeterminado es 2500 y el límite de filas que se recuperarán en cada lote es 5000.
Tiempo de espera de lectura	Tiempo, en segundos, que se debe esperar para el servicio OData de SAP. El valor predeterminado es 300. Si no quieres establecer un límite de tiempo, configura el valor en 0.

^* Las macros son compatibles con las propiedades de las credenciales. Puedes usarlas para administrar de forma centralizada tus conexiones de SAP. Por ejemplo, puedes establecer valores en el tiempo de ejecución con parámetros de tiempo de ejecución o un complemento Argument Setter.

Tipos de OData admitidos

En la siguiente tabla, se muestra la asignación entre los tipos de datos de OData v2 que se usan en las aplicaciones de SAP y los tipos de datos de Cloud Data Fusion.

Tipo de OData	Descripción (SAP)	Tipo de datos de Cloud Data Fusion
Numérico
SByte	Valor entero de 8 bits con signo	int
Byte	Valor entero de 8 bits sin signo	int
Int16	Valor entero de 16 bits con signo	int
Int32	Valor de número entero de 32 bits con signo	int
Int64	Valor de número entero de 64 bits con signo anexado con el carácter "L" Ejemplos: 64L, -352L	long
Único	Número de punto flotante con una precisión de 7 dígitos que puede representar valores con un rango aproximado de ± 1.18e-38 a ± 3.40e+38, con el carácter "f" agregado al final Ejemplo: 2.0f	float
Doble	Número de punto flotante con una precisión de 15 dígitos que puede representar valores con rangos aproximados de ± 2.23e-308 a ± 1.79e+308, con el carácter "d" agregado al final Ejemplos: 1E+10d, 2.029d, 2.0d	double
Decimal	Valores numéricos con precisión y escala fijas que describen un valor numérico que va de -10^255 + 1 a 10^255 - 1, con el carácter "M" o "m" agregado al final Ejemplo: 2.345M	decimal
Regla
Guid	Es un valor de identificador único de 16 bytes (128 bits) que comienza con el carácter "guid". Ejemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	Datos de caracteres de longitud fija o variable codificados en UTF-8	string
Byte
Objeto binario	Datos binarios de longitud fija o variable, que comienzan con "X" o "binary" (ambos distinguen mayúsculas de minúsculas) Ejemplo: X'23AB', binary'23ABFF'	bytes
Lógicos
Booleano	Concepto matemático de la lógica de valores binarios	boolean
Fecha/hora
Fecha/hora	Fecha y hora con valores que van desde las 12:00:00 a.m. del 1 de enero de 1753 hasta las 11:59:59 p.m. del 31 de diciembre de 9999	timestamp
Hora	Hora del día con valores que van de 0:00:00.x a 23:59:59.y, donde "x" e "y" dependen de la precisión	time
DateTimeOffset	Fecha y hora como un desplazamiento, en minutos desde GMT, con valores que van desde las 12:00:00 a.m. del 1 de enero de 1753 hasta las 11:59:59 p.m. del 31 de diciembre de 9999	timestamp
Complejo
Propiedades de navegación y no navegación (multiplicidad = *)	Colecciones de un tipo, con una multiplicidad de uno a varios.	array, string, int.
Propiedades (multiplicidad = 0.1)	Referencias a otros tipos complejos con una multiplicidad de uno a uno	record

Validación

Haz clic en Validate en la parte superior derecha o en Get Schema.

El complemento valida las propiedades y genera un esquema basado en los metadatos de SAP. Asigna automáticamente los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion.

Ejecuta una canalización de datos

1. Después de implementar la canalización, haz clic en Configurar, en el panel superior central.
2. Selecciona Recursos.
3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
4. Haz clic en Guardar.
5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Rendimiento

El complemento usa las capacidades de paralelización de Cloud Data Fusion. Los siguientes lineamientos pueden ayudarte a configurar el entorno de ejecución para que proporciones suficientes recursos al motor de ejecución y alcances el grado de paralelismo y rendimiento deseados.

Nota: En el entorno de ejecución, el complemento lee la cantidad de procesos de trabajo de SAP disponibles y la memoria asignada por proceso de trabajo de SAP para ajustar automáticamente la cantidad de divisiones y el tamaño del lote si no especificaste estos valores.

Optimiza la configuración del complemento

Recomendación: A menos que conozcas la configuración de memoria de tu sistema SAP, deja en blanco (sin especificar) la Cantidad de divisiones que se generarán y el Tamaño del lote.

Para obtener un mejor rendimiento cuando ejecutes tu canalización, usa los siguientes parámetros de configuración:

• Cantidad de divisiones que se generarán: Se recomiendan valores entre 8 y 16. Sin embargo, pueden aumentar a 32 o incluso a 64 con las configuraciones adecuadas del lado de SAP (asignando recursos de memoria apropiados para los procesos de trabajo en SAP). Esta configuración mejora el paralelismo del lado de Cloud Data Fusion. El motor de ejecución crea la cantidad especificada de particiones (y conexiones SAP) mientras extrae los registros.

  • Si el servicio de configuración (que se incluye con el complemento cuando importas el archivo de transporte de SAP) está disponible, el complemento se establece de forma predeterminada en la configuración del sistema SAP. Las divisiones representan el 50% de los procesos de trabajo de diálogo disponibles en SAP. Nota: El servicio de configuración solo se puede importar desde sistemas S4HANA.

  • Si el servicio de configuración no está disponible, la configuración predeterminada es 7 divisiones.

  • En cualquier caso, si especificas un valor diferente, el valor que proporciones prevalecerá sobre el valor de división predeterminado,excepto que estará limitado por los procesos de diálogo disponibles en SAP, menos dos divisiones.

  • Si la cantidad de registros que se extraerán es menor que 2500, la cantidad de divisiones será 1.

• Tamaño del lote: Es el recuento de registros que se recuperarán en cada llamada de red a SAP. Un tamaño de lote más pequeño provoca llamadas frecuentes de red que repiten la sobrecarga asociada. De forma predeterminada, el recuento mínimo es 1000 y el máximo es 50000.

Para obtener más información, consulta Límites de entidades de OData.

Configuración de recursos de Cloud Data Fusion

Recomendación: Usa 1 CPU y 4 GB de memoria por ejecutor (este valor se aplica a cada proceso del ejecutor). Establece estos parámetros en el diálogo Configurar >Recursos.

Configuración del clúster de Managed Service para Apache Spark

Recomendación: Como mínimo, asigna una cantidad total de CPUs (entre los trabajadores) mayor que la cantidad prevista de divisiones (consulta Configuración del complemento).

Cada trabajador debe tener 6.5 GB o más de memoria asignada por CPU en la configuración del servicio administrado de Apache Spark (esto se traduce en 4 GB o más disponibles por ejecutor de Cloud Data Fusion). Los demás parámetros de configuración pueden mantenerse en los valores predeterminados.

Recomendación: Usa un clúster persistente de Managed Service para Apache Spark para reducir el tiempo de ejecución de la canalización de datos (esto elimina el paso de aprovisionamiento, que puede tardar unos minutos o más). Establece este valor en la sección de configuración de Compute Engine.

Configuraciones de ejemplo y rendimiento

En las siguientes secciones, se describen ejemplos de configuraciones de desarrollo y producción, y de rendimiento.

Configuraciones de muestra para desarrollo y pruebas

• Clúster de Managed Service para Apache Spark con 8 trabajadores, cada uno con 4 CPU y 26 GB de memoria. Genera hasta 28 divisiones.
• Clúster de Managed Service para Apache Spark con 2 procesadores, cada uno con 8 CPU y 52 GB de memoria. Genera hasta 12 divisiones.

Ejemplo de configuraciones de producción y rendimiento

• Clúster de Managed Service para Apache Spark con 8 trabajadores, cada uno con 8 CPU y 32 GB de memoria. Genera hasta 32 divisiones (la mitad de las CPUs disponibles).
• Clúster de Managed Service para Apache Spark con 16 procesadores, cada uno con 8 CPU y 32 GB de memoria. Genera hasta 64 divisiones (la mitad de las CPUs disponibles).

Ejemplo de rendimiento para un sistema de origen de producción de SAP S4HANA 1909

En la siguiente tabla, se muestra una muestra de la capacidad de procesamiento. La capacidad de procesamiento que se muestra no incluye opciones de filtro, a menos que se especifique lo contrario. Cuando se usan opciones de filtro, se reduce la capacidad de procesamiento.

Tamaño del lote	Divisiones	Servicio de OData	Total de filas	Filas extraídas	Capacidad de procesamiento (filas por segundo)
1000	4	ZACDOCA_CDS	5.37 M	5.37 M	1069
2,500	10	ZACDOCA_CDS	5.37 M	5.37 M	3384
5000	8	ZACDOCA_CDS	5.37 M	5.37 M	4630
5000	9	ZACDOCA_CDS	5.37 M	5.37 M	4817

Ejemplo de capacidad de procesamiento para un sistema de origen de producción de SAP S/4HANA Cloud

Tamaño del lote	Divisiones	Servicio de OData	Total de filas	Filas extraídas	Capacidad de procesamiento (GB/h)
2,500	40	TEST_04_UOM_ODATA_CDS/	201 M	10 M	25.48
5000	50	TEST_04_UOM_ODATA_CDS/	201 M	10 M	26.78

Detalles de asistencia

El complemento admite los siguientes casos de uso.

Productos y versiones de SAP compatibles

• Las fuentes compatibles incluyen SAP S4/HANA 1909 y versiones posteriores, S4/HANA en la nube de SAP y cualquier aplicación de SAP capaz de exponer servicios de OData.

• El archivo de transporte que contiene el servicio OData personalizado para balancear las llamadas a SAP se debe importar en S4/HANA 1909 y versiones posteriores. El servicio ayuda a calcular la cantidad de divisiones (particiones de datos) que el complemento puede leer en paralelo (consulta cantidad de divisiones).

• Se admite OData versión 2.

• El complemento se probó con servidores de SAP S/4HANA implementados en Google Cloud.

Se admiten los servicios de catálogo de SAP OData para la extracción

El complemento admite los siguientes tipos de DataSource:

• Datos de transacciones
• Vistas de CDS expuestas a través de OData

• Datos maestros

  • Atributos
  • Textos
  • Jerarquías

Nota: No se admiten las APIs de OData operativas para la extracción (por ejemplo, interfaces para la creación de pedidos de compra o pedidos de venta).

Notas de SAP

No se requieren notas de SAP antes de la extracción, pero el sistema SAP debe tener disponible SAP Gateway. Para obtener más información, consulta la nota 1560585 (este sitio externo requiere un acceso de SAP).

Límites en el volumen de datos o el ancho del registro

No hay un límite definido para la cantidad de datos que se extraen. Realizamos pruebas con hasta 6 millones de filas extraídas en una sola llamada, con un ancho de registro de 1 KB. En el caso de SAP S4/HANA en la nube, realizamos pruebas con hasta 10 millones de filas extraídas en una sola llamada, con un ancho de registro de 1 KB.

Capacidad de procesamiento esperada del complemento

Para un entorno configurado de acuerdo con los lineamientos de la sección Rendimiento, el complemento puede extraer alrededor de 38 GB por hora. El rendimiento real puede variar según las cargas del sistema SAP y Cloud Data Fusion, o el tráfico de red.

Extracción de datos delta (datos modificados)

No se admite la extracción de delta.

Situaciones de error

En el tiempo de ejecución, el complemento escribe entradas de registro en el registro de la canalización de datos de Cloud Data Fusion. Estas entradas tienen el prefijo CDF_SAP para su identificación.

Nota: Haz clic en Registros avanzados para ver todos los mensajes registrados en Cloud Data Fusion.

En el momento del diseño, cuando validas la configuración del complemento, los mensajes se muestran en la pestaña Propiedades y se destacan en rojo.

En la siguiente lista, se describen algunos de los errores:

ID de mensaje	Mensaje	Acción recomendada
Ninguno	Required property 'CONNECTION_PROPERTY' for connection type 'CONNECTION_PROPERTY_SETTING'.	Ingresa un valor real o una variable de macro.
Ninguno	Invalid value for property 'PROPERTY_NAME'.	Ingresa un número entero no negativo (0 o más, sin decimal) o una variable de macro.
CDF_SAP_ODATA_01505	Failed to prepare the Cloud Data Fusion output schema. Please check the provided runtime macros value.	Asegúrate de que los valores de las macros proporcionados sean correctos.
N/A	SAP X509 certificated 'STORAGE_PATH' is missing. Please make sure the required X509 certificate is uploaded to your specified Cloud Storage bucket 'BUCKET_NAME'.	Asegúrate de que la ruta de Cloud Storage proporcionada sea correcta.
CDF_SAP_ODATA_01532	Código de error genérico relacionado con problemas de conectividad de SAP OData Failed to call given SAP OData service. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01534	Código de error genérico relacionado con cualquier error del servicio de SAP OData. Service validation failed. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01503	Failed to fetch total available record count from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01506	No records found to extract in SAP_ODATA_SERVICE_ENTITY_NAME. Please ensure that the provided entity contains records.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01537	Failed to process records for SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01536	Failed to pull records from SAP_ODATA_SERVICE_ENTITY_NAME. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01504	Failed to generate the encoded metadata string for the given OData service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.
CDF_SAP_ODATA_01533	Failed to decode the metadata from the given encoded metadata string for service SAP_ODATA_SERVICE_NAME. Root Cause: MESSAGE.	Verifica la causa raíz que se muestra en el mensaje y toma las medidas correspondientes.

¿Qué sigue?

• Obtén más información sobre Cloud Data Fusion.
• Obtén más información sobre SAP en Google Cloud.