Plataforma de Integración de Datos en La Nube para aplicaciones SaaS

Hoy todos y cada uno que ya contamos al menos con un dispositivo inteligente, generamos enormes cantidades de datos en aplicaciones Software como un Servicio (SaaS por sus siglas en inglés) que son fundamentales para las decisiones comerciales, como reducir el gasto en compras o maximizar la utilización de la fuerza de trabajo.

Con la mayoría de los clientes que usan múltiples aplicaciones SaaS, muchas de estas decisiones se toman en motores analíticos fuera de la solución SaaS, o necesitan datos externos para ser llevados a SaaS para tomar decisiones dentro de ellos. En esta entrada examinaremos las necesidades comunes de movimiento y replicación de datos en el ecosistema SaaS, y cómo la Plataforma de Integración de Datos (DIPC por sus siglas en inglés) de Oracle permite el acceso a datos de SaaS y ayuda con la toma de decisiones.

Desafíos de integración de datos para SaaS

A medida que las aplicaciones se trasladaron de las instalaciones a SaaS, a la vez que proporcionaron una serie de beneficios, se modificó una serie de supuestos y arquitecturas preexistentes. Examinemos aquí algunos cambios en el panorama empresarial, que de ningún modo son exhaustivos.

En primer lugar, las aplicaciones locales proporcionan en la mayoría de los casos acceso a aplicaciones a nivel de base de datos, generalmente de solo lectura. Esto no ha cambiado con casi todos los proveedor de SaaS que proporcionan acceso a la base de datos. Los clientes ahora trabajan con REpresentational State Transfer (REST) APIs (o versiones anteriores de Simple Object Access Protocol APIs) para extraer y cargar datos masivos. Si bien las Application Programming Interfaces (APIs) tienen muchas ventajas, incluida la eliminación de la dependencia en el esquema de la aplicación, no concuerdan con las consultas Structured Query Language (SQL) y tienen limitaciones de aceleración de datos preestablecidas definidas por el proveedor de la solución SaaS.

En segundo lugar, la mayoría de los clientes tienen múltiples aplicaciones SaaS, lo que hace imperativo fusionar datos de diferentes soluciones para cualquier análisis significativo; Ventas con producto, leads con contactos; Pedidos con inventario y la lista continúa. Si bien cada una de las aplicaciones de SaaS proporciona alguna capacidad analítica, la mayoría de los clientes preferiría las mejores herramientas modernas y arquitecturas abiertas para sus datos para el procesamiento analítico. Esto podría ser desde las bases de datos relacionales tradicionales con Business Intelligence hasta los modernos Data Lakes con motores Spark.

En tercer lugar, la mayoría de los clientes empresariales tiene una aplicación o una plataforma analítica que entrega informes "in situ", lo que requiere el movimiento de datos entre la nube y las instalaciones; es decir, una implementación de nube híbrida.

En cuarto lugar, las fuentes de datos semiestructuradas y no estructuradas, se utilizan cada vez más en la toma de decisiones. Correos electrónicos, entradas de Twitter, publicaciones de Facebook e Instagram, archivos de registro y datos de dispositivos proporcionan un contexto para los datos transaccionales en los sistemas relacionales.

Finalmente, las líneas de tiempo para la toma de decisiones se reducen con la necesidad de un análisis de datos en tiempo real, la mayoría de las veces. Si bien la mayoría de las aplicaciones SaaS brindan arquitecturas por lotes y REST API, tienen dificultades para proporcionar una capacidad de transmisión robusta para el análisis en tiempo real. Los clientes necesitan aplicaciones SaaS para ser parte de las arquitecturas de estilo Kappa y Lambda.

Echemos un vistazo a cómo Oracle Data Integration Platform Cloud aborda estos problemas.

Mitigación de los desafíos de integración de datos de SaaS con DIPC

Data Integration Platform Cloud (DIPC) es una plataforma basada en La Nube para la transformación, integración, replicación y administración de los datos. DIPC proporciona integración de datos en tiempo real y por lotes entre entornos en la nube dentro de las instalaciones, reuniendo los mejores productos de integración de datos Oracle GoldenGate, Oracle Data Integrator y Oracle Enterprise Data Quality dentro de una única plataforma en La Nube. Puede encontrar más información sobre DIPC haciendo "click" aquí.

Para las aplicaciones Oracle Fusion, como ERP Cloud, HCM Cloud y Sales Cloud, DIPC admite varios métodos de carga y extracción con conectores listos para usar. Estos incluyen BI Publisher, BI Cloud Connector y otras interfaces estándar SOAP/REST.

La elección de la interfaz depende del caso de uso específico. Por ejemplo, para extraer grandes conjuntos de datos para un área temática determinada (por ejemplo, Finanzas-> Cuentas), BI Cloud Connector (BICC) es ideal con su configuración de extracción incremental en Oracle Fusion. BICC proporciona acceso a datos de Fusion Cloud a través de Objetos de Vista Pública (PVO por sus siglas en inglés).

Estas PVO se agregan en áreas temáticas (Finanzas, HCM, CRM, etc.) y BICC se puede configurar para extraer de forma manual o mediante programación, extractos completos o incrementales. DIPC se integra con BI Cloud Connector para iniciar un extracto, descargar los archivos de datos PVO en fragmentos, descomprimirlos y desencriptarlos, extraer datos de formatos Archivos Separados por Comas (CSV por sus siglas en inglés), leer formatos de metadatos de archivos Meta Data Comma Separated Values (MDCSV) y finalmente cargarlos en cualquier destino, como Database Cloud Service o Servicio de nube de almacenamiento de datos autónomo. Para conjuntos de datos más pequeños, DIPC puede llamar a reportes existentes de BI o personalizados, cargando datos a cualquier objetivo.

Para otras aplicaciones SaaS, DIPC tiene controladores para Salesforce, Oracle Service Cloud, Oracle Sales Cloud y Oracle Marketing Cloud. Estos controladores proporcionan una interfaz Java Database Connector (JDBC) para la manipulación de datos, mientras se accede a aplicaciones SaaS a través de REST/SOAP API. Además, otras aplicaciones de SaaS que proporcionan controladores de estilo JDBC, como NetSuite, pueden convertirse en fuente y destino para el procesamiento apegado a Extract-Load-Transform (ELT) en DIPC. DIPC tiene soporte genérico REST y SOAP que permite el acceso a cualquier REST API de SaaS. Aquí puede encontrar una lista de fuentes y objetivos admitidos por DIPC.

DIPC simplifica las tareas de integración de datos utilizando las Tareas Elevadas, y los usuarios pueden esperar más asistentes y "recetas" para la carga de datos comunes de SaaS y extraer tareas en el futuro.

El Catálogo DIPC está lleno de metadatos y datos de muestra recopilados de aplicaciones SaaS. En el Catálogo DIPC, los usuarios pueden crear Conexiones a aplicaciones SaaS, para luego iniciarse un proceso de recolección completándose el Catálogo con las Entidades de Datos SaaS.

A partir de este Catálogo, los usuarios podrán crear Tareas con Entidades de Datos como Orígenes y Destinos, conectando en conjunto un flujo de datos de canalización que incluya UNIONES, FILTROS y acciones de transformación estándar.

También se pueden construir tareas elevadas para alimentar los datos de SaaS a Data Lake o Data Warehouse, como Oracle Autonomous Data Warehouse Cloud (ADWCS). Además, hay un integrador de datos de Oracle completo integrado en el interior para los clientes de Oracle Data Integrator (ODI) existentes para construir escenarios de Extracción, Carga y Transformación para la integración de datos de SaaS.

Los clientes también pueden llevar sus escenarios de ODI existentes a DIPC utilizando ODITask. ODITask es un escenario de ODI exportado de ODI e importado a DIPC para su ejecución. ODITask se puede conectar a fuentes y destinos de SaaS.

La figura anterior muestra el catálogo DIPC poblado con objetos ERP Cloud View.

La figura anterior muestra los detalles del objeto de vista de orden de trabajo en el catálogo DIPC.

Para las arquitecturas de nube híbrida, DIPC proporciona un agente remoto que incluye conectores a una gran cantidad de orígenes y destinos. Los clientes que desean mover/replicar datos de fuentes locales, pueden implementar el agente y enviar datos a DIPC en la nube para su posterior procesamiento, o viceversa, para transferir datos a las aplicaciones locales. El agente remoto también se puede implementar en una nube que no sea de Oracle para la integración con las bases de datos que se ejecutan en nubes de terceros.

Para los casos de uso en tiempo real en aplicaciones SaaS, DIPC incluye Oracle Golden Gate, el estándar de oro en la replicación de datos. Cuando sea posible, las aplicaciones SaaS pueden implementar Golden Gate para transmitir datos a bases de datos externas, Data Lakes y Kafka Clusters.

Golden Gate puede implementarse para leer directamente de la instancia de base de datos de SaaS en producción, para extraer los archivos de registro para rehacer de la base de datos, o puede ejecutarse en una copia de respaldo de la base de datos SaaS y usar el mecanismo de transmisión de registro "redo" en cascada. Este mecanismo conduce a una latencia mínima y ofrece la captura de datos modificados de tablas de transacciones SaaS específicas, a una base de datos externa o depósito de datos que proporciona datos de transacciones en tiempo real para decisiones comerciales.

Al utilizar estas funciones integrales en DIPC, vemos cómo los clientes sincronizan lotes de fin de día/fin de mes de la información de la cuenta de Salesforce en E-Business Suite. Los clientes de Fusion Applications pueden extraer de múltiples áreas temáticas de Oracle Transactional Business Intelligence (OTBI) y fusionar/combinar objetos de Ventas, Finanzas y Servicio para crear datamarts personalizados. Para el segmento de venta al menudeo o Retail, Oracle tiene clientes que usan la captura de datos modificados de Golden Gate para sincronizar los datos de la tienda con las aplicaciones Retail SaaS que residen en el corporativo, en tiempo real.

En resumen, DIPC proporciona un conjunto completo de características para que los clientes de SaaS integren datos en Almacenes de Datos, Data Lakes, bases de datos y con otras aplicaciones SaaS en tiempo real y por lotes. Puede obtener más información sobre DIPC haciendo "click" aquí.