Proyecto Sistema BI para Sector Público

El planteamiento teórico plasmado hasta este momento nos debe dar los fundamentos en los que descansará nuestro proyecto. 

El proyecto propuesto se basa en la realización de indicadores de resultados en el seguimiento y control presupuestario de Programas Sociales de la SEDESOL.

Los datos presentados son puramente ilustrativos y no pretenden dar ningún dato oficial. Como ex Empleado de esta Institución lo único que pretendo es demostrar una metodología en la cual cuento con la suficiente experiencia tanto en la parte normativa como operativa.

Las etapas las iré desglosando conforme tenga la disponibilidad de tiempo.

Objetivo

Implementar un Sistema de Inteligencia de Negocios para el seguimiento y control de los Programas Sociales de la SEDESOL, mediante la construcción de indicadores de resultados que serán consultados por diversos ejercicios fiscales en un tablero de control interactivo.

Modelo de Negocios

Se requiere conocer el proceso de operación de los Programas Sociales para poder obtener la información de calidad que nos permitirá tomar las decisiones más adecuadas. 

En razón de ello, a continuación se menciona cada una de las etapas que conforman el proceso de operación, tomando en consideración que algunas etapas ocurren de forma paralela y en donde participan diversas instancias gubernamentales.

Modelo de Negocios simplificado en la ejecución del gasto de los Programas Sociales de la Sedesol.

La Secretaría de Hacienda a inicio de año y con aprobación de la Cámara de Diputados publica en el Diario Oficial el Presupuesto de Egresos de la Federación (PEF).

En dicho documento se establecen las políticas de gastos que deberá observar la Administración Pública Federal. Dicho gasto se encuentra desglosado por Ramo Administrativo, Unidad Responsable, Programa Institucional y demás claves que permiten especificar de manera precisa el destino del gasto.

Paralelamente, la Institución a principios de año, comienza con la difusión de los Programas Sociales que atenderá; y da a conocer los mecanismos que deberán llevar a cabo los beneficiarios para poder acceder a los apoyos requeridos siempre y cuando cumplan con los requisitos establecidos en las Reglas de Operación de cada Programa Social.

Una vez que la Institución ha realizado sus actividades de difusión y promoción se reciben las solicitudes de proyectos, obras o acciones que los beneficiarios entregan directamente a la Institución, a través de alguna representación municipal o a través de alguna Organización Social debidamente reconocida.

La solicitud es capturada dentro del Sistema Integral (Sistema transaccional) y especifica la ubicación geográfica donde se llevará a cabo la Obra o Proyecto; se registra la estructura financiera que la respaldará, también las claves de Programa Social, Programa, Subprograma, Instancias participantes; así como el detalle del destino del gasto ya sea con respecto a los materiales o mano de obra que se requieran, entre otras.

Cada Programa Social se encuentra asignado a una Unidad Responsable de Programa (UARP), quién es la encargada de autorizar mediante Oficio de Autorización, parte o la totalidad de los recursos asignados en el PEF a cada Unidad Responsable (UR).

Una vez autorizada la asignación presupuestal, la Unidad Responsable (UR), podrá aprobar la solicitud del beneficiario mediante la entrega de un Oficio de Aprobación donde la Institución se compromete a entregar los recursos requeridos. 

 

En cuanto la UR cuente con la suficiencia presupuestaria dependiendo de su calendario de gasto, liberará el recurso comprometido al ejecutor, ya sea mediante una Cuenta por Liquidar Certificada (CLC), por dispersión de cheques o efectivo.

Corresponde de aquí en adelante que el ejecutor lleve a cabo la realización de la Obra o Proyecto, comprobando documentalmente los gastos en que incurrió durante el transcurso de ejecución.

 

Cabe mencionar que en el caso de las obras, la entrega de recursos se realizará dependiendo del avance físico que compruebe el ejecutor, por lo que la ministración de los recursos podrá realizarse en dos o tres exhibiciones.

 

Una vez concluido el ejercicio fiscal las Instancias participantes deberán integrar un documento en donde se consignen todas las Obras o Proyectos realizados especificando los montos aprobados, ejercidos y saldos, así como las metas programadas y las alcanzadas. 

 

Dicho documento se denomina Cierre de Ejercicio y da como concluido el ejercicio fiscal correspondiente.

Nota.- La clave para realizar cualquier Sistema Informático se basa en el conocimiento del proceso de negocio, y debe redactarse siempre con el enfoque del Cliente y de los Usuarios, ya que de lo contrario es posible que el Sistema no cumpla con las necesidades de la organización.

Etapas para la construcción del DataWareHouse (Cont.)

Modelo lógico del DataWareHouse 

Los modelos conceptuales son representaciones generales de la información y no determinan la forma en que serán representados; en esta siguiente etapa se diseñará el modelo lógico para contener la estructura del depósito de datos. Primeramente se seleccionará el tipo de modelo a utilizar, posteriormente se definirán las dimensiones, los hechos y las uniones correspondientes.

Tipo de modelo lógico del DataWareHouse

En este paso se debe elegir el tipo de esquema que se utilizará, se debe elegir el esquema más adecuado a los requerimientos y necesidades de los usuarios. Los modelos que se pueden emplear son esquemas en estrella, constelación o copo de nieve.

Tablas de dimensiones 

En este paso se definen las tablas de dimensiones que contendrá el DataWareHouse, cada perspectiva del modelo conceptual constituirá una tabla dimensión; para ello se deben realizar las siguientes actividades:

• Se debe elegir un nombre que identifique a la tabla dimensión y que represente de manera adecuada la perspectiva que representa.
• Seleccionar el campo que represente su clave principal
• Se redefinirán los nombres de los campos en caso que sus nombres no sean lo suficientemente específicos de la información que representan.

Tablas de Hechos

La tabla de hechos contiene la representación de los indicadores que se pretende analizar o estudiar; para su construcción se deben realizar las siguientes actividades:

• Se debe seleccionar un nombre para la tabla de hechos
• Se definirá su clave primaria, que se compone de la combinación de las claves primarias de cada tabla de dimensión relacionada.

Uniones 

Las uniones representan las relaciones entre las tablas de dimensión y de hechos.

Integración de Datos

Una vez construido el modelo lógico se debe realizar el poblado de las estructuras físicas en apego a las políticas y reglas definidas para tal propósito.

Carga inicial

La carga de datos en el Data WareHouse requiere llevar a cabo algunas tareas que tienen relación con la calidad de los datos, limpieza de los mismos y procesos de ETL (Extract, Transform and Load, del inglés Extracción, Transformación y Carga).

En este paso se realizan las estrategias comentadas en "Procesamiento de Datos", con el propósito de que la información que se utilice cumpla con las condiciones y restricciones de calidad establecidas.

Las herramientas de ETL representan el soporte principal para las tareas de integración de datos, la mayor cantidad de esfuerzo para la construcción y actualización recaen en éstas.
 

El motor ETL de Pentaho ejecuta los trabajos (Job) y transformaciones (Transform) creados con las herramientas de Pentaho Data Integration (PDI, también conocido como Spoon).

El motor ETL es parte de la estructura del BI, pero puede correr en diferentes servidores o aún en múltiples servidores en modo de Cluster.
Para la carga de datos se requiere que primeramente se carguen las tablas de dimensiones y al final las tablas de hechos, teniendo en cuenta siempre la correcta correspondencia entre las claves de las tablas dimensiones y de hecho.
 

Cuando se utilicen esquemas copo de nieve, si existen jerarquías se deben comenzar cargando las tablas de dimensiones del nivel más general al más detallado.

Actualización

La información de los Data WareHouse son dinámicos y los análisis deben realizarse sobre información nueva que se debe actualizar periódicamente, independientemente que el Data WareHouse contenga información histórica.

Ralph Kimball, inventor del modelo multidimensional, propuso tres diferentes estrategias para llevar a cabo las actualizaciones, también conocidas como Slowly Changing Dimensions (SCD, del inglés Dimensiones Lentamente Cambiantes), los cuales se describen a continuación:

SCD Tipo 1.- Sobrescribir 
Las columnas son pobladas con la información nueva, desechando y sin conservar los valores anteriores.
 
SCD Tipo 2.- Añadir renglón

Esta estrategia permite conservar información y preservar información histórica, extrayendo datos actualizados cuando se realizan las consultas a las tablas de dimensión. 

Para seguir la pista de los cambios realizados es necesario agregar campos adicionales, lo más común es agregar campos de tipo TimeStamp al registro de la dimensión; normalmente el campo de Valid_From (válido desde...) y Valid_To (válido hasta...). Además se pueden utilizar campos que definen el registro válido actualmente (Current_Record), llenándose con valores incrementales cada vez que existe un registro nuevo.

SCD Tipo 3.- Añadir columna 

Esta estrategia necesita, al menos una columna extra en la tabla dimensión. Cuando el valor de una columna cambia se añade una columna extra que contiene el valor anterior. Para este caso sólo es posible almacenar una versión extra.

La estrategia a utilizar dependerá del tipo de datos y la periodicidad de las actualizaciones, por lo que se recomienda analizar cuidadosamente la opción seleccionada.

Etapas para la construcción del DW

Hefesto propone una metodología para la construcción del DataWareHouse en cuatro etapas sencillas que permite en un periodo corto de tiempo entregar resultados.

La siguiente figura  muestra las etapas del proceso de construcción y al igual que las fases del proceso de BI, para un mayor entendimiento posteriormente se describirá un caso práctico de la implementación de indicadores.

Etapas para la construcción del Data WareHouse. (Dario, 2013)

Análisis de los Requerimientos

Identificar Preguntas

Dentro del ciclo de vida para el análisis y desarrollo de sistemas, una de las primeras actividades que deben desarrollarse es recopilar información acerca de las necesidades de los usuarios finales y de los directivos de la Institución.

Este conocimiento se lleva a cabo a través de métodos interactivos como son: Las entrevistas, las reuniones, encuestas mediante cuestionarios.
 

Otra forma de recopilar información es a través de métodos no intrusivos, como son: muestreo, la investigación y la observación del comportamiento, y el entorno físico. Este método debe respaldarse del método anterior, de lo contrario el resultado puede llegar a ser deficiente.
 

El conocimiento de los procesos del negocio y de los objetivos organizacionales es requerido por parte de quien realiza las preguntas, ya que éstas deben realizarse con objetividad y enfocados a obtener información vista desde diferentes perspectivas que ayude en la toma de decisiones.

Identificar Indicadores y Perspectivas

Una vez establecidas las preguntas de negocio, se deben analizar para poder obtener los indicadores claves que serán utilizados; estos indicadores deberán ser representados con valores numéricos y basados en la forma propuesta para la Matriz de Indicadores de Resultados.
 

Las organizaciones cuentan con áreas de interés para el análisis; dentro de cada una de ellas existen objetos específicos a los que se deben examinar para extraer el conocimiento requerido.

Modelo Conceptual

Un modelo conceptual es un esquema obtenido a partir de una lista descriptiva de objetos y asociaciones identificadas.
Para el caso del Data WareHouse el modelo se conforma de indicadores y perspectivas, lo que permitirá observar con claridad los alcances de las interrogantes planteadas por los usuarios.
 

El modelo debe ser claro para el implementador ya que a través de él se debe realizar la implementación física en el Data WareHouse, y debe permitir con facilidad ser explicado al usuario quién deberá aprobar si corresponde a las preguntas planteadas en la etapa de recolección de necesidades.
 

El modelo, tal como se ilustra en la figura requiere que las perspectivas se coloquen del lado izquierdo unido a través de un óvalo central que representa la relación que existe entre ellas. La relación constituye el proceso o área de estudio elegida. A la derecha se colocan los indicadores los cuales son entrelazados a la relación central.

Elementos del Modelo Conceptual, Fuente: elaboración propia

Análisis de los OLTP

Conformar Indicadores

En este paso debemos mostrar cómo se realizarán los indicadores; para nuestro proyecto debemos apegarnos a las especificaciones definidas en "Características de los Indicadores"  e indicar las operaciones que se realizarán.

Establecer correspondencias

Este paso tiene como propósito mostrar la información y las características que contienen los Sistemas OLTP para poder identificar las correspondencias entre el modelo conceptual requerido y las fuentes de datos.

Nivel de Granuralidad

Una vez establecidas las relaciones entre el modelo conceptual y las OLTP, se deben seleccionar los atributos que mostrarán las perspectivas por las que se analizarán y filtrarán los indicadores.

El análisis de la información por medio de los atributos seleccionados requiere un conocimiento de los procesos de negocio, por lo que es necesario conocer a detalle el significado de cada campo de información, esto se obtiene investigando los diccionarios de datos, entrevistando a los usuarios y a los administradores de los Sistemas.

El nivel de detalle del análisis de información se define en este paso y uno de los atributos más importantes a definir será la dimensión Tiempo.

Modelo Conceptual Ampliado

Los resultados obtenidos en los pasos anteriores son graficados, colocando las diferentes perspectivas y desglosando los atributos seleccionados por un lado; y los indicadores con sus respectivas fórmulas de cálculo por el otro; ambos lados unidos por medio de la acción de relación.

Operadores OLAP

Los modelos de datos se caracterizan en cómo se organiza la información, dicha organización se denomina estructura, y la forma en que se explota y explora la información se denominan operadores.

Los operadores OLAP son operadores de análisis, realizan las mismas consultas que se hacen mediante SQL, además cuenta con características especializadas para análisis de la información desde la perspectiva de almacenes de datos.

Las consultas realizadas en los modelos multidimensionales tienen la ventaja de realizarse de manera fácil y rápida; dichas consultas suelen ser dinámicas arrastrando simplemente con el ratón las dimensiones y las medidas. Por esa razón se dice que más que operadores son navegadores de informes.

Clasificación de los Operadores OLAP

• Drill.- La información se presenta desglosada a mayor nivel de detalle, mientras que las sumarizaciones son menores.
• Roll.- Al contrario de Drill, las sumarizaciones se presentan consolidadas, mientras que las dimensiones se presentan a un menor nivel de detalle.
• Slice & Dice.- Se seleccionan y se proyectan los datos
• Pivot.- se reorientan las dimensiones

Operadores OLAP: Roll, Drill y Pivot respectivamente, Fuente: elaboración propia

Expresiones Multidimensionales (MDX) 

MDX es un lenguaje de consulta para bases de datos multidimensionales sobre cubos OLAP, se utiliza en Sistema de Inteligencia de Negocios para generar reportes para la toma de decisiones basados en datos históricos. Tal como el lenguaje SQL representa un estándar para las bases de datos relacionales, MDX lo es para las bases de datos multidimensionales.

Sintaxis básica de MDX

SELECT {[Measures].[Inversion 1], [Measures].[Inversion 2] } ON COLUMNS,
{[Entidades].members} ON ROWS
WHERE [Ejercicio Fiscal].[2010]

Propuesta de la Implementación del DataWareHouse

El Data WareHouse es una infraestructura tecnológica que reúne una colección de datos de bases de datos transaccionales y otras fuentes externas, para hacerlas accesibles para el análisis y la toma de decisiones.
La construcción de un Data WareHouse está basada en una serie de etapas que proporcionan un marco de trabajo y que pertenece a una fase de la Metodología de BI.

Características de la Metodología

• El enfoque aplicado es principalmente basado en los requerimientos de los usuarios; sin embargo, también podemos dar relevancia al modelo de datos con que contamos en el Sistema Transaccional - OLTP.
• Utiliza modelos conceptuales y lógicos, sencillos de interpretar y analizar.
• No depende de alguna herramienta en particular para su implementación
• Es fácil de entender y llevar a la práctica
• El Data WareHouse es el encargado de extraer, transformar, consolidar, integrar y centralizar los datos que la Institución genera en todos los ámbitos de la actividad diaria (Programas Sociales, Nómina, Inventario, Viáticos, etc.), permitiendo a través de análisis multivariantes el acceso y exploración de la información requerida (Dario, 2013).

OLTP

La entrada, la recuperación y el procesamiento de datos se realiza normalmente mediante Sistemas Transaccionales en Línea (OLTP) y corresponde a las cargas de trabajo operacionales diarias de la institución.
 
El término On-Line implica disponibilidad en tiempo real y su uso puede llegar a ser de cientos o miles de usuarios, por lo que es necesario que el Sistema cuente con tiempos de respuestas eficientes.

 

Sistemas transaccionales como fuentes de información, Fuente: elaboración propia

Las operaciones que se realizan habitualmente son las altas, bajas, modificaciones de los registros de información, por lo que se requiere que dicha información se encuentre estructurado en repositorios normalizados que permitan tiempos de respuestas ágiles.
Dentro de la arquitectura, los OLTP representan el punto de entrada y los insumos con que se alimentará el Data WareHouse.

DATAMART

Las áreas funcionales que conforman el modelo de negocio de cualquier organización son múltiples y cada una de ellas tiene su grado de importancia dentro de la operación de la misma. Para que el análisis de la información sea más eficiente, normalmente las implementaciones de estos datos se realizan sobre un departamento o un área específica del negocio.
 

El almacenamiento especializado de los datos recibe el nombre de DataMart y permite analizar la información desde varias perspectivas, al mismo tiempo que otorga acceso confidencial y reduce la latencia del depósito de datos.

La implementación de los DataMart se realiza normalmente sobre cubos OLAP.

Esquema en Estrella

El modelo para el esquema en Estrella se construye con una tabla de hechos al centro y distribuido en torno a esta tabla, se encuentran las tablas de dimensiones.

Uno de los beneficios de usar un esquema de este tipo es la simplicidad y la compresión para los usuarios finales.
 

La diferencia entre las tablas de dimensiones y de hechos, es que las primeras contienen información acerca de las entidades de negocios (Ejecutores, Programas Sociales, Entidades Federativas) y las tablas de hechos contienen información acerca de eventos de negocios (Inversiones Aprobadas, Inversiones Ejercidas).

Las tablas de hechos contienen columnas sobre las cuales se pueden realizar operaciones de sumas, promedios, porcentajes; además se caracteriza por contener llaves foráneas que apuntan a las tablas de dimensión.

En las tablas de hechos los atributos de medidas responden generalmente a las preguntas de “cuánto”, mientras que las dimensiones responderán al “cuándo”, “qué” y “dónde”.

Modelo Estrella Simple, Fuente: elaboración propia

Modelo Copo de Nieve, Fuente: elaboración propia

Existen dos tipos de esquemas en estrella:

• Estrella Simple.- Cuando no hay caminos alternativos en las dimensiones
• Copo de Nieve.- Cuando si hay caminos alternativos

Metodología HEFESTO, Fases del Proceso de BI:

La metodología Hefesto divide el proceso en 5 fases, las cuales muestran de manera general las actividades a realizar para que los datos sean transformados en información útil, novedosa y que aporte conocimiento nuevo para la toma de decisiones.

Fases de la Metodología Hefesto BI. (Dario, 2013)

Dirección y Planeación – FASE 1

La inteligencia de negocios es una plataforma de administración del desempeño que representa al ciclo en el que las empresas establecen sus objetivos, analizan sus progresos, reflexionan, actúan, miden su éxito (Peña Ayala, 2006).

El entendimiento del modelo de negocio es esencial para cualquier proyecto, incluyendo los de BI.

Durante el proceso de planeación analizamos la situación actual, establecemos los objetivos y definimos la forma en que llevaremos a cabo las acciones que nos permitirán alcanzar los objetivos planteados.

Durante la fase de planeación se recolectan las necesidades de los usuarios, se establecen las áreas de oportunidades y se determinan los insumos con los que se cuentan; al final se formulan las preguntas que permitirán alcanzar los objetivos.

Dirección, es guiar a un equipo de trabajo para lograr los objetivos establecidos; para Proyectos de BI, además de una buena dirección se requiere un liderazgo que asegure en la medida de los posible el éxito del Proyecto.
 

Se requiere que el Líder o los Líderes consideren los siguientes aspectos:

Deben reflexionar sobre los valores de la Organización, antes de tomar cualquier decisión.

• Focalizar las áreas estratégicas que requieran preferencia de atención para entregar resultados en el corto plazo.
• Realizar la planificación visualizando los objetivos organizacionales y dirigirse hacia ellos.
• No quedarse con dudas sobre algún aspecto relacionado al negocio.
• Integrar e involucrar al nivel directivo, haciéndolos partícipes del Proyecto.
• Evangelizar a los posibles usuarios, anticipando resistencias al cambio.
• Aceptar sugerencias, evaluarlas y considerarlas.

Recolección de la Información – FASE 2

Reunir la información que será utilizada como insumo, parece un asunto trivial, sin embargo ésta debe estar fundamentada en las necesidades que los usuarios indicaron en el análisis de requerimientos y en los procesos estratégicos de la Institución.

Se debe asegurar que las fuentes de información que se requerirán para el procesamiento estén disponibles con oportunidad y en el formato especificado.

Es importante mencionar que el soporte en la variedad de los datos dependerá de la herramienta tecnológica que se utilice, pero en la mayoría de las herramientas de BI, existe soporte para bases de datos relacionales, archivos de Excel, archivos de texto, entre

otros, por lo que sólo será necesario verificar que los formatos estén soportados.

 Procesamiento de Datos – FASE 3

Una vez detectada toda la información requerida, tanto los datos internos provenientes de los Sistemas Transaccionales de la Institución, como los externos que nos ayudarán como soporte y puntos de comparación para nuestros indicadores, serán transformados a un formato común.

Normalmente se utiliza un almacén de datos para llevar a cabo la tarea de transformación, unificando de manera operativa toda la información recopilada, analizándola para detectar la calidad de los datos.

Orallo (Orallo, Ramirez Quintana, & Ferri Ramírez, 2004) comenta que en la mayoría de las bases de datos existe mucha información que es incorrecta respecto al dominio de la

realidad que se desea cubrir, y un número menor, pero a veces también relevante, de datos inconsistentes.

En muchos casos el problema de la calidad se ha acentuado, ya que los datos al provenir de varias fuentes son propensos a incompatibilidades en los nombres, tipos o tamaños de los campos, por lo que es necesario realizar un análisis de cada uno de ellos antes de su integración.

Esta fase es crítica, ya que para que los datos sean útiles para generar nuevo conocimientos, estos deben ser completos y consistentes, de ahí que es necesario verificar que los datos no estén duplicados, incompletos, incorrectos, faltantes, con valores nulos o metadatos pocos claros.
 

En caso de detectar anomalías de las mencionadas anteriormente, podemos tomar la decisión de ignorarlos, de eliminarlos, de reemplazar valores o de filtrarlos; pero eso después de hacer un análisis y reflexión basada en la experiencia y con la ayuda de las herramientas de BI.
 

El almacén de datos contendrá información proveniente de los Sistemas Transaccionales - OLTP, una vez limpiados y procesados serán modelados adecuadamente para el procesamiento analítico en línea - OLAP, estos conceptos son fundamentales y serán analizados en la etapa de construcción del Data WareHouse.

Análisis y Producción – FASE 4

Una vez creados los modelos lógicos y físicos, se procede a trabajar sobre los datos extraídos e integrados, utilizando herramientas tal como la minería de datos, para extraer
conocimiento útil y novedoso que aporte valor al modelo de negocio.

En esta fase es relevante reevaluar los modelos ya que en ocasiones requiere refinación y en ciertos casos precisan reconstrucción.

Evaluar los modelos antes de meterlos a producción es una buena práctica de calidad, ya que permite encontrar posibilidades de mejora.

Finalmente, los usuarios tendrán respuestas a las preguntas que se realizaron durante la fase de requerimientos, mediante interfaces amigables a través de tableros de control, gráficos estadísticos, reportes dinámicos, indicadores de desempeño y más.
 

Es necesario señalar que los usuarios de Sistemas de BI, es personal especializado que tomará decisiones en base a los productos obtenidos, por lo que se requerirá de capacitación para poder interpretar los resultados y tomar decisiones adecuadas que beneficien a la Institución.

Difusión y Usos – FASE 5

La comunicación y la divulgación del avance del proyecto entre los miembros del grupo de trabajo son esenciales, ya sea a través de reuniones presenciales o videoconferencias, mediante chats o correos electrónicos.

La participación de los usuarios dentro de las diversas fases del proyecto se pondrá de manifiesto durante esta etapa, por esa razón es necesario conformar un grupo de soporte que atienda las dudas o sugerencias de los usuarios.

Las historias de usuarios se vuelven relevantes, permitiendo incrementar la curva de aprendizaje del Sistema.
 

El seguimiento, control y la auditoría se vuelven indispensables, ya que el Sistema no permanecerá estático; de hecho para instituciones noveles en Sistemas BI, se recomienda no querer implementar Sistemas perfectos, sino que se debe ir evolucionando paulatinamente, de acuerdo al know-how de la organización.

Propuesta de Implementación de la Metodología de Inteligencia de Negocio

HEFESTO
Hefesto, es una metodología para la construcción de un Data WareHouse que toma en cuenta las etapas del proceso de la inteligencia de negocios. Es una documentación que se publica bajo los términos de Licencia de Documentación Libre de GNU.
 
Esta metodología tiene un enfoque principal basado en las necesidades de los usuarios, entrega resultados rápidos y es iterativo, por lo que cada etapa se puede ir refinando.
 
La idea principal de este proyecto es utilizar una metodología de fácil comprensión y adaptación, en el entendido hipotético que la Institución u Organización no ha contado a la fecha con un Sistema para la toma de decisiones.

Metodología Triple-Driven
Antes de tomar la decisión de utilizar la metodología de Hefesto, se realizó una revisión a la documentación de una metodología (Guo, Tang, Tong, & Yang, 2006) que se considera más completa en la implementación de Sistemas BI: Modelo de Dato Triple-Driven.
 

El modelo de datos Triple-Driven tiene un enfoque donde considera tres grupos principales: Orientado a los esquemas de los Sistemas de bases de datos, a las metas del negocio y a los usuarios.
 

Uno de los puntos más importantes en la construcción de los almacenes de datos, es como desarrollar modelo de datos apropiados para soportar consultas, exploración, reportes y análisis; la metodología Triple-Driven ofrece buen soporte para los puntos mencionados; sin embargo, su implementación requiere de mayores recursos humanos y de tiempo, por lo que sólo se menciona para fines comparativos con respecto a nuestra metodología seleccionada: Hefesto.
 
A continuación se presenta un diagrama de las etapas que se consideran en la metodología Triple-Driven:

  Fases de la Metodología Triple-Driven. (Guo, Tang, Tong, & Yang, 2006)

Fortalezas y Oportunidades de Pentaho

La Suite de Pentaho BI es un software “Open Source”, en donde se tiene la libertad de usar y distribuir sus programas y si se desea, modificar el código fuente.

Pentaho se ofrece en dos versiones: La Enterprise y la Community cuya diferencia radica en el costo de licenciamiento con soporte para la primera; y la segunda la cual se ofrece como “Open Source” sin soporte alguno. Desde el punto de vista funcional ambas versiones son casi idénticas

Fortalezas

• Bajo costo de licenciamiento, como su más importante propuesta de valor.
• Plataforma ligera que puede ser implementada en medios ambientes pequeños (incluso laptops) o en plataformas escalables.
• Es modular y al ser Open Source soporta variedad de productos de terceros.

Oportunidades

• Requiere mejorar las herramientas de usuarios de negocios, para satisfacer la creciente demanda de análisis interactivo e intuitivo.
• Mejorar la eficiencia de las herramientas orientadas al desarrollador.
• Se mantiene económicamente en su mayoría por contribuciones de fundaciones,
• por lo tanto comparado con los recursos que tienen los líderes del mercado, se encuentra en franca desventaja.

Componentes de Pentaho

Los diseñadores y desarrolladores tienen la posibilidad de trabajar fuera del entorno del servidor mediante el uso de los programas de escritorio, lo que le permite ejecutar las tareas en un medio ambiente controlado, antes de publicarlo en el servidor.

Para tener un panorama completo de las herramientas con las que cuenta Pentaho y de la cual podemos auxiliarnos para el desarrollo del proyecto, a continuación se describe la siguiente lista:

PENTAHO METADATA LAYER (PME)
Con esta herramienta, los diseñadores pueden construir una capa de metadato que sirve como una capa de abstracción entre una base de datos relacional y el usuario final. 

PENTAHO SCHEMA WORKBENCH (PSW)
Es la herramienta para construir esquema multidimensional para ser utilizado por el motor Mondrian.

PENTAHO AGGREGATE DESIGNER (PAD)
Es una herramienta independiente para el diseño de tablas de agregación (tabla derivada de una tabla dimensión) que son usadas por Mondrian para mejorar el desempeño de cubos OLAP.

PENTAHO REPORT DESIGNER (PRD)
Herramienta para elaborar reportes

PENTAHO DATA INTEGRATION (PDI)
Herramienta para construir trabajos de Extracción, Transformación y Carga (ETL – Extraction, Transform, Load), esta herramienta también es conocida como Spoon.

Ubicación de Pentaho en el contexto de BI

En febrero de 2012, Gartner Group publicó un documento donde muestra el posicionamiento de las empresas que construyen plataformas en el mercado de BI (Hagerty, L.Sallam, & Richardson, 2013).

Gartner define plataforma BI como una plataforma de software que proporciona 14 capacidades. Estas capacidades están organizadas dentro de tres categorías funcionales: Integración, entrega de información y análisis.

Ubicación de Pentaho en el Cuadrante Mágico. (Hagerty, L. Sallam, & Richardson, 2013)

Para el 2012, Gartner considera ya a Pentaho dentro del cuadrante mágico, esto por cumplir con las capacidades enumeradas, además que puede ser administrado desde un servidor central y entregar servicios en instalaciones de la organización o a través de la nube; además con la posibilidad de acceso del usuario final vía web por medio de dispositivos móviles.

La metodología utilizada para el estudio fue realizado bajo los criterios del grupo de analistas de Gartner; así como la percepción de los clientes y una investigación en línea de vendedores de plataformas BI.

Para el rubro de habilidad para ejecutar, los vendedores fueron juzgados en la habilidad y éxito para hacer realidad su visión de mercado; y para el rubro de visión integral, los vendedores fueron evaluados según su interpretación de cómo las fuerzas del mercado fueron aprovechados para crear valor para los clientes y oportunidades para ellos mismos.

De acuerdo al estudio, el futuro de Pentaho es prometedor, aunque falta recorrer un buen camino para llegar a posicionarse como líder de mercado sigue siendo una buena opción a bajo costo.

Herramienta para Sistemas de Inteligencia de Negocios

PENTAHO

Pentaho, es un conjunto de programas que trabajan de forma coordinada para crear y entregar soluciones de Inteligencia de Negocios. El término Pentaho BI server identifica comúnmente a esta herramienta, sin embargo el término “server” no es del todo adecuado, ya que en realidad se trata de un conjunto de programas implementados como java servlets.

Pentaho puede correr en cualquier servidor Web que ofrezca soporte a servlets, tal como Tomcat, JBoss, entre otros. El servidor se puede visualizar en tres niveles: La plataforma, Componentes BI y la Capa de Presentación.

Pila de componentes de la plataforma BI de Pentaho. (Bouman & Dongen, 2009)

La Plataforma, es una colección de componentes y ofrece servicios de administración de pool de conexiones a bases de datos, motor de solución y repositorio de solución, servicios de autenticación y autorización, servicios de bitácora y auditoría, planificación de tareas, servicios de correo electrónico.

Los Componentes de BI está conformado por la capa de Integración de Aplicación y Datos, en donde se ubican las herramientas ETL (Extract, Transform, Load - del inglés Extracción, Transformación y Carga), los Metadatos y la EII (Enterprise Integration Information – del inglés, Información Empresarial Integrada)  

Las principales áreas funcionales de los componentes de Pentaho como el reporteo, análisis, cuadros de mando y administración de procesos constituyen la capa intermedia.

Por último, la Capa de Presentación, es una interfaz web denominada Consola de Usuario (User Console) que forma el front-end que permite al usuario interactuar con el servidor; esta capa puede ser utilizada para mostrar y abrir contenidos existentes, tales como: Tableros de control, Reportes y Análisis.

Una de las grandes ventajas de Pentaho es su fácil integración con herramientas de terceros; por ejemplo, para los reportes se pueden utilizar Jasper o BIRT, o portales como Life-Ray; habiendo multitud de alternativas disponibles, las cuales inician como proyectos de la comunidad y posteriormente adoptadas para formar parte de la plataforma.

Información acerca del Software de Pentaho

Indicadores

Como lo comenté en el blog de entrada los Sistemas de Inteligencia de Negocios se fundamentan en temas como la administración del conocimiento, los proceso de negocios y fundamentalmente en la construcción de Indicadores o más formalmente en Indicadores Claves de Desempeño. Por esa razón, antes de entrar de lleno a la implementación técnica, iré desglosando temas esenciales que cimienten nuestro Sistema de Inteligencia.

Definición de Indicadores

De acuerdo a Bauer (Mondragón Pérez, 2002) los indicadores sociales son “estadísticas, serie estadística o cualquier forma de indicación que nos facilita estudiar dónde estamos y hacia donde nos dirigimos con respecto a determinados objetivos y metas, así como evaluar programas específicos y determinar su impacto”.

Características de los Indicadores

Los indicadores deben estar inscritos en un marco teórico o conceptual que le permita asociarse firmemente con el elemento motivo de la investigación.

• Su nombre debe ser por sí mismo explicativo del valor que muestra.
• Debe ser disponible para varios años o periodos que permita observar el fenómeno a través del tiempo.
• Debe ser relevante y oportuno.
• Debe ser claro y de fácil compresión para los usuarios, por lo que es recomendable que cada indicador cuente con una definición, fórmula de cálculo y metadato.
• Debe ser válido, confiable y comparable, así como factible en términos de que su medición tenga un costo razonable.

Para evaluar el desempeño organizacional es necesario que los indicadores se circunscriban en el contexto adecuado, ya que la realidad sobre la que se actúa puede ser multidimensional, por lo que es necesario determinar si se trata de un indicador económico, social, geográfico u otro.

Los indicadores nos permitirán valorar el nivel de cumplimiento de los objetivos propuestos, permitirá contar con los elementos para tomar decisiones o aplicar las acciones correctivas necesarias, antes de que se conviertan en un problema.

En el entorno organizacional existe la tendencia de crear una gran cantidad de indicadores, reduciendo el hecho a querer medirlo todo; sin embargo, esto puede ser contraproducente.

“La clave consiste en elegir las variables adecuadas y suficientes que permitan medir y transmitir información respecto al objeto de estudio” (Departamento Administrativo Nacional de Estadísticas (DANE), 2012).

En muchas ocasiones, la creación de indicadores obedece a las diversas solicitudes del entorno organizacional; por lo que es necesario precisar aquellas que nos permitan cumplir requisitos y de aquellas que nos darán elementos para la toma de decisiones.

Clasificación de los Indicadores

Los indicadores pueden clasificarse según su medición en:

• Cuantitativos
• Cualitativos.

De acuerdo a la relación entre las metas esperadas con los insumos disponibles, éstos se pueden clasificar en:

• Indicadores de impacto
• Indicadores de resultado
• Indicadores de producto
• Indicadores de Proceso
• Indicadores de Insumo 

Existen otras clasificaciones de acuerdo a su jerarquía o calidad, todo dependerá del enfoque y la metodología que se utilice para la medición.

Administración del Conocimiento

A Bertrand Russell se le atribuye la frase “lo que los hombres realmente quieren no es el conocimiento sino la certidumbre”. Lo que puede significar, que no sólo se requieren datos e información, sino tener la certeza de lo que conocemos.

La clave del éxito de muchas organizaciones es el conocimiento sistematizado acerca de sus procesos de negocios, de sus servicios y productos; para ello se requiere que ese conocimiento se encuentre sistematizado y documentado, que sea replicable y que sea de utilidad para la toma de decisiones.

De esta manera, el conocimiento se convierte en uno de los activos estratégicos más preciados de la organización.

Los datos son la materia prima de la información, ésta al encontrarse desligada de algún contexto en particular es prácticamente irrelevante; los datos son transformados en información a través del análisis, aportando significado, relevancia y entendimiento a una situación en particular.

La administración del conocimiento implica planificar, implementar y controlar todas las actividades relacionadas con el conocimiento y los programas requeridos para la administración efectiva del capital intelectual.

Poner la información correcta al personal adecuado en el tiempo requerido, es una de las características de la Inteligencia de Negocios y una propuesta de valor motivo del presente trabajo.
 

Ciclo de Vida de la Información

Dentro de las organizaciones existe una gran cantidad de información que es generada y que no se utiliza debido a que se encuentra sin procesar, a dicha información se le conoce como Raw Data o “datos en bruto”. Una de las actividades fundamentales en BI es determinar la información que será de utilidad para la toma de decisiones.

 Ciclo de vida de la información, Fuente: elaboración propia

Para determinar la información útil de aquella que no será relevante para la toma de decisiones, se sigue el flujo definido en la figura anterior, que permite construir una cadena de valor enmarcado dentro de una metodología de BI.

1. Datos sin procesar, los cuales pueden ser cualitativos o cuantitativos
2. Información, categorizada en hechos y métricas
3. Conocimiento, que se consolida como experiencia
4. El conocimiento permite una acción que se cristaliza en forma de decisión, innovación, resolución, know how o expertise.
5. La consolidación de objetivos y descubrimientos de nuevos hechos se deriva de tomar acciones guiadas por el conocimiento.
6. La práctica de los pasos anteriores conduce a la adquisición de valor añadido para la toma de decisiones.

Con el conocimiento adquirido y el descubrimiento de nuevos hechos se retroalimenta la cadena de valor, comenzando un ciclo nuevo que enriquece nuevamente al Sistema.
 

DataWareHouse - Almacenes de Datos

Es un conjunto de datos históricos, internos o externos, y descriptivos de un contexto o área de estudio, que están integrados y organizados de tal forma que permiten aplicar eficientemente herramientas para resumir, describir y analizar datos con el fin de ayudar en la toma de decisiones estratégicas (Orallo, Ramirez Quintana, & Ferri Ramírez, 2004).

Contexto del Almacén de Datos y DataMart en el proceso de BI, Fuente: elaboración propia

La ventaja de los Almacenes de Datos es que al estar separado de los Sistemas de Procesamiento Transaccional en Línea (OLTP, del inglés On Line Transactional Processing) no le afecta a éste último en su desempeño.

Los Almacenes cuentan también con herramientas especializadas que facilitan el análisis de los datos en “tiempo real”, aunque en ocasiones la carga de información de estos almacenes no tiene el mismo grado de actualización que el de los Sistemas OLTP.

Los Almacenes se integran con información proveniente de los Sistemas Transaccionales de la Organización; sin embargo, es cada vez más frecuente la carga de información de datos de fuentes externas.

La organización y el mantenimiento de la información requieren de tareas esenciales, entre ellas:

• Diseñar el Almacén de Datos
• Realizar las cargas iniciales
• Mantenimiento y preservación de la consistencia de los Datos.

Factores Críticos de Exito (FCE) en BI

De acuerdo a las investigaciones realizadas por Fernández y Mayol (Fernández González & Mayol Sarroca, 2011), un aspecto a considerar independientemente del enfoque, es la realización de un análisis de factores críticos de éxito, los cuales han sido sintetizados a partir de la experiencia práctica y la realidad.

• Herramientas utilizadas para el BI
• Cultura organizacional y nivel de madurez
• Gestión del conocimiento
• Aspectos intangibles
• Personal y liderazgo

A raíz de una investigación (Fernández González & Mayol Sarroca, 2011) realizada a proyectos de Inteligencia de Negocios, se encontraron aspectos primarios que se sugieren sean considerados:

• El enfoque se debe realizar basado en la gestión de Datos
• Se debe utilizar una metodología de gestión de proyectos
• Los tomadores de decisiones deben ser involucrados y sus peticiones deben ser consideradas
• Los resultados deben ser rápidos y visibles desde las primeras etapas
• Las herramientas a utilizar deben ser evaluadas cuidadosamente
• Los usuarios deben ser involucrados en el Proyecto

Existen otras consideraciones que deben ser tomadas en cuenta y que pueden afectar el resultado obtenido: Recursos económicos disponibles, contar con un equipo de trabajo especializado, planes de evaluación y seguimiento, entre otros.