Creación de DataMart

El siguiente paso es la realización de nuestras dimensiones y tablas de hechos que crearán y cargarán la información en nuestro DataMart; cabe mencionar que el conjunto de DataMart, conformará el Data WareHouse.

Nuestro DataMart residirá en una base de datos de Ms Sql Server conforme al modelo en Estrella; este modelo nos servirá como estructura de datos para la realización de los cubos, que nos ayudará para lograr el análisis requerido de acuerdo a las necesidades planteadas para nuestro proyecto.

 

ETL con Pentaho Data Integration

Pentaho Data Integration con una conexión realizada a una base de datos de Microsoft Sql Server 2012.

Continua ... 4.- Integración de Datos

Carga Inicial

Hasta este momento los pasos metodológicos se han descritos de manera esquemática. Para la carga de la información se requiere utilizar una de las herramientas de que dispone Pentaho y que ayuda tanto al proceso de limpieza como de carga al Data WareHouse; dicha herramienta se llama Pentaho Data-Integration (PDI).
Dentro de las mejores prácticas se recomienda el uso de áreas intermedias de almacenamiento de información, conocidas como Stage Area las cuales nos servirán como repositorios temporales de los datos.
Para habilitar el uso de PDI, abrimos una sesión de terminal y en el prompt del Sistema de Ubuntu, tecleamos, lo siguiente:

Lo primero que haremos será importar la información de los Cierres de Ejercicio que se encuentran en archivos de Excel y posteriormente lo cargaremos a una base temporal del servidor Mysql.

 

Carga inicial de la información de los Cierres de Ejercicio al área intermedia (stage area) del Data WareHouse


La lógica de spoon radica en el poder realizar tareas secuenciales conocidas como “Steps” y conectarla a la siguiente tarea mediante “Hops”; los pasos son acciones configurables que se seleccionan desde la pestaña de diseño, “Design”. Al conjunto de pasos que realizan una acción común se le conoce como “transformación”. Así mismo, es posible que un grupo de transformaciones que tengan un fin común puedan configurarse en un “Job” o trabajo.

Walmart y la Inteligencia de Negocios

Continúa caso práctico 3

Modelo lógico del DataWareHouse

Modelo Lógico

El modelo de datos se realizará en base al Esquema en Estrella, debido a su simplicidad para entender las relaciones entre las perspectivas y los hechos, así como la facilidad para su implementación.

Tablas de Dimensiones

Tablas de dimensiones del indicador de Inversión Ejercida a nivel municipal, Fuente: elaboración propia

Tablas de dimensiones del indicador de Eficiencia del Gasto, Fuente: elaboración propia

Tablas de Hechos

 Tabla de hechos del indicador Inversión Ejercida a nivel municipal, Fuente: elaboración propia 

 Tabla de hechos del indicador de Eficiencia del Gasto, Fuente: elaboración propia

 UNIONES

 

Modelo en Estrella del indicador de Inversión Ejercida a nivel municipal, Fuente: elaboración propia

Modelo en estrella del indicador de Eficiencia del Gasto, Fuente: elaboración propia

 

Nivel de granularidad

... Continúa Caso práctico - 2

Dentro de los modelos para conformar los indicadores, uno de los datos más importantes es la perspectiva “Tiempo”, para nuestro proyecto el nivel de granularidad sólo será a nivel de Ejercicio Fiscal (Año).

Para la perspectiva geográfica “Entidades”, se utilizarán los siguientes niveles, los cuales fueron obtenidos de la base de datos del Consejo Nacional de Población:

• Nom_Ent.-Nombre de la Entidad Federativa donde se realiza la obra o proyecto.
• Nom_Mun.- Nombre del Municipio donde se ejecuta la obra o proyecto.
• Nom_Loc- Nombre de la Localidad.
• Gm_2010.- Grado de Marginación a nivel Municipal.
• Pob_Tot.- Población total del Municipio.

La perspectiva de “Ejecutores” corresponde a la instancia quién ejecuta o realiza la obra o proyecto; para los Programas Sociales el 70 % de las obras o proyectos son realizados por los Ayuntamientos Municipales.

• Ejecutor.- Nombre del Ejecutor

Perspectiva “Programa Social”:

• Programa_Social.- Nombre del Programa Social.

Perspectiva “Regiones” corresponde a una etiqueta que define el grado de marginación municipal y responde a la pregunta “donde”.

• Tipo_region.- Nombre del tipo de región.

Para todas las perspectivas las claves primarias son generadas mediante la herramienta de Pentaho Data Integration, también conocida como Spoon y que de acuerdo a las mejores prácticas recomendadas en la conformación del Data WareHouse se basa en claves nuevas conocidas como claves subrogadas (Surrogates Key) y que no tienen relación con las claves primarias de la base transaccional.
Estas claves son números enteros secuenciales que agilizan el acceso a los datos.

Modelo conceptual ampliado

Modelo conceptual ampliado del indicador de Inversión Ejercida a nivel municipal, Fuente: elaboración propia

Modelo conceptual ampliado del indicador de Eficiencia del Gasto, Fuente: elaboración propia