El data warehouse es la copia integrada, orientada al tema y no volátil de los datos de una organización, pensada para consultar y analizar, no para transaccionar. Su calidad depende de la ingesta que lo alimenta: el flujo que extrae, transforma y carga cada día sin romper lo anterior.
Por qué no consultar la base de producción
- Contiende recursos: una consulta analítica pesada puede frenar el sistema de ventas.
- El esquema cambia para servir al negocio transaccional, no a las preguntas analíticas.
- No guarda historia: los registros se sobrescriben y se pierde la serie temporal.
- Seguridad: el acceso analítico masivo no debe abrir la base operativa.
Modelar: Kimball frente a Inmon
Kimball propone un almacén de modelos dimensionales (tablas de hechos y dimensiones) construido de abajo hacia arriba, por procesos de negocio. Inmon plantea un almacén central normalizado de arriba hacia abajo, del que se derivan mercados de datos por área. En la práctica conviven: núcleo integrado y capas dimensionales para consumir.
ETL o ELT: quién transforma y dónde
En ETL se transforma antes de cargar, con un motor dedicado; en ELT se carga el crudo en el almacén y se transforma in situ con la fuerza del motor moderno (y herramientas de transformación sobre la capa cruda como las de estilo dbt). ELT ganó terreno con la nube: guardar primero, transformar después y poder re-transformar sin re-ingestar.
Lotes, streaming y cargas incrementales
- Lote diario o horario: simple, barata, con frescura limitada.
- Streaming o micro-lote: datos casi frescos a cambio de operación compleja.
- Incremental por marca de agua: solo lo que cambió desde la última corrida.
- Snapshot completo: respaldos diarios; costo creciente con el tamaño.
Dimensiones que cambian: SCD
Un cliente cambia de ciudad o de segmento y el almacén debe decidir qué hacer con el pasado. El tipo 1 sobrescribe (el histórico se reescribe); el tipo 2 crea un registro nuevo con vigencia (versiona, y es el más usado en series de ventas); el tipo 3 guarda el valor anterior en una columna extra.
| Concepto | Qué resuelve |
|---|---|
| Tabla de hechos | los eventos medibles del proceso de negocio |
| Dimensión | el contexto con el que se filtra y agrupa |
| Marca de agua | de dónde continúa la carga incremental |
| SCD tipo 2 | cómo versionar un atributo que cambia |
Errores frecuentes
- Convertir el almacén en espejo 1:1 de producción: se heredan sus esquemas y sus dolores.
- Transformar dentro del tablero: cada usuario reimplementa la métrica distinto.
- Cargas no idempotentes: al reintentar, duplican filas y el KPI amanece inflado.
- Publicar la mina completa: sin capas de consumo la autoatención se vuelve anarquía.
Ejemplo resuelto: venta diaria de tienda
- Definir el proceso de negocio y la granularidad: una fila por línea de ticket y día.
- Identificar dimensiones: fecha, tienda, producto, cliente y promotor.
- Cargar crudos por lote incremental con marca de agua sobre el timestamp de la transacción.
- Transformar en capas: limpieza, hecho conformado y dimensión versionada tipo 2.
- Exponer una vista de consumo con las métricas ya definidas una sola vez.
¿Para qué sirve en la realidad?
Todo programa serio de BI, y buena parte de la ciencia de datos de una empresa, se apoya en esta arquitectura: es la diferencia entre un tablero que la gente cree y un tablero que nadie sabe de dónde salió.
¿Cuál es una razón para no consultar directamente la base de producción desde las herramientas de BI?
En ELT, la transformación ocurre antes de cargar los datos en el almacén.
La técnica de versionar una dimensión creando un registro nuevo con fechas de vigencia se conoce como SCD tipo .
Clasifica cada tarea según la capa de la arquitectura donde vive.
Arrastra cada ficha a su categoría (o tócala y luego toca la categoría). También puedes usar el teclado.
Une cada concepto con su contraparte.
Capas del almacén analítico
Toca una tarjeta para ver la respuesta.
Data warehouse y ELT
- Almacen analitico
- Por que
- no producción
- no producción
- historia y esquema estable
- Por que
- Kimball dimensional
- ETL frente a ELT
- SCD tipo 1
Almacén de datos (Wikipedia)Definición e historia del almacén integrado y orientado al análisis.
ETL / ELT (Wikipedia)Procesos de extracción, transformación y carga que alimentan el almacén.
La dirección de ventas quiere ver la venta por tienda "con el formato actual", pero las tiendas cambiaron de región dos veces en el año. ¿Qué decisión de modelado (tipo de SCD y granularidad) tomarías y qué le prometes al tablero sobre el pasado?
Tu texto se guarda sólo en este dispositivo.
Comentarios
Inicia sesión para comentar.
Todavía no hay comentarios. Sé la primera persona en opinar.