Data warehouse, ETL/ELT y arquitectura analítica

El data warehouse es la copia integrada, orientada al tema y no volátil de los datos de una organización, pensada para consultar y analizar, no para transaccionar. Su calidad depende de la ingesta que lo alimenta: el flujo que extrae, transforma y carga cada día sin romper lo anterior.

Por qué no consultar la base de producción

• Contiende recursos: una consulta analítica pesada puede frenar el sistema de ventas.
• El esquema cambia para servir al negocio transaccional, no a las preguntas analíticas.
• No guarda historia: los registros se sobrescriben y se pierde la serie temporal.
• Seguridad: el acceso analítico masivo no debe abrir la base operativa.

Modelar: Kimball frente a Inmon

Kimball propone un almacén de modelos dimensionales (tablas de hechos y dimensiones) construido de abajo hacia arriba, por procesos de negocio. Inmon plantea un almacén central normalizado de arriba hacia abajo, del que se derivan mercados de datos por área. En la práctica conviven: núcleo integrado y capas dimensionales para consumir.

ETL o ELT: quién transforma y dónde

En ETL se transforma antes de cargar, con un motor dedicado; en ELT se carga el crudo en el almacén y se transforma in situ con la fuerza del motor moderno (y herramientas de transformación sobre la capa cruda como las de estilo dbt). ELT ganó terreno con la nube: guardar primero, transformar después y poder re-transformar sin re-ingestar.

Lotes, streaming y cargas incrementales

• Lote diario o horario: simple, barata, con frescura limitada.
• Streaming o micro-lote: datos casi frescos a cambio de operación compleja.
• Incremental por marca de agua: solo lo que cambió desde la última corrida.
• Snapshot completo: respaldos diarios; costo creciente con el tamaño.

Dimensiones que cambian: SCD

Un cliente cambia de ciudad o de segmento y el almacén debe decidir qué hacer con el pasado. El tipo 1 sobrescribe (el histórico se reescribe); el tipo 2 crea un registro nuevo con vigencia (versiona, y es el más usado en series de ventas); el tipo 3 guarda el valor anterior en una columna extra.

Errores frecuentes

• Convertir el almacén en espejo 1:1 de producción: se heredan sus esquemas y sus dolores.
• Transformar dentro del tablero: cada usuario reimplementa la métrica distinto.
• Cargas no idempotentes: al reintentar, duplican filas y el KPI amanece inflado.
• Publicar la mina completa: sin capas de consumo la autoatención se vuelve anarquía.

Ejemplo resuelto: venta diaria de tienda

1. Definir el proceso de negocio y la granularidad: una fila por línea de ticket y día.
2. Identificar dimensiones: fecha, tienda, producto, cliente y promotor.
3. Cargar crudos por lote incremental con marca de agua sobre el timestamp de la transacción.
4. Transformar en capas: limpieza, hecho conformado y dimensión versionada tipo 2.
5. Exponer una vista de consumo con las métricas ya definidas una sola vez.

¿Para qué sirve en la realidad?

Todo programa serio de BI, y buena parte de la ciencia de datos de una empresa, se apoya en esta arquitectura: es la diferencia entre un tablero que la gente cree y un tablero que nadie sabe de dónde salió.

# Almacen analitico
## Por que
### no producción
### historia y esquema estable
## Modelado
### Kimball dimensional
### Inmon normalizado
## Ingesta
### ETL frente a ELT
### lote y streaming
### incremental y marca de agua
## Envejecer
### SCD tipo 1
### SCD tipo 2

Almacén de datos (Wikipedia)
Definición e historia del almacén integrado y orientado al análisis.

ETL / ELT (Wikipedia)
Procesos de extracción, transformación y carga que alimentan el almacén.