DevOps para Datos · Ingeniería de Datos

Confiabilidad y operación de plataformas de datos

Aplicar prácticas de SRE (SLI, SLO, presupuesto de error, alertas por síntomas, runbooks y postmortems) a plataformas de datos.

Confiabilidad y operación de plataformas de datos

Del pipeline al servicio Construir el pipeline es una fracción del trabajo. Que no se caiga a las tres de la mañana, y que cuando caiga alguien sepa qué hacer, es el resto.

Cuando los datos se consumen como producto, pasa a regirlos la ingeniería de confiabilidad (SRE): objetivos de servicio, presupuestos de error, alertas accionables y procedimientos de incidente. El pipeline deja de ser un script y se convierte en un servicio con responsabilidad de disponibilidad.

SLI, SLO y SLA

Presupuesto de error

Un SLO del 99% deja un 1% de tolerancia al fallo: ese es el presupuesto de error. Mientras quede presupuesto, se prioriza velocidad (desplegar cambios); cuando se agota, se prioriza fiabilidad. Convierte el debate "confianza contra rapidez" en una decisión medible.

Diagrama de tres bandas: las métricas que se miden (SLI de frescura, calidad y coste); en el centro el objetivo (SLO del 99% y presupuesto de error); abajo la respuesta operativa (alerta, runbook, postmortem).
Se mide, se define el objetivo tolerable y se responde con un proceso cuando se cruza la línea.

Alertas accionables

Una alerta debe representar un síntoma del usuario y exigir una acción. Alertar por cada causa o por métricas que nadie puede influir genera ruido y termina normalizando ignorarlas. La mejor alerta es la que despierta a alguien por algo real.

Runbooks y postmortems

Un runbook documenta qué hacer ante cada fallo: diagnóstico, mitigación y escalación. Después del incidente, un postmortem sin culpables registra qué pasó y qué se cambia para que no se repita: el aprendizaje se convierte en sistema.

La cadena mide-objetivo-respuesta es la columna vertebral del SRE de datos.
ConceptoQué esPara qué sirve
SLIindicador medidosaber cómo va el servicio
SLOobjetivo del indicadoracordar qué es suficiente
Presupuesto de errortolerancia al falloequilibrar velocidad y fiabilidad
Runbookprocedimiento de incidenteresponder rápido y sin improvisar

Errores frecuentes

Ejemplo resuelto: una entrega llega tarde cada lunes

  1. Definir el SLI de frescura de esa tabla y un SLO (por ejemplo, lista antes de las 8).
  2. Instrumentar una alerta por síntoma, no por causa.
  3. Escribir el runbook de la contingencia (servir último dato bueno y notificar).
  4. Hacer un postmortem sin culpables y agregar una verificación al pipeline.
  5. Revisar el presupuesto de error para decidir cuánto invertir en fiabilidad.

¿Para qué sirve en la realidad?

Un equipo que opera datos con mentalidad SRE deja de apagar fuegos a ciegas: sabe qué tan confiable es su plataforma, decide con evidencia cuánto fiabilidad comprar, y responde ante las caídas con procedimiento y no con pánico.

¿Qué es el presupuesto de error en un servicio de datos?

Una alerta accionable debe basarse en un síntoma del usuario y no en cualquier causa interna.

El documento con el procedimiento a seguir ante un incidente se llama .

Clasifica cada elemento según la cadena medir-objetivo-responder.

Medir
Objetivo
Responder

Une cada término con su definición.

SRE de datos

Indicador medido del servicio
SLI
Objetivo interno del indicador
SLO
Tolerancia de fallo para priorizar trabajo
presupuesto de error
Procedimiento ante un incidente
runbook
Revisión sin culpables tras fallar
postmortem

Confiabilidad y operación de plataformas de datos

# SRE de datos
## Medir
### SLI frescura calidad coste
## Objetivo
### SLO
### presupuesto de error
## Responder
### alerta por sintoma
### runbook
### postmortem sin culpables

Google Site Reliability Engineering
Marco de referencia de SLOs, alertas y gestión de incidentes.

Implementing SLOs (Google SRE Workbook)
Guía práctica para definir y usar objetivos de servicio con presupuesto de error.

Tu equipo vive apagando incendios de pipelines pero nadie sabe si la plataforma es confiable. ¿Qué SLI y qué SLO propondrías primero para convertir esa operación reactiva en una decisión con presupuesto de error?