Probabilidad · Probabilidad y Estadística

Teorema de Bayes

Actualizar creencias con evidencia usando el teorema de Bayes, distinguiendo probabilidad a priori y a posteriori.

Teorema de Bayes

Ilustracion de probabilidad: distribucion normal, dados y arbol de probabilidades.
Probabilidad: desde eventos basicos hasta distribuciones continuas.

Mapa conceptual

Cambiar de opinión con aritmética Bayes no es solo una fórmula: es una disciplina mental. Atribuye un peso inicial a tus hipótesis y revísalo honestamente cada vez que aparece evidencia. En ciencia de datos gobierna desde filtros de spam hasta el diagnóstico médico.

El problema que resuelve

Conoces P(evidencia dado hipótesis), pero lo que quieres es P(hipótesis dado evidencia): la condicional inversa. Bayes da el puente exacto entre lo que el mundo produce y lo que puedes concluir al observar. Sin él, se cae en la falacia del fiscal.

La fórmula

P(H dado E) = P(E dado H) por P(H), todo dividido entre P(E). En palabras: la creencia actualizada (posterior) es proporcional a la creencia de partida (prior) multiplicada por cuánto espera la evidencia bajo esa hipótesis (verosimilitud).

Los cuatro papeles

El denominador

P(E) se obtiene por probabilidad total sumando las aportaciones de todos los casos: P(E dado H) por P(H) más P(E dado no H) por P(no H). Ese denominador asegura que las posteriores sumen uno y es donde vive la intuición de «¿y si la hipótesis fuera falsa?».

Un ejemplo médico

Una enfermedad afecta a 1 de cada 1000. El test acierta al 99 % en enfermos y da un 5 % de falsos positivos. Ante un positivo, el sentido común grita «enfermo», pero Bayes recuerda el prior minúsculo: la probabilidad real de enfermedad apenas supera el 1 %. La base rate domina a un test imperfecto.

La relevancia del prior

Ignorar qué tan frecuente es la hipótesis es el error. Un positivo en una enfermedad rarísima parte de un prior tan bajo que necesita evidencia muy potente para volverse convincente. Bayes obliga a reconocer el punto de partida en vez de fingir que no existe.

Cada factor de Bayes responde a una pregunta distinta.
TérminoNombrePregunta
P(H)a priori¿cuán creíble era antes del dato?
P(E dado H)verosimilitud¿qué probable es el dato si H es cierta?
P(E)evidencia¿cuán probable es el dato en general?
P(H dado E)a posteriori¿cuán creíble es H ahora, con el dato?

Una prueba muy precisa para una enfermedad extremadamente rara da positivo. Sin usar Bayes, la reacción típica es concluir que casi seguro se tiene la enfermedad. ¿Qué corrige Bayes?

Actualización iterativa

Bayes permite corregir una y otra vez: el posterior de hoy se convierte en el prior de mañana cuando llega nueva evidencia. Este ciclo de actualización continua es la manera bayesiana de aprender: creencias que se refinan con cada dato.

Razón de verosimilitud

Restando el denominador, el cambio de opinión se resume en la razón de verosimilitud: P(E dado H) entre P(E dado no H). Cuánto más probable es el dato bajo tu hipótesis que bajo su contraria, tanto más debes desplazarte. Un factor multiplicativo sobre el prior en términos de «odds».

Bayes en machine learning

El clasificador ingenuo de Bayes aplica esto a cada categoría con features asumidas independientes. Los métodos bayesianos ponen priors sobre parámetros. Y la inferencia de un modelo, en el fondo, es un cálculo de posterior: qué parámetros explican mejor los datos observados.

Errores frecuentes

El teorema de Bayes actualiza una probabilidad a priori en una a posteriori al observar evidencia.

Cautela con el denominador

Calcular mal P(E) —olvidar una hipótesis alternativa o su frecuencia— falsea todo el resultado. Verifica que si sumas todas las hipótesis posibles el normalizador cuadra: es el control de sanidad del cálculo.

Asigna cada término de Bayes a su papel:

Prior
Verosimilitud
Evidencia
Posterior

Wikipedia
Formulación, deducción y ejemplos del teorema de Bayes.

Un test detecta el 95 % de los defectuosos y marca defectuoso al 2 % de los buenos. El 1 % de la producción es defectuosa. Aplica Bayes para estimar P(defectuoso dado positivo). ¿El número te parece alto o bajo? ¿Por qué?