Comprendiendo la Entropía de Shannon (Teoría de la Información)

La entropía de información (o entropía de Shannon) cuantifica el nivel de incertidumbre, desorden o la "sorpresa promedio" contenida en una fuente de datos o evento aleatorio.

📐 La Fórmula Matemática

H(X) = - Σ [ P(xᵢ) · log₂(P(xᵢ)) ]

Componentes de la fórmula:

1. P(xᵢ) — Probabilidad: Qué tan frecuente o probable es que ocurra una opción determinada (un valor entre 0 y 1).

2. -log₂(P(xᵢ)) — El medidor de "sorpresa":

   • Si un evento es casi seguro (P ≈ 1), su sorpresa es cercana a 0.

   • Si un evento es improbable (P ≈ 0), su sorpresa al ocurrir es muy alta.

3. El signo negativo (-) y la sumatoria (Σ): Permiten obtener un promedio positivo ponderado por las probabilidades de todas las opciones posibles.

4. Unidad de medida: Al usar el logaritmo en base 2, el resultado se expresa en bits. Representa la cantidad promedio de preguntas de "sí/no" necesarias para adivinar el resultado.

---

🌤️ Ejemplos Prácticos: El Pronóstico del Tiempo

Imaginemos dos ciudades donde únicamente existen dos estados de clima posibles: Sol ☀️ y Lluvia 🌧️.

Caso 1: Ciudad con clima impredecible (Ciudad A)

• Sol: P(Sol) = 0.5 (50%)

• Lluvia: P(Lluvia) = 0.5 (50%)

Cálculo:

1. Sorpresa del Sol: -log₂(0.5) = 1 bit

2. Sorpresa de la Lluvia: -log₂(0.5) = 1 bit

3. Entropía promedio:

   H = (0.5 × 1) + (0.5 × 1) = 1.00 bit

Conclusión: La incertidumbre es máxima. Necesitas exactamente 1 bit de información para comunicar el clima del día.

---

Caso 2: Desierto casi siempre soleado (Ciudad B)

• Sol: P(Sol) = 0.9 (90%)

• Lluvia: P(Lluvia) = 0.1 (10%)

Cálculo:

1. Sorpresa del Sol (evento habitual): -log₂(0.9) ≈ 0.15 bits

2. Sorpresa de la Lluvia (evento raro): -log₂(0.1) ≈ 3.32 bits

3. Entropía promedio:

   H = (0.9 × 0.15) + (0.1 × 3.32) = 0.47 bits

Conclusión: La incertidumbre es baja. Al ser un evento muy predecible, transmite en promedio menos de medio bit de información.

---

📌 Resumen Comparativo

Ciudad	Distribución	Impredecibilidad	Entropía (H)
Ciudad A	50% Sol / 50% Lluvia	Alta (Difícil de adivinar)	1.00 bit
Ciudad B	90% Sol / 10% Lluvia	Baja (Fácil de adivinar)	0.47 bits

• Mayor incertidumbre / aleatoriedad entonces Mayor Entropía.

• Mayor certeza / datos repetitivos entonces Menor Entropía.