La desigualdad de Gibbs

En la teoría de información, la desigualdad de Gibbs es una afirmación sobre la entropía matemática de una distribución de probabilidad distinta. Varios otros límites en la entropía de distribuciones de probabilidad se sacan de la desigualdad de Gibbs, incluso la desigualdad de Fano.

Fue presentado primero por J. Willard Gibbs en el 19no siglo.

La desigualdad de Gibbs

Suponga esto

:

es una distribución de probabilidad. Entonces para cualquier otra distribución de probabilidad

:

la desigualdad siguiente entre cantidades positivas (ya que el p y q son números positivos menos de un) sostiene

:

con igualdad si y sólo si

:

para todo yo. Puesto en palabras, la entropía de información de una distribución P es menos que o igual a su entropía enfadada con cualquier otra distribución Q.

La diferencia entre las dos cantidades es la negativa de la divergencia Kullback–Leibler o entropía relativa, por tanto la desigualdad también se puede escribir:

:

Note que el uso de base 2 logaritmos es opcional, y

permite que se refiera a la cantidad en cada lado de la desigualdad como un

"promedio surprisal" medido en trozos.

Prueba

Desde

:

es

suficiente demostrar la declaración usando el logaritmo natural (callejón). Note que el logaritmo natural satisface

:

para todo x con igualdad si y sólo si x=1.

Deje denotan el juego de todos para los cuales p es distinto a cero. Entonces

:

Los \begin {alinean }\

- \sum_ {yo \in I} p_i \ln \frac {q_i} {p_i} & {} \geq - \sum_ {yo \in I} p_i \left (\frac {q_i} {p_i} - 1 \right) \\

& {} = - \sum_ {yo \in I} q_i + \sum_ {yo \in I} p_i \\

& {} = - \sum_ {yo \in I} q_i + 1 \\

& {} \geq 0.

Los \end {alinean }\

</matemáticas>

Tan

:

y luego trivialmente

:

ya que la derecha no crece, pero el lado de la mano izquierda puede crecer o se puede quedar lo mismo.

Para la igualdad para sostener, requerimos:

  1. para todos de modo que la aproximación sea exacta.
  1. de modo que la igualdad siga sosteniendo entre las terceras y cuartas líneas de la prueba.

Esto puede pasar si y sólo si

:

ya que yo = 1..., n.

Pruebas alternativas

El resultado se puede o bien probar usando la desigualdad de Jensen o la desigualdad de la suma del tronco.

Corolario

La entropía de se salta por:

:

La prueba es trivial - simplemente puesto para todo yo.

Véase también



Buscar