|
== Propiedades ==
A entropía ten as seguintes propiedades:
# A entropía é non negativa. Isto é evi<math />denteevidente xa que ao ser <math>p_i</math> unha probabilidade entón <math>0 < p_i \le 1</math>. Entón, pódese p dicir que <math> \log_2p_i \le 0</math> e polo tanto i {\dis<math /><nowiki>laystyle p_{i}}-\log_2 p_i unha probabilidade entón\ge 0</nowikimath> .
# <math /> H \le \log_a (n) {\displ< math / >ystyle <math /> \leq \log _{a}(n)} , é dicir, a entropía ''H'' está limitada superiormente (cando é máxima) e non supón perda de información. ▼
# Dado un proceso con posibles resultados {A<sub>1</sub>,..,A<sub>n</sub>} con probabilidades relativas p<sub>1</sub>,...,p<sub>n</sub>, a función <math>H(p_1,\dots, p_n)\,</math> é máxima no caso de que <math>p_1 = \dots = p_n = 1/n\,</math>. O resultado é intuitivo xa que se ten a maior incerteza da mensaxe, cando os valores posibles da variable son equiprobables.
<math />
# Dado un proceso con posibles resultados {A<sub>1</sub>,..,A<sub>n</sub>} con probabilidades relativas p<sub>1< math / sub> ,...,p<sub>n</sub>, a función <math>H(p_1,\dots, p_n)\,</math> é nula no caso de que <math>p_i = 0</math> para todo i, agás para unha clase, 1tal que: <math>p_j {\displaystyle p_{j}= 1} .1< /math /> . De forma intuitiva pódese pensar que cando un ou máis estados teñen unha probabilidade alta, diminúe significativamente a entropía porque, como é lóxico, existe unha menor incerteza respecto á mensaxe que se recibirá. ▼
<math /> p i
<math /> 1 {\displaystyle 0<p_{i}\leq <math />} .<math /> Entón, <math />pódese dici<math />r que log 2 p i
<math /> 0 {<math /> \<math /> _{<math />}p_{i}\leq <math />} e polo tanto
<math /> log 2
<math /> p i
<math /> 0 {\displaystyle -\log _{2}p_{i}\geq <math />}<math />
# H
<math />
<math /> a <math /> (
▲ <math /> ) {\displ<math />ystyle <math />\leq \log _{a}(n)} , é dicir, a entropía ''H'' está limitada superiormente (cando é máxima) e non supón perda de información.
# Dado un proceso con posibles resultados {A1,..,An} co<sub>n</sub> probabilidades relativas <math />1,...,<math /><sub>n</sub>, a función
<math /> (
<math />
<math /> ,
<math /> , p n ) {<math /> H(p_{<sub>1</sub>},\dots ,p_{n})\,} é máxima no caso de que p 1 =
<math /> = p n = 1 / n {\displaystyle p_{1}=\dots =p_{n}=1/n\,} .<math /> O resultado é intuitivo xa que se ten a maior incerteza da mensaxe, cando os valores posibles da variable son equiprobables
# Dado un proceso con posibles resultados {A1,..,A<sub>n</sub>} con probabil<math />dades relativas <math />1,...,<math />n, a función
<math /> (
<math /> <sub>1</sub> ,
<math /> , p n ) {<math /> H(p_{1},\dots ,p_{n})\,} é nula no caso de que p i =
<math /> {<math /> p_{i}=0} para todo i, agás para unha clase, tal que: p
▲ <math /> = 1 {\displaystyle p_{j}=1} .<math /> De forma intuitiva pódese pensar que cando un ou máis estados teñen unha probabilidade alta, diminúe significativamente a entropía porque, como é lóxico, existe unha menor incerteza respecto á mensaxe que se recibirá.
== Codificador óptimo ==
|
