Teoría da información: Diferenzas entre revisións
Contido eliminado Contido engadido
m Homoxeneización de == Ligazóns externas == e == Véxase tamén == |
m cc, ct |
||
Liña 8:
onde <math>\log</math> é o logaritmo na base 2, que determina o grau de caoticidade da distribución de probabilidade <math>p_i</math> e pode ser usada para determinar a capacidade do canal necesaria para transmitir a información.
A medida de entropía de Shannon pasou a considerarse como unha medida da ''información'' contida nunha mensaxe, en oposición á parte da mensaxe que está estrictamente determinada (polo tanto prevísibel) por
A entropía como definida por Shannon está intimamente relacionada á entropía definida por físicos. [[Boltzmann]] e [[Gibbs]] ficeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para se adotar o termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o [[demo de Maxwell]] necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.
| |||