Diferenzas entre revisións de «Entropía da información»

 
== Concepto intuitivo ==
[[Ficheiro:Binary_entropy_plot.svg|miniatura|Entropía da información nun [[Ensayo de Bernoulli|ensaio de Bernoulli]] X (e''xX''perimento (experimento aleatorio en que ''X'' pode tomar os valores 0 ou 1). A entropía depende da probabilidade P(''X''=1) de que ''X'' tome o valor 1. Cando P(''X''=1)=0.5, todos os resultados posibles son igualmente probables, polo que o resultado é pouco predicible e a entropía é máxima.]]
O concepto básico de entropía en [[teoría da información]] ten moito que ver coa [[Incertidumbre (metrología)|incerteza]] que existe en calquera experimento ou sinal aleatorio. É tamén a cantidade de «ruído» ou «desorde» que contén ou libera un sistema. Desta forma, poderemos falar da cantidade de información que leva un sinal.
 
Como exemplo, considérese un texto escrito en galego, codificado como unha cadea de letras, [[Lingua castelá|espazos]] e [[Signo de puntuación|signos de puntuación]] (o noso sinal será unha cadea de caracteres). Xa que, estatisticamente, algúns caracteres non son moi comúns (por exemplo, «w»), mentres outros si o son (como o «a»), a cadea de caracteres non será tan "aleatoria" como podería chegar a ser. Obviamente, non se pode predicir con exactitude cal será o seguinte carácter na cadea, e iso faríaa aparentemente aleatoria. Pero é a entropía a encargada de medir precisamente esa aleatoriedad, e foi presentada por Shannon no seu artigo de [[1948]], ''A Mathematical Theory of Communication''<ref>[http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html ''A Mathematical Theory of Communication'']</ref> ("Unha teoría matemática da comunicación", en inglés).
 
Shannon ofrece unha definición de entropía que satisfai as seguintes afirmacións:
* A medida de información debe ser ''proporcional'' (linear continua). É dicir, o cambio pequeno nunha das probabilidades de aparición dun dos elementos do sinal debe cambiar pouco a entropía.
* Se todos os elementos do sinal son equiprobables (igual de probables) á hora de aparecer, entón a entropía será máxima.
Exemplos de máxima entropía:
40.154

edicións