Wikipedia

Entropía da información: Diferenzas entre revisións

Explorar o historial de forma interactiva
← Edición máis vellaEdición máis nova →
Contido eliminado Contido engadido
VisualTexto wiki
Jglamela (conversa | contribucións)
41.144 edicións
Jglamela (conversa | contribucións)
41.144 edicións
Liña 22:
 
== Definición formal ==
Supóñase que un evento ([[variable aleatoria]]) ten un grao de indeterminación inicial igual a <math>k</math> (i.e. existen <math>k</math> estados posibles) e supóñanse todos os estados equiprobables. Entón a probabilidade de que se dea unha desas combinacións será <math>p=1/k</math>. Entón pódese representar a expresión <math>c_i</math> como:<ref group="lower-alpha">Obsérvese que se usa o logaritmo en base 2 porque se considera que a información se vai representar mediante [[código binario]] (se quiere representar con [[bit]]s). Se para representar a información se usasen valores nunha base <math>a</math> entón sería conveniente empregar o logaritmo en base <math>a</math>.</ref>
Supóñase que un evento ([[variable aleatoria]]) ten un grao de indeterminación inicial igual a k
{{ecuación|
{\displaystyle <math />}
<math>c_i= \log_2(k)= \log_2[1/(1/k)]= \log_2(1/p) = \underbrace{\log_2(1)}_{= 0}-\log_2(p) =- \log_2(p)</math>
(i.e. existen
||left}}
k
{\displaystyle <math />}
estados posibles) e supóñanse todos os estados equiprobables.<math /> Entón a <math />probabilidade de que se dea unha desas combinacións será
p
=
<math />
/
<math />
{\displaystyle p=1/k}
. Entón pódese representar a expres<math />ón
<math />
i
{\displaystyle c_{i}}
como:<ref group="lower-alpha">Obsérvese que se usa el logaritmo en base 2 porque se considera que la información se va a representar mediante código binario (se quiere representar con [//es.wikipedia.org/wiki/Bit bits]). </ref>
 
Se agora cada un dos <math>k</math> estados ten unha probabilidade <math>p_i</math>, entón a entropía virá dada pola suma ponderada da cantidade de información:<math /><ref>Cuevas Agustín, Gonzalo, "Teoría de la información, codificación y lenguajes", Ed. SEPA (Sociedad para Estudios Pedagógicos Argentinos), Serie Informática 1986</ref><ref group="lower-alpha">Obsérvese que esé unaunha cantidadcantidade adimensional, esé decirdicir nonon llevaleva unidadunidade.</ref>▼
S<math /> agora cada un dos
{{ecuación|
k
<math>H=-p_1 \log_2(p_1)-p_2 \log_2(p_2)-....-p_k \log_2(p_k)=- \sum_{i=1}^{k}p_i \log_2(p_i)</math>
{\dis<math />laystyle <math />}
||left}}
estados ten unha probabilidade
p
i
{\displaystyle p_{i}}
▲, entón a entropía virá dada pola suma ponderada da cantidade de información:<math /><ref>Cuevas Agustín, Gonzalo, "Teoría de la información, codificación y lenguajes", Ed. SEPA (Sociedad para Estudios Pedagógicos Argentinos), Serie Informática 1986</ref><ref group="lower-alpha">Obsérvese que es una cantidad adimensional, es decir no lleva unidad.</ref>
 
Polo tanto, a entropía dunh<math />a mensaxe
<math />
{<math /> <math />}
, denotada por
H (
X
)
{\displaystyle H(X)}
, é o valor medio ponderado da cantidade de información dos diversos estados da mensaxe:<math />▼
 
▲Polo tanto, a entropía dunha mensaxe <math>X</math>, denotada por <math>H(X)</math>, é o valor medio ponderado da cantidade de información dos diversos estados da mensaxe:<math />
{{ecuación|
<math>H(X)=- \sum_{i}p(x_i) \log_2 p(x_i)</math>
||left}}
que representa unha medida da incerteza media sobre unha variable aleatoria e polo tanto da cantidade de información.
 
Traído desde «https://gl.wikipedia.org/wiki/Entropía_da_información»