Wikipedia

Entropía da información: Diferenzas entre revisións

Explorar o historial de forma interactiva
← Edición máis vellaEdición máis nova →
Contido eliminado Contido engadido
VisualTexto wiki
Jglamela (conversa | contribucións)
41.144 edicións
Jglamela (conversa | contribucións)
41.144 edicións
Liña 127:
 
== Entropía dun proceso estocástico ==
Un [[proceso estocástico]] <math>\{X_i\}</math> é unha secuencia indexada de variables aleatorias.<ref name="cover">Thomas M. Cover, Joy A. Thomas,"Elements of Information Theory", John Wiley & Sons. </ref> En xeral, pode haber dependencias entre as variables aleatorias. Para estudar a probabilidade de certo conxunto de valores adóitase adoptar o seguinte convenio:▼
Un [[proceso estocástico]]
:<math>Pr[(X_1,X_2,...,X_n)=(x_1,x_2,...,x_n)]=p(x_1,x_2,...,x_n)</math>
{
<math />
i
}
{\displaystyle \{X_{i}\}}
▲é unha secuencia indexada de variables aleatorias.<ref name="cover">Thomas M. Cover, Joy A. Thomas,"Elements of Information Theory", John Wiley & Sons. </ref> En xeral, pode haber dependencias entre as variables aleatorias. Para estudar a probabilidade de certo conxunto de valores adóitase adoptar o seguinte convenio:
 
Sexa <math>\{X_i\}_{i=1,..n}</math> un proceso estocástico de ''n'' variables aleatorias, e sexa <math> A^n</math> o conxunto das posibles combinacións de valores de <math>\{X_i\}_{i=1,..n}</math>. Defínese a entropía do proceso estocástico, tamén chamada entropía do ''n''-grama e denotado por <math>H_n</math>, como:
Sex<math />a
:<math>H_n=H(X_1,...,X_n)= \sum_{s \in A^n} -P((X_1,...,X_n)=s) \log P((X_1,...,X_n)=s)</math>
{
<math />
i
}
<math />
=
1
,
.
.
n
{<math /> \{X_{<math />}\}_{i=<math />,..<math />}}
un<math /> proceso estocástico de <math /> variables aleatorias, e sexa
A
n {\displaystyle A^{n}}
o conxunto das posibles combinacións de valores de
{
X
i
}
i
=
1
,
.
.
n
{\displaystyle \{X_{i}\}_{i=1,..n}}
.<math /><math /><math /> Defí<math />nese a entropía do proceso estocástico, tamén c<math />hamada entropía do ''n''-grama e denotado por
H n
{\displaystyle H_{n}}
, como:
 
=== Cociente de entropía ===
Traído desde «https://gl.wikipedia.org/wiki/Entropía_da_información»