Perplexidade

Perplexidade é uma medida utilizada em teoria da informação. Se define como 2 elevado a entropia, ou mais aproximadamente como 2 elevado a entropia cruzada. A última definição é usada frequentemente na comparação empírica de modelos probabilísticos.

Perplexidade de uma distribuição de probabilidade

A perplexidade de uma distribuição de probabilidade discreta p se define como

$2^{H(p)}=2^{-\sum_x p(x)\log_2 p(x)}$

onde H(p) é a entropia da distribuição e x varia entre os distintos eventos.

Assumimos que se pode definir a perplexidade de uma variável aleatória X como a perplexidade da distribuição para todos os valores possíveis de x.