Processo de Bernoulli

Em teoria das probabilidades e estatística, um processo de Bernoulli é uma sequência finita ou infinita de variáveis aleatórias binárias, sendo então um processo estocástico de tempo discreto, que assume apenas dois valores, canonicamente 0 e 1. As variáveis de Bernoulli X_i são idênticas e independentes. Prosaicamente, um processo de Bernoulli é um lançamento de moeda repetido, possivelmente com uma moeda “viciada”, mas com consistência. Cada variável X_i na sequência é associada com um ensaio, ou experimento, de Bernoulli. Todos possuem a mesma distribuição de Bernoulli. Muito do que se pode dizer sobre processos de Bernoulli também podem ser generalizados para mais de dois resultados (como o processo para um dado de seis faces); essa generalização é conhecida como esquema de Bernoulli.

O problema em determinar o processo, dado somente uma amostra limitada de ensaios de Bernoulli, pode ser a checagem se uma moeda é não-viciada..

Definição

Um processo de Bernoulli é uma sequência finita ou infinita de variáveis aleatórias independentes X₁, X₂, X₃, ..., tais que

• Para cada i, o valor de X_i é ou 0 ou 1;
• Para todos os valores de i, a probabilidade de que X_i = 1 é o mesmo número p.

Em outras palavras, um processo de Bernoulli é uma sequência de ensaios de Bernoulli distribuídos independente e identicamente.

A independência dos ensaios implica que o processo não possui memória. Dada que a probabilidade p é conhecida, resultados passados não fornecem nenhuma informação sobre resultados futuros. (Se p é desconhecido, no entanto, o passado informa sobre o futuro indiretamente, através de inferências sobre p.)

Se o processo é infinito, então a partir de qualquer ponto os ensaios futuros constituem um processo de Bernoulli idêntico ao total do processo, a propriedade fresh-start.

Interpretação

Os dois valores possíveis de cada X_i são comumente chamados "sucesso" e "fracasso". Então, quando expressados com os números 0 e 1, o resultado pode ser considerado o número de sucessos na i-ésima "tentativa".

Duas outras interpretações comuns dos valores são verdadeiro ou falso e sim ou não. Sob qualquer interpretação dos dois valores, as variáveis individuais X_i podem ser chamadas de ensaios de Bernoulli com parâmetro p.

Em muitas aplicações, o tempo passa entre os ensaios, conforme o índice i cresce. De fato, os ensaios X₁, X₂, ... X_i, ... acontecem nos “pontos no tempo” 1, 2, ..., i, ... . Essa passagem do tempo e as noções associadas de passado e futuro não são necessárias, porém. Mais genericamente, qualquer X_i e X_j no processo são simplesmente duas de um conjunto de variáveis aleatórias indexadas por {1, 2, ..., n} ou por {1, 2, 3, ...}, os casos finitos ou infinitos.

Diversas variáveis aleatórias e distribuições de probabilidade além das de Bernoulli podem ser derivadas do processo de Bernoulli:

• O número de sucessos nos primeiros n ensaios, que possui uma distribuição binomial B(n, p)
• O número de ensaios necessários para atingir r sucessos, que possui uma distribuição binomial negativa NB(r, p)
• O número de ensaios necessários para atingir um sucesso, que possui uma distribuição geométrica NB(1, p), um caso especial da distribuição binomial negativa

As variáveis binomiais negativas podem ser interpretadas como tempos de espera aleatórios.

Definição formal

O processo de Bernoulli pode ser formalizado na linguagem dos espaços de probabilidade como uma sequência aleatória de realizações independentes de variáveis aleatórias que podem assumir valores de cara ou coroa. O espaço de estado para um valor individual é denotado por $2=\{H,T\}.$

Especificamente, se considera o produto direto infinito contável de cópias de $2=\{H,T\}$. É comum examinar ou o conjunto de um lado $\Omega =2^{\mathbb {N} }=\{H,T\}^{\mathbb {N} }$ ou o conjunto de dois lados $\Omega =2^{\mathbb {Z} }$. Há uma topologia natural neste espaço, chamada de topologia produto. Os conjuntos nessa topologia são sequências finitas de lançamentos de moedas, isto é, uma cadeia de caracteres de alcance finito de H e T, com o resto da sequência (infinitamente extensa) desprezada. Tais conjuntos de sequências finitas são chamados de conjuntos cilindros na topologia produto. O conjunto de todas as cadeias forma um sigma-álgebra, especificamente, uma álgebra de Borel. Esta álgebra é comumente escrita como $(\Omega ,{\mathcal {F}})$ onde os elementos de ${\mathcal {F}}$ são as sequências de comprimento finito dos lançamentos de moedas (os conjuntos cilindros).

Se as chances de cair cara ou coroa são dadas pela probabilidade $\{p,1-p\}$, então se pode definir uma medida natural no espaço de produto, dada por $P=\{p,1-p\}^{\mathbb {N} }$ (ou por $P=\{p,1-p\}^{\mathbb {Z} }$ para o processo de dois lados). Dado um conjunto cilindro que é uma sequência específica de resultados de lançamentos de moedas $[\omega _{1},\omega _{2},\cdots \omega _{n}]$ nos tempos $1,2,\cdots ,n$, a probabilidade de observer esta particular sequência é dada por

$P([\omega _{1},\omega _{2},\cdots ,\omega _{n}])=p^{k}(1-p)^{n-k}$

onde k é o número de vezes que H aparece na sequência, e n-k é o número de vezes que T aparece na sequência. Existem diversas tipos diferentes de notações para a descrita acima; uma comum é

$P(X_{1}=\omega _{1},X_{2}=\omega _{2},\cdots ,X_{n}=\omega _{n})=p^{k}(1-p)^{n-k}$

onde cada $X_{i}$ é uma variável aleatória de valor binário. É comum escrever $x_{i}$ para $\omega _{i}$. Esta probabilidade P é comumente chamada de medida de Bernoulli.

Note que a probabilidade de qualquer sequência infinitamente longa específica de lançamento de moedas é exatamente zero; isto porque $\lim _{n\to \infty }p^{n}=0$, for any $0\leq p<1$. Pode-se dizer que qualquer sequência infinita dada tem medida zero. Mesmo assim, se pode dizer que algumas classes de sequências infinitas de lançamentos de moedas são mais prováveis do que outros, isto dado pela propriedade da equipartição assintótica.

Concluindo, um processo de Bernoulli é dado pela tripla de probabilidade $(\Omega ,{\mathcal {F}},P)$, como definido acima.

Lei dos grandes números, distribuição binomial e teorema central do limite

Ver artigos principais: Lei dos grandes números, Teorema central do limite e Distribuição binomial

Assumindo um processo canônico com $H$ representado por $1$ e $T$ representado por $0$. A lei dos grandes números diz que, a média da sequência, ${\bar {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$, irá se aproximar do valor esperado quase certamente, isto é, os eventos que não satisfaçam esse limite têm probabilidade zero. O valor esperado de tirar “cara”, representado por 1, é dado por $p$. De fato, se tem

$\mathbb {E} [X_{i}]=\mathbb {P} ([X_{i}=1])=p,$

para qualquer variável aleatória $X_{i}$ fora da sequência infinita de ensaios de Bernoulli que compõem o processo de Bernoulli.

Normalmente se procura saber quão frequentemente se observará um determinado resultado, H por exemplo, em uma sequência de n lançamentos da moeda. Isto é dado por uma contagem: dados n lançamentos sucessivos, isto é, dado o conjunto de todas as possíveis cadeias de tamanho n, o número N(k,n) de tal cadeia que contém k ocorrências de H é dado pelo coeficiente binomial

$N(k,n)={n \choose k}={\frac {n!}{k!(n-k)!}}$

Se a probabilidade de tirar cara é dada por p, então a probabilidade total de se verificar uma cadeia de comprimento n com k caras é $S_{n}=\sum _{i=1}^{n}X_{i}$

$\mathbb {P} ([S_{n}=k])={n \choose k}p^{k}(1-p)^{n-k}$

Esta probabilidade é conhecida como a distribuição binomial.

De particular interesse é a questão do valor de S_{n} para uma sequência suficientemente longa de lançamentos da moeda, isto é, para o limite $n\to \infty$. Nesse caso, se pode utilizar a aproximação de Stirling para o fatorial e escrever

$n!={\sqrt {2\pi n}}\;n^{n}e^{-n}\left(1+{\mathcal {O}}\left({\frac {1}{n}}\right)\right)$

Inserindo isso na expressão para P(k,n), se obtém a distribuição normal. Esse é o conteúdo do teorema central do limite e este é o exemplo mais simples do mesmo.

A combinação da lei dos grandes números com o teorema central do limite tem como resultado a propriedade da equipartição assintótica. Colocado informalmente, se nota que ao longo de muitos lançamentos de moeda, se observará H exatamente em p frações do tempo, e que isso corresponde exatamente com o pico da Gaussiana. A propriedade da equipartição assintótica essencialmente afirma que este pico é infinitamente agudo, com quedas infinitas em ambos os lados. Isto é, fado o conjunto de todas as possíveis e infinitamente longas cadeias de H e T ocorrerem no processo de Bernoulli, esse conjunto é partido em dois: as cadeias que ocorrem com probabilidade 1 e as que ocorrem com probabilidade 0. Esse particionamento é conhecido como lei zero-um de Kolmogorov.

O tamanho desse conjunto também é de interesse, e pode ser explicitamente determinado: o logaritmo dele é exatamente a entropia do processo de Bernoulli. Mais uma vez, considerando o conjunto de todas as cadeias de tamanho n. O tamanho desse conjunto é $2^{n}$. Desses, apenas um certo subconjunto são prováveis; o tamanho desse conjunto é $2^{nH}$ para $H\leq 1$. Usando a aproximação de Stirling, e colocando ela na expressão para P(k,n), resolvendo para a localização e largura do pico, e finalmente tendendo $n\to \infty$ encontra-se

$H=-p\log _{2}p-(1-p)\log _{2}(1-p)$

Esse valor é a entropia de Bernoulli de um processo de Bernoulli. Aqui, H é a entropia; não sendo o mesmo símbolo H usado para cara(ou heads, em inglês).

John von Neumann colocou a seguinte questão sobre o processo de Bernoulli: é possível que um dado processo seja isomórfico a outro, no sentido do isomorfismo de sistemas dinâmicos? A questão desafiou análises por muito tempo, mas foi finalmente respondida com o teorema do isomorfismo de Ornstein. Esta descoberta resultou no entendimento de que o processo de Bernoulli é único e universal; em certo sentido, é o processo mais aleatório possível; nada é "mais" aleatório do que o processo de Bernoulli (embora é preciso ter cuidado com esta declaração informal; certamente, os sistemas que são misturas são, em certo sentido, "mais fortes" do que o processo de Bernoulli, que é apenas ergódico mas não de mistura. No entanto, tais processos não consistem de variáveis aleatórias independentes: na verdade, muitos sistemas puramente determinísticos, não aleatórios podem ser de mistura).

Sistema dinâmico

O processo de Bernoulli pode também ser entendido como um sistema dinâmico, mais especificamente, um sistema dinâmico com preservação de medidas. Isto ocorre porque existe uma simetria de translação natural sobre o espaço do produto $\Omega =2^{\mathbb {Z} }$ dada pelo operador de deslocamento

$TX_{i}=X_{i+1}$

A medida é invariante na translação, isto é, dado qualquer conjunto cilindro, $\omega \in \Omega$, tem-se

$P(T\omega )=P(\omega )$

e portanto a medida de Bernoulli é uma medida de Haar.

O operador do deslocamento deve ser entendido como um operador agindo no sigma-álgebra $(\Omega ,{\mathcal {F}})$, tal que se tenha

$T:{\mathcal {F}}\to {\mathcal {F}}$

Nesta aparência, o operador de deslocamento é conhecido como o operador de transferência ou o operador Ruelle-Frobenius-Perron. É interessante considerar as funções próprias deste operador, e como eles diferem quando restritos a diferentes subespaços de $(\Omega ,{\mathcal {F}})$. Quando restritos a topologia padrão dos números reais, as funções próprias são curiosamente os polinômios de Bernoulli. Esta coincidência na nomeação presumivelmente não era conhecida por Bernoulli.

Sequência de Bernoulli

O termo sequência de Bernoulli é usado informalmente para se referir à uma realização de um processo de Bernoulli. No entanto, o termo tem uma definição formal totalmente diferente, como dada abaixo.

Supondo um processo de Bernoulli formalmente definido como uma única variável aleatória. Para cada sequência infinita de x lançamentos de moeda, há uma sequência de inteiros

$\mathbb {Z} ^{x}=\{n\in \mathbb {Z} :X_{n}(x)=1\}\,$

chamada de sequência de Bernoulli associada com o processo de Bernoulli. Por exemplo, se x representa uma sequência de lançamentos de moeda, então a sequência de Bernoulli associada é a lista de todos os números naturais ou momentos no tempo para quais o resultado do arremesso da moeda seja cara.

Assim definida, uma sequência de Bernoulli $\mathbb {Z} ^{x}$ também é um subconjunto aleatório do conjunto índice, os números naturais $\mathbb {N}$.

Quase todas as sequências de Bernoulli $\mathbb {Z} ^{x}$ são sequências ergódicas.

Leitura adicional

• Carl W. Helstrom, Probability and Stochastic Processes for Engineers, (1984) Macmillan Publishing Company, New York ISBN 0-02-353560-1.
• Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability, (2002) Athena Scientific, Massachusetts ISBN 1-886529-40-X

Ligações externas

• Using a binary tree diagram for describing a Bernoulli process