Usuária:MCarrera (NeuroMat)/Testes/Lei dos grandes números (fórmulas)

Teoria das probabilidades
Axiomas de probabilidade
Espaço de probabilidade Espaço amostral Evento primário Evento Variável aleatória Medida de probabilidade
Evento complementar Eventos mutuamente exclusivos Probabilidade conjunta Probabilidade marginal Probabilidade condicional
Independência Independência condicional Lei da probabilidade total Lei dos grandes números Teorema de Bayes Desigualdade de Boole
Diagrama de Venn Diagrama de árvore

A lei dos grandes números (LGN) é um teorema fundamental da teoria da probabilidade, que descreve o resultado da realização da mesma experiência repetidas vezes. De acordo com a LGN, a média dos resultados da realização da mesma experiência repetidas vezes tende a aproximar–se do valor esperado à medida que mais tentativas se sucederem. Em outras palavras, quanto mais tentativas são realizadas, mais a probabilidade observada aproxima–se da probabilidade real.

Usada em probabilidade e na estatística, a LGN tem aplicações práticas na ciência de modo geral, tal como na agricultura e na economia, dentre outras áreas importantes. É possível descobrir por meio de numerosas observações e de experiências suficientes a probabilidade de um evento natural acontecer (como por exemplo, a probabilidade de chover) ou de uma fração de uma população satisfazer a uma condição (por exemplo, a probabilidade de ser produzida uma determinada quantidade de peças defeituosas em uma linha de montagem).

A lei dos grandes números é importante ainda porque garante resultados estáveis a longo prazo para médias de eventos aleatórios. Considere um jogo de roleta em um cassino. O cassino pode perder dinheiro em uma única rodada de uma roleta, mas os seus ganhos tenderão a aproximar–se de uma probabilidade previsível depois de um grande número de rodadas. De outra forma, qualquer série de vitórias de um apostador será superada pelos parâmetros do jogo depois de algumas rodadas.

Entretanto, a LGN aplica–se apenas para um grande número de observações (não há princípio para que um pequeno número de observações coincida com o valor esperado ou para que a sequência de um valor seja superada por outro valor imediatamente). Contextos como esse remetem à chamada falácia do apostador.

Exemplos

Sorteio de bolas

Ilustração da Lei dos Grandes Números, usando sorteio de bolas de uma urna. Seja um sorteio de bolas de uma urna contendo bolas azuis e bolas vermelhas na mesma proporção. Como quantidade de bolas azuis e bolas vermelhas dentro da urna são iguais, a porcentagem de vezes que as bolas azuis ou as bolas vermelhas serão sorteadas irá convergir para 0,5. Este número é exatamente a proporção de bolas azuis e bolas vermelhas dentro da urna.

A lei dos grandes número trata de um resultado matemático. Imagine uma experiência com uma urna contendo bolas brancas e pretas em uma certa proporção. Imagine um sorteio de bolas da urna, em que uma pessoa retira uma bola de olhos fechados e outra pessoa anota a cor da bola e devolve a bola para a urna. Várias bolas são retiradas sucessivamente. Se a experiência for realizada repetidas vezes, a frequência relativa de bolas pretas sempre irá convergir para um determinado número. Este número é a proporção de bolas pretas contidas na urna.

Se a urna tiver a mesma quantidade de bolas brancas e pretas, a porcentagem de vezes que as bolas pretas serão sorteadas irá convergir para o número 0,5. Entretanto, se a urna tiver três bolas brancas e sete bolas pretas, a porcentagem de vezes que as bolas pretas serão sorteadas irá convergir para o número 0,7. Em outras palavras, a porcentagem de vezes que uma bola preta é sorteada é 70%.

É possível verificar experimentalmente que a porcentagem de vezes em que uma bola preta é sorteada aproxima–se de um determinado número entre 0 e 1. Esse número é exatamente a proporção de bolas na urna, o que corresponde precisamente ao resultado matemático mencionado acima. Este resultado é um teorema da teoria da probabilidade, que afirma que quanto mais sorteios são realizados mais a proporção de bolas pretas aproxima–se de um número entre 0 e 1.

Lançamento de dado

Ilustração da Lei dos Grandes Números, usando lançamentos de um único dado não viciado. A medida que aumenta o número de lançamentos, a média dos valores de todos os resultados se aproxima de 3,5.

Chamada de "Primeiro Teorema Fundamental de Probabilidade", a lei dos grandes números é derivada da análise de jogos de azar como sorteio de bilhetes de loteria ou arremesso de dados. Um dado não viciado de seis lados pode cair 1, 2, 3, 4, 5 ou 6 em uma única jogada, todos com igual probabilidade. É possível calcular o valor médio de um lance de um dado não viciado de seis lados. Depois de várias jogadas, um a cada seis lances cairá 1, um a cada seis lances cairá 2 e assim por diante com todos os seis resultados possíveis. Contando todos os seis resultados possíveis, obtemos:

${\frac {1}{6}}\times 1+{\frac {1}{6}}\times 2+{\frac {1}{6}}\times 3+{\frac {1}{6}}\times 4+{\frac {1}{6}}\times 5+{\frac {1}{6}}\times 6={\frac {1+2+3+4+5+6}{6}}={\frac {21}{6}}=3,5$. (A fração de 1 por 6, vezes 1, mais a mesma fração, vezes 2, mais a mesma fração, vezes 3, ela, vezes 4, somado com ela vezes 5, novamente somando ela, vezes seis, igual a soma de 1 mais 2 mais 3 mais 4 mais 5 mais 6, por 6, ou seja, 21 dividido por 6, igual a 3,5)

Embora nenhum lado tenha o número 3,5 e nenhum lance resulte no valor 3,5, a LGN determina que a média dos lances de um dado não viciado de seis lados irá aproximar–se cada vez mais de 3,5 depois de um grande número de jogadas. Em outras palavras, a soma do resultado particular (1, 2, 3, 4, 5 ou 6) de cada lance irá se aproximar cada vez mais de um sexto do número total de jogadas.

Fábrica de garrafas

A lei dos grandes números determina que é mais provável que uma grande amostra grande, ao invés de uma pequena, tenha a característica do todo. Dada uma fábrica de engarrafamento de água que produza 10 mil garrafas de água por dia: o gerente da fábrica mede o volume de água em um grande número de garrafas produzidas em um mesmo dia (por exemplo, 200 garrafas) e descobre que a média foi de 0,997 litros. O gerente da fábrica pode concluir pela LGN que a média de todas as 10 mil garrafas naquele dia não foi de exatamente 1 litro.

Distribuição de Bernoulli

Ver artigo principal: Distribuição de Bernoulli

Simulação, ilustrando a Lei dos Grandes Números. Você lança uma moeda vermelha (à direita) e azul (à esquerda) e coloca um ponto na coluna correspondente. Um gráfico de pizza mostra a proporção de pontos vermelhos ou azuis até o momento. Note que a proporção inicialmente pode variar muito, mas ela gradualmente aproxima–se de 50%.

Da lei dos grandes números deduz–se que a probabilidade empírica de sucesso em uma série de uma distribuição de Bernoulli irá convergir para a probabilidade teórica. Para uma variável aleatória de Bernoulli, o valor esperado é a probabilidade teórica de sucesso e a média de n variáveis aleatórias independentes e identicamente distribuídas é precisamente a frequência relativa.

Um lançamento de uma moeda honesta é uma distribuição de Bernoulli. Quando uma moeda honesta é lançada uma vez, a probabilidade teórica de sair cara é igual a meio. Logo, a probabilidade de sair cara depois de um grande número de lançamentos deverá ser aproximadamente meio. De acordo com a LGN, a proporção de sair cara depois de n lançamentos irá convergir quase certamente para meio, à medida que n tende ao infinito.

Embora a proporção de caras e coroas aproxime–se de meio, a diferença absoluta entre elas quase certamente irá aumentar à medida que mais lançamentos forem realizados. Isto é, a probabilidade de a diferença absoluta ser um número pequeno irá aproximar–se de 0 à medida que mais lançamentos forem realizados. A proporção entre a diferença absoluta e o número de lançamentos também irá quase certamente aproximar–se de 0.

Origem do termo

O matemático suíço Jakob Bernoulli (1654—1705) provou a LGN para variáveis aleatórias binárias, depois de o matemático italiano Girolamo Cardano (1501—1576) afirmar sem provas que a precisão das estatísticas empíricas tende a melhorar conforme o número de tentativas aumenta. 

Bernoulli levou mais de vinte anos para provar a fórmula matemática, que foi publicada em seu livro "A Arte da Conjectura" (Ars Conjectandi) por seu sobrinho Nicolau Bernoulli em 1713. Bernoulli afirmou que quanto maior o número de tentativas, mais a proporção de tentativas bem–sucedidas se aproxima de p com probabilidade próxima de 1. 

“ Se um evento de probabilidade p é observado repetidamente em ocasiões independentes, a proporção da frequência observada do mesmo evento em relação ao número total de repetições convergem em direção a p à medida que o número de repetições se torna arbitrariamente grande. ”

—  Jakob Bernoulli, em seu livro Ars Conjectandi

Bernoulli chamou a lei dos grandes números de "Teorema Dourado", porém o conceito ficou mais conhecido como "Teorema de Bernoulli". O teorema de Bernoulli não deve ser confundido com Princípio de Bernoulli, exposto mais tarde pelo seu outro sobrinho Daniel Bernoulli.

Em 1837 o matemático francês Siméon Denis Poisson (1781—1840) também descreveu o conceito La Loi des Grands Nombres, que mais tarde ficou conhecido tanto como "Teorema de Bernoulli" quanto como pelo próprio nome da LGN, muito embora este último seja o nome mais usado.

Depois das tentativas de Bernoulli e de Poisson, outros matemáticos contribuíram para o aprimoramento da LGN, incluindo Pafnuti Chebyshev, Andrei Markov, Émile Borel, Francesco Paolo Cantelli, Andrei Kolmogorov e Aleksandr Khinchin.

Estes novos estudos deram origem a duas formas proeminentes da lei dos grandes números: a lei fraca dos grandes números e a lei forte dos grandes números. Tanto a lei fraca quanto a lei forte não definem conceitos diferentes, mas modos distintos de representar a convergência da probabilidade observada para a probabilidade real. Em particular, a lei forte implica a lei fraca.

Definição formal

Sejam $X_{1},X_{2},X_{3}...$ (os conjuntos X um, X dois, X três e sucessivamente ) variáveis aleatórias independentes e identicamente distribuídas.

Seja $E(X_{i})=\mu$ e $Var(X_{i})=\sigma ^{2}<\infty$. (a esperança E das i.i.d Xi, igual a média MI) e (A Variância dos mesmos conjuntos Xi, igual a sigma ao quadrado)

Defina–se a média ${\overline {X}}_{n}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$. (desses conjuntos como a média aritmética, X-barra-n, igual a razão de 1 por n, vezes a somatória do primeiro elemento i igual a 1 até o seu n-éssimo conjunto de Xi)

Então, para cada $\varepsilon >0$, (épsilon positivo)
Na Lei Fraca dos Grandes Números, ${\overline {X}}_{n}$ (média aritmética dos conjuntos X-barra-n) converge em probabilidade para $\mu$ (mi).
Isto é,$\lim _{n\to \infty }P\left(\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1$. (o limite quando a quantidade n tende ao infinito da probabilidade P do valor absoluto, módulo, da diferença entre a média aritmética X-barra-n e mi, menor do que o épsilon, igual a 1)
Na Lei Forte dos Grandes Números, ${\overline {X}}_{n}$ (média dos conjuntos X-barra-n) converge quase certamente para o seu valor esperado $\mu$(mi).
Isto é, $P\left(\lim _{n\to \infty }\left|{\overline {X}}_{n}-\mu \right|<\varepsilon \right)=1$. (a probabilidade P do limite quando a quantidade n tende ao infinito do valor absoluto, módulo, da diferença entre a média aritmética X-barra-n e mi menor do que o épsilon, igual a 1)

Tanto para a lei fraca quanto para a lei forte, teve-se a suposição de uma variância finita. Embora seja verdadeira e desejável, na maioria das aplicações esta suposição é mais forte do que o necessário. Tanto a lei forte quanto a lei fraca se mantém sem essa suposição, de modo que a única condição necessária é que $E(X_{i})=\mu <\infty$.

Entretanto, um exemplo em que a LGN não se aplica é a Distribuição de Cauchy. Sejam os números aleatórios iguais a tangente de um ângulo uniformemente distribuído entre − 90° e + 90°. A mediana é 0, mas o valor esperado não existe e a média dessas n variáveis tem a mesma distribuição de uma única variável. Isso não tende a 0 à medida que n tende ao infinito.

Formas

A lei dos grandes números pode ser descrita de duas formas: a lei forte dos grandes números e a lei fraca dos grandes números, as quais diferem–se de acordo com a forma de convergência definida. Ver variáveis aleatórias.

Considerando X₁, X₂, ... (os conjuntos X um, X dois e sucessivamente ) uma sequência infinita de variáveis aleatórias independentes e identicamente distribuídas (i.i.d.) com valor esperado E(X₁) = E(X₂) = ... = µ, (Esperança E do conjunto 1, X1, igual a esperança E do conjunto 2, X2, sucessivamente até o conjunto n, Xn, igual a mi) ambas as versões da LGN determinam quase certamente que a média da amostra

${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$ (média aritmética, X-barra-n, igual ao produto entre a razão 1 por n e da soma dos conjuntos, X1, mais, X2, sucessivamente, mais Xn)

converge para o valor esperado

${\begin{matrix}{}\\{\overline {X}}_{n}\,\to \,\mu \qquad {\textrm {quando}}\qquad n\to \infty \\{}\end{matrix}}$. (média aritmética, X-barra-n tende a mi quando n tende ao infinito)

A suposição da variância finita Var(X₁) = Var(X₂) = ... = σ² < ∞ (variância do conjunto 1, X1, igual a variância do conjunto 2, X2, sucessivamente até a variância do conjunto n, igual a sigma ao quadrado menor que o infinito) não é necessária. Embora a variância grande ou infinita torne a convergência mais lenta, a LGN é válida de qualquer maneira. Esta suposição muitas vezes é usada por tornar as provas mais curtas e fáceis.

Lei Fraca

Também chamada de Lei de Khinchin, a versão fraca da LGN determina que a média da amostra converge em probabilidade para o valor esperado. A lei fraca determina essencialmente que qualquer margem diferente de 0 especificada (não importa o quão pequena ela seja, com uma amostra suficientemente grande haverá uma probabilidade muito alta que a média das observações se aproximará do valor esperado. Isto é, dentro da margem.

A variância pode ser diferente para cada variável aleatória em séries, mantendo o valor esperado constante. Se as variâncias são limitadas, a lei fraca é aplicada como mostrou Chebyshev em 1867 (se os valores esperados mudarem durante as séries, podemos simplesmente aplicar a lei fraca para o desvio médio dos respectivos valores esperados. Então, a Lei Fraca determina que isto converge para probabilidade 0). Provas de Chebyshev valem para até quando a variância da média dos primeiros n valores tendem a 0 à media que n tende ao infinito.

O nome "lei fraca" deve–se ao fato de as variáveis aleatórias convergirem de maneira fraca ou em probabilidade. O termo aplica–se no caso de as variáveis aleatórias independentes e identicamente distribuídas terem um valor esperado.

Teorema

Seja $X_{i}$ (conjunto) uma sequência de variáveis aleatórias independentes tomadas dois a dois. Seja essa sequência de variância finita e uniformemente limitada. Tem–se a lei fraca da LGN. Também, podemos entender do ponto de vista algébrico como existe um $c\in \mathbb {R}$, tal que $Var[X_{i}]\leq c$. (c pertence aos reais, tal que a variância do conjunto Xi é menor ou igual a c)

Demonstração

Uma soma de uma sequência de variáveis aleatórias pode ser escrita como

$S_{n}=\sum _{i=1}^{n}X_{i}$. (a soma dos conjuntos Sn, igual a somatória do primeiro elemento i igual a 1 até o n-éssimo elemento dos conjuntos Xi)

A independência de $X_{i}$ (conjunto) implica em

$Var[S_{n}]=\sum _{i=1}^{n}Var[X_{i}]\leq nc$. (variância da soma dos conjuntos Sn, igual a somatória do primeiro elemento i igual a 1 até o n-éssimo elemento da variância do conjunto Xi, menor ou igual ao produto de n e c)

Prova da Lei Fraca, usando a Desigualdade de Chebyshev

Ver artigo principal: Desigualdade de Chebyshev

De acordo com a Desigualdade de Chebyshev, temos:
$P[\left|S_{n}-E[S_{n}]\right|]\geq \varepsilon n]\leq {\frac {Var[S_{n}]}{\varepsilon ^{2}n^{2}}}\leq {\frac {c}{\varepsilon ^{2}n^{2}}}\to 0$, quando $n\to \infty$. (probabilidade do valor absoluto da diferença entre a soma dos conjuntos Sn e a esperança E da soma dos conjuntos Sn , maior ou igual ao produto de epsilon e n, isso menor ou igual a razão da variância da soma dos conjuntos Sn e o produto de epsilon ao quadrado e n ao quadrado, isso menor ou igual a razão de c e o produto de epsilon ao quadrado e n ao quadrado tendendo a zero quando n tende ao infinito)
Logo, obtemos:
${\frac {S_{n}-E[S_{n}]}{n}}\to 0$ (razão da diferença entre a soma dos conjuntos Sn com a esperança E da soma dos conjuntos Sn e n), lembrando que está convergindo para 0 com a probabilidade.

Prova da Lei Fraca, usando a Convergência de Funções Características

De acordo com o Teorema de Taylor para funções complexas, a função característica para qualquer variável X com média finita μ pode ser escrita como:
$\varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0$. (um certo x, phí-x está em função de t, isso é uma função, igual a 1, mais o produto de i, t e mi, mais óh em função de t, isso quanto t tende a zero)
Todo X₁, X₂, ... (os conjuntos X1, X2 e sucessivamente ) possuem a mesma função característica. Então, iremos simplesmente denotar isto como φ_X.(Função phi de x, caractere phi maiúsculo) Entre as propriedades básicas das funções características estão:
$\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{e}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad$(uma certa razão x de 1 por n, phi está em função de t, isso é uma função, igual a um certo phi-x em função da razão de t por n) e (a soma de um certo x e y, phi-x+y em função de t, igual ao produto de um certo x, phi em função de t e um certo y, phi em função de t) , se X eY forem independentes.
Estas regras podem ser usadas para calcular a função característica de $\scriptstyle {\overline {X}}_{n}$ em termos de φ_X:

$\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{à medida que}}\quad n\rightarrow \infty$. (um certo x, média, phi em função de t, igual a potência n do produto de um certo x, phi e a razão de t por n, igual a 1 mais o produto de i, mi e razão t por n mais o produto de o (óh) e a razão de t por n, tende a potência i,t e mi de e)

O limite e^itμ (potência i,t e mi de e) é a função característica da variável aleatória constante μ, e, portanto, de acordo com o Teorema de Continuidade de Levy, $\scriptstyle {\overline {X}}_{n}$ converge em distribuição para μ:

${\overline {X}}_{n}\,{\xrightarrow {\mathcal {D}}}\,\mu \qquad {\text{para}}\qquad n\to \infty$. (média aritmética dos conjuntos tende com probabilidade para mi quando n tende ao infinito)
μ é uma constante, o que implica que a convergência em distribuição para μ e a convergência em probabilidade para μ são equivalentes. Veja convergência de variáveis aleatórias.
Então,
${\begin{matrix}{}\\{\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu \qquad {\textrm {quando}}\ n\to \infty \\{}\end{matrix}}$. (média aritmética dos conjuntos tende com probabilidade para mi quando n tende ao infinito)

Isto mostra que a média da amostra converge em probabilidade para a derivada da função característica na origem, enquanto a função característica existir.

Lei Forte

A versão forte da LGN afirma que a aproximação pela frequência relativa tende a melhorar quando o número de observações aumenta. Para saber as intenções de voto para um candidato nas eleições presidenciais é possível realizar uma pesquisa perguntando para a população em quem pretendem votar. Essa análise terá maiores chances de acerto à medida que mais pessoas forem consultadas, em bairros, cidades e estados diferentes e em dias, semanas e meses distintos.

Especificamente, a lei forte determina que a média de uma sequência de variáveis aleatórias independentes e identicamente distribuídas com probabilidade "1" converge para a média da distribuição. Isto é, quanto maior o conjunto das observações dos dados mais próximo ele estará da sua própria média. Portanto, nenhuma informação é desconsiderada implicando na probabilidade 1.

O nome "lei forte" deve–se ao fato de as variáveis aleatórias que convergem de maneira forte ou quase certamente convergem de maneira fraca ou em probabilidade, sendo que convergência quase certa também é chamada de convergência forte de variáveis aleatórias.

Retoma-se aqui a ideia de que a lei forte implica a lei fraca, embora o contrário não aconteça, quando as condições para a lei forte garantem que a variável convirja tanto fortemente ou quase certamente quanto fracamente ou em probabilidade. A lei fraca pode acontecer em condições em que lei forte não pode acontecer, de modo que a convergência é apenas em probabilidade. Entretanto, até agora não foi possível provar que as condições da Lei Forte são as mesmas condições da lei fraca.

Teorema

Seja $X_{1},X_{2},\dots ,X_{n}$ (os conjuntos X um, X dois, X três e sucessivamente até Xn) uma sequência de variáveis aleatórias independentes e identicamente distribuídas, cada uma com média finita $\mu =E[X_{i}]$ (mi, igual a esperança do conjunto Xi) . Então, com probabilidade 1 na qual podemos entender com a expressão matemática:

$P{\Bigg \{}\lim _{n\to \infty }{\frac {(X_{1}+X_{2}+X_{3}+...+X_{n})}{n}}=\mu {\Bigg \}}=1$. (a probabilidade P do limite, quando n tende ao infinito da média aritmética igual a mi, é igual a 1.)

Em palavras, $n$ representa a quantidade de conjuntos. Para se obter a média de um conjunto de 2 elementos, basta dividir por 2, o que resulta em média 1. Para se obter a média de uma quantidade grande de conjuntos, basta dividir pela sua quantidade de conjuntos. Portanto, em todos os casos de quantidade grande de conjuntos, podemos olhar quando $n$ está no infinito, mas não é o infinito. Isto é, no caso geral estuda-se quando o comportamento da média pode ser a maior de todas, o que leva ao infinito do ponto de vista algébrico. É importante destacar a sutileza entre as propriedades de Limite, as quais afirmam que a razão entre um numero e o infinito será 0. Em estatística, intuitivamente a probabilidade disto acontecer é 1.

Como exemplo de aplicação da lei forte, suponha que seja realizada uma sequência de tentativas independentes de um experimento. Suponha que $E$ seja um evento fixo do experimento e que a probabilidade $P(E)$ deste evento represente a probabilidade de que $E$ ocorra em qualquer tentativa particular. Fazendo com base na Distribuição Bernoulli

$x_{i}={\begin{cases}1&{\text{se }}E{\text{ ocorrer na }}i{\text{-}}{\acute {e}}{\text{sima tentativa}}\\0&{\text{se }}E{\text{ não ocorrer na }}i{\text{-}}{\acute {e}}{\text{sima tentativa}}\\\end{cases}}$(Xi será igual a 1 se E ocorrer na i-éssima tentativa ou xi será igual a 0 se E ocorrer na i-éssima tentativa)

temos pela Lei Forte que com probabilidade 1,

${\frac {(X_{1}+X_{2}+X_{3}+...+X_{n})}{n}}\to E[X]=P(E)$. (média aritmética: razão da soma dos conjuntos X1+X2+sucessivamente até Xn e n, isso tende a esperança E de X, igual a probabilidade P de E)

Como${\frac {(X_{1}+X_{2}+X_{3}+...+X_{n})}{n}}$ (média aritmética dos conjuntos) representa o número de vezes em que o evento $E$ ocorre nas primeiras $n$ tentativas, podemos interpretar a expressão ${\frac {(X_{1}+X_{2}+X_{3}+...+X_{n})}{n}}\to E[X]=P(E)$ (média aritmética: a razão entre a soma dos conjuntos X1, mais, X2, mais, sucessivamente até mais Xn e n tendendo a esperança E de X, igual a probabilidade P de E) como se com probabilidade 1 a proporção limite do tempo de ocorrência do evento $E$ fosse justamente $P(E)$ (probabilidade de E) Embora o teorema possa ser demonstrado sem esta hipótese, a demonstração seguinte da lei forte supõe que as variáveis aleatórias $X_{i}$ possuem um quarto momento finito. Isto é, supomos que $E[X_{i}^{4}]=K<\infty$. (A esperança E da quarta potência do conjuntos Xi, igual a K, menor do que infinito)

Demonstração

A demonstração da lei forte é mais complexa que a demonstração da lei fraca. A lei forte justifica a interpretação intuitiva do valor esperado de uma variável aleatória quando testada repetidamente como a média de longo prazo.

Suponha que a média de $X_{i}$ seja igual a 0. Isto é, $\mu =0$. (mi, igual a zero)

Também considere a soma das médias, na qual é representada por $S_{n}=\sum _{i=1}^{n}X_{i}$. (Sn, igual a somatória de i igual a um até n do conjunto Xi)
Podemos verificar o valor esperado desta soma na linguagem algébrica como $E[S_{n}^{4}]$ (esperança E da quarta potência de Sn, ou seja Sn elevado a quatro), isto devido ao interesse no quarto momento finito. Lembrando que a soma pode ser escrita como $S_{n}=X_{1}+X_{2}+...+X_{n}$. (Sn, igual a soma dos conjuntos, X um , mais X dois, sucessivamente até mais Xn)
Seja a potência 4 para o valor esperado, temos do ponto de vista algébrico por decorrência das propriedades de potência a expressão
$S_{n}^{4}=(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})$. (A quarta potência de Sn, igual a soma do conjunto X um, mais X dois, sucessivamente até Xn, vezes, a soma do conjunto X um, mais X dois, sucessivamente até Xn, vezes, a soma do conjunto X um, mais X dois, sucessivamente até Xn, vezes, a soma do conjunto X um, mais X dois, sucessivamente até Xn)
Intencionando calcular o valor esperado para a soma, encontramos a expressão
$E[S_{n}^{4}]=E[(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})(X_{1}+X_{2}+...+X_{n})]$. (A esperança E da quarta potência de Sn, ou seja Sn elevado a quatro)
Já aplicando o método simples da distributiva nos fatores do valor esperado, obtemos uma expansão que resulta em termos $X_{i}^{4},X_{i}^{3}X_{j},X_{i}^{2}X_{j}^{2},X_{i}^{2}X_{j}X_{k}$e$X_{i}X_{j}X_{k}X_{l}$, ( A quarta potência de Xi, ou seja Xi elevado a quatro. O cubo de Xi, ou seja Xi elevado a três, vezes Xj. O quadrado de Xi, seja Xi elevado a dois, vezes o quadrado de Xj, ou seja Xj elevado a dois. O quadrado de Xi, seja Xi elevado a dois, vezes Xj, vezes Xk. E, Xi vezes Xj vezes Xk vezes Xl) em que $i,j,k$ e $l$ são todos diferentes.
Como por suposição todas as variáveis aleatórias $X_{i}$ têm média 0, resulta da independência destas variáveis que
$E[X_{i}^{3}X_{j}]=E[X_{i}^{3}]E[X_{j}]=0$ ( Esperança E, do cubo de X, vezes Xj. Igual, esperança E do cubo de Xi, vezes a esperança E de Xj)
$E[X_{i}^{2}X_{j}X_{k}]=E[X_{i}^{2}]E[X_{j}]E[X_{j}]=0$ (A esperança do quadrado de Xi, vezes Xj, vezes Xk. Igual, a esperança do quadrado de Xi, vezes a esperança de Xj, vezes a esperança)
$E[X_{i}X_{j}X_{k}X_{l}]=0$ ( A esperança de Xi, vezes Xj, vezes Xk, vezes Xl )

Para um dado par $i$ e $j$, haverá ${4 \choose 2}=6$ (binomial: quatro termos, dois a dois. Igual, a seis) termos na expansão que serão iguais a $X_{i}^{2}X_{j}^{2}$. (o quadrado de Xi, vezes o quadrado de Xj)
Expandido o produto anterior e calculando as esperanças ou o valor esperado termo a termo, obtemos
$E[S_{n}^{4}]=nE[X_{i}^{4}]+6{n \choose 2}E[X_{i}^{2}X_{i}^{2}]=nk+3n(n-1)E[X_{i}^{2}]E[X_{j}^{2}]$. (A esperança da quarta potência de Sn. Igual, n, vezes a esperança da quarta potência de Xi. Mais, seis, vezes o binomial: de n termos dois a dois. Vezes, esperança do quadrado de Xi, vezes o quadrado de Xi. Igual, n, vezes k. Mais três-n, vezes n menos um, vezes a esperança do quadrado de Xi, vezes o quadrado de Xj)
Por hipótese de independência, agora como
$0\leq Var(X_{i}^{2})=E[X_{i}^{4}]-(E[X_{i}^{2}])^{2}$( zero, menor ou igual a variância do quadrado de Xi. Igual, a esperança E da quarta potência de Xi. Menos, o quadrado da esperança do quadrado de Xi)
temos
$(E[X_{i}^{2}])^{2}\leq E[X_{i}^{4}]=K$. (o quadrado da esperança E do quadrado de Xi, menos ou igual a esperança E da quarta potência de Xi. Igual, a K)
Do desenvolvimento anterior, obtemos que
$E[S_{n}^{4}]\leq nK+3n(n-1)K$ ( A esperança E da quarta potência de Sn, menor ou igual a n, vezes K, mais três n, vezes n menos um)

o que implica em
$E{\Bigg [}{\frac {S_{n}^{4}}{n^{4}}}{\Bigg ]}\leq {\frac {K}{n^{3}}}+{\frac {3K}{n^{2}}}$. (a esperança E da razão da quarta potência de Sn por a quarta potência de n. Menor ou igual, a razão de K por o cubo de n, mais a razão de três K por o quadrado de n)
Portanto,
$E{\Bigg [}\sum _{n=1}^{\infty }{\frac {S_{n}^{4}}{n^{4}}}{\Bigg ]}=\sum _{n=1}^{\infty }E{\Bigg [}{\frac {S_{n}^{4}}{n^{4}}}{\Bigg ]}<\infty$. (A esperança E da somatória de n igual a um até o infinito da razão da quarta potência de Sn por a quarta potência de n. Igual, a somatória de n igual a um até o infinito da esperança E da razão da quarta potência de Sn por a quarta potência de n)

Lembrando que para a probabilidade 1, $\sum _{n=1}^{\infty }{\frac {S_{n}^{4}}{n^{4}}}<\infty$. (a somatória de n igual a um até o infinito da razão da quarta potência de Sn por a quarta potência de n. Menor que o infinito)
Se for $\infty$, a soma converge para 0. Portanto, seu resultado será 0. Em estatística, se houver a probabilidade positiva de que a soma seja infinita, então o seu valor esperado é infinito. Entretanto a convergência da série implica que seu $n$-ésimo termos tenda a 0. Portanto, concluímos que com probabilidade 1
$\lim _{n\to \infty }{\frac {S_{n}^{4}}{n^{4}}}=0$. ( o limite de n tendendo ao infinito da razão da quarta potência de Sn por a quarta potência de n)
Entretanto, se ${\frac {S_{n}^{4}}{n^{4}}}={\Bigg (}{\frac {S_{n}}{n}}{\Bigg )}^{4}$ ( a razão razão da quarta potência de Sn por a quarta potência de n. Igual, a quarta potência da razão de Sn por n) tende a $0$, então ${\frac {S_{n}}{n}}$ (a razão de Sn por n) também tenderá a $0$. Essa é a prova com probabilidade 1.
Quando $\mu$ é a média de $X_{i}$ diferente de 0, podemos aplicar o argumento anterior às variáveis aleatórias $X_{i}-\mu$ (diferença entre Xi e mi) para obtermos que com probabilidade 1
$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {(X_{i}-\mu )}{n}}=0$. ( o limite de n tendendo ao infinito da somatória de i igual a um até n, da razão entre a diferença de Xi e mi por n)
Isto é,
$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {(X_{i})}{n}}=\mu$. ( o limite de n tendendo ao infinito da somatória de i igual a um até n, da razão entre Xi por n)

Lei Forte de Kolmogorov

A lei forte pode por si só ser vista como um caso especial de Teoria Ergódica e aplica–se para variáveis aleatórias independentes e identicamente distribuídas (i.i.d.) com um valor esperado como a Lei Fraca, o que foi provado por Kolmogorov em 1930. Em 1933, Kolmogorov também mostrou que se as variáveis são independentes e identicamente distribuídas, para a média convergir quase certamente para algo (o que pode ser considerado outra afirmação da Lei Forte) é necessário que elas tenham um valor esperado (então, a média irá convergir quase certamente no valor esperado).

Se a soma é independente e não identicamente distribuída, logo:

${\bar {X}}_{n}-\operatorname {E} {\big [}{\bar {X}}_{n}{\big ]}\ {\xrightarrow {\text{a.s.}}}\ 0,$ (a média aritmética, X-barra-n, menos a esperança da média aritmética, x-barra-n. Tende a zero.)

dado que cada X_k possui um segundo momento finito e que

$\sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty$. ( a somatória de k igual a um até o infinito da razão de um por o quadrado de k, vezes a variância de Xk. Menor que o infinito)

Esta afirmação é conhecida como a Lei Forte de Kolmogorov.

Um exemplo de uma série em que a lei fraca aplica–se, mas a lei forte não se aplica, é quando X_k é maior ou menor que ${\sqrt {k/\log \log \log k}}$ ( a raiz quadrada da razão de k por logaritmo de base dez de logaritmo de base dez de logaritmo de base dez de k) (iniciando com k suficientemente grande para que o denominador seja positivo) com probabilidade meio para cada. Logo, a variância de X_k é $k/\log \log \log k.$ Lei Forte de Kolmogorov não aplica–se porque a soma parcial em seu critério de até k = n é assintótica para $\log n/\log \log \log n$ e isto não possui limites.

Se substituirmos as variáveis aleatórias pelas variáveis gaussianas com as mesmas variâncias, denominadas ${\sqrt {k/\log \log \log k}},$ ( a raiz quadrada da razão de k por logaritmo de base dez de logaritmo de base dez de logaritmo de base dez de k) , a média em qualquer ponto também será normalmente distribuída. A largura da distribuição da média tenderá a 0 (desvio padrão assintótico $1/{\sqrt {2\log \log \log n}}$) ( a razão de um por a raiz quadrada de dois por logaritmo de base dez de logaritmo de base dez de logaritmo de base dez de n), mas para um dado ε há probabilidade que não tende a 0 com n cuja média retornará para ε em algum momento depois da enésima tentativa. Isto acontecerá com probabilidade p(ε)/2 (razão da probabilidade p em função de epsilon por dois) antes de algum m que depende de n.

Entretanto, mesmo depois de n ainda há a probabilidade de pelo menos p(ε) (probabilidade p em função de epsilon) de que isto irá acontecer (o que parece indicar que p(ε)=1 (probabilidade p em função de epsilon. Igual, a um) e que a média irá alcançar ε infinitas vezes).

Diferenças entre a Lei Forte e a Lei Fraca

Lei Fraca mostra que para qualquer grande valor de $n$ especifico (adotando $n$ como $k$), é provável que ${\frac {(X_{1}+...+X_{k})}{k}}$ ( média aritmética: razão de X-um, mais X-dois, sucessivamente até mais Xk por k) esteja próximo de $\mu$. Entretanto, isto não significa que ${\frac {(X_{1}+...+X_{n})}{n}}$ ( média aritmética: razão de X-um, mais X-dois, sucessivamente até mais Xn por n) permanecerá próximo de $\mu$ para todos os valores de $n$ maiores de $k$.

Existe a possibilidade de que grandes valores de ${\Bigg |}{\frac {(X_{1}+...+X_{n})}{n}}-\mu {\Bigg |}$ (Valor absoluto, módulo, da média aritmética: razão de X-um, mais X-dois, sucessivamente até mais Xn por n. Menos mi) possam ocorrer de forma infinitamente frequente, porém a lei forte mostra que isto não pode ocorrer. Em particular, ela implica que isto não pode ocorrer com probabilidade 1 para qualquer valor positivo $\varepsilon$.

A lei fraca, por sua vez, determina que para um tamanho específico n, a média ${\overline {X}}_{n}$(média aritmética X-barra-n) deve ficar próxima de $\mu$. Logo, isso deixa aberta a possibilidade de $|{\overline {X}}_{n}-\mu |>\varepsilon$ (valor absoluto, módulo, da diferença entre a média aritmética e mi. Maior que epsilon) acontecer infinitos números de vezes, embora em intervalos infrequentes (não necessariamente $|{\overline {X}}_{n}-\mu |\neq 0$ (valor absoluto, módulo, da diferença entre a média aritmética e mi. Diferente de zero) para todo n).

A lei forte mostra que isso quase certamente não acontece. Em particular, isso implica que com probabilidade 1 temos que para qualquer ε > 0 a desigualdade $|{\overline {X}}_{n}-\mu |<\varepsilon$ (valor absoluto, módulo, da diferença entre a média aritmética e mi. Menor que epsilon) é verdadeira para todo n grande suficiente. Lei Forte não se sustenta nos seguintes casos, ao contrário da lei fraca:

1. Seja x uma variável aleatória distribuída exponencialmente com parâmetro 1. A variável aleatória ${\frac {\sin(x)e^{x}}{x}}$ (razão: seno de x, vezes a potência x de e por x) não tem valor esperado, de acordo com a Integral de Lebesgue. Entretanto, usando a convergência condicional e interpretando a integral como a Integral de Dirichlet, a qual é impropriamente a Integral Riemann, é possível afirmar que $E\left({\frac {\sin(x)e^{x}}{x}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}$. (esperança E da razão: seno de x, vezes a potência x de e por x. Igual, integral de zero até o infinito da razão seno de x, vezes a potência x de e por x, vezes a potência negativa-x de e, diferencial em x. Igual, a razão de pi por dois)
2. Seja x uma distribuição geométrica com probabilidade 0,5. A variável aleatória ${\frac {2^{x}(-1)^{x}}{x}}$ (razão: A potência x de dois, vezes a potência x de um-negativo por x) não tem valor esperado no sentido convencional porque séries convergentes não são absolutamente convergentes. Entretanto, usando a convergência condicional, é possível afirmar que $E\left({\frac {2^{x}(-1)^{x}}{x}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)$. ( A esperança E da razão: A potência x de dois, vezes a potência x de um-negativo por x. Igual, somatória de um até o infinito da razão: a potência x de dois, vezes a potência x de um-negativo por x, vezes a potência negativa-x. Igual ao negativo-logaritmo-natural de dois)
3. Se a função de distribuição acumulada de uma variável aleatória for

$1-F(x)={\frac {e}{2x\ln(x)}},x\geq e$ (F em função de x, F é uma função. Igual, a razão: e por dois-x, vezes logaritmo-natural de x. Quando x maior ou igual a e)

$F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e$ (F em função de x, F é uma função. Igual, a razão: e por negativo de dois-x, vezes negativo de logaritmo-natural de x. Quando x menor ou igual ao negativo-e)

Então, não há valor esperado, mas a lei fraca é verdadeira.

Lei Uniforme dos Grandes Números

Suponha que f(x,θ) seja uma função definida por θ ∈ Θ, contínua em θ. Então, para qualquer θ fixo, {f(X₁,θ), f(X₂,θ), …} será uma sequência de variáveis aleatórias independentes e identicamente distribuídas (i.i.d.) como a média da amostra desta sequência converge em probabilidade para E[f(X,θ)]. Este é o pointwise (em θ) da convergência.

Lei Uniforme dos Grandes Números determina as condições sob as quais a convergência acontece uniformemente em θ.

Se

1. Θ é compacto.
2. f(x,θ) ( f em função de x e teta, f é uma função) é contínuo em cada θ ∈ Θ for quase todo x, e uma função mensurável de x em cada θ.
3. existe uma função dominante d(x) (d em função de x, d é uma função) como E[d(X)] < ∞ (esperança E da função d, menor que o infinito), e $\left\|f(x,\theta )\right\|\leq d(x)\quad {\text{para todo}}\ \theta \in \Theta$. (a norma de f que está função de x e teta, menor ou igual a função d)

Então, E[f(X,θ)] (esperança de f em função de x e teta, f é uma função) é contínuo em θ (téta), e $\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\xrightarrow {\mathrm {q.c.} }}\ 0.$ (supremo de téta-minúsculo pertencente a téta-maiúsculo da norma: razão de um por n da somatória de i igual a um até n de f em função de Xi e téta-minúsculo, menos a esperança E de f em função de X e téta-minúsculo, tendendo a zero quase certamente) Este resultado é útil pra garantir consistência de uma grande classe de estimadores.

Lei dos Grandes Números de Borel

A lei dos grandes números de Borel, denominada por Émile Borel, determina que se um experimento é repetido um grande número de vezes independentemente e sob condições idênticas, a proporção de vezes de qualquer evento específico ocorrer é aproximadamente igual a probabilidade da ocorrência do evento em uma tentativa particular (quanto maior o número de repetições melhor a aproximação tende a ser).

Mais precisamente, se E denota o evento em questão, se p denota a sua probabilidade de ocorrência e se N_n(E) denota o número de vezes E ocorre nas primeiras n tentativas, então com probabilidade 1,${\frac {N_{n}(E)}{n}}\to p{\text{ à medida que }}n\to \infty \$. (razão: Nn de E por n, tendendo para p)

Considerando a Desigualdade de Chebyshev, seja X uma variável aleatória com valor esperado finito μ e variância finita diferente de zero σ² . Então, para qualquer número real k > 0, $\Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.$ (k positivo, k maior que zero), (probabilidade: valor absoluto da diferença entre X e mi, maior ou igual k vezes sigma. Menor ou igual a razão de um por quadrado de k) Este teorema torna rigorosa a noção intuitiva de probabilidade como a frequência relativa de longo prazo da ocorrência de um evento. Este é um caso especial de umas dos muitas leis gerais dos grandes números na Teoria da Probabilidade.

Ver também

• Lei das Médias
• Lei de Littlewood
• Lei do Logaritmo Iterado
• Regressão à Média
• Teorema Central do Limite
• Teorema do Macaco Infinito

Leituras adicionais

• DURRETT, Richard. Probability: Theory and Examples.
• GRIMMETT, Geoffrey R; STIRZAKER, David R. Probability and Random Processes.
• HAZEWINKEL, Michiel. Law of large numbers. Encyclopedia of Mathematics.
• LEHMANN, Erich L.; ROMANO, Joseph P. Testing Statistical Hypotheses.

Ligações externas

• HONG, Dug Hun; LEE, Sung Ho. A Note on the Weak Law of Large Numbers for Exchangeable Random Variables. Disponível em: <http://www.mathnet.or.kr/mathnet/kms_tex/31810.pdf>.
• WEISSTEIN, Eric W. Strong Law of Large Numbers. MathWorld: A Wolfram Web Resource. Disponível em: <http://mathworld.wolfram.com/StrongLawofLargeNumbers.html>.
• WEISSTEIN, Eric W. Weak Law of Large Numbers. MathWorld: A Wolfram Web Resource. Disponível em: <http://mathworld.wolfram.com/WeakLawofLargeNumbers.html>.
• Weak Law of Large Numbers: Proof Using Characteristic Functions vs Proof Using Truncation. Mathematics Stack Exchange. Disponível em: <http://math.stackexchange.com/questions/266870/weak-law-of-large-numbers-proof-using-characteristic-functions-vs-proof-using-t>.

Categoria:Teoria das probabilidades Grandes Numeros