Teorema de Bayes

Teoria das probabilidades
Axiomas de probabilidade
Espaço de probabilidade Espaço amostral Evento primário Evento Variável aleatória Medida de probabilidade
Evento complementar Eventos mutuamente exclusivos Probabilidade conjunta Probabilidade marginal Probabilidade condicional
Independência Independência condicional Lei da probabilidade total Lei dos grandes números Teorema de Bayes Desigualdade de Boole
Diagrama de Venn Diagrama de árvore

Em teoria das probabilidades e estatística, o teorema de Bayes (alternativamente, a lei de Bayes ou a regra de Bayes) descreve a probabilidade de um evento, baseado em um conhecimento a priori que pode estar relacionado ao evento. O teorema mostra como alterar as probabilidades a priori tendo em vista novas evidências para obter probabilidades a posteriori. Por exemplo, o teorema de Bayes pode ser aplicado ao jogo das três portas (também conhecido como problema de Monty Hall).

Uma das muitas aplicações do teorema de Bayes é a inferência bayesiana, uma abordagem particular da inferência estatística. Quando aplicado, as probabilidades envolvidas no teorema de Bayes podem ter diferentes interpretações de probabilidade. Com a interpretação bayesiana de probabilidade, o teorema expressa como a probabilidade de um evento (ou o grau de crença na ocorrência de um evento) deve ser alterada após considerar evidências sobre a ocorrência deste evento. A inferência bayesiana é fundamental para a estatística bayesiana.

O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que foi o primeiro a fornecer uma equação que permitiria que novas evidências atualizassem a probabilidade de um evento a partir do conhecimento a priori (ou a crença inicial na ocorrência de um evento). O teorema de Bayes foi mais tarde desenvolvido por Pierre-Simon Laplace, que foi o primeiro a publicar uma formulação moderna em 1812 em seu livro Teoria Analítica de Probabilidade, na tradução do francês. Harold Jeffreys colocou o algoritmo de Bayes e a formulação de Laplace em uma base axiomática. Jeffreys escreveu que "o teorema de Bayes é para a teoria da probabilidade o que o teorema de Pitágoras é para a geometria".

Placa de neon, mostrando a expressão do teorema de Bayes.

História

Visualização do teorema de Bayes.

O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que estudou como calcular a distribuição para o parâmetro de probabilidade de uma distribuição binomial (terminologia moderna). O manuscrito não publicado de Bayes foi editado significativamente por Richard Price antes de ser lido postumamente na Royal Society. Price editou o principal trabalho de Bayes An Essay towards Solving a Problem in the Doctrine of Chances (1763), que aparece em Philosophical Transactions e contém o teorema de Bayes. Price escreveu uma introdução para o artigo, que fornece algumas das bases filosóficas da estatística bayesiana. Em 1765, Price foi eleito membro da Royal Society em reconhecimento ao seu trabalho sobre o legado de Bayes.

O matemático francês Pierre-Simon Laplace reproduziu e estendeu os resultados de Bayes em 1774, aparentemente sem ter conhecimento do trabalho de Bayes. A interpretação bayesiana da probabilidade foi desenvolvida principalmente por Laplace. Stephen Stigler sugeriu em 1983 que o teorema de Bayes foi descoberto pelo matemático inglês cego Nicholas Saunderson pouco antes de Bayes. Entretanto, esta interpretação tem sido contestada. Martyn Hooper e Sharon McGrayne argumentaram que a contribuição de Richard Price foi substancial: 

“ Por padrões modernos, devemos nos referir à regra Bayes–Price. Price descobriu o trabalho de Bayes, reconheceu sua importância, corrigiu–o, contribuiu para o artigo e encontrou um uso para ele. A convenção moderna de empregar apenas o nome de Bayes é injusta, mas tão arraigada que faz todo o resto não ter quase nenhum sentido. ”

Definição formal

Visão esquemática do teorema de Bayes, em que $Bi$ é uma partição do espaço de probabilidade $\Omega$ e $A$ é um evento qualquer.

O teorema de Bayes é um corolário da lei da probabilidade total, expresso matematicamente na forma da seguinte equação:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$,

em que $A$ e $B$ são eventos e $P(B)\neq 0$.

O teorema de Bayes também pode ser escrito da seguinte maneira:

$P(A\mid B)\,P(B)=P(A\cap B)=P(B\cap A)=P(B\mid A)\,P(A)=P(A\mid B)\,P(B)$

• $P(A)$ e $P(B)$ são as probabilidades a priori de $A$ e $B$;
• $P(A\mid B)$ é a probabilidade a posteriori (probabilidade condicionada) de $A$ condicional a $B$;
• $P(B\mid A)$ é a probabilidade a posteriori (probabilidade condicionada) de $B$ condicional a $A$.

Exemplo

Diagrama em árvore para o teste de droga, em que U, Ū, + e − são os eventos representando usuário, não usuário, resultado positivo e resultado negativo, respectivamente. As porcentagens entre parêntesis são calculadas.

Teste de drogas

Seja um teste de drogas 99% sensível e 99% específico. Isto é, o teste produzirá 99% de resultados verdadeiros positivos para usuários de drogas e 99% de resultados verdadeiros negativos para não-usuários de drogas. Suponha que 0,5% das pessoas são usuárias de drogas. Se um indivíduo selecionado aleatoriamente testar positivo, qual a probabilidade de ele ser usuário de drogas? Isto é, qual a probabilidade de não se cometer um falso positivo?

${\begin{aligned}P({\text{usuário}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P(+)}}\\&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})+P({\text{+}}\mid {\text{não usuário}})P({\text{não usuário}})}}\\[8pt]&={\frac {0,99\times 0,005}{0,99\times 0,005+0,01\times 0,995}}\\[8pt]&\approx 33,2\%\end{aligned}}$

Mesmo com a aparente precisão do teste, se um indivíduo testar positivo, é mais provável que ele não seja do que ele seja usuário de drogas. Isto porque o número de não-usuários é muito maior que o número de usuários de drogas. Então, o número de falsos positivos supera o número de positivos verdadeiros. Para usar números concretos, se 1000 indivíduos forem testados, espera–se que 995 não sejam usuários e 5 sejam usuários de drogas. Para os 995 não-usuários de drogas, são esperados $0,01\times 995\approx 10$ falsos positivos. Para os 5 usuários de drogas, são esperados $0,99\times 5\approx 5$ positivos verdadeiros. Isto é, dos 15 resultados positivos, apenas 5 (ou 33%) são genuínos. Isto ilustra a importância da probabilidade condicional e como políticas podem ser equivocadas se as probabilidades condicionais forem negligenciadas.

A importância da especificidade pode ser observada calculando–se que, mesmo se a sensibilidade for aumentada para 100% e a especificidade permanecer em 99%, a probabilidade do indivíduo ser um usuário de drogas subirá apenas de 33,2% para 33,4%. Entretanto, se a sensibilidade for mantida em 99% e a especificidade for aumentada para 99,5%, então a probabilidade do indivíduo ser um usuário de droga sobe para cerca de 49,9%.

Interpretações

Visualização geométrica do teorema de Bayes. Na tabela, os valores 3, 1, 2 e 6 fornecem os pesos relativos de cada caso e condição correspondente. As imagens mostram as células da tabela envolvidas em cada métrica, sendo a probabilidade a fração de cada figura que está sombreada. Isto mostra que: $P(A\mid B)\times P(B)=P(B\mid A)\times P(A)$. Isto é: $P(A\mid B)={\frac {P(B\mid A)\times P(A)}{P(B)}}$. Um raciocínio semelhante mostra que: $P({\bar {A}}\mid B)={\frac {P(B\mid {\bar {A}})\times P({\bar {A}})}{P(B)}}$.

A interpretação do teorema de Bayes depende da interpretação da probabilidade atribuída aos termos. As duas interpretações principais são descritas abaixo.

Interpretação bayesiana

Na interpretação bayesiana (ou epistemológica), a probabilidade mede o grau de crença. O teorema de Bayes liga o grau de crença em uma posição antes e depois de se considerar as evidências. Por exemplo, acredita–se com 50% de certeza que uma moeda tem o dobro de probabilidade de cair cara. Se a moeda for jogada várias vezes, o grau de crença pode aumentar, diminuir ou se manter igual dependendo dos resultados observados (ver inferência bayesiana).

Para proposição $A$ e evidência $B$:

• $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
• $P(A\mid B)$ (probabilidade a posteriori) é o grau de crença que representa $B$;
• O quociente ${\frac {P(B\mid A)}{P(B)}}$ é o suporte que $B$ fornece para $A$.

Interpretação frequencista

Ilustração da interpretação frequentista com o diagrama de árvore. O teorema de Bayes liga as probabilidades condicionais aos seus inversos.

Na interpretação frequencista, a probabilidade mede uma proporção de resultados. Por exemplo, suponha-se que uma experiência seja realizada muitas vezes. $P(A)$ é a proporção de resultados com propriedade $A$ e $P(B)$ é a proporção de resultados com propriedade $B$. $P(B\mid A)$ é a proporção de resultados com propriedade $B$, excluindo os resultados sem propriedade $A$, e $P(A\mid B)$ é a proporção de resultados com propriedade $A$, excluindo os resultados sem propriedade $B$.

Probabilidades condicionais

Ver artigo principal: Probabilidade condicionada

O papel do teorema de Bayes é melhor visualizado com o diagrama de árvore. Os dois diagramas dividem os mesmos resultados em $A$ e em $B$ em ordens opostas, para obter as probabilidades inversas. O teorema de Bayes serve como ligação entre estas diferentes partições.

Por exemplo, um entomologista vê o que poderia ser uma rara subespécie de besouro devido a um padrão em suas costas. Nas subespécies raras, 98% dos indivíduos tem o padrão. Isto é, $P({\text{padrão}}\mid {\text{raro}})=98\%$. Nas subespécies comuns, 5% dos indivíduos tem o padrão. Estas subespécies raras correspondem a apenas 0,1% da população. Então, qual a probabilidade do besouro com padrão ser raro? Em outras palavras, qual o valor de $P({\text{raro}}\mid {\text{padrão}})$?

Da expressão estendida do teorema de Bayes (uma vez que qualquer besouro pode ser apenas raro ou comum), tem–se:

${\begin{aligned}P({\text{raro}}\mid {\text{padrão}})&={\frac {P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})}{P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})+P({\text{padrão}}\mid {\text{comum}})P({\text{comum}})}}\\[8pt]&={\frac {0,98\times 0,001}{0,98\times 0,001+0,05\times 0,999}}\\[8pt]&\approx 1,9\%\end{aligned}}$

Isto é, o besouro com um padrão nas costas encontrado pelo entomologista tem probabilidade de 1,9% de ser raro.

Formas

Eventos

Forma simples

Para eventos $A$ e $B$, dado $P(B)\neq 0$:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$.

Na inferência bayesiana, deseja-se saber o grau de crença em um evento (ou conjunto de eventos) $A$, condicionalmente à ocorrência de um evento (ou conjunto de eventos) $B$ fixado (quantidade que é conhecida como distribuição a posteriori). O teorema de Bayes mostra que a distribuição a posteriori é proporcional à probabilidade de $B$ dado $A$ (que corresponde à função de verossimilhança da amostra) vezes a probabilidade de A (chamada de probabilidade a priori ou grau de crença antes da coleta de evidências):

$P(A\mid B)\propto P(A)\times P(B\mid A)\$ (proporcionalmente sobre $A$ para dado $B$).

Forma alternativa

Outra forma do teorema de Bayes que é geralmente encontrada quando são consideradas duas afirmações ou hipóteses concorrentes é:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid A^{c})P(A^{c})}}$.

Para proposição $A$ e evidência $B$:

• $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
• $P(A^{c})$ é a probabilidade correspondente do grau de crença inicial contra $A$. $P(A^{c})=1-P(A)$;
• $P(B\mid A)$ (probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é verdadeira;
• $P(B\mid A^{c})$(probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é falsa;
• $P(A\mid B)$ (probabilidade a posteriori) é a probabilidade para $A$, após considerar $B$ para e contra $A$.

Forma estendida

Para alguma partição $\{A_{j}\}$ do espaço amostral, muitas vezes o espaço do evento é dado em termos de $P(A_{j})$ e $P(B\mid A_{j})$. Isto é útil para calcular $P(B)$, usando a lei de probabilidade total:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})}\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}$.

Variáveis aleatórias

Diagrama ilustrando o significado do teorema de Bayes como aplicado a um espaço de evento gerado por variáveis aleatórias contínuas $X$ e $Y$. Existe uma instância do teorema de Bayes para cada ponto no domínio. Na prática, estas instâncias podem ser parametrizadas escrevendo as densidades de probabilidade específicas como funções de $x$ e $y$.

Seja o espaço amostral $\Omega$ gerado por duas variáveis aleatórias $X$ e $Y$. Em princípio, o teorema de Bayes aplica–se aos eventos $A=\{X=x\}$ e $B=\{Y=y\}$. Entretanto, os termos se tornam 0 nos pontos em que qualquer variável tem densidade de probabilidade finita. Para continuar útil, o teorema de Bayes pode ser formulado em termos de densidades relevantes.

Forma simples

Se $X$ é contínua e $Y$ é discreta,

$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.$

Se $X$ é discreta e $Y$ é contínua,

$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.$

Se $X$ e $Y$ são contínuas,

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}},$

em $f_{X}$ e $f_{Y}$ representam as funções de distribuição de probabilidade de $X$ e $Y$, respectivamente.

Forma estendida

Diagrama ilustrando como um espaço de evento gerado por variáveis aleatórias contínuas $X$ e $Y$geralmente é concebido.

Um espaço de evento contínuo muitas vezes é dado em termos dos termos do numerador. Então, é útil eliminar o denominador usando a lei de probabilidade total. Para $f_{Y}(y)$, isto se torna uma integral:

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .$

Regra de Bayes

A regra da Bayes é o teorema de Bayes na forma de chances:

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$,

em que

$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

é chamado de fator Bayes ou razão de verossimilhança. As chances entre os dois eventos é simplesmente a razão entre as probabilidades dos dois eventos.

Então,

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}.$

Portanto, a regra de Bayes afirma que as chances posteriores são as chances iniciais multiplicadas pelo fator de Bayes. Em outras palavras, as probabilidades a posteriori são proporcionais às probabilidades a priori.

Derivação

Para eventos

O teorema de Bayes pode ser derivado a partir da definição de probabilidade condicional:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ se }}P(B)\neq 0,\!$

$P(B\mid A)={\frac {P(B\cap A)}{P(A)}},{\text{ se }}P(A)\neq 0,\!$

pois $P(B\cap A)=P(A\cap B)$.

Então,

$P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A)\!$

Logo, ajustando-se os termos, tem-se:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ se }}P(B)\neq 0.$

Para variáveis aleatórias

Para duas variáveis aleatórias contínuas $X$ e $Y$, o teorema de Bayes pode ser analogamente derivado da definição de probabilidade condicional:$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Ver também

• Epistemologia bayesiana
• Filtro bayesiano
• Inferência bayesiana

Leitura adicional

• Bruss, F. Thomas (18 de setembro de 2013). «250 years of "An essay towards solving a problem in the doctrine of chances. By the late Rev. Mr. Bayes, F.R.S. communicated by Mr. Price, in a letter to John Canton, A.M.F.R.S."». Jahresbericht der Deutschen Mathematiker-Vereinigung – Springer Journals. 115 (3-4): 129-133. doi:10.1365/s13291-013-0069-z 
• Bussab, Wilton de O.; Morettin, Pedro A. (2010). Estatística Básica 6 ed. São Paulo: Saraiva. 540 páginas 
• DeDeo, Simon (30 de novembro de 2016). «Bayesian Reasoning for Intelligent People» (PDF). Consultado em 8 de junho de 2016 
• Farias, Ana Maria Lima de; Laurencel, Luiz da Costa (2006). «Probabilidade». Universidade Federal Fluminense (UFF) 
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2014). Bayesian data analysis 3 ed. Boca Raton: Chapman & Hall 
• Grinstead, Charles M.; Snell, J. Laurie (2003). Introduction to Probability (PDF). [S.l.]: American Mathematical Society 
• Hazewinkel, Michiel (2001). Encyclopedia of mathematics. [S.l.: s.n.] 
• Laplace, Pierre-Simon (1840). Essai philosophique sur les probabilités (em francês). Paris: Bachelier 
• Laplace, Pierre-Simon (1986). «Memoir on the probability of the causes of events». Statistical Science. 1 (3): 364-378. JSTOR 2245476 
• Lee, Peter M (2012). Bayesian statistics: an introduction 4 ed. [S.l.]: John Wiley & Sons. 486 páginas. ISBN 978-1-118-33257-3 
• Mcgrayne, Sharon B. (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy. London: Yale University Press. JSTOR j.ctt1np76s 
• Puga, Jorge L.; Krzywinski, Martin; Altman, Naomi (2015). «Points of Significance: Bayes' theorem» (PDF). Nature Methods. 12 (4): 277-278 
• Rosenthal, Jeffrey S. (2005). Struck by Lightning: The Curious World of Probabilities 1 ed. [S.l.]: HarperCollins. ISBN 978-0309097345 
• Stigler, Stephen M. (1986). «Laplace's 1774 Memoir on Inverse Probability». Statistical Science. 1 (3): 359-378 
• Stone, James V. (2013). Bayes' Rule: A tutorial introduction to Bayesian Analysis 1 ed. [S.l.]: Sebtel Press. ISBN 978-0-9563728-4-0 

Ligações externas

• An Intuitive Explanation of Bayes' Theorem
• Bayes Theorem and the Possibility of False Claims
• Conditional Probability Explained Visually (Bayes' Theorem)
• Earliest Known Uses of Some of the Words of Mathematics (B)
• Explaining Bayesian Problems Using Visualizations
• Probability and Bayes’ Theorem
• The Mathematics of Changing Your Mind
• Weisstein, Eric W. Bayes' Theorem. From MathWorld--A Wolfram Web Resource.