Usuária:MCarrera (NeuroMat)/Testes/Significância estatística

Em estatística um resultado tem significância estatística se for improvável que tenha ocorrido por acaso. Mais concretamente, a significância está relacionada ao nível de confiança ao rejeitar a hipótese nula quando esta na verdade é verdadeira (erro do tipo I). O nível de significância de um resultado é também chamado de  e não deve ser confundido com o valor p (p-value). Teste de significância é uma expressão cunhada por Ronald Fisher.

Em um teste de cauda dupla o nível de rejeição é particionado entre os dois lados da distribuição amostral e responde por apenas 5% da área abaixo da curva.

O nível de significância não deve ser confundido com probabilidade de significância, uma vez que não é uma probabilidade. Por exemplo, ao fazer um teste com uma média, se fosse possível repetir um número muito grande de amostras para calcular a média, em aproximadamente 5% dessas amostras, seria rejeitada a hipótese nula quando esta é verdadeira. Assim, como em um experimento real, somente é coletada uma amostra, espera-se que esta seja uma da 95% onde a hipótese nula é realmente falsa. Assim tem-se confiança no resultado obtido. Como outro exemplo, ao se calcular um intervalo de confiança 95%, equivalente a um erro Tipo I de 5%, tem-se confiança que o intervalo contêm o parâmetro estimado. No entanto, uma vez que reporta-se um intervalo numérico, o parâmetro populacional desconhecido ou está dentro do intervalo ou fora; não existe uma probabilidade desse intervalo conter o parâmetro.

Outro exemplo: podemos escolher um nível de significância de 5%, e calcular um valor crítico de um parâmetro (por exemplo a média) de modo que a probabilidade de ela exceder esse valor, dada a verdade da hipótese nula, ser 5%. Se o valor estatístico calculado (ou seja, o nível de 5% de significância anteriormente escolhido) exceder o valor crítico, então o resultado é significativo "ao nível de 5%".

Se o nível de significância (ex: 5% anteriormente dado) é menor, o valor é menos provavelmente um extremo em relação ao valor crítico. Deste modo, um resultado que é "significante ao nível de 1%" é mais significante do que um resultado que é significante "ao nível de 5%". No entanto, um teste ao nível de 1% é mais susceptível de padecer do erro do tipo II do que um teste de 5% e por isso terá menos poder estatístico.

Ao divisar um teste de hipóteses, o técnico deverá tentar maximizar o poder de uma dada significância, mas ultimamente tem de reconhecer que o melhor resultado que se pode obter é um compromisso entre significância e poder, em outras palavras, entre os erros de tipo I e tipo II.

É importante ressaltar que os valores p Fisherianos são filosoficamente diferentes dos erros de tipo I de Neyman-Pearson. Esta confusão é infelizmente propagada por muitos livros de estatística.

Em testes de hipótese estatísticos, a significância estatística (resultado estatisticamente significante) é obtido quando o valor–p observado em um teste estatístico é menor que o nível de significância definido para o estudo. É uma medida estimada do grau em que o resultado do experimento é verdadeiro.

O valor–p (nível descritivo ou probabilidade de significância) é a probabilidade de se obter uma estatística em um teste igual ou mais extrema que as estatísticas em uma amostra dada a hipótese nula verdadeira. O nível de significância $\alpha$ é a probabilidade de se rejeitar a hipótese nula (erro tipo I) quando ela é verdadeira. Em outras palavras, o valor–p é o menor nível de significância com que rejeita–se a hipótese nula ou a probabilidade mínima de erro ao concluir que existe significância estatística. Por exemplo, rejeita–se a hipótese nula a 5% quando o valor–p é menor que 5%. Um valor–p pequeno significa que a probabilidade de se obter uma estatística em um teste com valor igual ao de uma estatística em uma amostra é muito improvável, rejeitando–se a hipótese nula.

O nível de significância é geralmente determinado pelo pesquisador antes da coleta dos dados e tradicionalmente fixado em 0,05 ou abaixo, dependendo da área de estudo. Em muitas áreas de estudo, resultados com nível de significância de 0,05 (probabilidade de erro de 5%) são considerados estatisticamente relevantes.

Quando retira–se uma amostra de uma população em um experimento, há possibilidade de ocorrer um efeito devido ao erro amostral (diferença entre a estimativa da amostra e o parâmetro da população). Se o valor–p do efeito for menor que o nível de significância, pode–se concluir que o efeito reflete as características de toda a população e rejeitar a hipótese nula. O conceito de teste de significância começou a ser desenvolvido no início do século XX pelo estatístico Ronald Fisher. O termo significância não implica importância e o termo significância estatística não significa pesquisa ou significância prática ou teórica. Por exemplo, o termo significância clinica refere–se à importância prática do efeito de um tratamento.

História

Em 1710, John Arbuthnot (1667 — 1735) fez a primeira tentativa de análise de teste de hipótese com cálculos probabilísticos. Em An Argument for Divine Providence, Taken From the Constant Regularity Observed in the Births of Both Sexes, Arbuthnot usou séries de dados temporais da proporção de nascimentos de homens e da proporção de nascimentos de mulheres em Londres entre 1629 e 1710 para realizar o primeiro teste de significância por meio da comparação de dados observados e hipótese nula.

Em 1925, Ronald Fisher (1890 — 1962) avançou o conceito de teste de hipótese. Em Statistical Methods for Research Workers, Fisher chamou os testes de hipótese de testes de significância, sugeriu a probabilidade de 0,05 ${\Bigl (}{\frac {1}{20}}{\Bigr )}$ como o nível de corte para rejeitar a hipótese nula e aplico–a a uma distribuição normal como um teste de duas caudas.

“ Estes testes podem ser chamados testes de significância, e quando estes testes estão disponíveis podem descobrir se uma segunda amostra e ou não é significantemente diferente da primeira [amostra]. ”

—  Ronald Fisher, em Statistical Methods for Research Workers

Em Statistical Methods for Research Workers, Fisher também introduziu o valor aproximado de 1,96 para o 97,5 percentil de um distribuição normal usado em probabilidade e estatística e popularizou o conceito de valor–p.

Apesar da indicação da probabilidade de 0,05, Fisher não pretendia que o nível de significância fosse fixo. Em Statistical Methods and Scientific Inference, Fisher sugere que os níveis de significância sejam estabelecidos de acordo com circunstâncias específicas. Em 1933, Jerzy Neyman e Egon Pearson aprimoraram o teste de significância, denominaram o nível de corte de nível de significância $\alpha$ e recomendaram que o nível de significância $\alpha$ fosse determinado antes da coleta dos dados.

Definição informal

A significância estatística indica que é improvável que o resultado tenha ocorrido por acaso. Está relacionada ao nível de confiança ao rejeitar a hipótese nula quando ela é verdadeira (erro tipo I). O nível de significância $\alpha$ não pode ser confundido com o valor–p, sobretudo porque não é uma probabilidade. Em um teste hipotético, em que fosse possível repetir um número muito grande de amostras para calcular a média, a hipótese nula seria rejeita quando ela fosse verdadeira em aproximadamente 5% das amostras. Em um experimento real, em que é possível coletar somente uma amostra, espera–se que a amostra seja uma das 95% para as quais a hipótese nula é falsa.

É assim que tem–se a confiança do resultado. Quando calcula–se um intervalo de confiança de 95% (equivalente a um erro tipo I de 5%), tem–se a confiança que o intervalo contém o parâmetro estimado. Entretanto, quando reporta–se um intervalo, o parâmetro populacional desconhecido está dentro ou está fora do intervalo. Não existe probabilidade de o intervalo conter o parâmetro populacional.

Em um teste de cauda dupla o nível de rejeição é particionado entre os dois lados da distribuição amostral e responde por apenas 5% da área abaixo da curva.

É possível escolher um nível de significância de 5% e calcular um valor crítico de um parâmetro (por exemplo, a média), de modo que a probabilidade a probabilidade do parâmetro exceder o valor crítico dada a hipótese nula verdadeira é 5%. Se o valor estatístico (nível de significância de 5% determinado anteriormente) exceder o valor crítico, o resultado é significante ao nível de 5%. Se o nível de significância (por exemplo, o nível de significância de 5% determinado anteriormente) é menor, a probabilidade do valor estatístico ser mais extremo que o valor crítico também é menor. Então, um resultado significante ao nível de 1% é mais significante que um resultado significante ao nível de 5%. Entretanto, um teste ao nível de confiança de 1% é mais susceptível de ter o erro tipo II que um teste ao nível de confiança de 5%. Portanto, terá menos poder estatístico.

Definição formal

Em testes de hipótese, formula–se a hipótese nula $H_{0}$ a ser testada e realizam–se os testes para rejeitar ou não rejeita–la. Há quatro situações possíveis:

	Hipótese nula $H_{0}$ é verdadeira	Hipótese nula $H_{0}$ é falsa
Hipótese nula $H_{0}$ é rejeitada	Erro tipo I	Não há erro
Hipótese nula $H_{0}$ não é rejeitada	Não há erro	Erro tipo II

Ou seja, o erro tipo I ocorre quando chega–se a um resultado que aconteceu por acaso, apesar de ter significância estatística. O erro tipo I também é chamado de falso positivo. O erro tipo II ocorre quando não rejeita–se a hipótese nula quando ela é falsa. Quando realizar o teste de hipótese, o pesquisador deve tentar maximizar o poder de uma dada significância. Entretanto, o pesquisador precisa reconhecer que o melhor resultado possível é um equilíbrio entre significância e poder. Em outras palavras, entre o erro tipo I e o erro tipo II. O lema de Neyman–Pearson consiste justamente em demonstrar as condições necessárias e suficientes para o teste de hipótese mais poderoso. Portanto,

Seja $X_{1},X_{2},\dots ,X_{n}$ uma amostra aleatória com função densidade ou distribuição de probabilidade $fX(x,\theta )$, com $\theta \in \Theta$.

Sejam ${\begin{cases}H_{0}:\theta =\theta _{0}\\H_{1}:\theta =\theta _{1}\\\end{cases}}$.

Seja $c$ a constante para o nível de significância $\alpha$.

Então, o teste $\phi (X)={\begin{cases}1{\text{ se }}fX(x,\theta _{1})>cfX(x,\theta _{0})\\0{\text{ se }}fX(x,\theta _{1})\leq cfX(x,\theta _{0})\\\end{cases}}$

é definido como o teste mais poderoso para o nível de significância $\alpha$ para testar a hipótese nula $H_{0}$ contra a hipótese alternativa $H_{1}$.

É importante ressaltar que os valores–p de Fisher são filosoficamente dos erros tipo I de Neyman–Pearson, embora muitos livros sobre análise estatística em diferentes áreas de pesquisa tanto de graduação quando de pós–graduação como se fosse um método único de inferência estatística. Hoje o método considerado clássico é o teste de hipótese de Neyman–Pearson, embora muitas vezes ele seja apresentado com os testes de significância de Fisher. Esta mistura com mais elementos de Fisher que elementos de Neyman–Pearson e com interpretação bayseana de alguns resultados pode resultar na confusão entre medidas de erro procedimentais, entre probabilidades frequentistas utilizadas e probabilidades a posteriori de a hipótese nula ser verdadeira ou conter erro e entre a significância estatística e a significância científica dos resultados da pesquisa.

Exemplos

Exemplo teorico

Considere uma fabrica qualquer a qual produz um tipo de grão e as suas máquinas podem encher pacotes para serem vendidos com uma média $\mu$ e uma variância sempre igual a $400g^{2}$ . As regulagens das máquinas estão em $\mu =500g$ para encher os pacotes na fabricação. Para entender se há falta de regulagem nas máquinas, periodicamente se obtém uma amostra de 14 pacotes. Se $\mu \neq 500g$ nas amostras, então as máquinas estão fora de controle e precisam serem reguladas. Mas se uma amostra tiver a média ${\bar {X}}=490g$, será necessário regular as máquinas?

Ao considerar peso de cada pacote sendo $X$, então $X\sim N(\mu ,400)$ . Para esse caso as hipóteses são:

$H_{0}:\mu =500g$

$H_{1}:\mu \neq 500g$

Observa-se que a variância $\sigma ^{2}$ é $\sigma ^{2}=400$, onde o enunciado informa que o valor é sempre o mesmo nesse problema. Então, para todo $\mu$, a média ${\bar {X}}$ de 14 pacotes tem a sua distribuição $N{\Big (}\mu ,{\frac {400}{14}}{\Big )}$, onde o desvio padrão de ${\bar {X}}$ é $\sigma _{\bar {X}}=5$.

Ao fixar $\alpha =1\%$ devido $H_{1}$, tem-se que $H_{0}$ deve ser rejeitada quando ${\bar {X}}$ for pequeno ou grande demais.

A partir da curva normal padronizada obtém-se os scores $z_{1}$ e $z_{2}$. Ou seja,

$z_{1}=-2,58={\frac {({\bar {X}}_{c1}-500)}{5}}\Rightarrow {\bar {X}}_{c_{1}}=487,1$

$z_{2}=2,58={\frac {({\bar {X}}_{c2}-500)}{5}}\Rightarrow {\bar {X}}_{c_{2}}=512,9$

Portanto a região crítica é definida como $RC=\{{\bar {X}}\in \mathbb {R} |{\bar {X}}\leq 487,1{\text{ou}}{\bar {X}}\geq 512,9\}$.

Nessa problema a ${\bar {x}}_{0}=490$. Portanto, como ${\bar {x}}_{0}$ não pertence a região crítica, logo $H_{0}$ não deverá ser rejeitada.

Exemplo prático

Se uma moeda é honesta, em 100 lances, qual a probabilidade de se obter entre 40 e 60 a face cara?

A média $\mu$ e o desvio padrão $\sigma$ para a possibilidade da face cara da moeda para os 100 lances é

$\mu =100\cdot {\frac {1}{2}}=50$ e

$\sigma ={\sqrt {100\cdot {\frac {1}{2}}\cdot {\frac {1}{2}}}}=5$

A partir dos scores de $z_{1}$ e $z_{2}$, obtém-se:

$z_{1}={\frac {39,\!5-50}{5}}=-2,\!5$

$z_{2}={\frac {60,\!5-50}{5}}=2,\!5$

A probabilidade desejada é igual a área sob a curva normal entre $z_{1}=-2,\!5$ e $z_{2}=2,\!5$. Ou seja, através da tabela padronizada normal, tem-se entre $z=0$ e $z=\pm 2,\!10$ a área igual a $0,\!9642$.

A probabilidade de rejeitar a hipotese quando ela é correta é a área total da curva normal (100% = 1) menos a probabilidade desejada. Isto é, $1-0,\!9642=0,\!0358$. Logo, a probabilidade de rejeitar a hipotese quando ela é correta, é $0,\!0358$. A partir da probabilidade de $0,\!0358$ defini-se o nível de significância em $0,\!0358=3,\!58\%$ em rejeição da hipótese.

Conceitos relacionados

O nível de significância $\alpha$ é o limite para o valor–p, abaixo do qual assume–se que a hipótese nula é falsa. Isto significa que o nível de significância $\alpha$ também é a probabilidade de rejeitar equivocadamente a hipótese nula, se a hipótese nula for verdadeira.

O nível de confiança $\gamma =(1-\alpha )$ é a probabilidade de não rejeitar a hipótese nula, quando ela é verdadeira.

Papel nos testes de hipótese estatísticos

In a two-tailed test, the rejection region for a significance level of α=0.05 is partitioned to both ends of the sampling distribution and makes up 5% of the area under the curve (white areas).

A significância estatística desempenha um papel fundamental em testes de hipótese estatísticos. É usado para determinar de a hipótese numa deve ser rejeitada ou mantida. A hipótese nula é a suposição padrão de que nada aconteceu ou de que nada mudou. Para a hipótese nula ser rejeitada, um resultado observado precisa ser significantemente estatístico. Isto é, o valor $p$ é menor que o nível de significância pré–estabelecido.

Para determinar se o resultado é estatisticamente significante, o pesquisado calcula o valor $p$, a probabilidade de observar um efeito dado que a hipótese nula é verdadeira. A hipótese nula é rejeitada se o valor $p$ é menor que um nível pré–determinado $\alpha$. $\alpha$ é chamado nível de significância e é a probabilidade de rejeitar a hipótese nula dado que ela é verdade (erro do tipo I). É geralmente estabelecido em ou abaixo de 5%.

Por exemplo, quando $\alpha$ é estabelecido em 5%, a probabilidade condicional de um erro do tipo I, dado que a hipótese nula é verdadeira, é 5%. Um resultado estatisticamente significante é aquele em que o valor $p$ observado é menor que 5%. Quando retirando dados de uma população, significa que a região de rejeição compreende 5% da distribuição amostral. Estes 5% podem ser alocados para um lado da distribuição como em um teste com uma cauda ou repartidps para os dois lados da distribuição como em um teste com duas caudas, com cada cauda (região de rejeição) contendo 2,5% da distribuição.

O uso de um teste de uma cauda depende se a questão de pesquisa ou a hipótese alternativa especificar uma direção como se um grupo de objetos é mais pesado ou o desempenho de estudantes em uma tarefa é melhor. O teste de duas caudas pode ser utllizado, mas ele será menos poderoso que o teste de uma cauda porque a região de rejeição para o teste de uma cauda é concentrado em uma extremidade da distribuição nula e tem o dobro do tamanho (5% ante 2,5%) de cada região de rejeição para o teste de duas caudas. Como resultado, a hipótese nula pode ser rejeitada com um resultado menos extremos se um teste de uma cauda foi usado. O teste de uma cauda é mais poderoso que o teste de duas caudas apenas se a direção especificada ou a hipótese alternativa forem corretas. Se a direção especificada ou a hipótese alternativa forem erradas, então o teste de uma cauda não tem poder.

Os testes de hipótese são constituídos de alternativas que são testadas. Uma população tem uma amostra retirada e através da aplicação de teoria de probabilidades é possível tirar conclusões em relação a essa amostra, como determinar sua veracidade em relação a composição da população, distinguir entre diferentes populações das quais a amostra pode ser oriunda, auxiliar na comprovação de uma teoria ou no remodelamento dos métodos de testes aplicados para a sua comprovação, determinar limites estatísticos para uma população (doenças, intenções de voto, salário, por exemplo), checar a confiabilidade de um estudo e no auxílio de qualquer tomada de decisão simples em que seja necessário um rigor estatístico para comprovação da escolha.

Limites de significância rigorosos em áreas específicas

Em áreas específicas como física de partículas ou indústria, a significância estatística geralmente é expressa em múltiplos dos desvios padrão ($\sigma$) de uma distribuição normal com limites de significância estabelecidos em um nível muito mais rigoroso (por exemplo, $5\sigma$). Por exemplo, a certeza da existência da particula Bóson de Higgs foi baseada no critério $5\sigma$, que corresponde ao valor $p$ de cerca de 1 em 3,5 milhões.

Em outras áreas de pesquisa científica como os estudos do genoma níveis de significância tão baixos quanto 6992500000000000000♠5×10⁻⁸ não são incomuns.

Em um exemplo na física de partículas, o padrão 5 sigma é usado para considerar o resultado significativo. O padrão 5 sigma traduz uma chance em 3,5 milhões de uma flutuação aleatória afetar o resultado, o que representa uma probabilidade de erro inferior a 0,00003 % (nível de confiança superior a 99.99997%). Este nível de certeza foi requerido para declarar a primeira detecção de ondas gravitacionais e garantir a descoberta de uma partícula consistente com bóson de Higgs em dois experimentos independentes na Organização Europeia para a Pesquisa Nuclear (CERN).

Correções

Para testes de hipóteses, o problema de comparações múltiplas (também conhecido como problema de testes múltiplos) resulta do aumento do erro do tipo I que ocorre quando os testes são usados repetidamente. Se $k$ comparações independentes foram realizadas, o nível de significância ${\bar {\alpha }}$ do experimento (também chamado taxa de erro da família) é dado por ${\bar {\alpha }}=1-\left(1-\alpha _{\{{\text{por comparação}}\}}\right)^{k}.$ Consequentemente, a menos que os testes sejam perfeitamente e positivamente dependentes, ${\bar {\alpha }}$ aumenta conforme o número de comparações aumenta. Se as comparações não forem independentes, também é possível afirmar que ${\bar {\alpha }}\leq k\cdot \alpha _{\{{\text{por comparação}}\}}$, seguindo a desigualdade de Boole.

Há diferentes formar de garantir que a taxa de erro da família seja ${\bar {\alpha }}$. O método mais conservador, que é livre de dependência e suposições distributivas é a correção de Bonferroni $\alpha _{\{{\text{por comparação}}\}}={\frac {\bar {\alpha }}{k}}$. Uma correção menos conservadora pode ser obtida resolvendo a equação para a taxa de erro da família de $k$ comparações independentes para $\alpha _{\{{\text{por comparação}}\}}$. isto resulta em $\alpha _{\{{\text{por comparação}}\}}=1-{(1-{\bar {\alpha }})}^{\frac {1}{k}}$, que é conhecido como a correção de Šidák. Outro procedimento é o método de Holm–Bonferroni, que tem mais poder que a correção de Bonferroni testando apenas o menor p–valor ($i=1$) contra o critério mais rigoroso e o maior p–valor ($i>1$) contra o critério menos rigoroso

$\alpha _{\{{\text{por comparação}}\}}={\frac {\bar {\alpha }}{(k-i+1)}}$

Correção de Bonferroni

Em estatística, a correção de Bonferroni é um dos vários métodos utilizados para neutralizar o problema das comparações múltiplas. O teste de hipóteses é baseado na rejeição da hipótese nula se a probabilidade dos dados observados ficar abaixo da hipótese nula for baixa. Se as múltiplas comparações forem feitas ou se as múltiplas hipóteses forem testadas, a chance de acontecer um evento raro aumenta e, portanto, a probabilidade de rejeitar–se incorretamente a hipótese nula também aumenta. Isto é, a chance de ocorrer erro do tipo I aumenta. A correção de Bonferroni compensa este aumento por meio do teste de cada hipótese individual em um nível de significância de ${\frac {\alpha }{m}}$, em que $\alpha$ é o nível $\alpha$ total desejado e $m$ é o número de hipóteses . Por exemplo, se foram testadas $m=20{\text{ hipóteses}}$ com $\alpha =0,05$, então a correção de Bonferroni testaria cada hipótese individual com $\alpha ={\frac {0,05}{20}}=0,0025$.

Desigualdade de Bonferroni

Em teoria das probabilidades, a desigualdade de Boole afirma que para qualquer conjunto finito de eventos a probabilidade de pelo menos um dos eventos acontecer não é maior que a soma das probabilidades dos eventos individuais. A desigualdade de Boole pode ser generalizada para encontrar os limites superiores e inferiores da probabilidade de um conjunto finito de eventos. Estes limites são conhecidos como desigualdades de Bonferroni.

Sejam $S_{1}:=\sum _{i=1}^{n}{\mathbb {P} }(A_{i})$ e $S_{2}:=\sum _{1\leq i<j\leq n}{\mathbb {P} }(A_{i}\cap A_{j})$ , assim como $S_{k}:=\sum _{1\leq i_{1}<\cdots <i_{k}\leq n}{\mathbb {P} }(A_{i_{1}}\cap \cdots \cap A_{i_{k}})$, para todos os inteiros $k$ em $\{3,...,n\}$. Então, para $k$ ímpares em $\{1,...,n\}$, ${\mathbb {P} }{\biggl (}\bigcup _{i=1}^{n}A_{i}{\biggr )}\leq \sum _{j=1}^{k}(-1)^{j-1}S_{j}$, e para $k$ pares em $\{2,...,n\}$, ${\mathbb {P} }{\biggl (}\bigcup _{i=1}^{n}A_{i}{\biggr )}\geq \sum _{j=1}^{k}(-1)^{j-1}S_{j}$.

A desigualdade de Boole é recuperada estabelecendo–se $k=1$. Quando $k=n$, a igualdade se mantém e a identidade resultante é o princípio da inclusão–exclusão.

Método de Holm–Bonferroni

Em estatística, o método de Holm–Bonferroni (também chamado método de Holm ou método de Bonferroni–Holm) é usado para neutralizar o problema das comparações múltiplas. Pretende–se controlar a taxa de erro da família e oferece–se um teste simples uniformemente mais poderoso que a correção de Bonferroni. É um dos primeiros usos de stepwise algorithms em inferência simultânea. O método de Holm–Bonferroni segue os seguintes passos:

• Seja $H_{1},...,H_{m}$ a família de hipóteses e $P_{1},...,P_{m}$ os p–valores correspondentes.
• Os p–valores são ordenados em ordem crescente $P_{(1)}\ldots P_{(m)}$, sendo $H_{(1)}\ldots H_{(m)}$ as hipóteses associadas.
• Para um dado nível de significância $\alpha$, seja $k$ o índice mínimo para o qual $P_{(k)}>{\frac {\alpha }{m+1-k}}$.
• As hipóteses nulas $H_{(1)}\ldots H_{(k-1)}$ são rejeitadas e as hipóteses $H_{(k)}\ldots H_{(m)}$ não são rejeitadas.
• Se $k=1$, então nenhuma hipótese nula é rejeitadas. Se não existir nenhum $k$, então todas as hipóteses nulas são rejeitadas.

Correção de Šidák

Em estatística, a correção de Šidák ou correção de Dunn–Šidák é um método utilizado para neutralizar o problema das comparações múltiplas. É um método simples de controlar a taxa de erro da família. Quando todas as hipóteses nulas são verdadeiras, o método fornece o controle do erro da família exato para testes que são estocasticamente independentes. É conservador para testes que são positivamente dependentes e é liberal para testes que são negativamente dependentes.

Limitações

Pesquisadores focam–se exclusivamente se seus resultados são estatisticamente significantes e se eles podem reportar dados que não são substanciais e replicáveis. Há também uma diferença entre a significância estatística e a significância prática. Um estudo que mostre–se estatisticamente significante não necessariamente pode ser praticamente significante.

Tamanho do efeito

Tamanho do efeito é uma medida da significância prática de um estudo. Um resultado estatisticamente significante pode ter um efeito fraco. para avaliar a significância da pesquisa do seu resultado, pesquisadores são encorajados a sempre reportar o tamanho do efeito junto com os valores $p$. Uma medida de tamanho do efeito quantifica a força de um efeito, como a distância entre duas médias em unidades de desvio padrão, a correlação entre duas variáveis ou seus quadrados e outras medidas.

Reprodutibilidade

Um resultado estatisticamente significante pode não ser fácil de ser reproduzido. Em particular, alguns resultados estatisticamente significantes irão de fato falsos positivos. Cada tentativa sem sucesso de reproduzir um resultado aumenta a crença que o resultado era um falso positivo.

Controvérsia sobre o uso excessivo em algumas revistas

Começando nos anos 2010, algumas revistas começaram a questionar se o teste de significância, e particularmente o uso de um limiar de $\alpha =5\%$, estava sendo muito usado como medida primária de validade de uma hipótese. Algumas revistas encorajaram autores a fazer análises mais detalhadas que apenas um teste de significância estatístico. Em psicologia social, o Journal of Basic and Applied Social Psychology baniu o uso do teste de significância dos trabalhos publicados por ela, exigindo que os autores usassem outras medidas para avaliar hipótese e impacto.

Utilizações

Medicina

Na medicina o uso do teste de significância pode ser relacionado a vários fatores, como a aceitação de uma determinada substância para um tratamento de vírus ou bactérias, as condições sobre os pacientes no sentido de risco para uma cirurgia, se é possível imunizar uma população, etc. Isso pode ser analisado se tomada uma hipótese, esta será aceita ou não dentro dos parâmetros de significância. Por exemplo, é possível verificar em uma população saudável comparando com uma população doente e, essa comparação será possível a partir de amostras de sangue de cada população. Ou seja, a amostra da população considerada saudável terá um comportamento diferente da população doente e, ambas amostras possuem características estatísticas, como desvio padrão, media, mediana, etc. Dessa forma pode-se aproximar as amostras para uma distribuição normal e comparando as duas amostras e suas curvas normais de doentes e saudáveis pode-se entender o quanto cada curva normal pode se sobrepor uma na outra. Isto é, o quanto da população saudável pode se tornar doente devido a área crítica.

Indústria

Na indústria existem várias preocupações sobre o custo de produção, a durabilidade, a aceitação de um determinado item e etc. Por exemplo, se uma empresa tem a intenção de verificar o quanto uma carga de bateria pode sofrer impactos termo-elétricos. Ou seja, existe um probabilidade $p$ a qual pode levar a falha da bateria, dessa forma testa-se se um modelo matemático geométrico será adequado para determinar uma variável aleatória $X$ a qual indica a quantidade de impactos suportado pela bateria. Para o teste de impactos termo-elétricos providencia-se ao acaso uma amostra quantitativa $n$ de bateria e, supondo que a mostra seja $n=40$, desenvolve-se um teste impondo a cada bateria um impacto termo-elétrico e observa-se em qual bateria irá ocorrer a falha e, dessa forma é possível expor uma tabela de frequência indicando os valores. A partir dos dados coletados inicia-se a análise sobre rejeitar ou não a hipótese do modelo matemático geométrico. Portanto, uma análise com teste de significância é possível identificar a quantidade de impactos termo-elétricos em um produto na indústria.

Agronegócio

Na agricultura se examina alguns modelos para plantar uma determinada espécie de alimento, como maçã, feijão, café e etc. Também é comum em uma lavoura ocorrer incidência de insetos os quais são conhecidos como pragas no setor para os agricultores. O controle das pragas são realizados através de pesticida os quais matam os insetos e não comprometem a colheita e isso gera custos. No entanto, se um agricultor puder verificar se o nível de pragas na sua lavoura pode permitir a troca para um pesticida mais barato e permitindo uma economia local. O agricultor ao investigar que sempre utiliza o mesmo pesticida mais caro para a quantidade superior a $10\%$ de pragas em relação a lavoura, ou seja, se o agricultor obter uma evidência de que a quantidade da lavoura contém uma quantidade inferior a $10\%$ de pragas, ele pode trocar o pesticida. Isto é, ao acaso se obtém uma amostra $n$ da lavoura e se calcula os parâmetros para o teste de hipótese, como média, mediana, desvio padrão e etc. Dessa forma o agricultor poderá economizar com o custo do pesticida através de um teste de hipótese o qual contém o nível de significância e, a hipótese de $H_{0}<10\%$ não seja rejeitada.

Ver também

• Independência
• Teste A/B
• Testes de hipóteses

Further reading

• Ziliak, Stephen and Deirdre McCloskey (2008), The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives. Ann Arbor, University of Michigan Press, 2009. ISBN 978-0-472-07007-7. Reviews and reception: (compiled by Ziliak)
• Thompson, Bruce (2004). «The "significance" crisis in psychology and education». Journal of Socio-Economics. 33: 607–613. doi:10.1016/j.socec.2004.09.034 
• Chow, Siu L., (1996). Statistical Significance: Rationale, Validity and Utility, Volume 1 of series Introducing Statistical Methods, Sage Publications Ltd, ISBN 978-0-7619-5205-3 – argues that statistical significance is useful in certain circumstances.
• Kline, Rex, (2004). Beyond Significance Testing: Reforming Data Analysis Methods in Behavioral Research Washington, DC: American Psychological Association.
• Nuzzo, Regina (2014). Scientific method: Statistical errors. Nature Vol. 506, p. 150-152 (open access). Highlights common misunderstandings about the p value.
• Cohen, Joseph (1994). [1]. The earth is round (p<.05). American Psychologist. Vol 49, p. 997-1003. Reviews problems with null hypothesis statistical testing.

External links

• The article "Earliest Known Uses of Some of the Words of Mathematics (S)" contains an entry on Significance that provides some historical information.
• "The Concept of Statistical Significance Testing" (February 1994): article by Bruce Thompon hosted by the ERIC Clearinghouse on Assessment and Evaluation, Washington, D.C.
• "What does it mean for a result to be "statistically significant"?" (no date): an article from the Statistical Assessment Service at George Mason University, Washington, D.C.

{{Statistics}} {{DEFAULTSORT:Statistical Significance}} [[Category:Statistical hypothesis testing]]