Alfa de Krippendorff
O coeficiente alfa de Krippendorff, [1] batizado em homenagem ao acadêmico Klaus Krippendorff, é uma medida estatística da concordância alcançada ao codificar um conjunto de unidades de análise. Desde a década de 1970, o alfa tem sido usado na análise de conteúdo, onde unidades textuais são categorizadas por leitores treinados, em aconselhamento e pesquisa, onde especialistas codificam dados de entrevistas abertas em termos analisáveis, em testes psicológicos, onde testes alternativos do mesmo fenômeno precisam ser comparados, ou em estudos observacionais onde os acontecimentos não estruturados são registrados para análise posterior.
O alfa de Krippendorff generaliza várias estatísticas conhecidas, muitas vezes chamadas de medidas de concordância entre codificadores, confiabilidade entre avaliadores, confiabilidade de codificação de determinados conjuntos de unidades (diferente de unitização), mas também se distingue de estatísticas que são chamadas de coeficientes de confiabilidade, mas são inadequadas para as particularidades dos dados de codificação gerados para análise subsequente.
O alfa de Krippendorff é aplicável a qualquer número de codificadores, cada um atribuindo um valor a uma unidade de análise, bem como a dados incompletos (ausentes), a qualquer número de valores disponíveis para codificar uma variável, métricas binárias, nominais, ordinais, intervalares, de razão, polares, e circulares e se ajusta a pequenos tamanhos de amostra dos dados de confiabilidade. A virtude de um único coeficiente com essas variações é que as confiabilidades computadas são comparáveis em qualquer número de codificadores, valores, métricas diferentes e tamanhos de amostra desiguais.
Existem pacotes de software para calcular o alfa de Krippendorff. [2] [3] [4] [5] [6] [7] [8] [9]
Dados de confiabilidade
[editar | editar código-fonte]Dados de confiabilidade são gerados em uma situação em que m ≥ 2 codificadores instruídos em conjunto (por exemplo, por um livro de códigos), mas trabalhando independentemente, atribuem qualquer um de um conjunto de valores 1,. . ., V para um conjunto comum de N unidades de análise. Em sua forma canônica, os dados de confiabilidade são tabulados em uma matriz m -por- N contendo N valores vij que o codificador ci atribuiu à unidade uj. Defina mj como o número de valores atribuídos à unidade j em todos os codificadores c. Quando os dados estão incompletos, mj pode ser menor que m. Os dados de confiabilidade exigem que os valores sejam pareados, ou seja, mj ≥ 2. O número total de valores emparelhados é n ≤ mN.
Para ajudar a esclarecer, aqui está a aparência da forma canônica:
u1 | u2 | u3 | . . . | uN | |
---|---|---|---|---|---|
c1 | v11 | v12 | v13 | ⋯ | v1N |
c2 | v21 | v22 | v23 | ⋯ | v2N |
c3 | v31 | v32 | v33 | ⋯ | v3N |
⋮ | ⋮ | ⋮ | ⋮ | ⋱ | ⋮ |
cm | vm1 | vm2 | vm3 | ⋯ | vmN |
Forma geral de alfa
[editar | editar código-fonte]Denota-se por o conjunto de todas as respostas possíveis que um observador pode dar. As respostas de todos os observadores para um exemplo é chamada de unidade (forma um multiconjunto). Denotamos um multiconjunto com essas unidades como os itens, .
Alfa é dado por:
Onde é o desacordo observado e é o desacordo esperado pelo acaso.
Onde é uma função métrica (veja abaixo), é o número total de elementos emparelhados, é o número de itens em uma unidade, número de pares na unidade , e é a função de permutação. Isso pode ser visto como a distância média (ponderada) observada da diagonal.
Onde é o número de maneiras que o par pode ser feito. Isso pode ser visto como a distância média da diagonal de todos os possíveis pares de respostas que podem ser derivados do multiconjunto de todas as observações.
Referências
[editar | editar código-fonte]- ↑ Krippendorff, K. (2013) pp. 221–250 describes the mathematics of alpha and its use in content analysis since 1969.
- ↑ Hayes, A. F. & Krippendorff, K. (2007) describe and provide SPSS and SAS macros for computing alpha, its confidence limits and the probability of failing to reach a chosen minimum.
- ↑ Reference manual of the irr package containing the kripp.alpha() function for the platform-independent statistics package R
- ↑ The Alpha resources page.
- ↑ Matlab code to compute Krippendorff's alpha.
- ↑ Python code to compute Krippendorff's alpha.
- ↑ Python code for Krippendorff's alpha fast computation.
- ↑ Several user-written additions to the commercial software Stata are available.
- ↑ Open Source Python implementation supporting Dataframes
Notas
[editar | editar código-fonte]- Bennett, Edward M., Alpert, R. & Goldstein, A. C. (1954). Communications through limited response questioning. Public Opinion Quarterly, 18, 303–308.
- Brennan, Robert L. & Prediger, Dale J. (1981). Coefficient kappa: Some uses, misuses, and alternatives. Educational and Psychological Measurement, 41, 687–699.
- Cohen, Jacob (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20 (1), 37–46.
- Cronbach, Lee, J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16 (3), 297–334.
- Fleiss, Joseph L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76, 378–382.
- Goodman, Leo A. & Kruskal, William H. (1954). Measures of association for cross classifications. Journal of the American Statistical Association, 49, 732–764.
- Hayes, Andrew F. & Krippendorff, Klaus (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1, 77–89.