Wikipédia:Esplanada/geral/Precisamos mesmo da avaliação automática? (13mar2012)

Origem: Wikipédia, a enciclopédia livre.

Precisamos mesmo da avaliação automática? (13mar2012)

Estou muito incomodado com Wikipédia:Avaliação automática. Não consigo conceber que tenhamos designado robôs para determinar uma classificação de qualidade de artigos com base em uma checklist. Avaliação de qualidade, ao menos qualidade de textos, é um processo intelectual complexo, calcado em níveis interpenetrados de subjetividades e objetividades, que são, por hora, atributos exclusivos de seres humanos. Qual é o sentido de programar robôs para fazer algo que todos sabemos que são incapazes de fazer? Não vejo nenhuma vantagem para o projeto. Pelo contrário. Acho que é melhor para nossa credibilidade ter artigos sem avaliação de qualidade do que ter robôs avaliando textos. Se a importância é meramente estatística, que se dê o nome a esta avaliação de um indicador específico, designando seja lá o que for que ela mede. É certo, entretanto, que ela não mede qualidade. Dornicke (discussão) 08h27min de 13 de março de 2012 (UTC)[responder]

Mudar o nome já foi sugerido, creio que pelo Helder, pois realmente se trata de uma avaliação estatística. Lembro também que qualquer avaliação humana se sobrepõe a do robô.OTAVIO1981 (discussão) 11h34min de 13 de março de 2012 (UTC)[responder]
Exato. Eu havia mesmo sugerido a mudança do nome, e três outros editores concordaram:
Então ao todo já somos 6 que consideram pertinente mudar o nome.
Não sei quanto aos demais, mas para mim a utilidade de termos indicadores ou estimativas automáticas é que assim os editores de cada área/wikiprojeto podem utilizar-se das matrizes de classificação para direcionar suas edições no sentido de melhorar os artigos de pior qualidade, já que elas fazem uma espécie de "triagem" dos muitos artigos de qualidade desconhecida que há por aí...
Deixei comentários na página de discussão do sistema, acerca dos critérios utilizados pelos robôs, e coloquei abaixo uma seção para listarmos as sugestões de nomes que forem aparecendo. Helder 11h53min de 13 de março de 2012 (UTC)[responder]

Antes da avaliação automática a triagem dos artigos era feita meramente pelo tamanho em bytes do artigo (pelo pagesize) pegando os artigos menores para se desenvolver, ou por alguma das tags de manutenção. O q o bot faz é juntar as duas coisas e mais algumas outras para deixar a triagem um pouco mais precisa, mesmo q ainda assim esteja menos preciso q uma avaliação humana (sempre estará). Rjclaudio msg 12h52min de 13 de março de 2012 (UTC)[responder]

eu já manifestei minha discordância desse sistema na outra discussão. além de ser uma avaliação absurdamente imperfeita, induz o leitor desprevenido a tomar alhos por bugalhos, e com isso a credibilidade da wikipédia, que já não é das melhores, piora. eu sugiro até que, se querem mesmo manter esse processo, se dê um jeito de manter a classificação oculta e só visível para os envolvidos no projeto. o mesmo se dá sobre a classificação de importância, pois a distinção entre importante e qualificado não é muito clara. pegue-se este exemplo, a sua classificação de qualidade é 3 importância é 4. mas o artigo tem uma linha e meia! isso tem essa qualidade e essa importância? o que se diz é que o artigo é importante, e não o tema. outro exemplo, em que a importância é 4 e a qualidade é 3, mas a página tem meia dúzia de linhas sem nenhuma referência e ainda apresenta a tag "sem fontes, o que o que compromete sua credibilidade". por outro lado, este tem ilustrações e um bom texto, quase todo referenciado, mas foi classificado como de qualidade 1. totalmente contraditório. por fim, acho que com o ritmo de crescimento da wikipédia e o caráter dinâmico das edições a tarefa se torna quixotesca. como manter atualizada a classificação de toda essa massa de artigos? no final das contas acho que seria melhor perder todo esse tempo e energia escrevendo texto e não colocando carimbos. Tetraktys (discussão) 16h43min de 13 de março de 2012 (UTC)[responder]
Note, no entanto, que a "qualidade 3" foi indicada manualmente, e não pelo robô/script. O script atribui a qualidade 1 para esse artigo. No segundo exemplo, um script seguindo os critérios que foram estabelecidos também atribui a qualidade 1, mas isso difere da ferramenta que foi usada pelo editor que atribuiu a qualidade 3. No terceiro caso, o meu JS está atribuindo qualidade 1 (mas parece ser um bug na forma como ele faz contagem do número de parágrafos do artigo - não sei se a versão do pywikipedia tem o mesmo problema), e é nesses casos que a avaliação humana é importante, pois é ela que torna possível o aperfeiçoamento das ferramentas usadas para as estimativas.
A princípio, não vejo muito problema em ocultar a indicação da qualidade caso essa só tenha sido estimada por um robô/script. Mas seria bom ter mais opiniões a respeito disso. Helder 17h28min de 13 de março de 2012 (UTC)[responder]

kkkk se até os humanos fazem más avaliações isso só prova que todo esse sistema é muito inútil kkkkk Tetraktys (discussão) 17h50min de 13 de março de 2012 (UTC)[responder]

E essa lógica não se aplicaria a avaliação de artigos que merecem ser "destacados" e "bons", já que também é uma avaliação feita por humanos? Helder 18h47min de 13 de março de 2012 (UTC)[responder]

não, porque ali é feita uma avaliação por um grupo de pelo menos sete editores que fazem uma análise detalhada do conteúdo. embora isso tb não signifique perfeição, já é uma garantia bastante boa do resultado. Tetraktys (discussão) 19h16min de 13 de março de 2012 (UTC)[responder]

E por que é que a avaliação dos mesmos N editores deixaria de ser válida para indicar a qualidade do mesmo na discussão do artigo? A escala utilizada para a avaliação dos artigos de qualidade 5 e 6 (bons e destaques) também possui critérios específicos para que os artigos sejam considerados de nível 1, 2, 3 e 4. É só os N editores leva-los em conta ao definir qual a qualidade de uma página. Helder 19h34min de 13 de março de 2012 (UTC)[responder]

quantos estão nesse N? duvido que os artigos avaliados no sistema em discussão o sejam por sete editores. Tetraktys (discussão) 19h59min de 13 de março de 2012 (UTC)[responder]

Sugestões de nomes[editar código-fonte]

Coloquem aqui outros nomes que talvez descrevam mais adequadamente o sistema.

  • Wikipédia:Triagem automática
  • Wikipédia:Classificação automática
  • Wikipédia:Estimativa da qualidade[1]
  • Wikipédia:Classificação estatística[2]
  • Wikipédia:Classificação automática de parâmetros de qualidade.
  1. No entanto, o termo "qualidade" pode não ser a melhor descrição do que se estima por meio do processo
  2. Apesar de que os critérios atuais não são exatamente "estatísticos"