Analisando como a obsessão por critérios estatísticos afeta a validade dos estudos científicos

A dependência excessiva de significância estatística pode comprometer a qualidade da ciência e seus resultados.

A significância estatística e sua origem

Um século atrás, dois casos aparentemente simples moldaram os critérios que a ciência moderna utiliza para definir o que é considerado real. Um funcionário da Guinness responsável pelo controle de qualidade e uma senhora britânica, que afirmava distinguir pelo paladar se o leite ou o chá eram servidos primeiro, deram origem a métodos que determinam quais resultados científicos são aceitos e publicados.

Contudo, esse conceito, de significância estatística, tem suas limitações, que foram ignoradas em muitos campos como economia e medicina, resultando em consequências que prejudicam o avanço científico. A obsessão por esse método contribuiu para problemas sérios, como a prescrição exagerada de antidepressivos e a permanência de medicamentos com efeitos colaterais graves no mercado.

O legado de Ronald Fisher e suas consequências

A abordagem de Ronald Fisher, consolidada há cem anos, tornou-se a norma no campo da pesquisa científica. Embora ele tenha introduzido ferramentas estatísticas inovadoras, a aplicação acrítica dos seus métodos levou a crises de falsos positivos e vieses. Fisher foi pioneiro em conceitos como o valor-p e testes de significância, mas sua metodologia não considerou como esses métodos poderiam ser distorcidos em um mundo com amplos poderes computacionais.

Fisher introduziu o conceito de valor-p, que determina se um efeito é significativo ao fazer um teste de hipótese. Historicamente, um valor-p abaixo de 0,05 indicava significância, mas essa visão simplista ignora a complexidade dos fenômenos científicos.

A abordagem de William S. Gosset

William S. Gosset, que trabalhou para a Guinness, desenvolveu métodos para pequenas amostras que foram negligenciados em favor das ideias de Fisher. Ele criou a distribuição t, uma ferramenta que melhorou a precisão da análise de dados em amostras menores. Sua pesquisa enfatizava a importância de medir com precisão, em vez de simplesmente rejeitar hipóteses nulas.

Em sua correspondência, Gosset criticou a ênfase em resultados estatísticos significativos, defendendo uma cultura que valoriza a estimativa e a precisão. Essa abordagem pragmaticamente focada na utilidade prática dos dados é especialmente relevante na pesquisa moderna, que muitas vezes é distorcida por pressões para publicar resultados significativos.

A crise da publicação científica

A dependência excessiva da significância estatística tem levado a um viés na publicação de resultados. Estudos mostram que resultados significativos são 30 vezes mais propensos a serem publicados. Na medicina, muitos estudos com resultados negativos simplesmente não veem a luz do dia, criando uma percepção enganosa sobre a eficácia de tratamentos, como evidenciado em pesquisas sobre antidepressivos.

Um exemplo notável é o anti-inflamatório Vioxx, que permaneceu no mercado apesar de resultados preocupantes, simplesmente porque não atingiu a significância estatística planejada. Isso destaca como essa dependência pode resultar em consequências graves para a saúde pública.

A necessidade de um novo paradigma

À medida que as bases de dados crescem e o número de testes estatísticos aumenta, o problema dos falsos positivos se agrava. A ciência e o jornalismo devem adotar uma cultura de estimação que priorize estimativas e intervalos de confiança, permitindo uma melhor contextualização dos números e um entendimento mais profundo dos fenômenos.

A abordagem de Gosset deve ser resgatada. É essencial abandonar o pensamento dicotômico do significativo ou não significativo e avançar em direção a uma visão que privilegie a precisão e a compreensão dos dados. Ao fazer isso, podemos esperar uma ciência mais robusta e valiosa para a sociedade.

Fonte: www.parana.jor.br