You are on page 1of 3

Boas práticas

Para prevenir novas crises


Documento propõe mudanças em práticas de pesquisa a fim de reduzir
a publicação de artigos cujos resultados ninguém consegue repetir

A Real Academia de Artes e Ciências da Holanda “O conhecimento só avança se os pesquisadores


lançou um documento propondo mudanças em puderem confiar nos resultados de estudos feitos
práticas de pesquisa a fim de enfrentar o que se anteriormente”, escreveu, no prefácio do relatório,
convencionou chamar de “crise da reprodutibilidade” a presidente da Real Academia, José van Dijck,
– uma sucessão de casos de artigos científicos que pesquisadora de mídia e cultura da Universidade
caíram em descrédito por seus resultados não terem de Utrecht. Na avaliação da entidade, produzir dados
sido confirmados em experimentos subsequentes. fidedignos é essencial para evitar o desperdício de
As recomendações do relatório divulgado em janeiro, recursos na pesquisa e garantir a confiança do
intitulado Estudos de replicação – Melhorando a público na ciência. “O relatório conclui que estudos
reprodutibilidade nas ciências empíricas, buscam para reproduzir outros estudos devem ser conduzidos
aumentar o rigor com que o trabalho científico é de forma mais frequente e sistemática, o que
realizado e apoiar pesquisadores interessados exige um esforço conjunto de agências de fomento,
em verificar resultados obtidos por colegas. Uma das pesquisadores, periódicos e instituições científicas”,
propostas apresentadas consiste em estimular o afirmou Van Dijck.
financiamento de estudos voltados para ratificar O panorama da “crise da reprodutibilidade”
outros estudos, seguindo o exemplo da Organização apresentado no relatório mostra a relevância do
Holandesa para Pesquisa Científica (NWO), que problema. À procura de novos medicamentos contra
destinou no ano passado € 3 milhões a um o câncer, a empresa farmacêutica Amgen tentou
programa-piloto para projetos dessa natureza. confirmar os achados de 53 estudos pré-clínicos
As sugestões também incluem reforçar o treinamento publicados que pareciam ter grande potencial. Apenas
de cientistas e estudantes em tópicos como desenho de 11% dos resultados foram corroborados. A Bayer fez um
experimentos e análise estatística, e incentivar esforço semelhante para tentar validar dados sobre alvos
periódicos científicos a publicar pesquisas que não potenciais de novos remédios, obtidos por 67 projetos
confirmaram as hipóteses testadas ou então chegaram de pesquisa, e só teve sucesso em 25% dos casos. Uma
a resultados nulos. colaboração internacional para investigar estudos de

10 | março DE 2018
psicologia experimental, área que foi
palco de escândalos envolvendo
20 causas da irreprodutibilidade
manipulações e fraudes, só conseguiu Por que resultados de alguns trabalhos
ratificar resultados obtidos em 36 dos científicos não são confirmados por outros estudos
100 artigos avaliados. No final do ano
passado, as Academias Nacionais de ◆ Desenho experimental ineficiente ◆ Escolha de variáveis que se adequam
Ciências, Engenharias e Medicina dos associado a controle de vieses falho aos resultados
Estados Unidos criaram um comitê
◆ Amostras de tamanho insuficiente ◆ Formulação de hipótese depois que
de 15 membros para estudar estratégias
os resultados são conhecidos
que previnam a publicação de estudos ◆ Problemas em testes estatísticos que
não confirmáveis – as conclusões geram falsos resultados negativos ◆ Discrepância entre os resultados
devem ser divulgadas em 2019. registrados e os publicados
◆ Erro técnico ou humano na execução
Embora a crise se manifeste de do estudo, associado a controle de ◆ Ausência de revisão por pares
modo aberto em medicina, ciências qualidade ineficaz adequada
da vida e psicologia, o documento
◆ Fraude ou fabricação de dados ◆ Ênfase no incentivo a artigos de
propõe que as demais áreas
alto impacto
investiguem a extensão do problema ◆ Falta de rigor na análise estatística
em suas comunidades. “Quando ◆ Análise estatística equivocada
◆ Recompensas exageradas a
observamos o conhecimento existente resultados de pesquisa tidos como
◆ Falta de conhecimento sobre disruptivos
sobre causas da irreprodutibilidade,
variáveis que influenciam o resultado
fica claro que muitas delas estão ◆ Sistemas de financiamento à pesquisa
presentes em todas as disciplinas”, ◆ Falhas do pesquisador em reproduzir demasiadamente competitivos
disse à revista Science Johan os resultados antes da publicação
◆ Falta de recompensa para práticas
Mackenbach, pesquisador da área de ◆ Omissão de resultados nulos ou que favoreçam a replicação de
saúde pública do Centro Médico análise seletiva que faz os nulos estudos
Erasmus, em Roterdã, chefe do painel parecerem positivos
◆ Crença de que o rigor no processo
que organizou o relatório. Ele se
◆ Não compartilhamento de dados ou de pesquisa dificulta novas
refere a causas genéricas apontadas de detalhes metodológicos descobertas
pelo documento, como a pressão
para que pesquisadores publiquem Fonte Replication Studies – Improving

novidades ou achados de impacto reproducibility in the empirical sciences. 2018

da forma mais rápida possível, caso


contrário ficam em desvantagem
na competição por financiamento e
oportunidades de trabalho.
O relatório enumera 20 diferentes amostras. Nem todos os estudos não publicam sistematicamente os
razões para uma pesquisa chegar ratificados estão equivocados. Há chamados relatórios registrados, um
a resultados não confirmáveis. situações em que não é possível tipo de paper que apresenta os métodos
A maioria está relacionada a alcançar o resultado obtido porque o e planos de análise de uma pesquisa
questões metodológicas, como falhas autor da pesquisa deixou de informar ainda não iniciada, mas que foram
no controle de vieses, conclusões detalhes do experimento essenciais avaliados por pares. Mais tarde,
baseadas em amostras restritas para sua replicação. Para evitar essas as revistas publicam os resultados
ou falta de rigor estatístico na situações, diz o relatório, periódicos e obtidos, mesmo que sejam nulos.
interpretação de dados. Na origem agências de fomento devem exigir que O relatório é explícito sobre a
do problema, também há vícios na pesquisadores disponibilizem em importância de divulgar estudos
forma de reportar resultados, como repositórios públicos seus dados brutos com resultados nulos. Propõe que
selecionar dados favoráveis à de pesquisa e informações sobre as agências de fomento incentivem
hipótese da pesquisa, omitindo os metodologias que adotaram. os pesquisadores a reportar tais
negativos, ou modificar a proposta Há propostas de caráter prático para conclusões e as revistas a publicá-las.
original de modo a adaptá-la prevenir desvios, como determinar que “Instituições de pesquisa, agências
às conclusões obtidas. o pesquisador, ao propor seu projeto, de fomento e periódicos devem
Fraudes são o jeito mais extremo registre antecipadamente e de forma oferecer aos pesquisadores incentivos
de gerar resultados inválidos, mas transparente sua hipótese, o protocolo para a condução de estudos rigorosos
também existem ameaças à de pesquisa e o plano de análise a serem e a produção de resultados de
reprodutibilidade que são parte adotados. Esse tipo de precaução já é pesquisa reproduzíveis, em vez de
Ilustração  romolo

natural da atividade científica, exigido por agências de fomento, mas recompensá-los principalmente por
como falhas humanas, erros técnicos vem sendo aprimorado. Em uma publicações de ‘alto impacto’, estudos
inesperados ou mudanças não iniciativa articulada pela Royal Society, ‘inovadores’ e afirmações infladas”,
detectadas nas condições de do Reino Unido, varios periódicos já afirma o documento. n

PESQUISA FAPESP 265 | 11


Agência contra o assédio sexual

A National Science Foundation Córdova descreveu as mudanças


(NSF), principal agência de como uma expansão das
fomento à pesquisa básica nos estratégias anteriores da agência
Estados Unidos, anunciou um para combater o problema,
conjunto de ações para coibir o incluindo uma declaração de 2016
assédio sexual no ambiente exigindo que os beneficiários
acadêmico. A principal delas exige da NSF cumpram os requisitos de
que instituições científicas e de uma lei de 1972 que proíbe a
ensino superior notifiquem a NSF discriminação sexual em
quando constatarem abusos universidades que recebem
cometidos por pesquisadores financiamento federal. Embora a
financiados pela agência. “Até NSF supervisionasse a
então, não exigíamos que as conformidade das instituições com
universidades nos informassem a legislação, frequentemente
sobre denúncias de assédio sexual dependia de relatos divulgados na
ou se algum pesquisador estava imprensa para se informar sobre a Câmara dos Deputados do país –

ilustração romolo
sendo investigado”, disse à revista casos de assédio sexual envolvendo pediu ao Government Accountability
Nature France Córdova, diretora pesquisadores financiados por ela. Office, órgão responsável pela
da NSF. A nova política prevê o “É uma maneira ruim de ficar auditoria, avaliações e investigações
afastamento do pesquisador do sabendo de algo”, disse Córdova. do Congresso, que investigasse
projeto apoiado pela agência ou Assim como outras agências casos de assédio sexual envolvendo
a suspensão do financiamento, federais, a NSF está sob pressão do pesquisadores financiados pelo
após a conclusão das investigações. Congresso norte-americano para governo federal em órgãos
Também determina que as fortalecer sua resposta ao assédio como a NSF, a agência espacial
instituições estabeleçam condutas sexual nas universidades. Em americana (Nasa), o Departamento
para impedir o assédio em locais janeiro, o Comitê de Ciências da de Energia e os Institutos
de trabalho, evitando, por exemplo, Casa dos Representantes – Nacionais de Saúde (NIH).
a realização de conferências ou
estudos de campo em lugares
remotos, onde estudantes e jovens
pesquisadores geralmente estão Autoria precoce na Coreia do Sul
mais vulneráveis. A NSF ainda
comunicou que as instituições
devem criar condições favoráveis O governo da Coreia do Sul vai as áreas do conhecimento ao longo
para que pesquisadores, iniciar uma investigação para dos últimos 10 anos. O trabalho,
funcionários e alunos denunciem apurar casos de pesquisadores que realizado pelo Ministério da
violações sem risco de retaliações. registraram os próprios filhos como Educação do país, foi deflagrado
As medidas devem entrar em coautores de seus artigos científicos. no final de 2017, quando se
vigor em abril. A agência criou A decisão foi anunciada após um constatou a existência de um
uma nova página na internet relatório divulgado pelo governo menor de idade assinando um
(www.nsf.gov/harassment) identificar a publicação recente artigo científico em parceria
em que enumera suas políticas e de 82 papers em que menores de com um familiar que trabalha na
procedimentos contra o assédio idade figuram como coautores – a Universidade Nacional de Seul.
sexual. “É um grande passo maioria cursando o ensino médio e Esse tipo de coautoria foi
na direção certa”, disse à Nature alguns até o ensino fundamental. encontrado em papers
Erika Marín-Spiotta, De acordo com a revista Nature, publicados por pesquisadores
biogeoquímica da Universidade os pesquisadores provavelmente de 29 universidades coreanas.
de Wisconsin-Madison, que lidera buscaram criar vantagens para os Em 39 dos 82 artigos, as crianças
uma iniciativa financiada pela NSF filhos na briga por uma vaga em ou adolescentes teriam colaborado
para combater o assédio sexual nas universidades, um processo com a pesquisa por meio de
ciências. Um ponto frágil da nova altamente competitivo no país. atividades de um programa
política da agência, na avaliação Os casos foram descobertos estudantil. O governo coreano
de Erika, é que ela não estabelece o graças a uma análise dos artigos não divulgou os nomes dos
que fazer se uma instituição não escritos por mais de 70 mil pesquisadores investigados nem
concluir a investigação de um caso. pesquisadores coreanos de todas dos periódicos envolvidos.

12 | março DE 2018