No dia 15 de julho pp, o Dr. Jeremy Berg, Diretor do NIGMS (National Institute of General Medical Sciences) do NIH-EEUU, postou no blog NIGMS Feedback loop sobre o sistema de revisão por pares nos projetos enviados para avaliação pelo NIH.
Em 2 de dezembro de 2008, o NIH divulgou a alteração do seu sistema de revisão de projetos, que se tornaria efetivo para os projetos com início em 2010 (inclui os julgados no final de 2009). Esta divulgação bastante antecipada da alteração dos critérios é importante. Ela é aplicada, desde 2004, no CNPq.
O documento que indica os novos critérios é longo, alguns trechos estão copiados abaixo
The mission of the NIH is to support science in pursuit of knowledge about the biology and behavior of living systems and to apply that knowledge to extend healthy life and reduce the burdens of illness and disability. As part of this mission, applications submitted to the NIH for grants or cooperative agreements to support biomedical and behavioral research are evaluated for scientific and technical merit through the NIH peer review system.
Overall Impact.Reviewers will provide an overall impact score to reflect their assessment of the likelihood for the project to exert a sustained, powerful influence on the research field(s) involved, in consideration of the following five core review criteria, and additional review criteria (as applicable for the project proposed).
Core Review Criteria. Reviewers will consider each of the five review criteria below in the determination of scientific and technical merit, and give a separate score for each. An application does not need to be strong in all categories to be judged likely to have major scientific impact. For example, a project that by its nature is not innovative may be essential to advance a field.
Significance. Does the project address an important problem or a critical barrier to progress in the field? If the aims of the project are achieved, how will scientific knowledge, technical capability, and/or clinical practice be improved? How will successful completion of the aims change the concepts, methods, technologies, treatments, services, or preventative interventions that drive this field?
Investigator(s). ...
Innovation. ...
Approach. ...
Environment. ...
Additional Review Criteria. As applicable for the project proposed, reviewers will consider the following additional items in the determination of scientific and technical merit, but will not give separate scores for these items.
Protections for Human Subjects. ...
Inclusion of Women, Minorities, and Children. ...
Vertebrate Animals. ...
Resubmission Applications. ...
Renewal Applications. When reviewing a Renewal application … the committee will consider the progress made in the last funding period.
Revision Applications. ...
Biohazards. ...
Additional Review Considerations. As applicable for the project proposed, reviewers will address each of the following items, but will not give scores for these items and should not consider them in providing an overall impact score.
Budget and Period Support. ...
Select Agent Research. ...
Applications from Foreign Organizations. ...
Resource Sharing Plans. ...
Este novo esquema representou um aumento substancial nos tópicos da avaliação.
Como o novo sistema passou a funcionar em 2010, o post do Dr. Berg apresenta uma avaliação do desempenho do novo sistema. Ele avaliou, principalmente o uso das notas individuais nos 5 critérios específicos, com ênfase na significância. Este tópico inclui os artigos de pesquisa mais fundamental e o autor destaca que muito tentam explicar a importância do seu estudo com associações distantes com uma área clínica, quando deveriam salientar a sua importância num campo básico. Ele analisou 360 propostas e comparou os escores de significância com o escore global de impacto nestas propostas (gráfico abaixo).
Houve uma correlação (Pearson) de 0,63 (com abordagem – approach – foi de 0,74; 0,54 com inovação; 0,49 com pesquisador e 0,37 para meio ambiente.
Ou seja, abordagem e significância foram os fatores mais importantes, em média, na determinação do valor total de impacto nestas propostas (RO1) no NIGMS. É importante notar que o valor total de impacto não resulta de uma simples soma dos cinco critérios individuais. O peso de cada critério de avaliação no valor total depende da natureza do projeto. Num projeto dirigido para uma abordagem de comunidade, o critério inovação não tem um peso importante. Assim, o projeto pode ter um valor total alto se a abordagem e significância forem forte, mesmo sem inovação. Este é um ponto que as nossas agências precisam refletir. A maioria dos nossos editais apresenta baremas (quadros de notas máximas para cada ítem) que não permitem qualquer flexibilidade inteligente às comissões de avaliação.
Excelente post
ResponderExcluirABraco