Опубликованные результаты исследований иногда опровергаются последующими доказательствами, что приводит к путанице и разочарованию. Опровержения и противоречия наблюдаются по всему диапазону исследовательских проектов. Растет озабоченность тем, что в современных исследованиях ложные результаты могут составлять большинство или даже подавляющее большинство опубликованных исследовательских заявлений. Однако это не должно вызывать удивления.
1. Чем меньше исследований, проводимых в научной области, тем меньше вероятность того, что результаты исследований будут правдой.
2. Чем меньше размер эффекта в научной области, тем меньше вероятность того, что результаты исследования будут правдой.
3. Чем больше число и меньше выбор проверенных взаимосвязей в научной области, тем меньше вероятность того, что результаты исследования будут правдой.
4. Чем больше гибкость (неопределенность) в планах, формулировках, результатах и аналитических моделях в научной области, тем меньше вероятность того, что результаты исследования будут правдой. Гибкость увеличивает возможность преобразования «отрицательных» результатов в «положительные» (предвзятость).
5. Чем горячее научное направление, чем выше общественный интерес к нему, тем меньше вероятность того, что результаты исследования будут правдой.
6. Чем больше финансовых и других интересов и предубеждений в научной сфере, тем меньше вероятность того, что результаты исследования будут правдой.
Конфликты интересов очень распространены в биомедицинских исследованиях, и, как правило их стараются скрывать.
Предрассудки не обязательно имеют финансовые корни. У ученых могут быть предубеждения исключительно из-за их веры в научную теорию или приверженности своим собственным открытиям. Многие в других отношениях, казалось бы, независимые, университетские исследования могут проводиться только для того, чтобы дать врачам и исследователям квалификацию для продвижения по службе или пребывания в должности.
Престижные исследователи могут подавлять с помощью процесса экспертной оценки появление и распространение результатов, опровергающих их выводы, тем самым обрекая свою сферу деятельности на увековечение ложных догм.
Эмпирические данные по заключению экспертов показывают, что оно крайне ненадежно.
Эмпирические данные по заключению экспертов показывают, что оно крайне ненадежно.
В описанной системе довольно сложно получить положительную прогоностическую ценность, превышающую 50%. Основная проблема заключается в том, что невозможно узнать со 100% уверенностью, что является правдой в любом исследовательском вопросе. В этом плане чистый «золотой» стандарт недостижим.
Отбор результатов крупномасштабных исследований на основе узких критериев, таких как маркетинговое продвижение конкретного лекарства (или вакцины), в значительной степени является бесполезным исследованием. Более того, следует быть осторожным, так как чрезвычайно крупные исследования могут с большей вероятностью обнаружить формально статистически значимое различие для тривиального эффекта, который на самом деле существенно не отличается от нулевого.