Эксперимент с котом выявил серьезные уязвимости в системе оценки научных публикаций

Уязвимость научной системы оценки: эксперимент с «ученым» котом

Группа исследователей провела провокационный эксперимент, который обнажил критические недостатки в современных методах оценки научной деятельности. Ученые создали вымышленный профиль исследователя по имени Ларри, за которым на самом деле скрывался обычный кот. В рамках этого проекта были опубликованы двенадцать статей по математике, а также зарегистрированы многочисленные вымышленные авторы для создания искусственной сети цитирований. В итоге показатель индекса Хирша у кота составил двенадцать, что в официальных системах было интерпретировано как подтверждение значимости его научных трудов.

Особое внимание в ходе исследования привлекло поведение популярных поисковых систем, которые не смогли распознать большинство поддельных исследований. Этот сценарий наглядно демонстрирует, насколько легко можно искусственно завысить показатели значимости ученого, используя современные инструменты. Более того, сегодня уже существуют специализированные сервисы по незаконному повышению цитируемости, предлагающие за деньги манипулировать статистикой. Случай с котом еще раз подтверждает, что текущие метрики могут быть крайне субъективными и ненадежными.

Авторы исследования подчеркивают, что на данный момент невозможно создать систему оценки, которую нельзя было бы обмануть. Эксперимент заставляет серьезно задуматься о будущем академической среды, так как существующие методы контроля качества публикаций оказались несовершенными. Исследователи предполагают, что общепринятые методы оценки научной деятельности требуют либо полной переработки, либо окончательного отказа в пользу поиска более достоверных механизмов проверки научной ценности работ.