Альтметрика: «внимание – не влияние» и другие вызовы

Манифест альтметрик, опубликованный в 2010 году Джейсоном Приемом (Jason Priem) и его коллегами, провозглашал новый тип метрики, охватывающий разнообразие современной научной системы. Манифест подчеркивает неоднородность научных источников и их влияние на науку и общество. Утверждается: «Альтметрики расширяют наше понимание того, что представляет собой влияние и его предназначение». Дж.Прием определяет альтметрики как «изучение и использование научных мер воздействия, основанных на активности в онлайн-сервисах и средах» и перечисляет в качестве потенциальных источников блоги, микроблоги, каталоги ссылок и хранилища данных.

С того момента альтметрики получили широкое распространение, которое в немалой степени стимулировали финансирующие учреждения и возросший интерес к демонстрации влияния «за пределами научных кругов». Научные метрики всегда подвергали критике; однако, расширение данных и источников, более широкое их использование для оценки привели к глубокому рассмотрению этических принципов показателей исследования.

Вот некоторые задачи, стоящие перед альтметриками – определение в качестве показателя воздействия, сужение фокуса и потенциальное смещение цели научной деятельности:

Термин влияние (impact) был сразу принят в отношении альтметрик. Altmetric.com – start-up проект измерения онлайн активности упоминаний научных журнальных статей. Может использоваться для измерения внимания, для издателей «демонстрирует влияние исследования», для учреждения раскрывает «богатую картину их исследовательского влияния», для исследователей – возможность контролировать «персональный научный вклад». Новый стандарт научного резюме Impactstory базируется на сведении воедино данных альтметрик персонального уровня. Слоган Impactstory призывает: «откройте ваше влияние сегодня». Наукометрические исследования регулярно используют термин влияние (impact) при обсуждении мер альтметрик. Традиционно в научной оценке Journal Impact Factor (JIF) одновременно критиковали и учитывали, и сейчас он продолжает оставаться ведущим в оценке научных публикаций. JIF выстраивает метонимические взаимосвязи между графами цитирования и влиянием. Предпринимались попытки приравнять новые метрики к влиянию (impact).

Это приводит к искажению смысла понятия влияние. Являются ли естественными посты в социальных сетях? Оказывают ли влияние на пользователя сохраненные данные о статьях на Mendeley? Долгосрочное влияние обозначает более активное участие и преобразование, чем это обосновано данными альтметрик в настоящее время. Очевидно, что метрики в центре внимания научного сообщества – природа этого явления гораздо сложнее и недостаточно изучена. Много примеров чрезвычайно высокой оценки на Altmetric.com статей, которые имеют вирусный характер, имеют редакционные ошибки или являются научной мистификацией. За этими выбросами следуют десятки статей в официальных документах, популярной прессе и социальных медиа, что является признаком актуальности работы и интереса к ней широкой общественности. Остается важной задачей определение базового механизма определения внимания альтметрики (altmetric attention).

Понимание механизмов и мотиваций внимания альтметрик затруднено выбором критериев общественного мнения, которые будут измерять альтметрики. Сегодня отсутствует эмпирические исследования в этой области. В недавнем исследовании твитов в статьях научных журналов PLoS ONE, PNAS, Science и Nature выяснилос, что более трети постов с ссылками на научные статьи обладателей докторских степеней, что значительно превышает долю обладателей докторских степеней в целом в жизни. Установление лица, которое генерирует посты является необходимым фактором в установлении доверия к альтметрикам.

В продвижении экспансивных целей альтметрики есть ещё одна проблема. Альтметрики предполагали расширение круга мер влияния, которые могли бы учесть различные варианты научного знания  — продуцированные и рассеянные. Тем не менее, большинство исследований альтетрик фокусируются исключительно на метриках журнальных статьей на нескольких платформах. Хотелось, чтобы можно было продемонстрировать уровень внимания к статье со стороны этих источников. Это далеко от основополагающего посыла – наука уже не ограничивается «замедленными негибкими формальными системами связи». Где метрики, которые охватывают диссонанс научной деятельности? Исследователи и практики должны творчески подходить к данным, которые остаются скрытыми, несмотря на героические усилия продвижения альтметрики.

Наконец, самое главное, смещение целей – неизбежный побочный продукт продвижения альтметрик. Закон Кэмпбелла отражает вопрос наиболее точно: «если используется более нескольких количественных социальных показателей для социальных решений, тем большему коррупционному давлению оно подвержено, искажены и коррумпированы социальные процессы, необходим контроль». Библиотеки начали использовать альтметрики в институциональных репозиториях и предлагать руководства исследователям с правилами отражения альтметрик в своих резюме с целью продвижения и оценки научного вклада. Основное предположение состоит в том, что статья ценится выше, если она имеет более высокий балл альтметрики и, как следствие, возрастает рейтинг ученого, чьи статьи получили больше упоминаний. Существует ряд нюансов и возможно грубое искажение данных. Все, кто изучал анализ цитируемости или занимался поиском публикации в журнале с высоким показателем JIF может подтвердить, что цифры более убедительны в отношении десятков досье.

Научное сообщество и руководители должны заботиться, чтобы твит не стал самоцелью: темы не должны являться вирусными для распространения, ученые не должны тратить много времени на управление своей репутацией в Интернете. Альтметрики не должны заменять существующие метрики, а расширять доступные инструменты, чтобы продемонстрировать распространение науки. Ответственное использование альтметрик требует того, чтобы мы пытались лучше понять основные механизмы мер внимания, расширить наши возможности, охватить разнообразие следов научной деятельности и понимали, что внимание не влияние.

Источник
Перевод: Соболевская Ю.В.