Будущее наукометрии и глубокая оценка метрических показателей

За последние несколько лет особо вырос интерес к новым показателям демонстрации влияния исследований, и пока никаких признаков замедления не наблюдается, пишет Дэвид Стюарт, научный сотрудник Центра электронных исследований (Королевский колледж, Лондон).

В течение долгого времени показатели влияния исследований вращались вокруг цитат, которые получили опубликованные работы. На практике такой подход часто подвергается критике за его негибкость и неправильное использование (особенно, когда Journal Impact Factor были использованы для оценки исследователей).

Активная публикация в Интернете результатов исследований и рост социальных сетей дали толчок развитию множества альтернативных или дополнительных показателей, основанных на том, как ресурсы используются или набирают ссылочный вес. На этой базе разрабатывается широкий ряд новых инструментов и метрик.

Эти инструменты вызвали огромный интерес во многих отраслях. Юэн Ади (основатель Altmetric.com) и Майк Тейлор (старший менеджер проекта infometrics в Elsevier Research Metrics) считают, что предстоит много работы чтобы детализировать данные метрики.

Стремительный рост метрик социальных медиа

Есть два взаимодополняющих направления оценки публикаций: создание стандартов использования интернет-ресурсов; учет ссылок и упоминаний интернет-ресурсов. Создание стандартов использования интернет-ресурсов при помощи COUNTER (Counting Online Usage of NeTworked Electronic Resources) (www.projectcounter.org) позволяет сделать сравнение показателей на уровне статей ресурсов различных издателей, оценка производится на основе анализа упоминаний исследования в социальных сетях. Twitter вызвал наибольший интерес и в центре внимания ряда инструментов альтметрики, которые были разработаны после публикации Манифеста альтметрик в 2010 году (http://altmetrics.org).

Есть много примеров. Plum Analytics (www.plumanalytics.com) включает множество показателей в широком диапазоне результатов исследований из наборов данных, видео, журнальных статей и книг. Метрики делятся на категории: использование (например, показы, загрузки), отметки (закладки, избранное), упоминания (отзывы), социальные медиа (твиты), и цитаты (показатель цитируемости Scopus).

Альтметрика (www.altmetric.com) собирает данные о влиянии журнальных статей, книг и данных. В то время как ImpactStory (https://impactstory.org) позволяет пользователям создавать профили, в основе которых результаты исследований, и показывать их влияние.

Продукты получили огромный интерес со стороны крупных издательских и информационных компаний: Plum Analytics был куплен EBSCO в январе 2014 года, и является дочерней компанией EBSCO Information Services; и многие издатели начали публикацию данных альтметрик на своих сайтах. Еще много предстоит сделать, однако, развитие метрик вне сомнений.

Углубление нашего понимания

И Ади и Тейлор считают, что важно достичь углубленного понимания метрик.

Ади отмечает, что люди хотели бы получить одну цифру: «Даже если мы все понимаем, что это будет очень простой рейтинг, в этой идее есть что-то очень привлекательное. Мы должны сбалансировать простоту использования и предоставить людям наиболее важные показатели, которые позволяют пойти дальше исходных данных и помочь понять, что эта оценка на самом деле означает.»

Как отмечает Тейлор: «С моей точки зрения, важно рассмотреть следующие показатели: исходные цифры, бенчмаркинг ближайших конкурентов и вес в определенной области. Важно знать, что происходит у наших конкурентов и сопоставить с ними наше положение, а также определить, чего мы хотим и как позиционировать себя в глобальном плане.»

Будущее метрик

Будущее развитие метрик связано с определением более надежных показателей.

Ади выделяет три основные тенденции в оценке публикаций: «Первая тенденция – углубление понимания показателей, которые мы получаем, например, цитаты. Полностью автоматизировать этот процесс сложно, но можно автоматизировать в той степени, чтобы сказать является это положительным или отрицательным.

Вторая тенденция – различный научный вклад. Можно предположить, что все публикации имеют ссылки, но кроме этого существуют различные показатели научного вклада исследований, не связанные с выпуском статей. Такие метрики служат доказательством того, что вы в какой-то мере участвуете в научной жизни.

В-третьих, различные результаты: что можно измерить и что не может быть измерено? Программное обеспечение и наборы данных очень разнообразны. Можно подумать, что к настоящему времени для всех типов документов разработаны свои инструменты сортировки, но на самом деле есть дефицит метрик для книг.

Тейлор также рассматривает данные как одно из самых важных направлений в наукометрии в ближайшее время, хотя с учетом сложностей: «Первая проблема, когда мы говорим о «данных», это наличие их четырех различных видов (потоковые данные, данные статей, вспомогательные данные, uncurated данные) и эти различные типы данных имеют различные применение и показатели. Они могут иметь отличные модели цитирования и многое другое. Проблема ещё в том, что мы говорим о данных монолитным образом.

Вывод

В 2015 году исполняется 60 лет со дня первого упоминания в печати Юджином Гарфилдом понятий библиометрический «импакт-фактор» и библиометрия, которые активно развиваются, несмотря на то, что некоторые из метрик не всегда надежны. В последние годы интерес к этой теме был связан ещё с модой на социальные сети, на площадках которых происходит активное общение. Кроме того, как отметили Ади и Тейлор, мы движемся от вещей, которые легко считать к более сложным.

Недавняя публикация – Лейден Манифест в Nature и ранее опубликованный манифест Elsevier посвященный метрике (http://bit.ly/hefceresponse), демонстрируют растущую роль метрик и поднимают острые вопросы их использования и злоупотребления.

Эти манифесты подчеркивают такие аспекты, как важность открытости, понимание различий между полями, системные эффекты и значение качественных и количественных показателей оценки.

Надеюсь, особенно с публикацией Лейденского Манифеста, это обращение выйдет за рамки библиометрической аудитории. В первую неделю манифест достиг 696 баллов в Altmetric, 1000 упоминаний в Twitter и публикация на 36 страницах Facebook. Но мы должны вникать в эти цифры гораздо глубже, если хотим понять, что они на самом деле значат.

О Elsevier

Elsevier является ведущим мировым поставщиком информационных решений, повышающих производительность науки, здравоохранения и технических специалистов, чтобы дать им возможность принимать более обоснованные решения и иногда совершать революционные открытия, которые способствуют прогрессу человечества. Elsevier предоставляет различные электронные ресурсы – среди них ScienceDirect, Scopus, Elsevier Research Intelligence, Reaxys и Elsevier Clinical Solutions – издает более 2,500 журналов, в том числе The Lancet и Cell, и больше 33,000 наименований книг, в том числе ряд знаковых справочников. Elsevier является частью RELX Group plc, ведущего мирового поставщика информационных решений для профессионалов в различных отраслях промышленности.

EBSCOhost

EBSCO eBooks предлагает более 700 000 электронных и аудиокниг. EBSCO активно расширяет коллекцию на основе меняющихся потребностей библиотек. Доступ к данным на платформе EBSCOhost позволяет пользователям искать электронные книги и аудиокниги по содержанию и на новом уровне раскрывает коллекции библиотеки.

EBSCO Discovery Service

Система EBSCO Discovery Service™ (EDS) — единая платформа обеспечивает доступ пользователям ко всем информационным ресурсам организации с единого поискового интерфейса. Все, что нужно ученому собрано в одном месте. EDS получает метаданные с внутренних (библиотечных) и внешних (агрегируемых баз данных) источников и базируется на интуитивно понятной и мощной поисковой платформе EBSCOhost®.

EDS Discovery Health

EBSCO Health ведущий ресурс, в основе которого фактические данные поддержки принятия клинических решений, бизнес-аналитика в области здравоохранения и последние рецензируемые медицинские исследования. Содержимое предоставляется в различных форматах: медицинские книги, базы данных, клинических инструменты поддержки принятия решений и медицинские журналы.

Источник
Перевод: Соболевская Ю.В.