Так ли хороши стандартные сетевые показатели для ранжирования журналов?
Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.
Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.
Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.
Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».
Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.
Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.
Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.
#обзор #журналы #цитирование #сетевойанализ
Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.
Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.
Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.
Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».
Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.
Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.
Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.
#обзор #журналы #цитирование #сетевойанализ