Развитие вебометрического индекса научно-образовательных учреждений России
Российский вебометрический индекс научно-образовательных учреждений был создан в 2012 г. Он достаточно подробно описан в ряде публикаций, например в [1], а также представлен в интернете, по адресу http://ru-webometrics.info.
В настоящей статье описывается новая версия вебометрического индекса научно-образовательных учреждений России 2013 г. (вебиндекс-2013), которая формировалась в течение апреля-мая 2013 г. Коллектив создателей в основном (за исключением технических исполнителей) остался тем же и представлен авторами настоящей статьи.
Анализируемые объекты
Список научно-образовательных учреждений России (НОУ) составлялся на основе перечня НОУ вебометрического индекса прошлого (2012) года. Всего в вебиндекс-2012 было включено 1843 веб-сайта организации, в том числе:
• государственных вузов – 635,
• негосударственных вузов – 445,
• учреждений РАН – 456,
• учреждений РАСХН – 204,
• учреждений РАМН – 57,
• учреждений РАО – 26,
• учреждений национальных академий - 19.
В состав вебиндекса-2013 было включено 1829 учреждений, в том числе:
• государственных вузов – 638,
• негосударственных вузов – 446,
• учреждений РАН – 455,
• учреждений РАСХН – 204,
• учреждений РАМН – 59,
• учреждений РАО – 26.
Учреждения национальных академий (Республик Башкортостана и Татарстана) в вебиндекс-2013 не включались. Остальные изменения перечня учреждений носят технический характер - исправлены ранее допущенные ошибки.
Слияния государственных вузов, происшедшие в 2012 г., отражены в примечаниях. Однако поскольку сайты всех присоединенных вузов продолжают функционировать самостоятельно, их измерение производилось отдельно.
В ходе формирования вебиндекса-2013 производилась верификация веб-адресов российских НОУ. Это было важно, поскольку динамика изменения адресов НОУ весьма значительна – до 5-7% за год.
Как и в прошлом году, анализировались только самостоятельные сайты. Значения показателей для страниц НОУ, размещенных на общих сайтах и в каталогах, принимались равными нулю. В случае наличия у НОУ нескольких сайтов, значения показателей для них суммировались. В результирующих таблицах представлены адреса, по которым производилось измерение.
Методика формирования индекса
В основном измерение показателей вебиндекса-2013 производилось по тем же показателям, что и вебиндекса-2012, с одним важным исключением. В прошлом году наряду с тремя показателями, совпадающими с показателями Вебометрического рейтинга университетов мира («видимость», «размер» и «богатые файлы»), в качестве 4-го показателя («публикационная активность») использовались данные Российского индекса научного цитирования (РИНЦ) .
В ходе обсуждения вебиндекса-2012, происходившего на различных научных форумах, высказывалось мнение, что использование данных РИНЦ не вполне корректно. Во-первых, РИНЦ приводит данные по всем публикациям НОУ, а не только электронным, как это делается в Вебометрическом рейтинге университетов мира. Во-вторых, у научной общественности имеется множество претензий к качеству информационной базы РИНЦ и алгоритмам подсчета показателей, используемым в РИНЦ.
В результате было принято решение в качестве показателя публикационной активности использовать результаты поиска публикаций НОУ и ссылок на них в специализированной системе Scholar Google (Академия Гугл) .
Нужно указать, что использование Scholar Google происходит не только в Вебометрическом рейтинге университетов мира, но и в российских вебометрических исследованиях ٫ .
Методика расчета публикационной активности очень проста: в поисковую строку Scholar Google вставляется доменное имя измеряемого сайта с предшествующим оператором «+», что позволяет использовать для поиска все символы запроса. В результате поиска выдается количество и список найденных публикаций, в качестве адреса в которых используется искомое доменное имя, а также ссылок на эти публикации.
Важное дополнение в вебиндекс-2013 было сделано применительно к государственным вузам. В ходе обсуждения прошлогоднего вебиндекса-2012 высказывалось справедливое мнение, что нельзя сравнивать сайты вузов, различных по масштабу и специализации. Поэтому в ходе создания вебиндекса-2013 каждый государственный вуз был отнесен к определенной категории (виду). В качестве классификации вузов по видам использовалась классификация ЮНЕСКО, примененная при анализе вузовских рейтингов М. Соколовым , но слегка модифицированная. Так, мы сочли необходимым выделить в качестве самостоятельных категорий федеральные и национальные исследовательские университеты, перечни которых утверждены нормативными актами . К национальным исследовательским университетам были также отнесены МГУ и СПбГУ, которые формально занимают особое место среди российских вузов, но по существу являются национальными исследовательскими университетами. Были выделены также категории военных вузов, которые в классификации М. Соколова отсутствуют, а также физкультурные вузы, которые у него проходят по категории прочие.
В результате классификация государственных вузов, примененная в вебиндексе-2013, выглядит следующим образом (с указанием количества вузов по видам):
Таблица
Государственные вузы по видам
Соответственно вебиндекс-2013 предоставляет дополнительную по сравнению с прошлогодним индексом возможность оценить качество интернет-представительства вузов внутри каждой категории. Лидеры рейтинга-2013 по видам вузов приведены в приложении.
Заметим, что классификация вузов существенно влияет на место в рейтинге. Так, объединение в один вид архитектурных, художественных и вузов культуры (как это сделано у М. Соколова, который ссылается на классификацию вузов ЮНЕСКО) привело к тому, что архитектурные вузы заняли лидирующие места в данной категории. То же самое произошло при объединении педагогических и лингвистических вузов – последние оказались выше по рейтингу.
Еще одно небольшое изменение методики индекса заключалось в упрощении методики ранжирования. Составители индекса отказались от принципа децилей. Каждое НОУ получало свой ранг в соответствии с порядковым номером НОУ, упорядоченном по значению каждого показателя. При этом ранг по показателям Видимость, Размер и Богатые файлы, так же как и в прошлом году, вычислялся как среднее арифметическое от рангов, полученных при поиске значений этих показателям при помощи поисковых машин Яндекс и Google. Показатель Публикационная активность определялся при помощи поисковой системы Scholar Google.
Обобщенный ранг НОУ вычислялся как сумма рангов по 4-м показателям. Все 4 показателя признавались равными по значению, т.е. никакого взвешивания не производилось.
Метод выравнивания результатов был применен в единственном случае - к НОУ, получившим нулевые значения по какому-либо показателю. Все НОУ, имеющие нулевое значение показателя, получали одинаковый ранг. К этому же рангу были отнесены НОУ, не имеющие сайтов или представленные страницами на других сайтах. Это исключало преимущества в окончательном рейтинге для какого-либо НОУ по формальным признакам сортировки НОУ, например, по алфавиту.
Представление результатов
Результаты формирования веб-индекса-2013 представлены в виде набора из 6 таблиц в Microsoft Excel. Таблицы 1-5 включают по 1829 строк, Таблица 6, содержащая данные по государственным вузам, – 638 строк.
Таблицы включают:
- Данные по измерениям показателей Видимость, Размер и Богатые файлы средствами Яндекса и Google;
- Данные показателя Публикационная активность, вычисляемая средствами Scholar Google;
- Ранг НОУ по каждому показателю, за который принимается порядковый номер НОУ при сортировке списка по убыванию значения данного показателя;
- Среднеарифметические значения рангов для показателей Видимость, Размер и Богатые файлы, полученные средствами Яндекса и Google;
- Сумма рангов для четырех показателей;
- Результирующий общий ранг НОУ;
- Ранг НОУ в рамках категории НОУ;
Данные сопоставления лидеров рейтинга веб-индекса-2013 с вебиндексом-2012 по отдельным категориям НОУ представлены в Приложении. Это сделано как для общего списка, так и по отдельным показателям. Отдельная таблица представляет рейтинги российских университетов - лидеров по версии Вебометрического рейтинга университетов мира для 2013 г. по сравнению с 2012 г. В приложении представлены также лидеры рейтинга по отдельным видам вузов среди государственных вузов.
Из содержательных результатов отметим смену лидера общего списка – теперь им стало НИУ ВШЭ вместо МГУ, который получил неожиданно низкое 8-е место по показателю Размер. Также нужно отметить бесспорное лидерство государственных вузов в общем списке. Только 2 академических сайта (Института социологии РАН и сайт СО РАН) попали в число 40 лучших сайтов НОУ. В прошлом году рейтинги академических сайтов были относительно выше. Среди государственных вузов ожидаемо лидирующие позиции заняли национальные исследовательские университеты. Только один – Казанский (Приволжский) федеральный университет попал в Топ-10.
Изменение методики подсчета привело к значительным изменениям рейтингов такой категории НОУ, как академические библиотечно-информационные учреждения. В вебиндексе-2012 лучшими в этой категории были ГПНТБ СО РАН, ВИНИТИ и БЕН РАН. В новом индексе лидирующие позиции заняли ЦНСХБ РАСХН и НПБ им. Ушинского РАО. Лидер прошлого года ГПНТБ СО РАН занял третье место, БЕН РАН – пятое, а ВИНИТИ только шестое, пропустив на четвертое место ИНИОН. Объясняется это высокими показателями публикационной активности лидеров, измеряемой по Scholar Google.
Приложение