«Информационные Ресурсы России» №1, 2011

В Институте научной информации и мониторинга Российской академии образования РАО и Научной педагогической библиотеке им. К.Д. Ушинского РАО в последние месяцы были проведены совместные исследования публикационной активности членов РАО. Эти исследования опирались на показатели публикационной активности, которые были утверждены Министерством образования и науки РФ .

Широкое общественное обсуждение способов оценки публикационной активности деятельности российских ученых в целом и конкретно в учреждениях РАО позволило авторам сделать вывод, что для достижения объективности проводимых исследований необходимо по возможности расширить информационную базу оценки публикационной активности, используя для этой цели как международные, так и отечественные источники информации, включая отраслевые.

Авторы также посчитали полезным включить в исследования публикационной активности российский сектор интернета, поскольку очевидно, что Интернет-публикации и другие формы коммуникации с помощью интернета, если и не вытесняют традиционные научные коммуникации, то совершенно точно их существенно дополняют.

Предлагаемое исследование было направлено на проверку этих гипотез.

Информационная база исследования

Международные источники информации

В качестве международных источников информации были взяты 3 базы данных:
1. Web of Science – Science Citation Index
2. Web of Science – Social Science Citation Index
3. Scopus

Использование Web of Science предписано утвержденными руководством РАО показателями. При этом в показателях не указано, какую именно БД в системе Web of Science необходимо использовать. Поэтому авторы сочли целесообразным включить в исследование обе БД, имея в виду, что некоторые ученые - члены РАО имеет публикации в журналах естественнонаучного профиля, отражаемых в БД Science Citation Index, а другие – в журналах гуманитарного профиля, отражаемых в БД Social Science Citation Index.

Кроме того, была использована БД Scopus, которая в этом смысле удобнее для анализа, поскольку она универсальная. Также надо иметь в виду, что БД Scopus существенно больше, чем БД Web of Science, она включает свыше 15 тыс. журналов против примерно 9 тыс. в Web of Science. При этом расширение производилось в основном за счет неевропейских журналов. Имеются также определенные отличия в методике подсчета показателей цитируемости, причем мнения специалистов разделяются – одни предпочитают показатели Web of Science, другие – показатели Scopus.

Российский индекс научного цитирования

В качестве отечественного источника информации для проведения оценок нормативные документы недвусмысленно предписывают использовать РИНЦ – т.е. Российский индекс научного цитирования. Несмотря на активную критику, которой подвергается в настоящее время РИНЦ, в основном за большое количество ошибок при вычислениях и недостатки информационной базы , все необходимые расчеты по РИНЦ были проделаны. Следует также учитывать, что в настоящее время РИНЦ приступил к включению в свою БД сведений по отечественным журналам, извлеченных из БД Scopus. С одной стороны, это существенно расширяет информационную базу РИНЦ, что является положительным фактором. С другой стороны, увеличивается риск ошибок из-за несовершенства методов идентификации ученых, учреждений и периодических изданий.

Электронный каталог НПБ им. К.Д. Ушинского

В качестве отраслевого источника информации для оценки публикационной активности был использован электронный каталог (ЭК) НПБ им. К.Д. Ушинского Он включает свыше 1,2 млн библиографических записей, что существенно больше всех других отраслевых источников. ЭК отражает большей частью монографические издания, брошюры, а также авторефераты диссертаций по педагогике и психологии, т.е. как раз те источники, которые не охвачены РИНЦ и тем более международными базами данных. Нужно, однако, отметить что только 400 тыс. записей, а именно включенные в каталог после 1994 г., загружены в БД в структурированном виде. Остальные записи хранятся в виде электронных графических образов (имиджей), пригодных только для ограниченных видов поиска.

Российский сектор сети Интернет

Интернет быстро становится ведущим средством коммуникаций, в том числе научных, поэтому присутствие (видимость) ученого в интернете является важным показателем его научной активности. Однако методики оценки активности ученых в интернете еще не установились и являются предметом дискуссий.

В том числе это касается информационной базы проведения исследований. Естественно, был проведен поиск по основным ресурсам российского интернета. Однако специфическими сферами интернета являются блогосфера и социальные сети, которые очень быстро завоевали большую популярность среди пользователей интернета, в том числе среди ученых. Поиск по блогам был проведен, и его результаты приводятся. В то же время попытку анализа присутствия ученых в социальных сетях (СС) следует признать неудачной. Очевидно, что СС уже нельзя игнорировать – хотя бы потому, что количество пользователей СС составляет сотни миллионов и, несомненно, будет увеличиваться (в нашей стране особенно быстро вследствие отчетливо выраженной инициативы сверху). Реальному измерению присутствия ученого в СС препятствует растущее стремление пользователей скрыть свое настоящее имя за различного рода псевдонимами. Масштаб этого явления пока не позволяет использовать СС для библиометрического анализа .

Объекты исследования

В качестве объектов исследования были взяты ныне здравствующие члены Российской академии образования – действительные члены и члены-корреспонденты. Нужно отметить, что в официальном справочнике РАО и на сайте РАО содержатся не вполне актуальные данные. Обработаны материалы о членах РАО по состоянию на 1.10.2010 г. Всего были исследованы показатели 279 персон.

Публикационная активность почетных и иностранных членов не исследовалась.

Методика исследования

Ввиду краткости времени для исследований (работа была начата в августе 2010 г. и завершена в октябре) для анализа публикационной активности были выбраны только основные показатели, которые ниже перечисляются и комментируются.

При поиске в зарубежных БД и в РИНЦ учитывались следующие показатели:
– общее число публикаций, представленных в БД,
– число цитирований.

При этом из БД Scopus, SSCI и РИНЦ было получено общее число цитирования (без учета самоцитирования). Из БД SCI извлекались как общее число цитирований, так и число цитирований с учетом самоцитирования. Из электронного каталога НПБ на этом этапе извлекался только один показатель – общее число публикаций.
Во всех проведенных поисках возможность появления полного однофамильца не учитывалась. Это, конечно, содержит возможность довольно значительной ошибки, особенно для распространенных фамилий. Следует учесть, что в зарубежных БД почти никогда не используются полные имена и отчества, а инициалы, тем более одна буква инициалов, что также повышает возможность ошибки. Однако проверка идентичности ученого на данном этапе нереальна. Вообще, видимо, это может сделать либо сам ученый, либо ученый секретарь учреждения, где он работает.

Наконец, для зарубежных БД существенным оказывается способ транслитерации или транскрипции фамилии искомой персоны. Хорошо известно, что транслитерация из кириллицы в латиницу не бывает однозначной, особенно для фамилий содержащих некоторые специфические для русского языка звуки и буквы. Наиболее сложной задачей было проведение исследование присутствия ученого в интернете, методика поиска в котором рассмотрена более подробно.

«Видимость» (информационное присутствие) в интернете принято оценивать по результатам выдачи поисковых систем в ответ на соответствующие запросы. При этом следует учитывать ряд особенностей поисковых систем, которые ведут к потере релевантности результатов поиска. Это касается и лидеров отечественного и мирового рынка – соответственно Яndex и Google, которые использовались в исследовании.

Чтобы получить информацию о конкретной персоне, совершенно недостаточно вводить в поисковом запросе только фамилию (выдача будет содержать огромное количество ссылок) и даже фамилию-имя-отчество, разделенные пробелами: в полученных документах эти атрибуты не обязаны находиться рядом, и могут относиться к совершенно разным людям. Но синтаксис языков выбранных систем предусматривает поиск точного соответствия для фраз, заключенных в кавычки. Таким образом, по запросу «"Александр Сергеевич Батуев"» будут получены документы, в которых обязательно присутствуют указанные три слова именно в таком порядке (в том числе и те, где упоминаются «Власов Александр Сергеевич, Батуев Виктор Николаевич» пример реальный), но не будут представлены тексты, где фигурирует «Батуев Александр Сергеевич», «Батуев А.С.» или «Александр Батуев».
Некоторое представление о количестве ресурсов, обнаруженных при разных вариантах запросов, дает следующий пример:

Формат запроса	Число найденных ссылок
Абульханова Ксения Александровна	2413
"Абульханова Ксения Александровна"	1132
"Ксения Александровна Абульханова"	188
"Ксения Александровна" /(-1 1) Абульханова	1393
Абульханова К.А.	50 тысяч
Ксения Абульханова	3748

Чтобы не терять документы, где фамилия предшествует имени-отчеству, можно воспользоваться более сложным оператором Яndexа, учитывающим расстояния между словами. Запрос будет выглядеть так: «"Александр Сергеевич" /(-1 1) Батуев».

Результат заметно искажает обилие однофамильцев и полных тезок (Андреев Валентин Иванович, Васильева Зинаида Ивановна, Кондратьев Александр Сергеевич, Кузнецов Александр Андреевич, Лебедев Юрий Александрович и т.д.). Чтобы исключить этот эффект, к словам запроса можно добавить «РАО». Однако вариант без «РАО» также необходим, т.к. многие члены академии приобрели широкую известность в других ипостасях (художники Жилинский и Неменский, композитор Слонимский, сексолог Кон, директор музея Антонова, литератор Лиханов, экс-министры Кинелев, Ткаченко, Филиппов, Ягодин и др.).

Google не поддерживает функцию расстояния, поэтому приходится ограничиваться запросом вида «"Александр Сергеевич" Батуев», при этом слова «Александр Сергеевич» могут с равным успехом относиться к Грибоедову, Даргомыжскому или Запесоцкому. Отметим также, что Google при вводе запроса не различает регистр и одинаково реагирует на слова «РАО», «рао» и «рАо».

Как мы видели выше, выбранная конструкция поискового запроса не позволяет найти документы, содержащие наряду с фамилией лишь имя или инициалы. Однако для поиска биографических и библиографических материалов для серьезных, уважаемых людей, к которым, несомненно, относятся члены академии, требование наличия отчества отнюдь не является чрезмерным.

Таким образом, поиск проводился в четырех вариантах: в системах Яndex и Google; со словом «РАО» и без него. Найденные ссылки (более 1000) по существу представляют собой мини-каталог веб-ресурсов по указанным персоналиям.

Здесь следует уточнить, что количество Интернет-ссылок вряд ли может служить материалом для какого бы то ни было рейтингования ученых. О посторонних ссылках говорилось выше; кроме того, их число в значительной степени зависит от множества случайных факторов, например, наличия нового издания какого-нибудь учебника в сетевых книжных магазинах и электронных каталогах вузовских библиотек, либо юбилея чьего-то известного однофамильца. В то же время эти данные полезны для относительных сопоставлений; они содержат информацию для исследования работы самих поисковых систем, а также состояния сетевых информационных ресурсов. Особую ценность подобные исследования могут иметь при их регулярном повторении, например, раз в 2-3 года. Это позволит уточнять данные каталога и отслеживать прирост сетевой информации в педагогическом секторе.

Результаты исследований

Результаты исследования представлены в таблицах. Как легко видеть, международные БД довольно плохо отражают публикации членов РАО. Публикации многих ученых фактически не отражены в этих БД. Сводные результаты приведены в таблице 1. Большое количество нулей при поиске по зарубежным БД легко объяснить тем, что журналы, в которых публикуются эти авторы, не представлены в соответствующих БД. Сложнее объяснить высокие цифры отсутствующих данных в РИНЦ.

Таблица 1

Наименование БД	Число ученых, имеющих 0 в графе число публикаций	Число ученых, имеющих 0 в графе число цитирований
WoS-SCI	230	250
WoS-SSCI	161	161
Scopus	152	130
РИНЦ	95	131
ЭК НПБ	14	-----

Таблица 2 описывает распределение публикаций, представленных в базах данных.

Таблица 2

Число публикаций	SCOPUS	WoS	РИНЦ	ЭК НПБ
Свыше 100	4	3	1	25
26-100	17	8	28	106
10-25	19	11	44	72
1-9	90	30	111	62

Ожидаемы наиболее плотные результаты в электронном каталоге НПБ. Действительно, именно в отраслевом каталоге представлены практически все члены РАО. Это в значительной степени определяет направление дальнейших работ по совершенствованию измерений публикационной активности членов РАО.

Вероятно, в будущем анализу присутствия ученых в глобальных сетях будут способствовать новые инициативы крупнейшего отечественного поисковика Яndex, который в конце года договорился о сотрудничестве с Facebook и получил доступ к информации о свежих записях на публичных страницах, а также к использованию данных соцсети в поиске по блогам. А в декабре появилось сообщение о договоренности с сетью «Вконтакте», и теперь основная информация о пользователях этой соцсети будет показываться в результатах поиска, а в блогах Яndex – их открытые статусы и заметки. Уже проиндексировано свыше 25 млн профилей. Яndex и до этого работал с социальным контентом – он индексирует все основные блогохостинги и сервисы для микроблогов, включая LiveJournal.com, Twitter.com и LiveInternet.ru. Остается повысить интерес ученых к работе с этим инструментарием.
А пока лишь 36 членов академии упоминаются в блогах более 5 раз; из них более 20 раз – 16, более 50 раз – 8 и более 100 раз – 3 человека. Анализ веб-ссылок по именам дает такую картину: Яndex по 39 ученым находит свыше 1000 ссылок; еще 82 человека упоминаются от 300 до 1000 раз, 89 – от 100 до 300, остальные - менее 100 раз. Google дает более 2000 ссылок по 25 ученым, 1000-2000 по 52, 500-1000 по 67, 200-500 – по 77 (здесь интерес представляют относительные значения; причины появления посторонних ссылок разобраны выше).

Результаты исследований информационной видимости ученых РАО в интернете являются пока предварительными. Необходимо провести общественное обсуждение методики измерений показателя видимости. В частности, нужно обсудить переход от измерений видимости ученого на основе результатов поиска к измерению видимости сайтов с использованием методов вебометрики, как это делается за рубежом для формирования рейтингов университетов.

Также требует дополнительных исследований целесообразность включения в информационную базу оценки публикационной активности блогосферы и социальных сетей.

Предложения по совершенствованию информационной базы оценки публикационной активности ученых РАО
Первоочередной задачей по развитию и совершенствованию информационной базы для оценки публикационной активности членов РАО и сотрудников научных учреждений является пополнение и развитие электронного каталога НПБ им. К.Д. Ушинского. Это представляется наиболее технически выполнимой задачей в силу административных и технологических причин. Учреждения РАО могут и обязаны передавать в НПБ электронные копии своих публикаций, что практически не требует затрат, так как они могут передаваться по электронной почте.

Передаваемые документы могут, по желанию правообладателей, быть общедоступны через интернет, размещаться только в локальной сети и предоставляться только в помещении библиотеки или, наконец, продаваться через электронный книжный магазин. Однако в любом случае, библиографическое описание этих документов будет включено в электронный каталог и будет учтено при измерении публикационной активности.
В настоящее время на основе ЭК проводился поиск только основного показателя – числа публикаций. Однако ничто не мешает провести на основе ЭК более глубокий анализ, включая дату, объем, жанр и тематику публикаций, и предоставить руководству РАО и заинтересованным ученым полный спектр библиометрических результатов, в том числе динамику информационных потоков по тематическим направлениям, отделениям РАО и другим разрезам.

ЭК НПБ должен быть также пополнен более глубоким анализом некоторых жанров, особенно авторефератов диссертаций. Из этого массива необходимо извлекать данные, которые бы позволили учесть работу ученых в качестве руководителей и оппонентов, ссылки на ученых в автореферате и реализовать другие возможности
Отраслевые источники информации для оценки не должны исчерпываться каталогом НПБ. В систему этих источников должны входить каталоги неопубликованных работ РАО, создаваемый в ИНИМ РАО, а также каталог алгоритмов и программ, создаваемый в рамках ОФЭРНИО. Также в отраслевые источники должны быть включены информационные массивы, создаваемые в рамках образовательных порталов в ГНИИ ИТТ «Информика», прежде всего каталог и Электронная библиотека Единого окна доступа к образовательным ресурсам.

За пределами научно-образовательной отрасли основным инструментом измерения публикационной активности должен стать РИНЦ, Задача учреждений РАО и отдельных ученых – следить, чтобы в базе данных РИНЦ с должной полнотой и актуальностью были включены периодические издания, в которых публикуются сотрудники этих учреждений. Также необходимо следить, чтобы при обработке этих данных в РИНЦ минимизировать ошибки. Для этого в РИНЦ должен быть создан соответствующий инструментарий.

В дальнейшем для измерения степени использования и влияния работ ученого можно использовать систему Google Scholar . Для улучшения представления результатов ученого в электронном научном пространстве можно рекомендовать им самим более активно выкладывать в открытый доступ полные тексты своих публикаций. Если эти тексты будут правильно зарегистрированы в научном электронном пространстве (например, как это делает Соционет ), то системы подобные Google Scholar будут автоматически отслеживать факты цитирований и другие научные связи между публикациями. Кроме того, для улучшения информационного представления работ ученого можно использовать недавно введенные в действие в Соционет автоматически формируемые "статистические портреты" ученых и организаций.

Важным перспективным инструментом для измерения публикационной активности ученых РАО должна стать Электронная библиотека РАО, проект которой в настоящее время представлен руководству РАО. Наряду с классическими работами по педагогике и психологии, Электронная библиотека РАО должна размещать и труды действующих ученых. Это позволит значительно повысить цитируемость этих произведений, как в Интернете, так и в традиционных информационных продуктах. Исследования в области открытых архивов дают в этом уверенность.
На основе всех этих работ должны быть сформированы и представлены руководству РАО предложения по оптимизации источников информации, используемых для оценки публикационной активности. Установленные в настоящее время источники для РАО являются неадекватными.

Развитие методов оценки публикационной активности

Важным направлением развития работ по измерению публикационной активности в системе РАО должно стать расширение объектов анализа: необходимо измерять показатели всех научных сотрудников РАО, а также показатели научных учреждений РАО в целом.

Наряду с развитием информационной базы и объектов оценки публикационной активности следует совершенствовать методику и инструментарий такой оценки. Укажем на некоторые направления этой работы:
- дифференциация индикатора публикационной активности по ЭК НПБ по дате, жанру, объему и тематике публикаций;
- создание системы обработки авторефератов диссертаций по педагогике и психологии с целью выявления содержащихся там сведений по персоналиям;
- совершенствование методов расчета цитируемости в РИНЦ, в том числе исключение самоцитируемости, разработка методов анализа ошибок системы;
- создание и использование инструментов идентификации авторов, учреждений и периодических изданий;
- разработка и общественная апробация методов измерения публикационной активности на основе интернета, прежде всего использованием вебометрического инструментария.
- разработка и общественная апробация методики построения сводных показателей публикационной активности на основе измерений по различным информационным источникам.

Предлагаемые меры могут существенно повысить адекватность методов измерения публикационной активности ученых РАО и, следовательно, повысить доверие к результатам этих измерений.