Презентация на тему: Многомерное ранжирование как методология сбалансированной оценки исследовательской, образовательной и международной деятельности университетов

Многомерное ранжирование как методология сбалансированной оценки исследовательской, образовательной и международной деятельности университетов Ольга Перфильева эксперт НФПК, директора Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» 2011-2013 гг. Российско-британский семинар «Оценка эффективности деятельности вузов и их международное позиционирование» Санкт-Петербург, 28 февраля 2012 г.

Многообразие методологий ранжирования университетов

Одномерные ранжирования университетов Преобладают в системе международных подходов к оценке качества деятельности университетов Удовлетворяют запросам основных потребителей услуг высшего образования (студенты, родители, органы управления высшим образованием) Предоставляют удобный и дружелюбный для пользователей услуг высшего образования способ сравнения университетов на внутристрановом, международном и глобальном уровнях Являются инструментом влияния и конкурентоспособности университетов в национальном и международном пространстве высшего образования Являются источником для бенчмаркинга в сфере высшего образования

Одномерные ранжирования университетов Используют в основном индикаторы, оценивающие значение и влияние исследований Опираются на единый агрегированный показатель, который не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) Набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности Не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов Представляют собой упрощенную картину сложной реальности

Глобальные одномерные ранжирования несбалансированность показателей

Глобальные одномерные ранжирования несбалансированность показателей

Глобальные одномерные ранжирования основные проблемы Проблема надежности: Опора на репутационные исследования определяет недоверие к процедурам проведения глобальных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Использование некоторых показателей вызывает сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации занижены и не обоснованы, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня» Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющих высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге

Развитие систем ранжирования университетов

Региональные/ национальные многомерные ранжирования: The СНЕ Rankings CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

Региональные/ национальные многомерные ранжирования: The СНЕ Rankings

The СНЕ University Ranking The CHE University Ranking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованиях и репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы: Абитуриенты, родители и студенты ВУЗы Рейтинг составляется по 37 предметам, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT http://ranking.zeit.de/che2011/en/

The СНЕ University Ranking: Методология Рейтинг не представляется в единственном агрегированном виде, а имеет модули, которые могут настраиваться по запросам пользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством: анкетирования административного персонала университетов, преподавательского состава и студентов Библиометрических данных с использованием базы данных Science Citation Index Включает оценку условий обучения 250 000 студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза Для определения группы учитываются особенности разброса оценок

The СНЕ University Ranking:

Региональные/ национальные многомерные ранжирования The СНЕ Rankings: основные проблемы Проблема сбора и обработки данных: Собирается большое количество данных, что является трудностью как для университетов, так и для составителей рейтинга Проблема релевантности: ранжирования затрагивают не все предметные области Проблема географической представленности: часто в ранжированиях участвует ограниченное число стран (например, страны Евросоюза, или немецкоговорящие страны)

Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристика качества Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

Принципы и критерии качества современных международных систем ранжирования университетов Критерии оценки сильных и слабых сторон методологий рейтингования Берлинские принципы ранжирования высших учебных заведений Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»

Критерии IREG и веса основных и стандартных критериев

Критерии IREG и веса основных и стандартных критериев

Критерии IREG и веса основных и стандартных критериев

Логическая рамка оценки методологий относительно критериев IREG Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

Степень соответствия методологий критериям IREG

Степень соответствия методологий глобальных рейтингов критериям IREG

Степень соответствия методологий глобальных рейтингов критериям IREG

Степень соответствия методологий CHE критериям IREG

Основные задачи разрабатываемой методологии ранжирования вузов Методология ранжирования должна: служить инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ; служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов; содействовать повышению конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; способствовать развитию системы высшего образования России; вносить вклад в повышение качества деятельности вузов;

Основные принципы разрабатываемой методологии ранжирования вузов Учитывать имеющийся опыт и достижения российских вузов в международных рейтингах, их сильные стороны построения; Учитывать зарубежный и российский опыт ранжирований и рейтингования Обеспечить прагматичный подход к выработке методологии ранжирования российских вузов, при которой данные по индикаторам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий ранжирование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; Обеспечить широкое экспертное и общественное обсуждение на разных этапах разработки и апробации Создать национальную методологию ранжирования, которая будет признаваться как источник надежных данных для глобальных и региональных рейтингов.

Что сделано Проведен сопоставительный анализ зарубежных и российских методологий ранжирования. Проведена экспертная оценка зарубежных методологий ранжирования относительно критериев аудита качества построения ранжирований Международной экспертной группы IREG. Выявлены количественные индикаторы оценки качества работы вузов на основании зарубежного и российского опыта построения ранжирований. Проведена экспертная оценка количественных индикаторов с т.з. их значимости для задач развития ВО в РФ, надежности, доступности, релевантности и значимости для включения в модельную методологию ранжирования российских вузов. Выявлены индикаторы пяти направлений деятельности вузов (научно-исследовательская деятельности, обучение/преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) для включения в модельную методологию, в числе которых: перечень индикаторов согласованных и одобренных экспертной группой; перечень дополнительных индикаторов, требующих дополнительной экспертной оценки и согласования.

Научно-исследовательская деятельность Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля затрат на исследования от общих расходов вуза в предыдущем финансовом году 2. Доля ППС с ученой степенью кандидата и доктора наук (эквивалент полной занятости) на текущий учебный год 3. Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ) 4. Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 5. Количество цитирований на одну статью 6. Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области 7. Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 8. Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ) 9. Доля доходов вуза от научных исследований - в том числе фундаментальных - в том числе прикладных в предыдущем финансовом году 10. Количество выигранных вузом грантов /сумма выигранных вузом грантов (РГНФ, РФФИ, Фонд Бортника) 11. Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году

Обучение/преподавание Индикаторы, согласованные и одобренные экспертной группой проекта: Затраты на оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном году Доля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией) Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году Доля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем учебном году Доля выпускников, поступивших на программы аспирантуры Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина)

Международная деятельность Индикаторы, согласованные и одобренные экспертной группой проекта: Доля иностранных студентов в общей численности студентов (эквивалент полной занятости) Количество международных исследовательских грантов Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов Доля программ, разработанных совместно с зарубежными партнерами Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами

Трансфер знаний Индикаторы, согласованные и одобренные экспертной группой проекта: Доля внебюджетного финансирования в доходах вуза в том числе: - от образовательной деятельности - от научной деятельности в предыдущем финансовом году Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности Доход от продажи продуктов интеллектуальной собственности в течение предыдущего финансового года Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года

Взаимодействие с регионом/отраслью Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля доходов из местных/региональных источников/отрасли в предыдущем финансовом году 2. Доля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году 3. Количество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году

Характеристика выборочной совокупности для проведения апробации модельной методологии ранжирования Объем выборки – около 140 вузов 4 группы вузов: МГУ и СПбГУ Ведущие университеты (9 ФУ+29 НИУ+55 вузов по Программе МОН поддержки программ стратегического развития) 46 Вузов-участников проекта «Лучшие образовательные программы инновационной России», включая: - 13 – технические (11 отраслевые) - 7 – экономические/юридические - 6 – медицинские - 5 – классические - 4 – негосударственные - 4 – сельско-хозяйственные - 3 – педагогические - 2 – культуры и искусства - 2 –физкультуры и спорта Организационно-правовая форма: государственные, негосударственные

Дальнейшие шаги Согласовать перечень индикаторов для построения многомерного ранжирования российских вузов Придать веса индикаторам, включенным в модельную методологию ранжирования российских вузов Определить возможность использования выделенного набора индикаторов для других целей в будущем, с другими весами (например, корректировка весов в зависимости от категорий вузов) Определить список вузов – участников апробации модельной методологии ранжирования, выбранных в зависимости от категории

Спасибо за внимание! Перфильева Ольга Владимировна Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ [email protected] www.iori.hse.ru