Лекция №6 Требования, предъявляемые к тестовым заданиям. Психолого-педагогические аспекты тестирования. План лекции: Требования, предъявляемые к тестовым заданиям. Требования, предъявляемые к банкам тестовых заданий. Последовательность разработки педагогических тестов и БТЗ. Программное обеспечение процедуры тестирования (АСТ). Психолого-педагогические аспекты тестирования
Требования, предъявляемые к составлению тестовых заданий: В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.). Ответ не должен зависеть от предыдущих ответов студента. Ни в тексте, ни в ответах не должно быть подсказок. Тестовое задание может быть представлено в стандартизированной форме (открытое, закрытое и т.д). Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения.
Требования, предъявляемые к составлению тестовых заданий: 11. Требования к заданиям закрытого типа: а) Не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Следует применять правдоподобные ошибочные варианты, взятые из опыта. б) В заданиях закрытого типа дистракторы не должны начинаться или заканчиваться повторяющимися словами или выражениями. Количество дистракторов в задании должно находится в пределах от 4 до 6. в) недопустимы ответы типа: все выше перечисленное верно, все указанные ответы неверны. г) лучше «длинный» вопрос и «короткие» ответы, чем наоборот. д) количество слов в формулировках тестового задания не должно превышать 13-и. е) в заданиях закрытого типа с выбором нескольких ответов из 5 ответов должно быть 2 или 3 правильных.
Требования, предъявляемые к составлению тестовых заданий: 12. Задания на установление соответствия и правильной последовательности должны начинаться со слов: Соответствие … (а не установить соответствие) Последовательность (а не установить последовательность)
2. Требования, предъявляемые к тестам и банкам тестовых заданий Банк тестовых заданий Тест Тестовое задание Банк тестовых заданий (БТЗ) - это упорядоченное множество тестовых заданий, позволяющее осуществить адекватную целям изучения учебной дисциплины проверку степени усвоения ее содержания и обеспечивающее возможность формирования педагогических тестов различного объема и назначения.
К основным свойствам БТЗ должны быть отнесены: предметная направленность банка; содержание (состав и взаимосвязь дидактических единиц, образующих содержание учебной дисциплины); объем (количественный и качественный состав ТЗ, входящих в банк); структура (способ упорядочения тестовых заданий, образующих банк); качество ТЗ и банка в целом, обеспечивающее получение объективных и достоверных результатов тестирования; возрастающая трудность ТЗ.
Структура («дерево») БТЗ - строение банка тестовых заданий, определяющее принадлежность каждого из ТЗ соответствующей дидактической единице и уровню.
Возможные подходы к структурированию БТЗ («дерева») Первый подход: раздел дисциплин; дидактическая единица ГОС; понятие, раскрывающее дидактическую единицу. Второй подход: дидактическая единица ГОС; раздел дисциплин; понятие, раскрывающее дидактическую единицу. Третий подход: раздел программы; дидактическая единица ГОС; уровень трудности ТЗ (легкое, среднее, трудное)
Структура БТЗ
Возможные подходы к структурированию БТЗ («дерева») Первый подход:раздел дисциплин; дидактическая единица ГОС; понятие, раскрывающее дидактическую единицу.Второй подход:дидактическая единица ГОС; раздел дисциплин; понятие, раскрывающее дидактическую единицу.Третий подход:раздел программы; дидактическая единица ГОС;уровень трудности ТЗ (легкое, среднее, трудное)
БТЗ должен быть сформирован так, чтобы обеспечить: Возможность формирования требуемого количества ПТ заданного назначения и количественного состава: от нескольких десятков до сотен тестов. Возможность формирования ПТ, имеющих иерархическую структуру и состоящих из ТЗ трех уровней трудности: первый уровень (задания легкие); второй уровень (задания средней трудности); третий уровень (задания трудные). БТЗ должен состоять из ТЗ четырех различных форм.
БТЗ должен быть сформирован так, чтобы обеспечить:Возможность формирования требуемого количества ПТ заданного назначения и количественного состава: от нескольких десятков до сотен тестов.Возможность формирования ПТ, имеющих иерархическую структуру и состоящих из ТЗ трех уровней трудности:первый уровень (задания легкие);второй уровень (задания средней трудности);третий уровень (задания трудные).БТЗ должен состоять из ТЗ четырех различныхформ.
Трудность (уровень или норма трудности) ТЗ - (в теории) количество мыслительных операций и характер логических связей между ними, характеризующих продолжительность поиска и нахождения верного решения; Статистическая трудность определяется долей верных ответов на тестовое задание. Основное назначение трудности заданий - определение заданий, которые не подходят для использования по причинам излишней простоты или сложности и определение места задания в тесте.
Требования к наполнению БТЗ:адекватность тестовых заданий содержанию учебного материала и «веточке дерева» БТЗ;использование 4 форм тестовых заданий в пропорциональном соотношении (по 25%): открытые, закрытые, на упорядочение, на соответствие;равномерное распределение тестовых заданий по трудности тестовых заданий (33% – легкие; 33% – средней трудности; 33% – трудные); общее количество не менее длины одного теста.
3. Последовательность разработки педагогических тестов и БТЗ Определение цели тестирования, области содержания теста, выбор вида теcта, подхода к его созданию. Цели тестирования: входной, текущий, итоговый или отсроченный контроль. Подход к созданию БТЗ: нормативно- или критериально-ориентированный.
Анализ содержания учебной дисциплины и отбор содержания для теста. Данный этап очевиден, он предполагает работу с ГОС и учебными программами. Определение структуры теста. Разработка спецификации теста. Составление тестовых (предтестовых) заданий. Определяется проектируемая трудность тестовых заданий.Экспертный анализ содержания и формы тестовых заданий и теста в целом.
Переработка содержания и формы заданий по результатам экспертизы. Разработка и проведение пробного тестирования. Сбор эмпирических результатов. Статистическая обработка результатов тестирования. Оценка качества тестовых заданий и теста в целом с помощью статистических методов. Корректировка теста по результатам предыдущего этапа. Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста.
4. Программное обеспечение процедуры тестирования (АСТ).
Состав системыКонструктор тестов - предназначен для создания и наполнения накопителя тестовых заданий и формирования семейства тестов на его основе.SWAP – программа обмена данными между накопителем тестовых заданий и документами WinWord (текстовый формат)Конвертер – предназначен для конвертации исходных тестовых файлов ast в формат asd, который используется серверной частью системы тестирования AST-Test, с возможностью внесения изменений в OLE-обьекты (формулы,текст).
Комплекс программ для проведения и сопровождения процедуры тестированияАСТ- СерверАСТ-Администратор – программа Test_Administrator предназначена для удаленного управления процедурой тестирования и получения статистических данных и результатов.АСТ-Плеер - программа AST-Test_Player предназначена для проведения тестирования посредством подключения пользователя к удаленной базе тестов, находящейся на другом компьютере - сервере.