В различных системах тестового контроля знаний из четырех основных форм тестовых заданий наибольшее применение получили две - задания в открытой форме и задания с выбором одного правильного ответа из предложенного списка. В обеих формах тестовых заданий необходимо иметь эталон верного ответа, с которым осуществляется сравнение ответа испытуемого.
На лабораторно-практических занятиях по некоторым дисциплинам для сдачи теоретического минимума можно использовать тестирование. Это удобно и преподавателю и студентам. Тестирование проводится на компьютере с помощью специальной тестирующей программы. При этом необходимо создать такие условия, чтобы студент мог готовиться к занятиям во внеаудиторное время, то есть тестирующая программа должна быть доступна. Далее необходимо уменьшить до минимума возможность угадывания верного ответа. Кроме того, необходимо хорошо защитить банк тестовых заданий, а также файлы с ключами верных ответов. Ниже будет приведено описание подобной тестирующей программы.
Задания с выбором одного правильного ответа из нескольких, справедливо критикуются за слабую защищенность и довольно высокую вероятность угадывания правильного ответа. С этим можно бороться различными методами, например, вводя поправки на угадывания18.
Задания в открытой форме защищены гораздо лучше, вероятность угадывания практически сведена к нулю. Однако в этом случае возникает другая проблема - проблема корректного распознавания правильного ответа.
В литературе по тестированию известен такой пример5:
ПЕРВЫМ ПРЕЗИДЕНТОМ США БЫЛ __________.
Эталоном ответа являлось слово «Вашингтон». Но такие ответы как «Генерал», «Мужчина», «Уроженец штата Вирджиния» в принципе, также являются правильными.
Ниже мы становимся на рассмотрении этого вопроса более подробно.
Задания с выбором правильного ответа предпочтительнее, поскольку здесь отсутствует проблема распознавания правильного ответа. Для ослабления эффекта угадывания можно использовать большое количество дистракторов. Обычно используются задания с двумя, тремя, четырьмя ответами. Реже - с пятью ответами. Задания с большим количеством ответов практически не используются по следующим обстоятельствам.
Во-первых, непросто создать тестовое задание с большим количеством качественных дистракторов. Это требует больших затрат времени и высокой квалификации разработчика теста. Иногда от разработчиков можно слышать утверждение, что в данном конкретном задании невозможно придумать больше одного или двух дистракторов. Однако после обсуждения различных подходов к построению тестового задания, в частности применения принципов сочетания, противоречия, противоположности, кумуляции, градуирования, удвоенного противопоставления и т.д., полно изложенных у В.Аванесова19, разработчик убеждается, что все-таки можно было создать тестовое задание с требуемым количеством дистракторов. Естественно, это приходит с опытом. У опытных разработчиков тестов подобные вопросы обычно не возникают.
Во-вторых, испытуемому сложно ориентироваться в обилии дистракторов. Очевидно, что на тестовое задание содержащее, например, 50 ответов (1 правильный и 49 дистракторов) практически невозможно дать правильный ответ. Дистрактор может отличаться от верного ответа всего лишь одним словом, одним символом. Сравнить между собой все пятьдесят ответов, сопоставить их, проанализировать на достоверность - сложно чисто технически. Эта чрезмерная умственная и физическая нагрузка вызовет повышенную утомляемость испытуемого и, соответственно, низкие результаты тестирования, не связанные с его уровнем знаний. А потому такие задания никто не делает.
С другой стороны, если испытуемому технически обеспечить режим быстрого поиска нужного ответа, а сами дистракторы сделать легко различимыми, то такие тестовые задания, видимо, можно использовать.
В этом случае испытуемому придется оставить все попытки угадывания правильного ответа. В такой ситуации сильный, подготовленный испытуемый, проанализировав задания, сначала самостоятельно формулирует правильный ответ. Затем целенаправленно начинает поиск правильного ответа в списке ответов. Для повышения скорости поиска список ответов должен быть упорядочен, например, в алфавитном порядке по возрастанию (убыванию). В этом случае длина списка может быть очень большой - от несколько десятков до нескольких сотен ответов. Но и такие задания тоже никто не делает.
Хотя фактически получается, что тестовое задание с выбором правильного ответа с очень большим количеством дистракторов эквивалентно тестовому заданию в открытой форме. При этом устранена проблема распознавания правильного ответа. И в том, и в другом случае угадывание становится практически невозможным.
Недостатком предлагаемого подхода является то, что далеко не всегда можно сформулировать тестовое задание, допускающее наличие большого количества однотипных, легко различимых, четко отличающихся друг от друга, дистракторов.
Рассмотрим пример задания, когда это удается сделать. Сначала сформулируем задание в открытой форме14:
ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ _______.
Эталоном ответа является слово «Фалес»
Далее, преобразуем это задание в задание с выбором правильного ответа из предложенных, например, двадцати ответов.
ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ
1) Фалес
2) Диоген
3) Гераклит
…
20) Аристотель
Список ответов упорядочиваем, например, по имени.
ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ
1) Аристотель
2) Гераклит
3) Диоген
…
20) Фалес
Очевидно, что подобные задания технически сложно реализовать на бумажных носителях, в бланковой форме - список из нескольких десятков элементов занимает очень много места. Совершенно иные возможности у разработчика тестов при использовании компьютеров. В частности, важнейшим элементом интерфейса диалоговых окон различных программных средств является так называемое окно списка, пример которого приведен на рис. 4.5.1 (окно выбора размера шрифта в текстовом процессоре MS Word).
Рис.4.5.1.
Окно списка.
Окно списка занимает очень небольшое место на экране, но после выполнения щелчка по «кнопке списка», появляется собственно список с полосой прокрутки. Такой интерфейсный механизм позволяет довольно быстро отыскать нужный элемент списка.
Таким образом, построение тестового задания с выбором правильного ответа с большим количеством дистракторов вполне достижимо при использовании вычислительной техники.
Для реализации описанного подхода, нами был разработана программа-тестер dbtest.exe, используемая на лабораторно-практических занятиях при изучении дисциплины «Базы данных» (ОПД.Ф.03 Федеральный компонент).
Рис. 4.5.2. Тестовое задание по реляционной алгебре.
На рис. 4.5.2. показан экран программы для одного из тестовых заданий открытой формы. Тема – «Реляционная алгебра».
На экран выводятся 4 окна. Левые три (R1, R2, R3) относятся к тексту задания. Правое крайнее окно №4 позволяет устранить вышеупомянутую проблему, связанную с применением тестовых заданий открытой формы. Речь идет о степени соответствия введенного ответа эталону, с которым сравнивается ответ.
В данном задании требуется ввести фамилии учащихся, попавших в множество R4. Что произойдет, если в процессе ввода будет допущена опечатка?
Как правило, компьютерные программы считают, что введен ошибочный ответ – нет совпадения с эталоном. С этим нельзя согласиться – ведь по существу испытуемый отвечает правильно. Для преодоления этого недостатка тестирующей программы предлагается сравнивать, например, только фрагменты слов, обычно для этого используется корень слова.
В данном тестере используется подход, описанный выше. Испытуемый выбирает нужную фамилию из списка, содержащего 67 элементов (фамилий), показанного в крайнем правом окне №4. Это напоминает задание с выбором, когда выбирается один из 67 возможных ответов. Отличие заключается в том, что, используя этот список, испытуемый формирует множество R4, путем многократного выбора элементов из списка №4. Список фамилий множества R4 появляется слева от окна №4. Количество выбираемых элементов (в данном примере - фамилий) не ограничивается – это определяется содержанием задания. По мере выбора фамилий, длина списка R4 возрастает.
Обычно тестирующие программы хранят в своей памяти эталоны ответов для всех заданий. В рассматриваемом тестере используется другой подход - выполняется моделирование действий испытуемого. Результат моделирования и есть эталон ответа для данного конкретного задания. Например, для тестового задания, показанного на рис. 4.5.2, выполняются все необходимые операции реляционной алгебры с учетом их приоритета, и определяется состав множества R4. Множества R1, R2 и R3 формируются с помощью генератора случайных чисел с использованием списка в окне №4. Как указывалось выше, список содержит 67 фамилий. Этот список находится на внешнем запоминающем устройстве в незашифрованном виде, длина списка практически не ограничена.
При каждом перезапуске программы для данного тестового задания будут формироваться разные комбинации R1, R2, R3 и вычисляться новое значение R4.
В итоге получается, что к тестирующей программе не нужен файл с ключами верных ответов, поскольку эталоны ответов вычисляются программой непосредственно в процессе компьютерного моделирования действий испытуемых. Банк тестовых заданий практически не вскрываем, так как исходные данные к заданиям создаются непосредственно во время тестирования также благодаря компьютерному моделированию.
Таким образом, в некоторых случаях можно создавать тестовые задания с выбором правильного ответа по своим свойствам эквивалентные заданиям в открытой форме, но лишенные проблемы распознавания эталона верного ответа. Применение методов компьютерного моделирования мыслительных действий испытуемого позволяет создать тестовые задания с легко заменяемым фасетом с большим количеством элементов, что позволяет хорошо защитить программу-тестер.
