Важной проблемой педагогического тестирования, является создание и использование банка тестовых заданий (БТЗ). Идея применения БТЗ заключается в генерации теста непосредственно в момент начала тестирования. При этом из БТЗ по заданной процедуре выбирается определенное количество тестовых заданий для конкретного теста. Из этого следует, что БТЗ должен содержать избыточное количество тестовых заданий.
Применение БТЗ повышает дидактическую эффективность тестера в связи с тем, что плохая «вскрываемость» банка стимулирует повторное изучение учебного материала и способствует повышению уровня обученности.
В этой связи, важной проблемой является обеспечение защищенности БТЗ.
В литературе приводятся данные о характеристиках защищенности банка тестовых заданий при различных уровнях «агрессивной» активности субъектов тестирования.
В работе12 вводится коэффициент агрессивной активности субъектов тестирования k, изменяющийся в диапазоне от 0 до 1. В частности, при k = 0 считается, что среда пассивная и задания из БТЗ не копируется и такой банк считается нераспознанным. При k = 1 среда предельно агрессивна и процент узнавания тестовых заданий в БТЗ максимален. При k = 0.5 испытуемыми «копируется» и распространяется половина из предъявленных тестовых заданий. Для реальной практики тестирования принимается k = 0.3 и число тестовых заданий 45-55. Тогда БТЗ, содержащий 200 заданий, вскрывается за 60 сеансов тестирования, БТЗ из 300 заданий - за 90 сеансов, а БТЗ из 1000 тестовых заданий рассекречивается за 300 сеансов тестирования.
На наш взгляд это завышенная оценка вскрываемости БТЗ. Здесь не учтена мотивация испытуемых к рассекречиванию БТЗ. Эффективное значение активности k должно быть, на наш взгляд, ниже. Отвлекаясь от «агрессивной активности» испытуемых, рассмотрим, какие препятствия необходимо преодолеть, чтобы выполнить копирование тестового задания.
Во-первых, это непросто чисто технически. Простое переписывание достаточно легко обнаруживается персоналом и пресекается. Вполне возможно, что вслед за этим последует удаление испытуемого с тестирования. Требуется достаточно высокий уровень мотивации, чтобы идти на такой риск. Если испытуемый считает, что сумеет пройти тест, то у него нет мотива к копированию заданий, так как результаты будут нужны не ему, а другим – тем, кто не пройдет тест.
Копирование «компьютерным» способом (клавиша Print Screen и тому подобное) может быть заблокировано программой-тестером, в качестве примера можно привести тестер Федерального центра тестирования. Для обхода блокировки потребуется немалый объем работы весьма квалифицированного программиста. Кроме того, для инсталляции программы «разблокиратора» возможно потребуется несанкционированный доступ к компьютеру с правами администратора, что тоже весьма проблематично и наказуемо. Во всяком случае, и этот путь рискован и также требует активности именно от слабых учащихся, которые уверены, что не пройдут тестирование.
Во-вторых, скопированные задания надо аккумулировать и распространять среди испытуемых. Поскольку сеансы тестирования разнесены во времени на промежуток от 1 часа и более (более короткие интервалы не стоит рассматривать, так как испытуемые не успевают изучить скопированные задания), то требуется многодневная организационная работа по аккумулированию и распространению тестовых заданий. Следует учесть, что, как правило, тестер разрешается запускать только в строго определенные моменты – согласно расписанию тестирования. Например, тестируется поток из 3 академических групп по 25 человек. Обычно, согласно расписанию, интервалы между тестированиями составляет в среднем 5 дней. После трех сеансов остаются только те, кто не выдержал тест. Для задолжников также назначаются пересдачи с не меньшими временными промежутками. В результате, для вскрытия БТЗ даже из 200 заданий может потребоваться 300 - 400 дней. Трудно представить себе испытуемого, способного в течение года собирать тестовые задания, чтобы подготовиться к тесту. Гораздо меньше усилий потребуется для того, чтобы просто выучить учебный материал и успешно пройти тест.
По вышеуказанным причинам, мотивация испытуемых к вскрытию БТЗ может оказаться довольно незначительной. Иными словами коэффициент k должен быть значительно меньше 1.
Наш практический опыт тестирования показывает, что БТЗ из 200 заданий практически не вскрываем. Не потому, что это очень трудно, а потому, что учащиеся не хотят этого делать. В качестве примера можно привести случай, когда испытуемым был передан тестер, которым можно было свободно пользоваться, в частности многократно самостоятельно запускать его, то есть сеансы тестирования могли следовать непрерывно один за другим. Как только испытуемому удавалось набрать нужный процент правильных ответов - немедленно ставился зачет (допуск к лабораторной работе). Даже в таких сверх агрессивных условиях, испытуемые приходили к выводу, что проще и быстрее будет изучить учебный материал, чем тратить силы и время на расшифровку БТЗ.
Если же БТЗ содержит 1000 заданий и более, то их можно даже выложить в открытый доступ, то есть раскрыть БТЗ. Изучение такого количества заданий вполне эквивалентно изучению учебного материала на достаточно хорошем уровне. Таким образом, БТЗ, содержащий несколько тысяч заданий и более, можно вообще не защищать.
Таким образом, следует еще раз подтвердить, что компьютерное тестирование как элемент обратной связи, рассматриваемой в рамках педагогической кибернетики, может содействовать повышению эффективности процесса учения только при учете личностно-деятельностных педагогических закономерностей.
