Одним из направлений совершенствования процесса обучения является разработка оперативной системы контроля знаний, умений и навыков, позволяющей объективно оценивать знания студентов, выявляя имеющиеся пробелы и определяя способы их ликвидации. Поэтому вопросы контроля знаний интересуют многих ученых, как педагогов. В настоящее время существует большое количество разнообразных способов проведения контроля и оценки знаний как при традиционном, так и при компьютерном обучении. В данной работе описаны основные результаты исследований проблемы компьютерного контроля знаний: этапы эволюции развития контроля знаний, классификация методов проведения контроля и моделей оценки знаний, рассмотрены вопросы организации компьютерного контроля знаний с точки зрения методических и технических аспектов проблемы.
В настоящее время практически все вузы оснащены компьютерами, имеют свои локальные сети, доступ к сети Internet, что позволяет перейти от традиционных методов обучения и оценки полученных знаний к новым обучающим технологиям. Можно выделить пять этапов в эволюции развития контроля знаний, которые отражают формы организации контроля знаний и роль преподавателя в этом процессе:
1. Традиционный контроль знаний. Для оценки знаний студентов в учебном процессе традиционно используются такие формы контроля знаний, как: контрольная работа, коллоквиум, лабораторная работа, курсовая работа, курсовой проект, реферат, домашнее задание, собеседование, тестирование, зачет, экзамен, дипломная работа. Преподаватель подготавливает варианты заданий, проверяет и оценивает результаты работы студентов.
2. Контроль знаний с использованием бумажных (не компьютерных) средств. При данном подходе для контроля используются заранее подготовленные бланки, содержащие контрольные задания (тесты). Студенты заполняют выданные бланки, решая задания и отвечая на вопросы. Преподаватель проверяет работы, используя специальные трафареты и таблицы ответов.
3. Контроль знаний с использованием технических устройств. При данном подходе выделяют два способа организации контроля: - студент, получив от преподавателя индивидуальный набор заданий, выполняет его и вводит в устройство номер своего варианта и результат решения каждого задания, а устройство проверяет введенные ответы, расчитывает и выводит оценку за работу; - устройство используется как для ввода заданий, для проверки корректности введенных ответов, так и для вывода результатов контроля и/или оценки.
4. Компьютерный контроль знаний. Организация контроля в данном случае направлена, во-первых, на то, чтобы облегчить работу преподавателя, освободив его от рутины проверки письменных работ (он может посвятить больше времени индивидуальным занятиям со студентами) и, во-вторых, на повышение объективности проводимой проверки и оценки знаний. Контроль знаний обеспечивают специальные компьютерные программы, в которых осуществляется: формирование индивидуального набора контрольных заданий каждому обучаемому; вывод заданий на экран; анализ ответов обучаемого; выставление оценки; хранение результатов контроля и данных о работе студента с обучающей программой, которые могут быть впоследствии использованы преподавателем и др.
5. Удаленный контроль знаний. Данный подход является одной из форм компьютерного контроля знаний, появление которой связано с широким использованием в учебном процессе возможностей сети Internet. Отличительными чертами удаленного контроля знаний является применение современных технических средств связи и передачи информации между обучаемым и преподавателем, а также свобода выбора обучаемым темпов обучения, времени и места обучения.
По сравнению с традиционными формами контроля знаний, компью-терный контроль знаний, умений и навыков имеет ряд преимуществ: использование новейших методик проверки и оценки знаний студентов, современных информационных технологий, возможная адаптация к ин-дивидуальным характеристикам студентов.
Однако, применение компьютерных технологий в учебном процессе требует более четкого и однозначного определения целей контроля, отбора методического материала для оценки знаний и умений студентов, с учетом цели проводимой проверки, а также разработки модели (ей) контроля и оценки знаний.
Методические аспекты контроля знаний связаны с решением педагогических и психологических вопросов, то есть организация контроля знаний рассматривается с точки зрения дидактики. К методическим аспектам относятся:
- выбор заданий для проверки знаний, умений и навыков обучаемого («что контролировать?»);
- планирование проведения контроля знаний («когда контролиро-вать?»);
- определение требований к формированию набора контрольных заданий («как контролировать?»).
1. Определение типов и трудности вопросов для проверки знаний, умений и навыков студентов. Вопрос «что контролировать?» тесно связан с педагогической задачей самого процесса обучения. Как известно, основной вопрос дидактики «чему учить?» включает в себя определение цели обучения, что является важным и при создании компьютерной системы. При организации контроля знаний также необходимо определить цели проводимого контроля на каждом этапе учебного процесса. Задача контроля - определение соответствия подготовленности обучаемого тому или иному уровню усвоения учебного материала. На этапе восприятия, осмысления, запоминания оценивается уровень знаний обучаемого о предметной области и понимания основных положений. Способность применять полученные знания для решения конкретных задач или в ситуации, требующей проявления позновательной самостоятельности, оценивается как соответствие требуемым навыкам и/или умениям. Оценка качества знаний на каждом уровне (знания, умения, навыки) может быть осуществлена с помощью использования различных типов заданий. При разработке заданий для контроля важно установить для проверки каких знаний, умений и/или навыков и для какого вида контроля знаний предназначено данное задание, а также сформулировать цели включения его в банк контрольных заданий.
2. Планирование проведения контроля знаний. Вопрос «когда контролировать?» связан с проблемой полноты проверки знаний и умений. Учебный процесс принято рассматривать как распределенный во времени процесс формирования требуемых знаний, навыков и умений. В данном случае оценивание происходит поэтапно и позволяет осуществить качественный и полный контроль. В зависимости от времени проводимой проверки различают четыре вида контроля знаний:
- исходный (предварительный) контроль (проводится непосредственно перед обучением, позволяет оценить начальный уровень знаний студента и соответственно планировать обучение);
- текущий контроль (осуществляется в ходе обучения, позволяет определить уровень усвоения студентом отдельных понятий учебного материала и скорректировать дальнейшее изучение предмета);
- рубежный контроль (проводится по завершении определенного этапа обучения, служит для оценки уровня знаний студента по теме или разделу курса);
- итоговый контроль (позволяет оценить знания, умения и навыки студента по курсу в целом) .
3. Определение требований к формированию набора вопросов и заданий для опроса. Учебный процесс с использованием компьютерных технологий может быть представлен как моделирование учебной деятельности, при которой компьютер выполняет ряд функций преподавателя, в частности, организацию диалога в виде сценария - алгоритма управления учебной и познавательной деятельностью обучаемого. Поэтому важным методическим аспектом контроля является формирование набора контрольных заданий, в зависимости от вида и цели контроля. Существуют различные методы формирования заданий для контроля: случайная последовательность вопросов и заданий разной сложности, трудности и значимости; специальный набор заданий различной сложности, сформированный для проверки определенного или комплексного уровня подготовки (знания, умения и/или навыки) и предъявляемый в заданной последовательности; набор заданий, предъявляемый в порядке нарастания уровня сложности; группа заданий, порядок выполнения которых выбирает сам обучаемый и др.
Технический аспект связан, в первую очередь, с проблемой реализации планируемого контроля знаний, с выбором подходящего алгоритма для оценки контрольных работ. К техническим аспектам относятся:
1. Формирование набора контрольных заданий на основе выбранного подхода. Данный аспект связан с непосредственной реализацией контроля и оценки знаний в компьютерной системе контроля знаний, с учетом цели и вида проводимого контроля. На основе выбранного метода формирования контрольных вопросов происходит автоматическая подготовка задания (или набора заданий) для контроля и выдача его студенту, то есть управление контролем реализуется путем генерации контрольных заданий с учетом различных параметров контроля знаний.
2. Выбор и использование в системе контроля параметров контроля знаний. Параметры контроля могут быть условно разделены на три группы:
- параметры, характеризующие отдельное задание и его выполнение (например, дидактические характеристики задания; тип задания; время, отведенное для выполнения задания;
- время выполнения задания обучаемым; количество обращений к справочной информации при выполнении задания; количество попыток выполнить задание и др.);
- параметры, характеризующие работу обучаемого с набором кон-трольных заданий (количество заданий; количество ответов; количество правильных ответов;
- количество неправильных ответов; общее время, затраченное на выполнение заданий; количество заданий, выполненых с превышением времени; количество обращений к справочной информации при выполнении заданий; уровень подготовки обучаемого; количество невыполненых заданий; сложность, значимость и трудность контрольной работы и др); параметры, используемые для настройки алгоритма, обычно задаются преподавателем, но могут иметь и заранее установленные значения (максимальный балл или оценка; граничные значения для выставления оценки и др.).
3. Выбор алгоритма для оценки знаний студентов. Любой алгоритм оценки знаний предусматривает сбор, анализ и/или преобразование данных, получаемых в процессе контроля, и, непосредственно, формирование самой оценки (суммы баллов, рейтинга, ранга). Различают алгоритмы, которые применяются для выставления оценки только по завершению контроля, то есть на последнем этапе процесса оценивания. Однако, большинство алгоритмов используются параллельно с контролем знаний, когда оценка может быть выставлена за выполнение отдельного задания, контрольной работы или по дисциплине в целом, при этом полученная оценка обязательно учитывается в используемом методе проведения контроля знаний.
Таким образом, для управления процессом контроля знаний необходимо наличие, с одной стороны, методов проведения (организации) контроля, с другой стороны, методов и моделей оценки знаний, умений и навыков студента по результатам выполнения им контрольных заданий.
Рассматривая предлагаемые в настоящее время методы контроля знаний и учитывая современные требования индивидуализации процесса обучения, отметим, что важным фактором, определяющим достоинство и преимущество того или иного метода контроля знаний, является степень (уровень) адаптации к индивидуальным характеристикам студентов и возможность применения оптимальных параметров проведения контроля знаний (например, количества и типа контрольных заданий, времени контроля, видов помощи и т.п.).
С этой точки зрения, методы проведения контроля знаний можно разделить на три класса:
- неадаптивные методы:
1. строгая последовательность;
2. случайная выборка;
3. комбинированный метод.
- частично адаптивные методы:
1. случайная выборка с учетом отдельных параметров модели студента (МС);
2. контроль на основе ответов студента;
3. контроль на основе модели учебного материала (УМ);
4. модульно-рейтинговый метод.
- полностью адаптивные методы:
1. контроль по модели студента;
2. контроль по моделям студента и учебного материала .
Общим для всех неадаптивных методов является то, что в процессе контроля все студенты проходят одну и ту же, заранее определенную авто-ром, последовательность кадров (проверочных заданий). Эта последовательность не зависит от действий обучаемого во время контроля, в результате, всем студентам выдаются контрольные вопросы одинаковой трудности либо в виде фиксированного набора, либо случайным образом. Число заданий является постоянным для всех студентов, не зависимо от их уровня подготовленности.
В частично адаптивных методах проведения контроля знаний последовательность и число контрольных заданий различны для сильных, средних и слабых студентов. Количество проверочных вопросов зависит от уровня подготовленности студентов и всегда будет переменным числом. В данном случае формирование контрольных заданий различной трудности происходит с учетом ответов обучаемого и/или на основе подготовленного автором (преподавателем) сценария проведения контроля знаний (например, с использованием информации из модели студента или учебного материала).
Адаптивные методы максимально используют данные из модели сту-дента (например, уровнь подготовленности студента, уровень беспокойства-тревоги, правильность ответа и др.) и/или модели учебного материала (например, взаимосвязи между проверяемыми понятиями) и позволяют организовать контроль индивидуально для каждого студента, поддерживая, например, оптимальный для студента уровень трудности выдаваемых контрольных заданий или формируя индивидуальные стратегии контроля по отдельной теме, разделу или курсу в целом .
Проверка знаний студентов может быть осуществлена с учетом раз-личных критериев формирования оценки. В зависимости от этого методы оценки знаний можно разделить на три основных класса:
- на основе количественных критериев:
1. простейшая модель; модели, учитывающие типы заданий;
2. модели, учитывающие характеристики заданий;
3. модели, учитывающие характеристики заданий и параметры КЗ.
- на основе вероятностных критериев:
1. модели, учитывающие вероятность правильного ответа;
2. модели, учитывающие неопределенность ответа.
-на основе классификационных критериев:
1. модели на основе алгоритма вычисления оценок (АВО);
2. модели на основе нечетких множеств .
В моделях на основе количественных критериев в качестве измерения обычно выступает числовое множество, то есть количественная шкала, предназначенная для представления оценки числом. В данном случае предусматривается вычисление некоторой величины, которая затем, как правило, сравнивается с предварительно заданными граничными значениями, определяющими интервалы оценивания в принятой шкале измерения. Рассчитываемая величина может представлять собой, например, сумму баллов, полученных студентом за правильные ответы на контрольные задания. При этом начисление баллов может происходить как с учетом типа предлагаемых студенту контрольных заданий, их дидактических характеристик, так и с учетом параметров контроля знаний, используемых при формировании данной оценки .
В моделях на основе вероятностных критериев главным являются ут-верждения о зависимости вероятности правильного ответа студента от уровня его подготовленности и от параметров задания. Модели данного типа также позволяют решать задачи диагностики (контроля), которые характеризуются необходимостью учета неопределенности ответов обучаемых .
Модели на основе классификационных критериев, то есть на основе определения класса принадлежности предусматривают отнесение студента к одному из устойчивых классов с учетом совокупности признаков, определяющих данного студента. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна .
Таким образом, для проверки знаний студентов применяются разнообразные модели и алгоритмы оценивания , а также большое количество методов проведения контроля знаний, часть из которых в той или иной мере можно считать адаптивными. Однако, только 9 % компьютерных систем учебного назначения реализуют действительно адаптивный подход при организации контроля и оценки знаний сту-дентов .
Исследователями был проведен опрос мнений специалистов, зани-мающихся вопросами контроля знаний при компьютерном обучении, а также педагогов высших учебных заведений. Респондентам было предложено ответить на вопросы специально подготовленной анкеты, в которой были представлены возможные варианты применения рассмотренных выше методов проведения контрольных знаний при исходном, текущем, рубежном и итоговым контроле. Полученные ре-зультаты приведены в таблице 3.4.
Таблица 3.4. Распределение информационных технологий
Вид КЗ Метод проведения КЗ
Строгая последо-ватель-ность Случайная выборка Комбинированный метод Случайная выборка с учетом па-раметров МС Контроль на осно-ве отве-тов сту-дента Контроль на осно-ве моде-ли УМ Модульно-рейтинговый метод Контроль по МС Контроль по МС и УМ
Исходный - - - + + - - +
Текущий - + + + + + - +
Рубежный - - - + + + - +
Итоговый - - - - + - + +
Т.о., по мнению экспертов, при организации исходного контроля и оценки знаний целесообразно использовать методы случайного формирования заданий различной трудности, но с учетом уровня подготовленности студента или его ответов. Методы «случайная выборка» и «комбинированный метод» подходят для текущего контроля. Рубежный и итоговый контроль знаний целесообразно проводить с помощью адаптивных методов контроля знаний, которые учитывают информацию о студенте и его работе во время сеанса (число правильных и неправильных ответов; время, затраченное на выполнение задания и/или работы в целом; число попыток выполнить задание и т.д.), а также с учетом модели учебного материала. |
обратная связь
