Технология адаптивного компьютерного тестирования в профессиональной подготовке инженеров

Терюха Роман Викторович

Автореферат диссертации на соискание ученой степени кандидата педагогических наук

Краснодар – 2007

Работа выполнена на кафедре информационных образовательных технологий Кубанского государственного университета

Общая характеристика работы

Актуальность исследования.

Согласно концепции модернизации российского образования на период до 2010 года одной из ключевых приоритетных задач модернизации российского образования является обеспечение государственных гарантий – доступности и равных возможностей получения полноценного образования; достижение нового современного качества профессионального образования. В связи с этим актуальной является проблема научно-обоснованных методов контроля качества образования студентов высших инженерных учебных заведений.

Получение качественной объективной информации в области педагогической деятельности связано сегодня с развитием тестологии как новой отрасли научного знания, которая появилась в начале ХХ века на стыке психологии, педагогики, социологии и других поведенческих наук. Педагогическая тестология, согласно концепции В.С.Аванесова, призвана заниматься вопросами разработки тестов для объективного контроля знаний, умений, навыков, представлений учащихся.

Анализ философской, социологический, психолого-педагогической на-учной литературы показал, что исследование обозначенных проблем осуществляется отечественными учеными с позиций системного подхода к изучению образования как социально-педагогического явления (Е.Л.Белкин, Р.Г.Гурова, Л.В.Загрекова, В.С.Лазарев, М.М.Поташник, В.М.Соколов, Н.Ф.Талызина, В.Н.Шамардин, В.А.Якунин и др.).

Анализ результатов исследований зарубежных (Д.Вилфорд, К.Ингенкамп) и отечественных ученых-педагогов (В.С.Аванесов, В.П.Беспалько, Ю.Ф.Гущин, М.В.Кларин, Г.С.Ковалева, В.Г.Кузнецов, О.Б.Логинова, А.Н.Майоров, В.И.Огорелков, Е.Н.Перевощикова, В.М.Соколов, А.О.Татур, В.С.Черепанов, М.Б.Челышкова, И.А.Цатурова и др.) показал, что одним из наиболее мощных, надежных и объективных методов определения достижений студентов являются педагогические тесты.

Учеными изучены вопросы теории педагогических тестов, композиция и формы тестовых заданий, условия и процедура проведения тестов, предъявление данных и их интерпретация. Анализ научно-педагогической литературы и современной образовательной практики показал, что в настоящее время в России идет процесс становления системы тестирования в области образования, а тестовые технологии рассматриваются как одно из средств контроля качества подготовки и уровня предметных достижений учащихся. Однако многие ученные констатируют недостаточную изученность научно-теоретических основ технологий компьютерного тестирования, поскольку изучаются преимущественно отдельные аспекты влияния тестовой технологии на качество обученности студентов.

Таким образом, возникли объективные противоречия между:

наличием большого арсенала тестирующих систем, жестко регламентирующих процесс диагностики, и отсутствием научного обоснования моделей инструментальных средств диагностики с динамичной траекторией тестирования и выполняющих как контролирующие, так и обучающие функции;

унификацией формы большинства функционирующих в практике образования тестовых систем (тесты с выбором ответа) и психологически обоснованной необходимостью в разнообразии форм и функций тестовых заданий в целях усиления их обучающего и мотивирующего потенциалов;

отсутствием у большинства преподавателей навыков программирования и потребностью в создании вариативных тестовых систем контроля уровня обученности студентов на основе индивидуального педагогического опыта;

между растущей потребностью в использовании методики адаптивного тестирования как средства контроля качества образования в высшей школе и недостаточной разработанностью этой проблемы в педагогической науке.

С учетом этих противоречий общая проблема состоит в отсутствии теоретических обоснований моделей эффективного инструментария компьютерной диагностики предметной обученности, соответствующего современной парадигме образования и задачам его информатизации.

Общая проблема детерминирует постановку ряда подпроблем:

какой тип компьютерных тестовых технологий наиболее соответствует задаче реализации многоаспектного педагогического мониторинга, создающего условия повышенной эффективности управления качеством обучения;

на каком педагогическом фундаменте должна базироваться разработка нового компьютерного диагностического инструментария;

какова должна быть структура теоретической модели компьютерного тестирования с функциями многоаспектной, объективной и индивидуализированной диагностикой качества обучения;

какими свойствами должна обладать программная составляющая компьютерного диагностического инструментария, чтобы последний соответствовал задачам эффективного педагогического мониторинга и информатизации профессионального образования, какова её структура, методика построения и использования.

Цель исследования: разработать, теоретически обосновать и экспериментально проверить технологию адаптивного компьютерного тестирования в профессиональной подготовке студентов технического вуза.

Объект исследования: профессиональная подготовка студентов технического вуза с использованием компьютерных тестовых систем.

Предмет исследования: создание и использование технологии адаптивного компьютерного тестирования в профессиональной подготовке студентов технического вуза.

Гипотеза исследования состояла в предположениях:

развитие теории педагогических измерений в контексте задач модернизации образования должно ориентироваться на разработку концепции создания диагностического инструментария с функциями индивидуализации траектории диагностики и управления качеством обучения на основе использования технологий адаптивного тестирования;

проектирование технологии адаптивного компьютерного тестирования должно базироваться на системном подходе в научных исследованиях, теориях личностно ориентированного, развивающего и продуктивного обучения, концепциях компьютерной педагогической диагностики и формирования открытого образовательного пространства;

теоретическая модель проектирования технологии адаптивного компьютерного тестирования должна быть целостной дидактической структурой и отражать проектирование содержательной базы, программного компонента, методику тестирования и обработки результатов;

программный компонент адаптивных технологий тестирования должен обеспечивать возможности модификации содержательной базы, алгоритмов адаптивности тестирования, дифференциацию сложности заданий, статистический анализ результатов педагогического мониторинга;

реализация технологии адаптивного компьютерного тестирования создаст условия для объективизации интегральных результатов педагогического мониторинга, коррекции индивидуальных и групповых уровней обученности и управления качеством обучения.

Задачи исследования:

На основе анализа теории и практики педагогической диагностики обосновать необходимость разработки диагностического инструментария нового типа, позволяющего дифференцировать и индивидуализировать процедуру контроля знаний и траекторию последующего обучения.

Выявить свойства функционирующих в практике систем адаптивного тестирования, показать, что на их основе возможно создание нового инструментария соответствующего задачам современной педагогической диагностики и информатизации профессионального образования.

Определить теоретические положения, составляющие научно-методический базис проектирования технологии адаптивного компьютерного технологий тестирования (АКТ) в профессиональном образовании в соответствии с выводами современных психолого-педагогических теорий и требованиями компьютеризации обучения

Разработать теоретическую модель технологии АКТ, структуру её составляющих, способы конструирования программного инструментария, методику локального и сетевого тестирования в учебном процессе и итоговом мониторинге качества обучения студентов;

Разработать инновационный программный комплекс для осуществления адаптивного компьютерного тестирования в учебном процессе вуза, обеспечивающий объективность оценивания качества обучения в процессе подготовки к аттестации и аккредитации вуза;

Разработать комплексное учебно-методическое обеспечение дистанционного образования на основе технологии адаптивного компьютерного тестирования и подтвердить возможность повышения эффективности и качества профессиональной подготовки студентов технического вуза.

Методологической основой исследования являются философские положения о противоречиях как движущей силе развития; диалектико-материалистическая концепция о всеобщей связи и развитии явлений действительности; о ведущей роли деятельности в формировании общественных отношений и развитии личности; о единстве теории и практики; о творческой активности личности.

Теоретическими основами исследования являются труды ученых, занимающихся проблемами:

закономерностей образовательного процесса и их сущности (Ю.К. Бабанский, В.И.Загвязинский, И.Я.Лернер, Е.Г.Осовский, М.Н.Скаткин, В.А. Сластенин, М.И.Махмутов и др.);

системно-деятельностного и личностного подходов к организации пе-дагогического процесса, предусматривающих гармоничное сочетание лич-ных и общественных целей (В.И.Андреев, Е.В.Бондаревская, Л.П.Буева, А.А.Кирсанов, Ф.В.Повшедная, В.В.Сериков, И.С.Якиманская);

качества образования, его сущности, совершенствования контроля за его повышением (В.С.Аванесов, В.П.Беспалько, В.А.Караковский, В.С. Лаза-рев, А.М.Моисеев, В.В.Николина, П.И.Пидкасистый, М.М.Поташник, В.М. Соколов, О.Г.Хомерики, Е.А.Ямбург и др.);

диагностики эффективности функционирования педагогических сис-тем, теории тестологии и педагогической квалиметрии (В.С.Аванесов, А.Анастази, К.Ингенкамп, Д.Н.Кеттелл, В.И.Огорелков, Г.С.Ковалева, А.Н.Майоров, Е.А.Михайлычев, Е.Н.Перевощикова, М.Б.Челышкова и др.);

теории педагогического мониторинга (Т.И.Алексеева, В.И.Андреев, В.А.Кальней, А.Н.Майоров, Т.Г.Михалева, С.Е.Шишов и др.);

Разрабатывая систему тестовой диагностики мониторинга и успешности усвоения знаний мы опирались на психологические аспекты диагностики исследованные в работах Б.Г.Ананьева, А.А.Бодалева, Л.С.Выготского, В.В.Давыдова, Л.В.Занкова, И.Я.Зимней, В.А.Крутецкого, А.Н.Леонтьева, А.М.Матюшкина, В.А.Петровского, К.К. Платонова, С.Л.Рубинштейна, С.Д.Смирнова, Г.А.Стрюкова, Н.Ф.Талызиной, Д.Б.Эльконина и др.

В процессе исследования использовались следующие методы.

1. Теоретические, включающие изучение и критический анализ отечественной и зарубежной психологической, педагогической и методологической литературы по применению современных информационных технологий и компьютерных средств в профессиональном образовании, реализующие системный подход к педагогическим явлениям, анализ современных проблем образования и управления учебным процессом.

2. Эмпирические: педагогический и психолого-педагогический эксперименты в целях выявления эффективности предложенных методик применения компьютерных технологий в обучении студентов вузов; анкетирование, тестирование, интервьюирование, социологические опросы, статистическая обработка результатов.

Этапы исследования. Теоретические и опытно-экспериментальные исследования проводились с 2000 по 2006 годы. На первом этапе (2000-2001) проводилось изучение научной и учебно-методической литературы, анализировался и обобщался отечественный и зарубежный опыт по применению тестовой технологии в образовательном процессе, проведен констатирующий эксперимент, обоснована актуальность проблемы исследования, разработан понятийный аппарат и сформулирована рабочая гипотеза.

На втором этапе (2002-2004) осуществлялась опытно-экспериментальная проверка гипотезы, анализ и интерпретация полученных данных, обрабатывался материал исследования, разрабатывались практические рекомендаций по проектированию и использованию технологии адаптивного компьютерного тестирования в учебно-воспитательной и управленческой деятельности вуза, разрабатывались критерии для определения эффективности процесса обучения.

На третьем этапе (2005-2006) проводилось внедрение созданной технологии АКТ в практике работы вуза, проводился психолого-педагогический эксперимент, исследовалось влияние технологии АКТ на качество обучения студентов.

Базы исследования - Кубанский государственный технологический университет (КубГТУ), Ставропольский государственный университет, Кубанский государственный университет (КубГУ), Армавирский государственный педагогический институт.

Научная новизна исследования:

Обоснована необходимость создания на базе компьютерных технологий диагностического инструментария нового типа, реализующего многоаспектный мониторинг качества обучения студентов, а также коррекцию диагностики и управления учебным процессом. Показана возможность создания инструментария с новыми педагогическими свойствами на основе методик адаптивного тестирования систем, их интеграции в единую комплексную технологию с универсальной структурой, процессуальным и аналитическим аппаратами.

Введено понятие полифункционального диагностического инструментария – технология адаптивного компьютерного тестирования – синтезирующего функции создания адекватных структуре научных теорий систем контрольно-измерительных материалов, их модернизации, коррекции процесса педагогической диагностики и траектории обучения, многофакторного анализа знаний и уровня обученности студентов и учащихся в практике массового и индивидуального тестирования, формирования пакетов диагностической документации.

Разработана модель технологии адаптивного компьютерного тестирования, отражающая

теоретический базис её создания в контексте задач модернизации и информатизации образования – системный и гносеологический подходы в научных исследованиях; современные педагогические теории, концептуальные идеи тестологии и анализ средств компьютерной диагностики педагогических достижений;

проектирование содержательной базы, адекватной структуре научных теорий, нормативной и методической составляющим учебного процесса;

проектирование структуры программного компонента АКТ, включающей модули автоматизированной компоновки тестовых заданий, создание их вариантов, алгоритмов адаптирования и обратной связи, редактирования содержательной базы, статистической обработки результатов тестирования и их визуального отображения;

проектирование методики тестирования и анализа его результатов, предусматривающей на подготовительном этапе - создание процессуально- аналитического аппарата: именной базы тестируемых, средств управления процессом тестирования и оперативного изменения его режима, автоматизированной обработки его результатов и их визуализации; на процессуальном этапе: коррекцию и индивидуализацию режимов тестирования по результатам оперативной диагностики и функционирование обратной связи, передачу содержательной и управляющей информации по каналам компьютерных сетей; на аналитическом этапе: факторизацию результатов диагностики, рефлексию содержательной базы и процедуры тестирования, статистическую обработку и анализ интегральных и индивидуальных показателей; на итоговом этапе: интерпретацию показателей компьютерной диагностики в соответствии с нормативными требованиями, разработку методических рекомендаций участникам диагностического процесса.

Создан инновационный программный продукт – Универсальный тестовый комплекс, позволяющий реализовать технологию АКТ в соответствии со структурой предложенной теоретической модели и выполняющий функции: создания, хранения и редактирования содержательных баз тестовых заданий по различным предметным областям; компоновки вариантов тестирования; апробации тестовых заданий и выявление уровней сложности для адаптивного тестирования; выбора и изменения алгоритмов адаптивности в процессе тестирования; обработки результатов тестирования и оформление ведомостей и сертификатов; интеграции и анализа статистической информации.

Теоретическая значимость исследования состоит в следующем:

обоснована необходимость создания компьютерного диагностирующего инструментария нового типа, интегрирующего совокупность актуальных педагогических функций, ориентированных на многоаспектный мониторинг дидактических показателей и коррекцию управления качеством обучения в вузе;

введено понятие полифункционального диагностического инструментария – технологии АКТ – как комплекса содержательных и программных компонентов, реализация которых существенно оптимизирует процесс компьютерной диагностики в соответствии теоретической моделью;

разработана структура Универсального тестового комплекса, позволяющего реализовать все этапы технологии АКТ.

Практическая значимость исследования состоит в возможности использования его материалов в практике проведения аттестации и мониторинга качества обучения в вузе; теоретические выводы могут быть положены в основу разработки и реализации авторских тестовых технологий контроля уровня обученности учащихся в системе высшего образования.

Материалы исследования могут быть использованы в практике по организации и проведению аттестации и аккредитации вузов России, в системе повышения квалификации педагогических работников и руководителей сферы образования, в процессе профессионального обучения студентов инженерного вуза.

Апробация и внедрение результатов исследования осуществлялись в процессе деятельности диссертанта в качестве руководителя Центра компьютерного тестирования Кубанского государственного технологического университета, в образовательную сферу которого внедрена технология АКТ при проведении массового тестирования студентов вуза, аттестации педагогических кадров и выпускников школ; в формировании системы управления качеством образования; участия диссертанта в региональных и Всероссийских научно-практических конференциях в г. Екатеринбурге (2004), г. Санкт-Петербурге (2005), г.Армавире (2005), в учебном процессе, внутривузовских конференциях.

Результаты исследований использовались в разработке спецкурсов и целевых программ по проблемам образования, в личном преподавании в школе и вузе, в организации педагогической практики студентов и IV Всероссийской телекоммуникационной олимпиады "Телетестинг-2000", в проведении Централизованного компьютерного тестирования 2001-2006 годов.

Достоверность и обоснованность результатов исследования обеспечивается методологической и теоретической обоснованностью исходных позиций, выбором методов исследования, адекватных его предмету и задачам, единством теоретического и экспериментального компонентов исследования, сочетением научных исследований с практической деятельностью, применением статистики при обработке экспериментальных данных.

Основные положения, выносимые на защиту:

Важнейшим направлением модернизации и информатизации профессионального образования является создание компьютерного диагностического инструментария, интегрирующего функции контроля знаний, коррекции траектории обучения, эффективного средства управления качеством образования в инженерном вузе

Современным видом компьютерной диагностики является технология адаптивного компьютерного тестирования, представляющая собой инновационный программный продукт в котором органично сочетаются: ориентация на междисциплинарную подготовку, отражение специфики профессионально-педагогической деятельности и мониторинга качества обучения, возможность самоконтроля обучаемых.

Проектирование и использование технологий АКТ студентов инженерного ВУЗа базируются на: системном подходе в научных исследованиях, принципах адекватности информационных компьютерных технологий содержанию обучения, активизации учебной деятельности и рефлексии её результатов, психологических особенностях учебного процесса в ВУЗе дифференциации и индивидуализации обучения; теории познания, интеграции программных продуктов в целостную систему многоуровневой профессиональной подготовки в вузе, в довузовских и послевузовских сферах.

Модель технологии адаптивного компьютерного тестирования конструируется на основе концептуальных идей классической и современной теории тестирования и интегрирует составляющие:

содержательную базу, отражающую структуру научных теорий (эмпирические факты, идеальные модели, понятия, величины, законы, следствия и выводы, теории), нормативную и методическую документацию, посредством формирования банка тестовых заданий трех уровней сложности;

структуру программного компонента технологии АКТ, составленную из подпрограмм автоматизированной компоновки тестовых заданий и создания их вариантов, алгоритмов адаптирования и обратной связи, модификации содержательной базы, модуля статистической обработки результатов диагностики и их наглядного представления;

методику тестирования, реализуемую в течение четырех этапов с применением процессуально – аналитического аппарата, посредством которого создаются базы тестируемых, компьютерные средства управления процессом тестирования и анализа его результатов.

Специальный программный комплекс технологии АКТ, направляющий и реализующий все этапы технологии, выполняет следующие функции:

создание, хранение и редактирование содержательных баз тестовых заданий по различным предметным областям;

компоновка вариантов тестирования;

апробация тестовых заданий и выявление уровней сложности для адаптивного тестирования;

выбор и изменение алгоритмов адаптивности тестирования;

обработка результатов тестирования и оформление ведомостей и сертификатов;

интеграцию и анализ статистической информации

В условиях стандартизации и информатизации профессионального образования технология АКТ является эффективным педагогическим инструментарием диагностики знаний и мониторинга педагогических достижений, поскольку их использование обеспечивает решение комплекса актуальных педагогических задач: создания предметных тестовых баз и средств автоматизированной обработки результатов тестирования групп обучаемых, индивидуализированной диагностики с последующей коррекцией траектории обучения, организации мониторинга в процессе аттестации и аккредитации вуза, наглядного представления и интеграции результатов тестирования при использовании способов статистической обработки.

Структура работы соответствует логике научного исследования и состоит из введения, трех глав, заключения, списка литературы и приложений.

Содержание диссертации изложено на 180 страницах, из них 15 таблиц, 16 рисунков, 7 графиков, список литературы включает 229 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы, определяются проблема, цель, объект, предмет, гипотеза, задачи, методологические и теоретические основы, методы исследования, его научная новизна, теоретическое и практическое значение, положения, выносимые на защиту.

В первой главе диссертации «Теоретическое обоснование проектирования адаптивных компьютерных технологий» рассматриваются методологические основы исследования, роль педагогической диагностики и ее основных методов как теоретического фундамента практической деятельности администрации ВУЗа и профессорско-преподавательского состава по повышению эффективности управления учебным прооцессом. Раскрываются психолого-педагогические основы деятельности преподавателя и студента.

Для проведения эффективной оценки качества знаний должны быть разработаны особые формы контроля. Важнейшим и наиболее эффективным способом оценки качества обучения является применение современных компьютерных технологий. Одним из наиболее перспективных и эффективных направлений оценки качества обучения является адаптивное компьютерное тестирование знаний, умений и навыков учащихся.

В настоящее время в практику системы высшего профессионального образования активно внедряется компьютерный тестовый контроль знаний. Однако эффективное внедрение этого контроля тормозится отсутствием научно-методических основ разработки и применения компьютерных тестовых