Методика створення інтегрованих тестів подібна з методикою створення традиційних тестів, за винятком роботи з визначення змісту завдань. Для створення змістовних інтегрованих тестів використання експертних методів є обов'язковим. Це пов'язано з тим, що тільки експерти можуть визначити адекватність змісту завдань цілям тесту. Але, насамперед, самим експертам важливо буде визначитися з цілями утворення і вивчення тих чи інших освітніх програм, а потім і домовитися між собою по принципових питаннях, залишивши для експертизи лише варіації в розумінні ступеня значимості окремих елементів у загальній структурі підготовленості.
2.4 Адаптивні тести
Доцільність адаптивного контролю випливає з необхідності раціоналізації традиційного тестування.
Кожен викладач розуміє, що добре підготовленому учню немає необхідності давати легкі завдання, тому що занадто високо імовірність правильного рішення. До того ж легкі матеріали не володіють помітним потенціалом розвитку. Симетрично, через високу імовірність неправильного рішення нема рації давати важкі завдання слабкому учню. Відомо, що важкі і дуже важкі завдання знижують навчальну мотивацію багатьох учнів.
Потрібно було знайти порівняння в одній шкалі для міри складності завдань і міри рівня знань. Ця міра була знайдена в теорії педагогічних вимірів. Датський математик Г. Раск назвав цю міру словом "логіт".
Після появи комп'ютерів ця міра лягла в основу методики адаптивного контролю знань, де використовуються способи регулювання складності і числа пропонованих завдань, у залежності від відповіді учнів.
При успішній відповіді наступне завдання комп'ютер підбирає більш важким, при неуспішному - легшим. Зрозуміло, цей алгоритм вимагає попереднього випробування всіх завдань, визначення їх міри складності, а також створення банка завдань і спеціальної програми.
Використання завдань, що відповідають рівню підготовленості, істотно підвищує точність вимірів і мінімізує час індивідуального тестування до 5-10 хвилин. Адаптивне тестування дозволяє забезпечити комп'ютерну видачу завдань на оптимальному, приблизно 50%-му рівні імовірності правильної відповіді для кожного учня.
Зараз у світі три варіанти адаптивного тестування.
Перший називається пірамідальним тестуванням. При відсутності попередніх оцінок всім дається завдання середніх труднощів і вже потім, у залежності від відповіді, кожному дається завдання легше чи важче; на кожнім кроці корисно використовувати правило розподілу шкали складності навпіл.
Другий варіант - flexilevel-контроль починається рівня складності, який обирає сам той, хто проходить тестування, з поступовим наближенням до реального рівня знань.
Третій варіант - stradaptive (від англ. stratified adaptive), коли тестування проводиться за допомогою банку завдань, розділених за рівнями складності. При правильній відповіді наступне завдання береться з верхнього рівня, при неправильному - з нижнього.
Таким чином, адаптивний тест являє собою варіант автоматизованої системи тестування з заздалегідь відомими параметрами складності і здатністю кожного завдання, що диференціює.
Ця система створена у виді комп'ютерного банку завдань, упорядкованих відповідно до цікавлячого характеристиками завдань.
Це дуже умовне й в принципі неправильна назва групи тестів, що одержали в нас деяке поширення і визнання. Власне кажучи ж ми маємо справу не стільки з тестами названого роду, скільки з інтерпретацією тестових результатів
Якщо головною задачею є прагнення з'ясувати, які елементи змісту навчальної дисципліни засвоєні, то це випадок предметно-педагогічного підходу до інтерпретації результатів тестування. При цьому визначається: що з головної сукупності завдань (по англ. Domain) випробуваний знає і чого не знає. Інтерпретація результатів ведеться педагогами, мовою навчальної дисципліни.
Висновок вибудовується уздовж логічного ланцюжка:
зміст навчальної дисципліни головна сукупність завдання для виміру знань тест як вибірка завдань з цієї сукупності, відповіді імовірнісний висновок про знання навчальної дисципліни.
При орієнтації на такі тести потрібно велике число завдань і досить повного визначення змісту досліджуваної дисципліни. Інтерпретація результатів ведеться педагогами.
Суперечки відбуваються навколо двох головних питань:
1. Правильність змісту тесту, що означає безпомилковість формулювань його завдань, предметно-наукову обґрунтованість, допустимість тесту для перевірки знань.
При аргументації на користь того чи іншого тесту педагоги спираються на мову, принципи і взагалі на знання навчальної дисципліни, яку вони викладають. У таких випадках говорять про тести із змістовно-орієнтованою інтерпретацією результатів.
2. Обґрунтованість оцінки знань по всьому навчальному предмету, на основі результатів тестування по невеликій вибірці завдань тесту; вибірці з потенційно чи реально існуючої головної сукупності всіх завдань, які можна було б дати випробуваним для упевненої й обґрунтованої оцінки. Фактично це питання обґрунтування точності індуктивного висновку про знання великого числа питань на основі відповідей по малому числу завдань тесту.
Другий вид тестів пов'язаний з орієнтацією на такі конкретні цілі і задачі, як, наприклад, перевірка рівня засвоєння порівняно короткого переліку необхідних знань, умінь і навичок, що виступають як заданий чи стандарт критерію засвоєння.
Наприклад, для атестації випускників дистанційних курсів важливо мати такі завдання, що дозволяють робити висновок про мінімально припустиму їх компетентність (Minimum Competency Tests). При перевірці мінімально припустимого рівня знань зміст завдань носить принципово полегшений характер. Оскільки такі завдання повинні виконувати усі випускники, допущені системою до атестації, тут важко говорити про тести як методі об'єктивного й ефективного виміру різного рівня підготовленості, у строгому контексті поняття "тест".
В такому випадку говориться про тести з критеріально-орієнтованою інтерпретацією результатів. Висновок вибудовується уздовж логічного ланцюжка: завдання відповіді висновки про відповідність заданому критерію.
Під критеріально-орієнтованою інтерпретацією мається на увазі порівняння змісту атестаційних матеріалів з результатами тестування і висновок: що із заданого стандарту і на якому рівні, реально засвоєно.
При критеріально-орієнтованій інтерпретації потрібно трохи менше число завдань, за допомогою яких визначається - що випробуваний знає і чого не знає з заданого стандарту. Інакше кажучи, тут відповіді оцінюються щодо не всієї області (Domain) необхідних знань, а тільки з області, обмеженої конкретним стандартом чи рівнем (критерієм) знань.
При критеріально-орієнтованій інтерпретації для діагностики заздалегідь заданого рівня підготовленості використовуються, власне кажучи, не тести, у традиційному розумінні цього методу, а сукупності завдань у тестовій і в іншій формі. Слово одне, але зміст інший.
Зміст тесту можна визначити як оптимальне відображення навчального матеріалу в системі тестових завдань.
Слова "оптимальне відображення" припускають необхідність добору такого контрольного матеріалу, відповіді на який з високою імовірністю (більше 95%) свідчили б про рівень підготовленості кожного учня.
Досягнення обґрунтованого висновку про знання учнів на основі змісту тесту є головною метою тестології - науки про розробку якісних тестів і їхньому ефективному застосуванні.
Оптимальне відображення припускає також можливість вибору придатної форми і необхідного числа завдань.
Форм лише чотири. Це:
- завдання з вибором одного чи декількох правильних відповідей з числа запропонованих;
- завдання відкритої форми, де відповідь дописується, у відведеному для цього місця;
- завдання на встановлення відповідності;
- завдання на встановлення правильної послідовності дій.
Число завдань традиційного тесту звичайно буває не менше тридцяти. Банк завдань адаптивного тесту містить більше число завдань.
При тестуванні перевіряється не весь програмний матеріал, а лише та частина навчальної програми, що входить у зміст. Це знання, що підлягають обов'язковій перевірці в кожнім системі дистанційного навчання. Деякі елементи знань, що перевіряються, (переважно по окремих темах) використовуються тільки в поточному контролі. Інші елементи, що охоплюють знання декількох тем, використовуються в рубіжному контролі, наприклад, наприкінці навчальної чверті. І, нарешті, у підсумковому контролі використовуються завдання, правильні відповіді на який вимагають знання багатьох, а й іноді і всіх тем, вивчених протягом навчального року.
Сформулюємо критерії добору змісту тестового матеріалу:
Значимість. Цей принцип указує на необхідність включити в тест лише ті елементи знання, які можна віднести до найбільш важливих, ключових, без яких знання стають неповними, з численними пробілами. Такі елементи знання, через їхню важливість, можна назвати структурними. У тест, отже, потрібно включати тільки ті матеріали, що відіграють роль структурних елементів в індивідуальному знанні.
Наукова вірогідність. У тест включається тільки той зміст навчальної дисципліни, що є об'єктивно щирим і піддається раціональній аргументації. Відповідно, усі спірні точки зору, цілком нормальні в науці, не рекомендується включати в тестові завдання. Суть тестових завдань полягає саме в тім, що вони вимагають чіткого, заздалегідь відомого викладачам відповіді, визнаного ними в процесі розробки завдань об'єктивно щирим.
Відповідність змісту тесту рівню сучасного стану науки. Цей принцип випливає з природної необхідності готувати фахівців і перевіряти їхнього знання на сучасному матеріалі.
Репрезентативність. У тест не тільки включаються значимі елементи змісту, але звертається увага також на повноту і їхню достатність для контролю. Справді, можна взяти п'ять-шість елементів і перевірити по них знання студентів. Але де впевненість, що студент знає й інші важливі елементи змісту навчальної дисципліни? Шлях до появи такої впевненості лежить у найбільш повному відображенні необхідного знання в завданнях тесту.
Репрезентативність не означає обов'язкового включення в тест усіх значимих елементів змісту. Адже багато хто з них явно зв'язані між собою в загальній структурі знань, включені один в інший цілком чи частково. Крім того, багато елементів у структурі знань ієрархічно супідрядні. Цьому принципу відповідають основні завдання, що краще називати структурними.
Зростаюча складність навчального матеріалу. Цей принцип означає, що кожен навчальний елемент у процесі контролю володіє деякої усереднений, для студентів, мірою труднощів, на яку й орієнтуються викладачі. Практично всі підручники і посібники побудовані за принципом зростаючої труднощів. У таких навчальних дисциплінах, як логіка, математика, іноземні мови, статистика, філософія й ін., знання наступних елементів курсу жорстко залежить від знання попередніх навчальних елементів. Тому вивчати такі дисципліни можна тільки із самого початку, і без пробілів.
Страницы: 1, 2, 3, 4
