" Необходимые здесь
два слова не столь очевидны, так что несведущий не сможет их
вписать, а также задание не обязательно подтолкнет память испыту-
емого с нетвердыми знаниями. Другое задание выглядит так: (2)
"Если дана сумма квадратов катетов, то гипотенузу прямоугольного
треугольника можно найти как ... . .. ... "
Задания с ограничениями на ответы и со свободными ответами
полезны как дополнительные методы представления заданий в тес-
товой форме. Какое из них будет лучшим, зависит от специфики
тестируемой информации. Если она очень специфична, то эффектив-
ным будет задание со свободными ответами; если она не столь четко
86
определена, то лучше использовать задание с ограничениями на от-
вет.
Как и ранее, при выборе формы задания часто полезным бывает
на одном и том же материале сформулировать задания всех видов, а
затем выбрать наилучшее в соответствии с критериями, обсуждав-
шимися в данной главе. Следует помнить, что та часть теста, в кото-
рую входят задания со свободными и ограниченными ответами (при
условии, что они не менее эффективны, чем другие формы заданий)
больше нравятся испытуемым, чем чисто объективные задания. Од-
нако, это исключает автоматизированный подсчет показателей.
И последнее. Thorndike и Hagen (1977) перечисляют ряд момен-
тов, которые должны учитываться при формулировании заданий,
рассматривавшихся в данной главе. Некоторые из этих правил на-
столько очевидны, что вряд ли заслуживают комментариев: слова
должны подбираться тщательно и быть точными; требуемые от испы-
туемых ответы должны быть правильными; задачи должны быть спе-
цифичными; в заданиях на дополнение не следует оставлять столько
многоточий, что задание становится непонятным.
Достаточно о различных типах заданий. При попытке сконструи-
ровать задания каждого типа, релевантные определенному материа-
лу, можно сравнительно легко написать задания, удовлетворитель-
ные для их первого практического испытания и отбора.
Упорядочивание заданий для испытания теста
Как было указано в первой главе этой книги, ясные инструкции,
обеспечивающие простоту понимания того, что испытуемые должны
делать, способствуют повышению надежности и валидности теста.
Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание; Х
- количество правильных ответов "нет"; W - количество непра-
вильных ответов "нет"; п - количество вариантов выбора в задани-
ях.
Следует отметить четыре момента, касающиеся этой формулы.
(1) Предполагается, что все неправильные ответы даны в резуль-
тате угадывания. Это не всегда так, поскольку испытуемые могут
часто иметь неверные сведения.
(2) Предполагается, что при угадывании каждый вариант ответа
может быть выбран с одинаковой вероятностью. Это не так, посколь-
ку в заданиях с несколькими вариантами выбора испытуемый может
правильно отбросить все варианты, кроме двух. Следовательно, для
данного испытуемого коррекция на угадывание будет занижена (од-
нако, см. пункт 4).
(3) Для заданий с различным количеством вариантов ответов
нужна различная коррекция угадывания.
(4) Коррекция угадывания применима к так называемому средне-
му испытуемому.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96
два слова не столь очевидны, так что несведущий не сможет их
вписать, а также задание не обязательно подтолкнет память испыту-
емого с нетвердыми знаниями. Другое задание выглядит так: (2)
"Если дана сумма квадратов катетов, то гипотенузу прямоугольного
треугольника можно найти как ... . .. ... "
Задания с ограничениями на ответы и со свободными ответами
полезны как дополнительные методы представления заданий в тес-
товой форме. Какое из них будет лучшим, зависит от специфики
тестируемой информации. Если она очень специфична, то эффектив-
ным будет задание со свободными ответами; если она не столь четко
86
определена, то лучше использовать задание с ограничениями на от-
вет.
Как и ранее, при выборе формы задания часто полезным бывает
на одном и том же материале сформулировать задания всех видов, а
затем выбрать наилучшее в соответствии с критериями, обсуждав-
шимися в данной главе. Следует помнить, что та часть теста, в кото-
рую входят задания со свободными и ограниченными ответами (при
условии, что они не менее эффективны, чем другие формы заданий)
больше нравятся испытуемым, чем чисто объективные задания. Од-
нако, это исключает автоматизированный подсчет показателей.
И последнее. Thorndike и Hagen (1977) перечисляют ряд момен-
тов, которые должны учитываться при формулировании заданий,
рассматривавшихся в данной главе. Некоторые из этих правил на-
столько очевидны, что вряд ли заслуживают комментариев: слова
должны подбираться тщательно и быть точными; требуемые от испы-
туемых ответы должны быть правильными; задачи должны быть спе-
цифичными; в заданиях на дополнение не следует оставлять столько
многоточий, что задание становится непонятным.
Достаточно о различных типах заданий. При попытке сконструи-
ровать задания каждого типа, релевантные определенному материа-
лу, можно сравнительно легко написать задания, удовлетворитель-
ные для их первого практического испытания и отбора.
Упорядочивание заданий для испытания теста
Как было указано в первой главе этой книги, ясные инструкции,
обеспечивающие простоту понимания того, что испытуемые должны
делать, способствуют повышению надежности и валидности теста.
Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание; Х
- количество правильных ответов "нет"; W - количество непра-
вильных ответов "нет"; п - количество вариантов выбора в задани-
ях.
Следует отметить четыре момента, касающиеся этой формулы.
(1) Предполагается, что все неправильные ответы даны в резуль-
тате угадывания. Это не всегда так, поскольку испытуемые могут
часто иметь неверные сведения.
(2) Предполагается, что при угадывании каждый вариант ответа
может быть выбран с одинаковой вероятностью. Это не так, посколь-
ку в заданиях с несколькими вариантами выбора испытуемый может
правильно отбросить все варианты, кроме двух. Следовательно, для
данного испытуемого коррекция на угадывание будет занижена (од-
нако, см. пункт 4).
(3) Для заданий с различным количеством вариантов ответов
нужна различная коррекция угадывания.
(4) Коррекция угадывания применима к так называемому средне-
му испытуемому.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96