д.). Кроме того, доказывается, что не существует единой оптималь-
ной модели беспристрастного отбора, а предлагаемая модель лишь поз-
воляет применительно к определенным условиям сформулировать сгра-
тегию решений, максимизирующую ожидаемую общую полезность
сообразно конкретным целям тестирования и оценкам полезности раз-
личных исходов.
Исследования в области систематической ошибки теста как стати-
стическими методами, так и экспериментально показали, что на совре-
менном уровне знаний введение различных нормативных результатов
для разных подгрупп популяции не вполне оправдано. Статистические
поправки к показателям тестов, нормативным результатам или прогно-
стическим формулам вряд ли много дадут для устранения социальной
несправедливости. Более конструктивны другие подходы, уже обсуждав-
шиеся в этой главе. Среди них можно назвать комплексные тесты спо-
собностей и стратегии распределения, позволяющие полнее использовать
разные структуры способностей, формируемые несходными культурами.
То же можно сказать и об адаптивных программах типа индивидуализи-
рованного обучения. Чтобы такие программы максимально соответство-
вали индивидуальным особенностям личности, тест должен как можно
точнее определять уровень развития необходимых способностей.
ГЛАВА 8. АНАЛИЗ ЗАДАНИЙ
Знакомство с основными понятиями и методами анализа заданий, а так-
же с другими фазами построения теста может оказаться полезным при
оценке опубликованных тестов. Помимо этого анализ заданий имеет
прямое отношение к составлению неформальных локальных тестов типа
подготовленных учителем для работы в классе опросов или конт-
рольных работ. Некоторые из рассматриваемых ниже общих принципов
подготовки эффективных заданий, а также простые статистические при-
емы их анализа послужат совершенствованию предъявляемых в классе
тестов и могут быть применены даже к небольшим группам.
В заданиях может анализироваться как их качественная сторона, т. е.
их содержание и форма, так и количественная, т.е. их статистические
свойства. Качественный анализ включает рассмотрение валидности по
содержанию (см. гл. 6) и оценку эффективности письменных заданий,
п кптппой пойдет оечь в гл. 14. Количественный анализ означает
180 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ность и надежность теста в конечном счете зависят от свойств заданий,
и их предварительный анализ позволяет повысить эти свойства теста.
Устраняя, добавляя, заменяя или пересматривая отдельные задания,
можно усовершенствовать тест в целом.
Анализ заданий позволяет сократить тест, повышая в то же время
его валидность и надежность. При прочих равных условиях более
длинный тест валиднее и надежнее, чем более короткий. Влияние увели-
чения и сокращения теста на коэффициент надежности обсуждалось
в гл. 5, где также была приведена формула Спирмана-Брауна для оцен-
ки этого влияния. Согласно этой формуле, надежность теста меняется,
когда изъятые задания эквивалентны оставшимся, а вновь вводимые-
уже имеющимся. Аналогичные изменения валидности имеют место, когда
отбрасываются или добавляются задания, обладающие эквивалентной
валидностью. Однако такие оценки влияния увеличения или сокращения
теста на его надежность и валидность действительны только для случай-
ного отбора заданий, проводимого без их анализа. Когда же сокращение
теста идет за счет устранения наименее удачных заданий, результатом
может быть повышение его валидности и надежности.
ТРУДНОСТЬ ЗАДАНИЙ
Процент справившихся с заданием. Чаще всего трудность задания
определяется процентом испытуемых, давших правильный ответ. Чем
легче задание, тем выше этот процент. Слово, значение которого пра-
вильно указало 70Їо выборки стандартизации (р = 0,70), считается более
легким, чем слово, которое знают только 15Їо (р == 0,15). Обычно зада-
ния располагаются в порядке нарастания трудности, так, чтобы обсле-
дуемый начинал с относительно легких заданий и затем переходил ко
все более сложным. Такое расположение дает индивиду больше уверен-
ности и снижает вероятность того, что он, затратив слишком много
времени на задания, которые для него слишком трудны, упустит из вида
те, которые ему по силам.
В процессе составления теста задания подбираются так, чтобы они
соответствовали определенному уровню трудности. Большинство стан-
дартизованных тестов способностей предназначены для как можно более
точной оценки индивидуального уровня развития способности, и если
в таком тесте никто не может справиться с заданием, то оно оказывается
просто лишним грузом. То же можно сказать и о заданиях, с которыми
справляются все. Ни те, ни другие не несут никакой информации об ин-
дивидуальных различиях. А поскольку такие задания не влияют на ва-
риативность тестовых результатов, они ничего не прибавляют к надеж-
ности или валидности теста. Чем ближе трудность задания к 1,00 или
к 0, тем менее дифференцированную информацию можно получить с его
помощью. И наоборот, чем ближе уровень трудности к 0,50, тем выше
его разрешающая способность. Предположим, что из 100 испытуемых 50
справились и 50 не справились с заданием {р == 0,50). Это задание позво-
ляет нам провести попарное различие между каждым, кто справился
и кто не справился с заданием, что дает 50 х 50 = 2500 сравнений или
битов различительной информации. При р = 0,70 мы будем иметь 70 х
х 30 == 2100 битов информации, при р == 0,90-90 х 10 = 900 битов,
а ппи п == I Oh-inn у п-т- n To " .-..---- --- ----
181
АНАЛИЧ ЗАДАНИЙ
Таким образом выходит, что для максимальной дифференциации все
задания должны быть на уровне трудности 0,50. Решение, однако, ослож-
няется тем фактом, что в пределах одного теста задания могут коррели-
ровать друг с другом. Чем однороднее тест, тем выше эти корреляции.
В экстремальной ситуации, если все задания скоррелированы и имеют
уровень трудности 0,50, то одни и те же 50 испытуемых справятся
с каждым заданием. В итоге одна половина обследованных покажет
IOOo-ный результат, а результатом другой половины будет ноль. Ввиду
взаимокорреляции заданий лучше всего выбирать их так, чтобы уровень
трудности отдельных заданий имел некоторый умеренный разброс, но
в среднем составлял 0,50.
Интервальные шкалы. Процент испытуемых, справляющихся
с заданием, соответствует степени его трудности в порядковой шкале,
т.е. правильно указывает ранговый порядок, или относительную труд-
ность заданий. Если, к примеру, процент справившихся с заданием 1, 2
и 3 соответственно равен 30, 20 и 10, то мы можем заключить, что зада-
ние 1-самое легкое, а задание 3-самое трудное из них.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
ной модели беспристрастного отбора, а предлагаемая модель лишь поз-
воляет применительно к определенным условиям сформулировать сгра-
тегию решений, максимизирующую ожидаемую общую полезность
сообразно конкретным целям тестирования и оценкам полезности раз-
личных исходов.
Исследования в области систематической ошибки теста как стати-
стическими методами, так и экспериментально показали, что на совре-
менном уровне знаний введение различных нормативных результатов
для разных подгрупп популяции не вполне оправдано. Статистические
поправки к показателям тестов, нормативным результатам или прогно-
стическим формулам вряд ли много дадут для устранения социальной
несправедливости. Более конструктивны другие подходы, уже обсуждав-
шиеся в этой главе. Среди них можно назвать комплексные тесты спо-
собностей и стратегии распределения, позволяющие полнее использовать
разные структуры способностей, формируемые несходными культурами.
То же можно сказать и об адаптивных программах типа индивидуализи-
рованного обучения. Чтобы такие программы максимально соответство-
вали индивидуальным особенностям личности, тест должен как можно
точнее определять уровень развития необходимых способностей.
ГЛАВА 8. АНАЛИЗ ЗАДАНИЙ
Знакомство с основными понятиями и методами анализа заданий, а так-
же с другими фазами построения теста может оказаться полезным при
оценке опубликованных тестов. Помимо этого анализ заданий имеет
прямое отношение к составлению неформальных локальных тестов типа
подготовленных учителем для работы в классе опросов или конт-
рольных работ. Некоторые из рассматриваемых ниже общих принципов
подготовки эффективных заданий, а также простые статистические при-
емы их анализа послужат совершенствованию предъявляемых в классе
тестов и могут быть применены даже к небольшим группам.
В заданиях может анализироваться как их качественная сторона, т. е.
их содержание и форма, так и количественная, т.е. их статистические
свойства. Качественный анализ включает рассмотрение валидности по
содержанию (см. гл. 6) и оценку эффективности письменных заданий,
п кптппой пойдет оечь в гл. 14. Количественный анализ означает
180 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ность и надежность теста в конечном счете зависят от свойств заданий,
и их предварительный анализ позволяет повысить эти свойства теста.
Устраняя, добавляя, заменяя или пересматривая отдельные задания,
можно усовершенствовать тест в целом.
Анализ заданий позволяет сократить тест, повышая в то же время
его валидность и надежность. При прочих равных условиях более
длинный тест валиднее и надежнее, чем более короткий. Влияние увели-
чения и сокращения теста на коэффициент надежности обсуждалось
в гл. 5, где также была приведена формула Спирмана-Брауна для оцен-
ки этого влияния. Согласно этой формуле, надежность теста меняется,
когда изъятые задания эквивалентны оставшимся, а вновь вводимые-
уже имеющимся. Аналогичные изменения валидности имеют место, когда
отбрасываются или добавляются задания, обладающие эквивалентной
валидностью. Однако такие оценки влияния увеличения или сокращения
теста на его надежность и валидность действительны только для случай-
ного отбора заданий, проводимого без их анализа. Когда же сокращение
теста идет за счет устранения наименее удачных заданий, результатом
может быть повышение его валидности и надежности.
ТРУДНОСТЬ ЗАДАНИЙ
Процент справившихся с заданием. Чаще всего трудность задания
определяется процентом испытуемых, давших правильный ответ. Чем
легче задание, тем выше этот процент. Слово, значение которого пра-
вильно указало 70Їо выборки стандартизации (р = 0,70), считается более
легким, чем слово, которое знают только 15Їо (р == 0,15). Обычно зада-
ния располагаются в порядке нарастания трудности, так, чтобы обсле-
дуемый начинал с относительно легких заданий и затем переходил ко
все более сложным. Такое расположение дает индивиду больше уверен-
ности и снижает вероятность того, что он, затратив слишком много
времени на задания, которые для него слишком трудны, упустит из вида
те, которые ему по силам.
В процессе составления теста задания подбираются так, чтобы они
соответствовали определенному уровню трудности. Большинство стан-
дартизованных тестов способностей предназначены для как можно более
точной оценки индивидуального уровня развития способности, и если
в таком тесте никто не может справиться с заданием, то оно оказывается
просто лишним грузом. То же можно сказать и о заданиях, с которыми
справляются все. Ни те, ни другие не несут никакой информации об ин-
дивидуальных различиях. А поскольку такие задания не влияют на ва-
риативность тестовых результатов, они ничего не прибавляют к надеж-
ности или валидности теста. Чем ближе трудность задания к 1,00 или
к 0, тем менее дифференцированную информацию можно получить с его
помощью. И наоборот, чем ближе уровень трудности к 0,50, тем выше
его разрешающая способность. Предположим, что из 100 испытуемых 50
справились и 50 не справились с заданием {р == 0,50). Это задание позво-
ляет нам провести попарное различие между каждым, кто справился
и кто не справился с заданием, что дает 50 х 50 = 2500 сравнений или
битов различительной информации. При р = 0,70 мы будем иметь 70 х
х 30 == 2100 битов информации, при р == 0,90-90 х 10 = 900 битов,
а ппи п == I Oh-inn у п-т- n To " .-..---- --- ----
181
АНАЛИЧ ЗАДАНИЙ
Таким образом выходит, что для максимальной дифференциации все
задания должны быть на уровне трудности 0,50. Решение, однако, ослож-
няется тем фактом, что в пределах одного теста задания могут коррели-
ровать друг с другом. Чем однороднее тест, тем выше эти корреляции.
В экстремальной ситуации, если все задания скоррелированы и имеют
уровень трудности 0,50, то одни и те же 50 испытуемых справятся
с каждым заданием. В итоге одна половина обследованных покажет
IOOo-ный результат, а результатом другой половины будет ноль. Ввиду
взаимокорреляции заданий лучше всего выбирать их так, чтобы уровень
трудности отдельных заданий имел некоторый умеренный разброс, но
в среднем составлял 0,50.
Интервальные шкалы. Процент испытуемых, справляющихся
с заданием, соответствует степени его трудности в порядковой шкале,
т.е. правильно указывает ранговый порядок, или относительную труд-
ность заданий. Если, к примеру, процент справившихся с заданием 1, 2
и 3 соответственно равен 30, 20 и 10, то мы можем заключить, что зада-
ние 1-самое легкое, а задание 3-самое трудное из них.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143