Провер-
ка полученной таким путем таблицы из 190 коэффициентов корреляции
уже может выявить коррелирующие между собой тесты, что означало
бы выделение общих для них свойств. Если такие тесты, как словарный,
синонимов, антонимов и завершения предложений, тесно коррелируют
между собой и слабо-с другими тестами, то мы могли бы выделить на-
личие общего им фактора-понимание слов.
Поскольку такой проверочный анализ корреляционной таблищд
и труден и ненадежен, то для выявления общих факторов, за счет ко-
торых можно объяснить полученные корреляции, применяются более
точные статистические методы. Эти методы будут еще рассмотрены
в гл. 13, где речь пойдет о комплексных батареях способностей, разра-
батываемых при помощи факторного анализа.
В ходе факторного анализа равное количеству тестов число пере-
менных или категорий, служащих для описания выполнения теста инди-
видом, сокращается до нескольких факторов или общих свойств. В при-
веденном выше примере для объяснения попарных корреляций между 20
тестами хватило бы 5-6 факторов. Иначе говоря, результаты каждого
индивида по 20 тестам можно было бы заменить данными по 5 или
6 факторам. Главное назначение факторного анализа состоит в упроще-
нии описания данных путем сокращения числа категорий до нескольких
143 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
После идентификации факторов их можно использовать для описа-
ния факторного состава теста. Каждый тест может быть охарактеризо-
ван посредством основных факторов, определяющих его показатели, ве-
сом, или нагрузкой, каждого фактора и корреляцией теста с каждым из
них. Такая корреляция именуется факторной валидностью теста. Так, ес-
ли в словарном тесте фактор понимания слов имеет вес 0,66, то фактор-
ная валидность этого лексического теста как средства измерения пони-
мания слов равна 0,66. Важно отметить, что факторная валидность
представляет собой корреляцию теста с тем, что есть общего для группы
тестов или других указателей поведения. Анализируемое множество
переменных может, конечно, включать в себя как тестовые, так и внете-
стовые данные, в том числе субъективные оценки и другие крите-
риальные меры. Все они наряду с другими тестами могут быть исполь-
зованы для исследования факторной валидности конкретного теста и для
определения измеряемых им свойств.
Внутренняя согласованность. В описаниях ряда тестов, особен-
но тех, которые применяются для исследования личности, говорится, что
валидность теста была установлена методом внутренней согласованно-
сти. Существенной чертой этого метода является использование в каче-
стве критерия суммарного показателя данного теста. Иногда при этом
применяется метод сравнения контрастных групп, которые формируются
из испытуемых, показавших самые высокие и самые низкие суммарные
результаты. Выполнение каждого теста группой с высокими результата-
ми сравнивается с выполнением группой с низкими результатами, и те
задания, с которыми первая группа не справляется значительно лучше,
чем вторая, признаются невалидными и либо отбрасываются, либо пере-
сматриваются. Можно также воспользоваться бисериальной корреляцией
между исходами (<справился-не справился>) каждого задания и сум-
марным результатом теста, и тогда сохраняются только те задания, для
которых отмечена значимая корреляция с тестом в целом. Если тест со-
стоит из заданий, прошедших такого рода отбор, то говорят, что тест
обладает внутренней согласованностью, поскольку все его задания под-
чинены основному направлению теста как целого.
Критерий внутренней согласованности означает также корреляцию
между результатами субтеста и суммарным результатом. Многие тесты
интеллекта, например, состоят из раздельно применяемых субтестов (та-
ких, как словарный, арифметический, завершение картинки и т.д.), из ре-
зультатов которых складывается общий результат теста. При построе-
нии таких тестов определяется корреляция между результатами каждого
субтеста с общим результатом и субтесты, плохо коррелирующие с те-
стом в целом, отбрасываются. Коэффициенты корреляции для оставших-
ся субтестов приводятся затем как свидетельство внутренней согласован-
ности всего теста.
Очевидно, что корреляции внутренней согласованности теста-суще-
ственная мера его однородности. Поскольку это свойство помогает оха-
рактеризовать область поведения или свойство, выборочно представлен-
ное в тесте, то степень однородности теста имеет отношение
к конструктной валидности. Тем не менее роль внутренней согласованно-
сти в валидности теста весьма ограничена. При отсутствии информации,
внешней по отношению к тесту, мало что можно сказать о том, что он
измеряет.
.-_-".""" "др""" д результаты
144 ПРИНЦИПЫ П(ИХ0.1(11ИЧ1.(К010 ТЕСТИРОВАНИЯ
теста. Еще одним источником данных о конструктной валидности мо-
гут служить эксперименты, в которых исследуется влияние тех или иных
факторов на результаты теста. При проверке валидности критериально-
ориентированного теста, предназначенного, скажем, для использования
в индивидуальном обучении, один из подходов состоит в сравнении ре-
зультатов тестирования до и после экспериментального воздействия.
Предполагается, например, что результаты до обучения должны быть
низкими, а после обучения - высокими. То же соотношение можно прове-
рить и на отдельных заданиях теста (W.J. Popham, 1971). В идеале
с каждым заданием до обучения должно справиться минимальное, а по-
сле обучения-максимальное число учеников. Задания, с которыми мало
кто справляется в обоих случаях, слишком трудны, а те, с которыми
справляются все и до и после обучения, слишком доступны с точки зре-
ния целей, преследуемых тестом. Если многие в первый раз справляются,
а во в горой раз не справляются с заданием, то что-то неладно или
с этим заданием, или с обучением, или с тем и другим.
Тест, предназначенный для измерения тревожности, можно испы-
тать, давая его испытуемым до и после того, как они были помещены
в обстановку, провоцирующую состояние тревоги (примером может слу-
жить проверка знаний в условиях, отвлекающих от проверки, и в стрес-
совой ситуации). Начальные тестовые показатели можно сопоставить
с физиологическими и иными показателями тревоги во время и после
экспериментального воздействия. Вместе с тем можно сравнить резуль-
таты тестирования до и после воздействия. Значимый прирост показате-
ля теста будет свидетельствовать о том, что он отражает текущий уро-
вень тревожности. Аналогичным образом можно построить эксперимент
на проверку теста относительно других измеряемых им свойств.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
ка полученной таким путем таблицы из 190 коэффициентов корреляции
уже может выявить коррелирующие между собой тесты, что означало
бы выделение общих для них свойств. Если такие тесты, как словарный,
синонимов, антонимов и завершения предложений, тесно коррелируют
между собой и слабо-с другими тестами, то мы могли бы выделить на-
личие общего им фактора-понимание слов.
Поскольку такой проверочный анализ корреляционной таблищд
и труден и ненадежен, то для выявления общих факторов, за счет ко-
торых можно объяснить полученные корреляции, применяются более
точные статистические методы. Эти методы будут еще рассмотрены
в гл. 13, где речь пойдет о комплексных батареях способностей, разра-
батываемых при помощи факторного анализа.
В ходе факторного анализа равное количеству тестов число пере-
менных или категорий, служащих для описания выполнения теста инди-
видом, сокращается до нескольких факторов или общих свойств. В при-
веденном выше примере для объяснения попарных корреляций между 20
тестами хватило бы 5-6 факторов. Иначе говоря, результаты каждого
индивида по 20 тестам можно было бы заменить данными по 5 или
6 факторам. Главное назначение факторного анализа состоит в упроще-
нии описания данных путем сокращения числа категорий до нескольких
143 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
После идентификации факторов их можно использовать для описа-
ния факторного состава теста. Каждый тест может быть охарактеризо-
ван посредством основных факторов, определяющих его показатели, ве-
сом, или нагрузкой, каждого фактора и корреляцией теста с каждым из
них. Такая корреляция именуется факторной валидностью теста. Так, ес-
ли в словарном тесте фактор понимания слов имеет вес 0,66, то фактор-
ная валидность этого лексического теста как средства измерения пони-
мания слов равна 0,66. Важно отметить, что факторная валидность
представляет собой корреляцию теста с тем, что есть общего для группы
тестов или других указателей поведения. Анализируемое множество
переменных может, конечно, включать в себя как тестовые, так и внете-
стовые данные, в том числе субъективные оценки и другие крите-
риальные меры. Все они наряду с другими тестами могут быть исполь-
зованы для исследования факторной валидности конкретного теста и для
определения измеряемых им свойств.
Внутренняя согласованность. В описаниях ряда тестов, особен-
но тех, которые применяются для исследования личности, говорится, что
валидность теста была установлена методом внутренней согласованно-
сти. Существенной чертой этого метода является использование в каче-
стве критерия суммарного показателя данного теста. Иногда при этом
применяется метод сравнения контрастных групп, которые формируются
из испытуемых, показавших самые высокие и самые низкие суммарные
результаты. Выполнение каждого теста группой с высокими результата-
ми сравнивается с выполнением группой с низкими результатами, и те
задания, с которыми первая группа не справляется значительно лучше,
чем вторая, признаются невалидными и либо отбрасываются, либо пере-
сматриваются. Можно также воспользоваться бисериальной корреляцией
между исходами (<справился-не справился>) каждого задания и сум-
марным результатом теста, и тогда сохраняются только те задания, для
которых отмечена значимая корреляция с тестом в целом. Если тест со-
стоит из заданий, прошедших такого рода отбор, то говорят, что тест
обладает внутренней согласованностью, поскольку все его задания под-
чинены основному направлению теста как целого.
Критерий внутренней согласованности означает также корреляцию
между результатами субтеста и суммарным результатом. Многие тесты
интеллекта, например, состоят из раздельно применяемых субтестов (та-
ких, как словарный, арифметический, завершение картинки и т.д.), из ре-
зультатов которых складывается общий результат теста. При построе-
нии таких тестов определяется корреляция между результатами каждого
субтеста с общим результатом и субтесты, плохо коррелирующие с те-
стом в целом, отбрасываются. Коэффициенты корреляции для оставших-
ся субтестов приводятся затем как свидетельство внутренней согласован-
ности всего теста.
Очевидно, что корреляции внутренней согласованности теста-суще-
ственная мера его однородности. Поскольку это свойство помогает оха-
рактеризовать область поведения или свойство, выборочно представлен-
ное в тесте, то степень однородности теста имеет отношение
к конструктной валидности. Тем не менее роль внутренней согласованно-
сти в валидности теста весьма ограничена. При отсутствии информации,
внешней по отношению к тесту, мало что можно сказать о том, что он
измеряет.
.-_-".""" "др""" д результаты
144 ПРИНЦИПЫ П(ИХ0.1(11ИЧ1.(К010 ТЕСТИРОВАНИЯ
теста. Еще одним источником данных о конструктной валидности мо-
гут служить эксперименты, в которых исследуется влияние тех или иных
факторов на результаты теста. При проверке валидности критериально-
ориентированного теста, предназначенного, скажем, для использования
в индивидуальном обучении, один из подходов состоит в сравнении ре-
зультатов тестирования до и после экспериментального воздействия.
Предполагается, например, что результаты до обучения должны быть
низкими, а после обучения - высокими. То же соотношение можно прове-
рить и на отдельных заданиях теста (W.J. Popham, 1971). В идеале
с каждым заданием до обучения должно справиться минимальное, а по-
сле обучения-максимальное число учеников. Задания, с которыми мало
кто справляется в обоих случаях, слишком трудны, а те, с которыми
справляются все и до и после обучения, слишком доступны с точки зре-
ния целей, преследуемых тестом. Если многие в первый раз справляются,
а во в горой раз не справляются с заданием, то что-то неладно или
с этим заданием, или с обучением, или с тем и другим.
Тест, предназначенный для измерения тревожности, можно испы-
тать, давая его испытуемым до и после того, как они были помещены
в обстановку, провоцирующую состояние тревоги (примером может слу-
жить проверка знаний в условиях, отвлекающих от проверки, и в стрес-
совой ситуации). Начальные тестовые показатели можно сопоставить
с физиологическими и иными показателями тревоги во время и после
экспериментального воздействия. Вместе с тем можно сравнить резуль-
таты тестирования до и после воздействия. Значимый прирост показате-
ля теста будет свидетельствовать о том, что он отражает текущий уро-
вень тревожности. Аналогичным образом можно построить эксперимент
на проверку теста относительно других измеряемых им свойств.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143