надеж-
ность, валидность и дискриминативность. Прежде чем переходить к
обсуждению методов достижения валидности, будут рассмотрены
приемы для измерения дискриминативности, поскольку, как и на-
дежность, она может быть получена с известной долей объективнос-
ти. При определении же валидности, хотя и существуют определен-
ные методики, все же присутствует некоторый элемент субъектив-
ности.
Дискриминативность
Как указывалось в главе 1, потенциально тест может быть гораздо
более дискриминативным, чем другие средства измерения, скажем,
интервью или рейтинги, в которых для обеспечения надежности мо-
жет использоваться не более девяти градаций.
Показатели дискриминативности, как указывает Guilford (1956),
связаны по существу с ранжированием исп-ытуемых. Основной пока-
затель коэффициента дискриминативности, ЙФергюсона (Ferguson,
1949), который был рекомендован для оценивания дискриминатив-
ности тестов, прост в вычислении. Его формула указана ниже. Вво-
дится отношение между показателями любых двух испытуемых: эти
показатели либо равны, либо различны. Общее количество возмож-
ных отношений между парами испытуемых в выборке из N испытуе-
мых равно N (N- 1 )/ 2 . Общее количество отношений равенства
среди этих пар:
2-2
(7.1)
где/; - частота встречаемости каждого показателя, следователь-
но, S=.
Общее количество отношений различия среди этих пар:
(2)-
(7.2)
и (7.1) + (7.2) = (YV +N)/2, поскольку это единственные воз-
можные отношения для этих пар. Очевидно, что наибольшее количе-
203
ство отношений различия - максимум дискриминативности - дос-
тигается тогда, когда все показатели имеют одинаковую частоту. Это
происходит, когда частота встречаемости каждого показателя равна
N/(n +!), где п - количество заданий теста.
Это основные сведения из статистики, на которых основана фор-
мула Фергюсона. Коэффициент д Ферпосона - это отношение меж-
ду показателем дискриминативности, полученным для некоторого
теста, и максимальным значением дискриминативности, которое мо-
жет обеспечить такой тест. Формула выглядит следующим образом:
л- -
- IN/(п +1)
Она может быть упрощена:
_ (п+1) -2/)
где N - количество испытуемых, п - количество заданий,// -
частота встречаемости каждого показателя.
д = 0, когда все испытуемые получили одинаковые показатели (то
есть когда нет дискриминативности), и равно 1 при равномерном
(прямоугольном) распределении.
ШАГИ ВЫЧИСЛЕНИЙ ДЛЯ и ФЕРГЮСОНА (ВЫЧИСЛЕНИЕ
7.1)
(1) Подсчитайте, как часто встречаются значения показателей
для данного теста.
(2) Возведите эти числа в квадрат и просуммируйте: S .
(3) Прибавьте 1 к количеству заданий: п + 1 .
(4) Возведите в квадрат количество испытуемых: N .
(5) Помножьте количество заданий на результат шага (4): п N .
(6) Это дает нам все элементы формулы. Теперь можно их подста-
вить в формулу:
д _ (3) x[(4j -(2)] _ (п +1) (-2/)
-( - nN
Разработчик тестов должен учитывать некоторые характеристики
этого коэффициента, обсуждавшиеся Ferguson (1949). Поскольку
для равномерного (прямоугольного) распределения (наиболее дис-
криминативного) необходимы задания, в которых бы наиболее полно
204
были реализованы все возможные проявления измеряемого свойства,
это означает, что дискриминативность до некоторой степени проти-
востоит надежности, так как использование заданий с широким пе-
речнем возможных проявлений измеряемого свойства уменьшает
взаимную корреляцию между заданиями. Конечно, как утверждает
Ферпосон, распределение показателей, которое дает тест - это фун-
кция трудности заданий и их взаимной коррелированности, а это
влияет не только на надежность, но также и на дискриминативность,
которая равна 0,86 в том случае, когда слишком мало простых и
слишком мало трудных заданий; 0,90 для биномиального и 0,93 для
бимодального распределений. Из всего этого следует, что при конст-
руировании теста то, до какой степени нашей целью является дости-
жение максимальной надежности или максимальной дискримина-
тивности, зависит от назначения теста.
Валидность
Когда показатели надежности и дискриминативности соответст-
вующим образом вычислены, то не может быть никаких разночтений
в толковании результатов. В случае с валидностью сделать такие
точные статистические заключения невозможно. Вместо этого долж-
но быть представлено свидетельство в пользу валидности теста. Это
свидетельство трактуется так, чтобы продемонстрировать валид-
ность теста, но такие интерпретации являются в высокой степени
субъективными. В настоящем разделе главы будут изложены лучшие
методы представления такого свидетельства.
В первой главе были полностью описаны различные виды валид-
ности тестов, и в соответствии с ними будут излагаться процедуры
установления валидности.
Очевидная валидность
Это тривиальный аспект теста, связанный только с тем, какое он
производит впечатление. Если по какой-либо причине тест должен
быть очевидно валидным, то достаточно просто спросить у испытуе-
мых, принимающих участие в процедуре оценки и отбора заданий
для теста, представляется ли он им хорошим средством измерения
данной переменной или нет. Очевидная валидность важна для при-
влечения испытуемых к работу над тестом.
Природа этого явления (снижения надежности при высокой дискриминативнос-
ти) сложнее. Подробнее о психометрическом парадоксе см.: БурлачукЛ.Ф. (1989)
(Прим.ред.)
205
Конкурентная валидность
Этот показатель получают из корреляций (или факторных нагру-
зок) с другими тестами, которые предназначены для измерения той
же переменной. Для эффективного изучения конкурентной валид-
ности существует несколько правил, представленных ниже, хотя они
ничем не отличаются от тех, которые имеют место в любой области
научной психологии.
(1) Убедитесь, что выборка испытуемых отражает ту категорию
лиц (популяцию), для которой данный тест предназначен, особенно
по отношению к полу, возрасту, уровню образования и социальному
положению. Тесты, разработанные для психиатрических целей, дол-
жны предъявляться соответствующим группам пациентов.
(2) Убедитесь, что выборки достаточно велики для получения
статистически значимых корреляций, могущих быть затем использо-
ванными в факторном анализе. Минимальное количество испытуе-
мых - 200.
(3) Используйте настолько широкое разнообразие других тестов
данной переменной, насколько возможно - чтобы убедиться, что
корреляция получена благодаря близости групповых факторов, а не
специфических. Например, если вы пытаетесь тестом измерить ",
то используйте вербальные и невербальные средства измерения "g,
созданные различными авторами.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96
ность, валидность и дискриминативность. Прежде чем переходить к
обсуждению методов достижения валидности, будут рассмотрены
приемы для измерения дискриминативности, поскольку, как и на-
дежность, она может быть получена с известной долей объективнос-
ти. При определении же валидности, хотя и существуют определен-
ные методики, все же присутствует некоторый элемент субъектив-
ности.
Дискриминативность
Как указывалось в главе 1, потенциально тест может быть гораздо
более дискриминативным, чем другие средства измерения, скажем,
интервью или рейтинги, в которых для обеспечения надежности мо-
жет использоваться не более девяти градаций.
Показатели дискриминативности, как указывает Guilford (1956),
связаны по существу с ранжированием исп-ытуемых. Основной пока-
затель коэффициента дискриминативности, ЙФергюсона (Ferguson,
1949), который был рекомендован для оценивания дискриминатив-
ности тестов, прост в вычислении. Его формула указана ниже. Вво-
дится отношение между показателями любых двух испытуемых: эти
показатели либо равны, либо различны. Общее количество возмож-
ных отношений между парами испытуемых в выборке из N испытуе-
мых равно N (N- 1 )/ 2 . Общее количество отношений равенства
среди этих пар:
2-2
(7.1)
где/; - частота встречаемости каждого показателя, следователь-
но, S=.
Общее количество отношений различия среди этих пар:
(2)-
(7.2)
и (7.1) + (7.2) = (YV +N)/2, поскольку это единственные воз-
можные отношения для этих пар. Очевидно, что наибольшее количе-
203
ство отношений различия - максимум дискриминативности - дос-
тигается тогда, когда все показатели имеют одинаковую частоту. Это
происходит, когда частота встречаемости каждого показателя равна
N/(n +!), где п - количество заданий теста.
Это основные сведения из статистики, на которых основана фор-
мула Фергюсона. Коэффициент д Ферпосона - это отношение меж-
ду показателем дискриминативности, полученным для некоторого
теста, и максимальным значением дискриминативности, которое мо-
жет обеспечить такой тест. Формула выглядит следующим образом:
л- -
- IN/(п +1)
Она может быть упрощена:
_ (п+1) -2/)
где N - количество испытуемых, п - количество заданий,// -
частота встречаемости каждого показателя.
д = 0, когда все испытуемые получили одинаковые показатели (то
есть когда нет дискриминативности), и равно 1 при равномерном
(прямоугольном) распределении.
ШАГИ ВЫЧИСЛЕНИЙ ДЛЯ и ФЕРГЮСОНА (ВЫЧИСЛЕНИЕ
7.1)
(1) Подсчитайте, как часто встречаются значения показателей
для данного теста.
(2) Возведите эти числа в квадрат и просуммируйте: S .
(3) Прибавьте 1 к количеству заданий: п + 1 .
(4) Возведите в квадрат количество испытуемых: N .
(5) Помножьте количество заданий на результат шага (4): п N .
(6) Это дает нам все элементы формулы. Теперь можно их подста-
вить в формулу:
д _ (3) x[(4j -(2)] _ (п +1) (-2/)
-( - nN
Разработчик тестов должен учитывать некоторые характеристики
этого коэффициента, обсуждавшиеся Ferguson (1949). Поскольку
для равномерного (прямоугольного) распределения (наиболее дис-
криминативного) необходимы задания, в которых бы наиболее полно
204
были реализованы все возможные проявления измеряемого свойства,
это означает, что дискриминативность до некоторой степени проти-
востоит надежности, так как использование заданий с широким пе-
речнем возможных проявлений измеряемого свойства уменьшает
взаимную корреляцию между заданиями. Конечно, как утверждает
Ферпосон, распределение показателей, которое дает тест - это фун-
кция трудности заданий и их взаимной коррелированности, а это
влияет не только на надежность, но также и на дискриминативность,
которая равна 0,86 в том случае, когда слишком мало простых и
слишком мало трудных заданий; 0,90 для биномиального и 0,93 для
бимодального распределений. Из всего этого следует, что при конст-
руировании теста то, до какой степени нашей целью является дости-
жение максимальной надежности или максимальной дискримина-
тивности, зависит от назначения теста.
Валидность
Когда показатели надежности и дискриминативности соответст-
вующим образом вычислены, то не может быть никаких разночтений
в толковании результатов. В случае с валидностью сделать такие
точные статистические заключения невозможно. Вместо этого долж-
но быть представлено свидетельство в пользу валидности теста. Это
свидетельство трактуется так, чтобы продемонстрировать валид-
ность теста, но такие интерпретации являются в высокой степени
субъективными. В настоящем разделе главы будут изложены лучшие
методы представления такого свидетельства.
В первой главе были полностью описаны различные виды валид-
ности тестов, и в соответствии с ними будут излагаться процедуры
установления валидности.
Очевидная валидность
Это тривиальный аспект теста, связанный только с тем, какое он
производит впечатление. Если по какой-либо причине тест должен
быть очевидно валидным, то достаточно просто спросить у испытуе-
мых, принимающих участие в процедуре оценки и отбора заданий
для теста, представляется ли он им хорошим средством измерения
данной переменной или нет. Очевидная валидность важна для при-
влечения испытуемых к работу над тестом.
Природа этого явления (снижения надежности при высокой дискриминативнос-
ти) сложнее. Подробнее о психометрическом парадоксе см.: БурлачукЛ.Ф. (1989)
(Прим.ред.)
205
Конкурентная валидность
Этот показатель получают из корреляций (или факторных нагру-
зок) с другими тестами, которые предназначены для измерения той
же переменной. Для эффективного изучения конкурентной валид-
ности существует несколько правил, представленных ниже, хотя они
ничем не отличаются от тех, которые имеют место в любой области
научной психологии.
(1) Убедитесь, что выборка испытуемых отражает ту категорию
лиц (популяцию), для которой данный тест предназначен, особенно
по отношению к полу, возрасту, уровню образования и социальному
положению. Тесты, разработанные для психиатрических целей, дол-
жны предъявляться соответствующим группам пациентов.
(2) Убедитесь, что выборки достаточно велики для получения
статистически значимых корреляций, могущих быть затем использо-
ванными в факторном анализе. Минимальное количество испытуе-
мых - 200.
(3) Используйте настолько широкое разнообразие других тестов
данной переменной, насколько возможно - чтобы убедиться, что
корреляция получена благодаря близости групповых факторов, а не
специфических. Например, если вы пытаетесь тестом измерить ",
то используйте вербальные и невербальные средства измерения "g,
созданные различными авторами.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96