14). В верхней ее части приве-
дены различные значения индекса отбора, в крайнем левом столбце-
коэффициенты валидности, а в с троках-относительное число успехов
среди принятых на работу по результатам теста. Разность между такой
величиной и 0,60 указывает на выигрыш от применения теста.
Очевидно, если индекс отбора равен 1,0, т.е. когда приему подлежат
все претенденты, ни один тест, как бы валиден он ни был, не улучшит ка-
чества отбора. Из табл. 14 видно, что при индексе отбора, равном 0,95,
даже тест с коэффициентом валидности, равным 1,0, повышает долю ус-
пехов только на 0,03 (с 0,60 до 0,63). Напротив, если из поступающих
нужно отобрать только 5Ї/", то тест обеспечивает рост правильно приня-
тых с 0,60 до 0,82. Этот рост представляет инкрементную валидность те-
ста (L. Sechrest, 1963), или рост прогностической валидности теста,
и указывает на роль теста в улучшении отбора лиц, которые в дальней-
шем будут удовлетворять минимальным требованиям критериального
выполнения. Применяя таблицы Тейлора-Расселла, необходимо, конеч-
но, знать валидность теста для группы именно того типа, по которой
определялся базовый уровень. Иными словами, польза от применения
теста оценивается не вероятностью успеха отобранных с его помощью
претендентов (если, конечно, до этого поступавшие на работу не при-
нимались наугад, что маловероятно), а тем, насколько улучшает проце-
дуру отбора, основывающуюся на сведениях о предыдущей деятельно-
157
ВАЛИДНОСТЬ ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Инкрементная валидность теста зависит не только от индекса отбо-
ра, но и от базового уровня, в чем можно убедиться, сравнивая разные
таблицы Тейлора-Расселла. Рассмотрим случай, когда валидность теста
равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная
валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-
ствующим таблицам Тейлора-Расселла показывает, что процент успе-
хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и
в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при
базовом уровне 0,50 составит 25" тогда как при более крайних его зна-
чениях приращение меньше: соответственно II и 9Ї/,.
Поведение инкрементной валидноста при базовых уровнях, близких
к нулю или единице, представляет особый интерес для клинической пси-
хологии, где базовый уровень равен доле случаев патологии в тестируе-
мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,
A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-
пуляции имеется органическое поражение мозга, то базовый уровень для
данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-
го теста повысит точность диагностики, выигрыш будет максимальным,
если базовый уровень близок к 0,50. При низком базовом уровне, озна-
чающем крайне редкий патологический случай, инкрементная валидность
Таблица 14
Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-
дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)
ВалидностьИндекс отбора
1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95
0,000,690,600,600,600.600,600,600,600,600,600,60
0,050,640,630,630,620,620,620,610,610,610,600,60
0,100,680,670,650.640.640,630,620,610,610,610,60
0,150,710,700.680.670,660,650,640,630,620,610,61
0,200,750,730,710,690.670,660,650,640,630,620,61
0,250,780,760,730,710,690,680,660,650,630,620.61
0,300.820,790,760,730.710.690,680,660,640,620,61
0,350,850,820,780,750.730,710,690,670,650,630,62
0,400,880,850,810,780.750,730,700,680,660,630,62
0,450,900,870,830,800,770,740,720,690,660,640,62
0,500,930,900.860,820,790,760,730,700,670,640,62
0,550,950,920,880.840,810,780,750,710,680,640,62
0,600.960,940,900,870,830,800,760,730,690,650,63
0,650,980,960,920,890,850,820,780,740,700,650,63
0,700,990,970,940,910,870,840,800,750,710,660,63
0,750,990,990,960,930,900,860,810.770,710,660,63
0,801,000,990.980,950.920,880,830,780,720,660,63
0,851,001,000.990,970,950.910.860.800.730.660.63
0,901,001,001,000,990,970,940,880,820,740,670,63
0,951,001,001,001,000,990,970,920,840,750,670,63
1,001,001,001,001.001.001.001,000,860,750,670,63
158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
теста может оказаться настолько ничтожной, что его применение нельзя
будет считать оправданным, учитывая издержки, связанные с его приме-
нением и обработкой.
Когда редкое заболевание настолько серьезно, что необходим
срочный диагноз, на первом этапе цепи последовательных решений мож-
но применить тест с умеренной валидностью. Например, всех пациентов
можно проверить посредством легко осуществимого теста с невысокой
валидностью. Если нормативный результат установлен достаточно высо-
ким (высокие показатели вообще предпочтительней), то число неверных
отрицательных решений будет мало, а число ложных положительных
диагнозов, т.е. норма, диагностированная как патология, будет велико.
Последние затем могут быть выявлены при более интенсивном индиви-
дуальном обследовании получивших положительный диагноз. Такой
подход целесообразен, когда, например, имеющееся оборудование не по-
зволяет проводить интенсивного индивидуального обследования всех
случаев.
Отношение валидности к среднему уровню выработки. Во
многих практических ситуациях требуется оценить эффективность отбора
теста не по проценту лиц, справляющихся с работой, а по общей выра-
ботке тех, кто был принят. Каков реальный профессиональный уровень
работников, отобранных с помощью теста, по сравнению с теми, кто
был принят на работу без использования теста? После появления ра-
боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-
лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;
R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,
что ожидаемый прирост выработки прямо пропорционален валидности
теста. Так, эффект от применения теста с валидностью 0,50 составляет
50Їо того, который имел бы место при стопроцентной валидности.
Соотношение между валидностью теста и ожидаемым повышением
критериальных достижений видно из табл. 15\ в которой приведены
критериальные показатели, выраженные в виде стандартного показателя
сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-
ствующего выполнению деятельности работниками, принятыми без ис-
пользования данного теста, приводится в колонке нулевой валидности,
ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста
вообще. Покажем, как пользоваться этой таблицей. Предположим, при-
ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-
изводится с помощью теста, валидность которого равна 0,5. По табл. 15
находим, что средний уровень выработки в отобранной груйпе превы-
шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш
от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое
большим, чем при валидности 0,5. Подобная линейная зависимость
имеет место в пределах любой строки табл. 15. Например, при индексе
отбора 0,60 валидность 0,25 повышает средний критериальный показа-
тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.
Опять-таки удвоение валидности ведет к удвоению конечного результа-
та.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
дены различные значения индекса отбора, в крайнем левом столбце-
коэффициенты валидности, а в с троках-относительное число успехов
среди принятых на работу по результатам теста. Разность между такой
величиной и 0,60 указывает на выигрыш от применения теста.
Очевидно, если индекс отбора равен 1,0, т.е. когда приему подлежат
все претенденты, ни один тест, как бы валиден он ни был, не улучшит ка-
чества отбора. Из табл. 14 видно, что при индексе отбора, равном 0,95,
даже тест с коэффициентом валидности, равным 1,0, повышает долю ус-
пехов только на 0,03 (с 0,60 до 0,63). Напротив, если из поступающих
нужно отобрать только 5Ї/", то тест обеспечивает рост правильно приня-
тых с 0,60 до 0,82. Этот рост представляет инкрементную валидность те-
ста (L. Sechrest, 1963), или рост прогностической валидности теста,
и указывает на роль теста в улучшении отбора лиц, которые в дальней-
шем будут удовлетворять минимальным требованиям критериального
выполнения. Применяя таблицы Тейлора-Расселла, необходимо, конеч-
но, знать валидность теста для группы именно того типа, по которой
определялся базовый уровень. Иными словами, польза от применения
теста оценивается не вероятностью успеха отобранных с его помощью
претендентов (если, конечно, до этого поступавшие на работу не при-
нимались наугад, что маловероятно), а тем, насколько улучшает проце-
дуру отбора, основывающуюся на сведениях о предыдущей деятельно-
157
ВАЛИДНОСТЬ ИЗМЕРЕНИЕ И ИНТЕРПРЕТАЦИЯ
Инкрементная валидность теста зависит не только от индекса отбо-
ра, но и от базового уровня, в чем можно убедиться, сравнивая разные
таблицы Тейлора-Расселла. Рассмотрим случай, когда валидность теста
равна 0,40, а индекс отбора-0,70. Какова в этих условиях инкрементная
валидность при базовом уровне 0,50? 0,10? 0,90? Обращение к соответ-
ствующим таблицам Тейлора-Расселла показывает, что процент успе-
хов повысится в первом случае с 50 до 75Їо, во втором-с 10 до 21Ї(, и
в трет ьем-с 90 до 99Ї. Таким образом, приращение числа успехов при
базовом уровне 0,50 составит 25" тогда как при более крайних его зна-
чениях приращение меньше: соответственно II и 9Ї/,.
Поведение инкрементной валидноста при базовых уровнях, близких
к нулю или единице, представляет особый интерес для клинической пси-
хологии, где базовый уровень равен доле случаев патологии в тестируе-
мой популяции (A.M.Buchwald, 1965; E.E.Cureton, 19570; P.E.Meehl,
A. Rosen, 1955; J.S. Wiggins, 1973). Например, если у У/о клинической по-
пуляции имеется органическое поражение мозга, то базовый уровень для
данного диагноза в данной популяции будет 5Їц. Хотя введение валидно-
го теста повысит точность диагностики, выигрыш будет максимальным,
если базовый уровень близок к 0,50. При низком базовом уровне, озна-
чающем крайне редкий патологический случай, инкрементная валидность
Таблица 14
Ожидаемая величина успехов при исполыовании теста с данной валидностью и данным ин-
дексом отбора для баювою уровня 0,60 (H.L. rayior, J.T. Russell, 1939, р. 576)
ВалидностьИндекс отбора
1 0.05 0,100,200,30 1 0,40 1 0,500,600,700,800,900,95
0,000,690,600,600,600.600,600,600,600,600,600,60
0,050,640,630,630,620,620,620,610,610,610,600,60
0,100,680,670,650.640.640,630,620,610,610,610,60
0,150,710,700.680.670,660,650,640,630,620,610,61
0,200,750,730,710,690.670,660,650,640,630,620,61
0,250,780,760,730,710,690,680,660,650,630,620.61
0,300.820,790,760,730.710.690,680,660,640,620,61
0,350,850,820,780,750.730,710,690,670,650,630,62
0,400,880,850,810,780.750,730,700,680,660,630,62
0,450,900,870,830,800,770,740,720,690,660,640,62
0,500,930,900.860,820,790,760,730,700,670,640,62
0,550,950,920,880.840,810,780,750,710,680,640,62
0,600.960,940,900,870,830,800,760,730,690,650,63
0,650,980,960,920,890,850,820,780,740,700,650,63
0,700,990,970,940,910,870,840,800,750,710,660,63
0,750,990,990,960,930,900,860,810.770,710,660,63
0,801,000,990.980,950.920,880,830,780,720,660,63
0,851,001,000.990,970,950.910.860.800.730.660.63
0,901,001,001,000,990,970,940,880,820,740,670,63
0,951,001,001,001,000,990,970,920,840,750,670,63
1,001,001,001,001.001.001.001,000,860,750,670,63
158 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
теста может оказаться настолько ничтожной, что его применение нельзя
будет считать оправданным, учитывая издержки, связанные с его приме-
нением и обработкой.
Когда редкое заболевание настолько серьезно, что необходим
срочный диагноз, на первом этапе цепи последовательных решений мож-
но применить тест с умеренной валидностью. Например, всех пациентов
можно проверить посредством легко осуществимого теста с невысокой
валидностью. Если нормативный результат установлен достаточно высо-
ким (высокие показатели вообще предпочтительней), то число неверных
отрицательных решений будет мало, а число ложных положительных
диагнозов, т.е. норма, диагностированная как патология, будет велико.
Последние затем могут быть выявлены при более интенсивном индиви-
дуальном обследовании получивших положительный диагноз. Такой
подход целесообразен, когда, например, имеющееся оборудование не по-
зволяет проводить интенсивного индивидуального обследования всех
случаев.
Отношение валидности к среднему уровню выработки. Во
многих практических ситуациях требуется оценить эффективность отбора
теста не по проценту лиц, справляющихся с работой, а по общей выра-
ботке тех, кто был принят. Каков реальный профессиональный уровень
работников, отобранных с помощью теста, по сравнению с теми, кто
был принят на работу без использования теста? После появления ра-
боты X. Тейлора и Дж. Расселла некоторые исследователи заинтересова-
лись этим вопросом (Н.Е. Brogden, 1946; C.W. Brown, E.E. Ghisell, 1953;
R.F.Jarrett, 1948; M.W.Richardson, 1944). Х.Брогден впервые показал,
что ожидаемый прирост выработки прямо пропорционален валидности
теста. Так, эффект от применения теста с валидностью 0,50 составляет
50Їо того, который имел бы место при стопроцентной валидности.
Соотношение между валидностью теста и ожидаемым повышением
критериальных достижений видно из табл. 15\ в которой приведены
критериальные показатели, выраженные в виде стандартного показателя
сМ=Ои ет==1. В этой таблице значения базового уровня, соответ-
ствующего выполнению деятельности работниками, принятыми без ис-
пользования данного теста, приводится в колонке нулевой валидности,
ибо тест с валидностью, равной нулю, эквивалентен отсутствию теста
вообще. Покажем, как пользоваться этой таблицей. Предположим, при-
ему подлежат 20Їо претендентов (индекс отбора 0,20), причем отбор про-
изводится с помощью теста, валидность которого равна 0,5. По табл. 15
находим, что средний уровень выработки в отобранной груйпе превы-
шает базовый уровень на 0,7(7. При том же индексе отбора 0,20 выигрыш
от идеального теста (с валидностью 1,0) составит 1,4сг, т.е. будет вдвое
большим, чем при валидности 0,5. Подобная линейная зависимость
имеет место в пределах любой строки табл. 15. Например, при индексе
отбора 0,60 валидность 0,25 повышает средний критериальный показа-
тель на 0,16ст, в то время как валидность 0,50 повышает его на 0,32.
Опять-таки удвоение валидности ведет к удвоению конечного результа-
та.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143