Использование экспертных оценок в качестве В. к. включает четыре возможных метода
проведения процедуры валидизации: коллективная оценка, средневзвешенная оценка,
ранжирование, парное сравнение.
При коллективной оценке эксперты совместно оценивают объект с помощью оценочной
шкалы. Выбор оценочных шкал чаще всего осуществляется по принципу наибольшего
удобства для эксперта. Так, педагогам удобней оценить учащихся по 5-балльной шкале.
Условием коллективной оценки является выработка общего компромиссного мнения. При
таком способе оценивания результат весьма зависим от личностных особенностей и ха-
рактера группового взаимодействия экспертов.
Распространенным методом получения В. к. является метод средневзвешенной оценки. В
этом случае каждый испытуемый оценивается несколькими экспертами, так что оценки,
данные испытуемому одним экспертом, неизвестны другим. Затем полученные оценки ус-
редняются.
Вместо оценочной шкалы можно применить метод ранжирования, заключающийся в том,
что несколько экспертов независимо друг от друга или совместно распределяют всех
членов выборки на группы по степени выраженности оцениваемого признака. Полученные
ранговые места при независимом оценивании могут быть также усреднены.
При определении рангового места или оценке по шкале нередко эксперты встречаются с
трудностью соотнесения выраженности признака с тем или иным уровнем или положением
на шкале. Эта трудность возрастает при оценивании малодифференцированных признаков
или при низкой квалификации экспертов. В этом случае определенными преимуществами
обладает метод парного сравнения. Задача экспертов состоит в попарной расстановке
субъектов по позициям альтернативных признаков (<общительный-замкнутый> или
выраженность большая-меньшая предложенного для оценки качества и т. п.). Субъек-
тивно задача экспертов облегчается благодаря отсутствию количественной оценки качеств
субъекта. Показателем места, занимаемого испытуемым в ряду других, служит общее
число предпочтений этого суббъекта по сравнению с остальными по данным всех
экспертов. Этот показатель может быть приведен к числу экспертов и числу сравниваемых
испытуемых и вычислен в процентах. Для расчета применяется формула Дж. Гилфорда
PR=
дД
--2-100,
Nn
где В - число предпочтений, N - число экспертов, п - количество сравниваемых
объектов.
31
ВАЛ ___________________
Выбор В. к. является ответственным и важным этапом конструирования теста и его
валидизации. Чем более сложным, комплексным является изучаемое психическое
явление, тем шире, обобщеннее, должен быть критерий. Напр., при обосновании теста на
общий интеллект в качестве В. к. может выступать эффективность учебной,
производственной или научной деятельности в целом; при валидизации методики для
исследования экстраверсии-интроверсии - экспертные оценки таких личностных
характеристик, как общительность, жизнерадостность, социальная ответственность и др.
Более узкие и частные критерии применяются для обоснования тестов, направленных на
измерение уровня развития конкретных профессиональных знаний,умений,навыков, напр.:
мануальной ловкости, памяти на числа и т. д. Узость выбираемого критерия определяется
областью психологических явлений, охватываемых тестом, однородностью
(гомогенностью) задач методики, конкретностью, однозначностью интерпретации
результатов. Напротив, чем шире В. к., тем разнородней (гетеро-геннее) по характеру
могут быть задачи теста и тем менее однозначна интерпретация результатов.
В реальной практической деятельности успех или неуспех человека в любой области
определяется не каким-нибудь изолированным фактором, а их комплексом. Поэтому в
принципе каждый В. к. является многокомпонентным. Для адекватной оценки объекта его
следует считать комплексным, составным, что не только расширяет сферу реальной
валидизации, но и делает ее результаты более точными и обоснованными. Разделение
критерия на элементы в соответствии с элементами изучаемого тестом сложного качества,
области поведения осуществляется при характеристике синтетической валидности (см.
Валидность критериальная}. Ана-
32
лиз и интерпретация связи тестовых оценок с В. к. опирается на количественные и
качественные методы и вместе с выбором критерия является ключевым аспектом,
определяющим достоверность характеристики валидности теста (см. Валидности
коэффициенты).
ВАЛИДНОСТИ КОЭФФИЦИЕНТЫ - статистические показатели валидности эмпирической
теста.
В качестве меры валидности наиболее часто на практике применяются разные виды
корреляционного анализа связи между индивидуальными оценками по тесту и оценками по
валидизации критерию (либо связь между результатами ва-лидизируемого теста и
эталонной методики). В большинстве случаев распределение тестовых оценок в
репрезентативной выборке валидизации близко к нормальному. Оценки по критерию чаще
бывают дихотомическими, ранговыми (см. Шкалы измерительные) или распределяются по
закону, отличному от нормального. Если оба ряда переменных (тестовые и критериальные
оценки)носят континуальный характер, используют коэффициент корреляции
произведения моментов Пирсона (см. Корреляционный анализ). В зависимости от шкалы
представления переменных в сравниваемых рядах применяют те или иные методы
корреляционного анализа (см. Корреляция качественных признаков, Корреляция
бисериальная. Корреляция ранговая).
Наряду с В. к., определяемыми традиционным способом, существуют и некоторые другие
меры количественной оценки валидности теста, в частности с помощью /-коэффициента,
предложенного Э. При-мовым (Е. S. Primoff, 1975). /-Коэффициент является одним из
методов характеристики синтетической валидности (см. Валидность критериальная).
Процедура его определения предусматривает наличие перечня элементов сложной
деятельности или способности, выраженных языком профессиональных или других
специальных действий, и экспертной оценки относительной значимости этих элементов
для осуществления данной сложной деятельности. Окончательный анализ проводится на
базе корреляции оценок теста и отдельных элементов реальной деятельности с учетом их
удельных весов. Статистическая обработка основана на применении уравнения множе-
ственной регрессии. Для каждого элемента деятельности его корреляция с деятельностью
в целом умножается на <вес> в тесте, и полученные произведения суммируются по всем
элементам деятельности.
В. к. являются важными, но далеко не определяющими и не исчерпывающими ха-
рактеристиками валидности методики.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159