Преимущества
(1) При помощи относительно небольшого теста можно точно
измерять способности испытуемого.
(2) Это означает, что могут использоваться подмножества зада-
ний из их общего набора. Это идеальный вариант при повторном
тестировании (как и в исследовании по разработке теста).
(3) Краткость удобна в прикладной психологии (когда фактор
времени выходит на первое место). Это также полезно для удержания
у испытуемых интереса и внимания, которые могут ослабнуть, если
тесты будут слишком длинными.
Недостатки
(1) Основная проблема индивидуально-ориентированного тести-
рования состоит в том значении, которое придается уровню трудно-
сти (?). В сфере изучения способностей и достижений в обучении это
имеет смысл. Например, в основе математических задач лежит ре-
альная шкала трудности. В других областях исследований, таких как
черты личности и мотивы, это никоим образом не имеет места, и если
даже на основании значений Р и могут быть сконструированы инди-
видуально-ориентированные тесты личности, возможно, что их ва-
лидность будет вследствие этого меньше по сравнению с обычным
психометрическим тестом с большим количеством заданий. Насущно
необходимо исследование этого вопроса.
(2) Последняя проблема связана с необходимостью очень точного
определения значений Р и, следовательно, формирования больших
выборок для нормативной работы, если хотим, чтобы индивидуаль-
но-ориентированное тестирование было валидным. Очевидно, что
если статистические оценки для задания невысоки, то индивидуаль-
но-ориентированное тестирование будет неточным. По этой причине
часто, когда показатели для заданий являются независимыми от по-
пуляции, более предпочтительно использование шкалирования по
Рашу.
Шкалирование по Рашу
В главе 1 было описано шкалирование по Рашу и другие методы
конструирования тестов с использованием кривых зависимости "за-
дание-ответ". Были также описаны их преимущества по сравнению
с обычными методами разработки тестов и обсуждены некоторые из
261
проблем и ограничений для них. Здесь достаточно повторить, что, в
силу некоторых причин, особенно когда важно проведение повторно-
го тестирования и есть хорошо определенная генеральная совокуп-
ность заданий, шкалирование по Рашу может быть полезно. Теперь
будут изложены шаги вычислений для шкалирования заданий теста
по Рашу. Будет описано, что необходимо при использовании только
простейшего вида модели Раша - просто чтобы дать возможность
читателям понять суть процедуры. Более тщательно разработанные
методы остаются на долю специалистов, которые могут пожелать
использовать их для некоторых конкретных целей.
Описание модели Раша
Модель Раша уже была описана, и мы не будем повторять ее здесь.
Было показано, что вероятность ответа в модели Раша зависит от
двух параметров: /, степени выраженности данной черты у испытуе-
мого, и k, значения задания как средства выявления этой черты.
Считается обычным выполнять анализ модели Раша при помощи
компьютера.
Шаги вычислений при шкалировании по Рашу
(1) Предъявите задания испытуемым.
(2) Пример: хотя приверженцы шкалирования по Рашу утверж-
дают, что такой анализ заданий является независимым от выборки
испытуемых, Lord (1980) показал, что это преувеличение. Первое
оценивание (калибровка) заданий должно выполняться на репрезен-
тативной выборке, в противном случае оценки будут неточными.
Более того, чтобы удовлетворить статистические требования для по-
лучения наиболее статистически значимых оценок, необходимо по
крайней мере 1000 испытуемых. Но когда первоначальная оценка
заданий уже выполнена, шкалирование по Рашу уже является неза-
висимым от выборки, а все зависит от объема и репрезентативности
начальной выборки. Следовательно, она должна состоять как мини-
мум из 1000 испытуемых.
(3) Разбейте выборку на две группы: получивших высокие и низ-
кие показатели, причем все показатели испытуемых первой группы
должны быть выше любого из показателей испытуемых второй груп-
пы.
(4) Определите показатели по каждому заданию для каждого чле-
на этих групп следующим образом: 1 - правильное выполнение, 0 -
неправильное.
(5) Вычислите параметры модели Раша.
262
(6) Так как появляется ряд различных результатов, то они будут
изучаться отдельно.
(7) Компьютерная программа вычислений по модели Раша дает
значения коэффициентов трудности заданий вместе с их стандарт-
ными погрешностями, для каждого задания отдельно по двум груп-
пам. Считается, что задания удовлетворяют модели Раша, если их
показатели трудности в обеих группах одинаковы (в рамках стандар-
тной погрешности). Следует помнить, что эти группы совершенно
раздельны (в соответствии с их отбором, см. шаг 3) по отношению к
степени выраженности данной латентной черты. Обычные, нормаль-
ные показатели уровня трудности заданий должны будут показать,
что эти две группы никак не пересекаются.
(8) Отберите те задания, для которых в двух группах получены
одинаковые уровни трудности заданий.
(9) Если количество заданий недостаточное, сформулируйте дру-
гие задания в свете эффективных по модели Раша заданий. Следует
также изучить неудачные задания с целью их возможной коррекции,
чтобы увидеть и понять, почему задания не прошли отбор, и в даль-
нейшем избегать таких ловушек при формулировании заданий.
(10) Независимое от заданий измерение индивидуальных ка-
честв. Первые девять шагов связаны с анализом заданий по модели
Раша, дающим нам задания, имеющие одинаковые показатели уров-
ня трудности на двух совершенно отдельных выборках. Однако, те-
перь уже может быть выполнена вторая проверка (и гораздо более
важная, так как она составляет основную суть модели Раша). Дейст-
вительно ли различные подмножества заданий модели Раша дают
одинаковые показатели для индивидуумов или нет?
(11) Чтобы проверить, является ли измерение независимым от
заданий: (а) разделите задания модели Раша на две группы, одна из
которых должна содержать самые простые, а другая -самые трудные
задания. Очевидно, что средние показатели для испытуемых по двум
таким тестам будут различными.
(12) При помощи компьютерной программы найдите для каждого
испытуемого показатель по степени выраженности черты по каждому
тесту и связанную с ним стандартную погрешность измерения. Если
задания удовлетворяют модели Раша, каждый испытуемый в преде-
лах стандартной погрешности получит одинаковые показатели по
каждой группе заданий. Если испытуемые не получили одинаковые
показатели, следует эти задания удалить или переформулировать.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96