Если группы
заданий слишком велики, то они не будут ничем отличаться от шкал
и, в любом случае, на более поздней стадии необходимо будет выпол-
нить отдельную процедуру анализа для заданий из каждой однород-
ной группы, так как не будет получено никакой информации о зада-
ниях внутри групп. По этим причинам, хотя представляется, что
группирование заданий помогает преодолеть проблемы, связанные с
отдельными заданиями в факторном анализе и получить ясные ре-
зультаты, потери информации о каждом задании слишком велики,
чтобы этот метод мог рассматриваться как ценный при конструиро-
251
вании тестов, хотя он, вероятно, будет полезен при исследовании,
когда шкалы еще не выделены.
ВЫВОДЫ
При конструировании факторно-аналитических тестов наилуч-
шим из приемов по-прежнему остается: (а) вычисление для каждого
задания значения Р ; и (б) вычисление значения коэффициента (р
корреляции между всеми заданиями.
Факторный анализ матрицы
Трудность здесь, как уже говорилось, состоит в том, что при вра-
щении обычно уменьшается значение главного фактора, возникаю-
щего на первом этапе анализа по методу главных компонент. С дру-
гой стороны, маловероятно, что анализ по методу главных компонент
будет давать воспроизводимые факторы, любой первичный фактор
является искусственно генеральным (как артефакт). Большинство из
наиболее известных исследователей, в том числе Кэттелл, Айзенк и
Гилфорд, подвергали полученные ими факторы вращению, и это,
похоже, несмотря на трудности, дало даже лучшие результаты в
попытке получения простой структуры. Так больше вероятности
получить воспроизводимые результаты.
Если возможно, постройте одновременно несколько различных
шкал. Это позволит реализовать вращение для получения простой
структуры. Даже если сконструирована только одна шкала, обычно
существует достаточное количество второстепенных факторов, что-
бы обеспечить получение значимой простой структуры. Как и для
процедуры анализа заданий, результаты факторного анализа долж-
ны быть кросс-валидизированы на новых выборках.
Отбор заданий после факторного анализа
После того, как задания были отобраны в результате факторного
анализа, применяется точно такая же процедура, как и в случае
анализа заданий, с единственным отличием, касающимся статисти-
ческого критерия: факторные нагрузки данного задания на фактор
теста должны превышать 0.3, а все другие факторные нагрузки этого
задания должны быть примерно равны нулю. Здесь не используется
термин "значимо", ибо статистическая значимость подвергнутых
вращению факторных нагрузок остается поводом для разногласий
среди специалистов по статистике.
Все другие критерии, величина, применимость содержания, зна-
чение/ для заданий идругие процедуры, вычисление коэффициента
надежности K-R20 и 6 Ферпосона, переформулирование заданий в
252
свете сравнения анализа заданий и последующих повторных испыта-
ний заданий,- являются в точности такими же, как и в случае ранее
обсуждавшейся процедуры анализа заданий.
Если тест сформировать не удалось
Если задания были подвергнуты факторному анализу, то случаи,
когда не удалось найти достаточное количество адекватных заданий
(при условии, что они были соответствующим образом переформу-
лированы и еще раз испробованы, исходя из результатов первой
процедуры факторного анализа), обычно могут быть легко определе-
ны. Так, если мы рассмотрим случаи, отмеченные ранее, то можно
утверждать следующее.
Такой переменной не существует. В этом случае для большин-
ства заданий не будет никакого фактора с явными нагрузками. Вме-
сто этого на каждый фактор будет по небольшому количеству нагру-
жающих его заданий, и каждое задание будет нагружать несколько
факторов. Значения Ъочти всех нагрузок будут маленькими, и ни
один фактор нельзя будет легко проинтерпретировать. Если такое
произойдет, то от этого множества заданий лучше отказаться и раз-
работать новые. Вероятно, более разумным будет заключить, что
данная переменная не имеет соответствующего основания, и попыт-
ки ее измерить должны быть прекращены.
Задания являются факторно сложными. Это выявляется непос-
редственно факторным анализом. Должны быть отобраны исключи-
тельно те задания, которые нагружают только один фактор. Если на
дисперсию заданий оказывают влияние два фактора, то следует от-
делить те задания, которые нагружают один фактор, и должны быть
сформулированы другие аналогичные задания. Такую же процедуру
необходимо выполнить и для заданий, нагружающих второй фактор.
При повторном испытании заданий это должно дать нам два удовлет-
ворительных теста. Следует отметить, что поскольку результаты
факторного анализа можно получить уже из первых вычислений,
этот недостаток может быть обнаружен задолго до начала второго
испытания заданий и устранен на этой ранней стадии.
Недостаточное количество эффективных заданий. Такой слу-
чай очевиден, когда мы имеем, скажем, двенадцать эффективных
заданий, тогда как все остальные задания имеют низкие нагрузки по
ряду факторов. Это устраняется переформулированием заданий по
аналогии с удачными, эффективными заданиями. Это, как и в пред-
ыдущем случае, может быть сделано на относительно ранних стади-
ях конструирования теста.
Неэффективные задания . Как говорилось ранее, это последнее
из возможных объяснение неудаче при создании заданий, которое
логически не может быть отвергнуто. Мы можем в этом убедиться
только переформулированием заданий и созданием эффективных.
Шаги вычислений
Нереально пытаться выполнять факторный анализ матрицы лю-
бого размера вручную, даже при наличии электронного калькулято-
ра. Поэтому здесь не будут изложены шаги вычислений факторного
анализа с вращением факторов. Алгебраические процедуры для этого
сейчас уже стандартизированы и полностью изложены в различных
учебниках. Несложное их описание читатели могут найти у Child
(1971). Хорошее обоснование с полными алгебраическими выкладка-
ми приведено в Harman (1976) и Tatsuoka (1971).
( I ) Все ответы на каждое задание должны быть для каждого испы-
туемого сведены в таблицы и оценены следующим образом: 1, если
был дан ключевой ответ на задание; 0 - в противном случае. При
ответе со многими вариантами выбора приводится показатель, пол-
ученный данным испытуемым по каждому заданию.
(2) Эти показатели затем вводятся в программу вычисления фак-
торного анализа. Обычно в результате мы получим корреляции,
главные компоненты и некоторый вид вращения факторов.
ВРАЩЕНИЕ
При обсуждении простой структуры утверждалось, что простая
структура, определениекоторойбылоданоТ1пт1опе (1947), обеспе-
чивает воспроизводимые результаты и дает краткое, а, следователь-
но, научное, объяснение экспериментальным данным.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96
заданий слишком велики, то они не будут ничем отличаться от шкал
и, в любом случае, на более поздней стадии необходимо будет выпол-
нить отдельную процедуру анализа для заданий из каждой однород-
ной группы, так как не будет получено никакой информации о зада-
ниях внутри групп. По этим причинам, хотя представляется, что
группирование заданий помогает преодолеть проблемы, связанные с
отдельными заданиями в факторном анализе и получить ясные ре-
зультаты, потери информации о каждом задании слишком велики,
чтобы этот метод мог рассматриваться как ценный при конструиро-
251
вании тестов, хотя он, вероятно, будет полезен при исследовании,
когда шкалы еще не выделены.
ВЫВОДЫ
При конструировании факторно-аналитических тестов наилуч-
шим из приемов по-прежнему остается: (а) вычисление для каждого
задания значения Р ; и (б) вычисление значения коэффициента (р
корреляции между всеми заданиями.
Факторный анализ матрицы
Трудность здесь, как уже говорилось, состоит в том, что при вра-
щении обычно уменьшается значение главного фактора, возникаю-
щего на первом этапе анализа по методу главных компонент. С дру-
гой стороны, маловероятно, что анализ по методу главных компонент
будет давать воспроизводимые факторы, любой первичный фактор
является искусственно генеральным (как артефакт). Большинство из
наиболее известных исследователей, в том числе Кэттелл, Айзенк и
Гилфорд, подвергали полученные ими факторы вращению, и это,
похоже, несмотря на трудности, дало даже лучшие результаты в
попытке получения простой структуры. Так больше вероятности
получить воспроизводимые результаты.
Если возможно, постройте одновременно несколько различных
шкал. Это позволит реализовать вращение для получения простой
структуры. Даже если сконструирована только одна шкала, обычно
существует достаточное количество второстепенных факторов, что-
бы обеспечить получение значимой простой структуры. Как и для
процедуры анализа заданий, результаты факторного анализа долж-
ны быть кросс-валидизированы на новых выборках.
Отбор заданий после факторного анализа
После того, как задания были отобраны в результате факторного
анализа, применяется точно такая же процедура, как и в случае
анализа заданий, с единственным отличием, касающимся статисти-
ческого критерия: факторные нагрузки данного задания на фактор
теста должны превышать 0.3, а все другие факторные нагрузки этого
задания должны быть примерно равны нулю. Здесь не используется
термин "значимо", ибо статистическая значимость подвергнутых
вращению факторных нагрузок остается поводом для разногласий
среди специалистов по статистике.
Все другие критерии, величина, применимость содержания, зна-
чение/ для заданий идругие процедуры, вычисление коэффициента
надежности K-R20 и 6 Ферпосона, переформулирование заданий в
252
свете сравнения анализа заданий и последующих повторных испыта-
ний заданий,- являются в точности такими же, как и в случае ранее
обсуждавшейся процедуры анализа заданий.
Если тест сформировать не удалось
Если задания были подвергнуты факторному анализу, то случаи,
когда не удалось найти достаточное количество адекватных заданий
(при условии, что они были соответствующим образом переформу-
лированы и еще раз испробованы, исходя из результатов первой
процедуры факторного анализа), обычно могут быть легко определе-
ны. Так, если мы рассмотрим случаи, отмеченные ранее, то можно
утверждать следующее.
Такой переменной не существует. В этом случае для большин-
ства заданий не будет никакого фактора с явными нагрузками. Вме-
сто этого на каждый фактор будет по небольшому количеству нагру-
жающих его заданий, и каждое задание будет нагружать несколько
факторов. Значения Ъочти всех нагрузок будут маленькими, и ни
один фактор нельзя будет легко проинтерпретировать. Если такое
произойдет, то от этого множества заданий лучше отказаться и раз-
работать новые. Вероятно, более разумным будет заключить, что
данная переменная не имеет соответствующего основания, и попыт-
ки ее измерить должны быть прекращены.
Задания являются факторно сложными. Это выявляется непос-
редственно факторным анализом. Должны быть отобраны исключи-
тельно те задания, которые нагружают только один фактор. Если на
дисперсию заданий оказывают влияние два фактора, то следует от-
делить те задания, которые нагружают один фактор, и должны быть
сформулированы другие аналогичные задания. Такую же процедуру
необходимо выполнить и для заданий, нагружающих второй фактор.
При повторном испытании заданий это должно дать нам два удовлет-
ворительных теста. Следует отметить, что поскольку результаты
факторного анализа можно получить уже из первых вычислений,
этот недостаток может быть обнаружен задолго до начала второго
испытания заданий и устранен на этой ранней стадии.
Недостаточное количество эффективных заданий. Такой слу-
чай очевиден, когда мы имеем, скажем, двенадцать эффективных
заданий, тогда как все остальные задания имеют низкие нагрузки по
ряду факторов. Это устраняется переформулированием заданий по
аналогии с удачными, эффективными заданиями. Это, как и в пред-
ыдущем случае, может быть сделано на относительно ранних стади-
ях конструирования теста.
Неэффективные задания . Как говорилось ранее, это последнее
из возможных объяснение неудаче при создании заданий, которое
логически не может быть отвергнуто. Мы можем в этом убедиться
только переформулированием заданий и созданием эффективных.
Шаги вычислений
Нереально пытаться выполнять факторный анализ матрицы лю-
бого размера вручную, даже при наличии электронного калькулято-
ра. Поэтому здесь не будут изложены шаги вычислений факторного
анализа с вращением факторов. Алгебраические процедуры для этого
сейчас уже стандартизированы и полностью изложены в различных
учебниках. Несложное их описание читатели могут найти у Child
(1971). Хорошее обоснование с полными алгебраическими выкладка-
ми приведено в Harman (1976) и Tatsuoka (1971).
( I ) Все ответы на каждое задание должны быть для каждого испы-
туемого сведены в таблицы и оценены следующим образом: 1, если
был дан ключевой ответ на задание; 0 - в противном случае. При
ответе со многими вариантами выбора приводится показатель, пол-
ученный данным испытуемым по каждому заданию.
(2) Эти показатели затем вводятся в программу вычисления фак-
торного анализа. Обычно в результате мы получим корреляции,
главные компоненты и некоторый вид вращения факторов.
ВРАЩЕНИЕ
При обсуждении простой структуры утверждалось, что простая
структура, определениекоторойбылоданоТ1пт1опе (1947), обеспе-
чивает воспроизводимые результаты и дает краткое, а, следователь-
но, научное, объяснение экспериментальным данным.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96