Чтобы вычислить ? , нужно для каждого зада-
ния определить произведение р х q, а затем сложить эти произведения
по всем заданиям. Поскольку в процессе составления теста величина
р часто фиксируется для определения уровня трудности каждого задания,
этот метод определения надежности требует лишь незначительных доба-
вочных вычислений.
Можно математически доказать, что коэффициент надежности по
Кьюдеру-Ричардсону представляет собой при всех возможных разбие-
ниях теста надвое среднее значение коэффициентов, найденных методом
расщепления (L.J. Cronbach, 1951). Обычный же коэффициент надежно-
сти для расщепленного теста основан на разбиении, построенном в рас-
чете на получение эквивалентных половин. Поэтому в случае не вполне
однородного теста коэффициент Кьюдера-Ричардсона меньше получен-
ного методом расщепления. Следующий контрастный пример поясняет,
в чем причина такого расхождения. Пусть мы имеем тест из 50 заданий
25 различных видов (например, задания 1 и 2-на понимание слов, 3
и 4-на арифметическое рассуждение, 5 и 6-пространственную ориента-
цию и т.д.). Четные и нечетные задания этого теста теоретически могут
весьма тесно коррелировать друг с другом, что при использовании об-
щепринятой процедуры расщепления даст высокий коэффициент надеж-
ности. Но однородность этого теста, как и воспроизводимость успехов
и неудач по всем 50 заданиям, будет очень низкой. Поэтому в данном
примере следует ожидать, что коэффициент Кьюдера-Ричардсона ока-
жется намного ниже, чем в случае метода расщепления. Заметим, что
разность между этими двумя коэффициентами может служить для при-
близительной оценки однородности теста.
Формула Кьюдера-Ричардсона годится только для случаев, когда
выполнение заданий оценивается как правильное или ошибочное, т. е. по
принципу <все или ничего>. В некоторых тестах, однако, практикуется
более дифференцированная форма представления результатов отдельных
заданий. Например, в личностном опроснике респондент может получать
по отдельным заданиям различные числовые показатели в зависимости
от того, выбрал ли он в наборе ответов <обычно>, <иногда>, <редко>,
<никогда>. Для таких тестов выведена обобщенная формула, известная
как коэффициент альфа (L.J. Cronbach, 1951; M.R. Novick, C.Lewis, 1967).
В этой формуле вместо ? стоит So?-сумма дисперсий результатов от-
дельных заданий. Процедура состоит в нахождении дисперсии индиви-
Простой вывод этой формулы приведен в работе Р.Л.Ибела (R.L.Ebel, 1965,
р. 320-327).
И Строго говоря, это утверждение справедливо, лишь когда применяется формула
Рппня я нс. коппепяттия половин или (Ьопмула Спирмана-Брауна (M.R. Novick,
112 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
дуальных результатов по каждому заданию с последующим суммирова-
нием этих дисперсий по всем заданиям (R.L.Ebel, 1965, р. 326-330).
Формула коэффициента альфа выглядит следующим образом:
_ п( - ?о?)
" ("-1) , 1
Надежность субъективных оценок. Как мы видим, различные
типы надежности отличаются друг от друга тем, какие факторы взяты
в качестве источников дисперсии ошибки. В одном случае такая диспер-
сия означает временные колебания, в другом-различия в сериях парал-
лельных заданий, в третьем-несогласованность тестовых заданий. 1
В свою очередь, факторы, не учтенные при измерении дисперсии ошиб-
ки, в основном делятся на два типа: (а) факторы, чья дисперсия сохра-
няется в показателях, поскольку они входят в изучаемые различия, и (б)
посторонние факторы, поддающиеся экспериментальному контролю. На-
пример, в руководстве к тесту не принято сообщать об ошибках измере-
ния, которые могут появиться в результате проведения теста в отвле-
кающей обстановке или в более короткое или длительное, чем это
положено, время. Подобных отклонений можно избежать, и поэтому нет
нужды в отдельных коэффициентах надежности, соответствующих дис-
персии отвлечения или дисперсии временных лимитов.
Большинство тестов, особенно если они предназначены для массово-
го обследования с использованием компьютеров для вычисления показа-
телей, настолько стандартизированы, что их проведение и регистрация
результатов сводят на нет дисперсию ошибки, обусловленную этими
факторами. Пользуясь такими тестами, необходимо лишь внимательно
следить за выполнением соответствующих предписаний. Вместе с тем
имеются данные, свидетельствующие о том, что в клинических тестах,
применяемых при интенсивных индивидуальных обследованиях, важным
источником ошибки являются различия в способе проведения теста.
С помощью специальных экспериментов удается отделить соответствую-
щую дисперсию от той, которая обусловлена колебаниями в состоянии
испытуемого или использованием различных форм теста.
Сравнительно просто установить, насколько значителен другой ис-
точник ошибки, обусловленный дисперсией подсчета. Некоторые типы
тестов, особенно тесты творческих способностей и проективные лич-
ностные тесты, сильно зависят от оценки подсчитывающего показате-
ли теста. В таких тестах надежность подсчета столь же важно знать, как
и уже знакомые нам коэффициенты надежности. Такую надежность
субъективной оценки можно определить, сравнив два тестовых бланка
с оценками, заполненные двумя экспертами независимо друг от друга.
Коэффициент корреляции полученных таким образом результатов вы-
числяется обычным путем и служит искомой мерой надежности подсче-
та. Если результаты теста определяются на основе суждений эксперимен-
татора, то в руководстве к тесту необходимо также привести
и коэффициент надежности подсчета.
Итоги. Различные типы только что рассмотренных коэффициентов
надежности сведены в табл. 8 и 9. В табл. 8 коэффициенты распределены
по числу форм теста и сеансов тестирования, необходимых для их опре-
деления. В табл. 9 представлены источники дисперсии ошибки, учиты-
ваемые каждой из процедур определения коэффициента надежности.
-------- - -.>...,.п т,ттт.дг>ттг>>типг>т1ятт1 непосоед-
113
НАДЕЖНОСТЬ
Таблица 8
Методы измерения надежности теста
в мвисимости от форм теста и сеансов
тестирования
Таблица 9
Источники дисперсии ошибки для раз-
личных коэффициентов надежности
Необходимое число сеансов тес-Необходимое число форм теста
тированияоднадве
расщеплен-
наявзаимозаменяе-
Кьюдера -один Ричардсона субъектив-мые (непосредственно следующие друг за другом)
ных оце-
нок
Тип коэффициента
надежности
Дисперсия ошибки
ретестовый
временные колебания
состояния испытуемого
ретестовая
взаимозаменяе-
мые (проводимые
через определен-
ный промежуток
времени)
взаимозаме-
няемых формнеоднородность
(непосредст-содержания
венный)
взаимозаме-колебания в состоянии
няемых формиспытуемого и неодно-
(с временнымзначность содержания
интервалом)
расщеплениянеоднозначность
содержания
неоднородность и
Кьюдера-Ри-неоднозначность
чардсона,содержания
альфаиндивидуальные
субъективныхразличия у ставящих
оценокоценки
ственно в процентах дисперсии показателей, определяемой разными
источниками.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143
ния определить произведение р х q, а затем сложить эти произведения
по всем заданиям. Поскольку в процессе составления теста величина
р часто фиксируется для определения уровня трудности каждого задания,
этот метод определения надежности требует лишь незначительных доба-
вочных вычислений.
Можно математически доказать, что коэффициент надежности по
Кьюдеру-Ричардсону представляет собой при всех возможных разбие-
ниях теста надвое среднее значение коэффициентов, найденных методом
расщепления (L.J. Cronbach, 1951). Обычный же коэффициент надежно-
сти для расщепленного теста основан на разбиении, построенном в рас-
чете на получение эквивалентных половин. Поэтому в случае не вполне
однородного теста коэффициент Кьюдера-Ричардсона меньше получен-
ного методом расщепления. Следующий контрастный пример поясняет,
в чем причина такого расхождения. Пусть мы имеем тест из 50 заданий
25 различных видов (например, задания 1 и 2-на понимание слов, 3
и 4-на арифметическое рассуждение, 5 и 6-пространственную ориента-
цию и т.д.). Четные и нечетные задания этого теста теоретически могут
весьма тесно коррелировать друг с другом, что при использовании об-
щепринятой процедуры расщепления даст высокий коэффициент надеж-
ности. Но однородность этого теста, как и воспроизводимость успехов
и неудач по всем 50 заданиям, будет очень низкой. Поэтому в данном
примере следует ожидать, что коэффициент Кьюдера-Ричардсона ока-
жется намного ниже, чем в случае метода расщепления. Заметим, что
разность между этими двумя коэффициентами может служить для при-
близительной оценки однородности теста.
Формула Кьюдера-Ричардсона годится только для случаев, когда
выполнение заданий оценивается как правильное или ошибочное, т. е. по
принципу <все или ничего>. В некоторых тестах, однако, практикуется
более дифференцированная форма представления результатов отдельных
заданий. Например, в личностном опроснике респондент может получать
по отдельным заданиям различные числовые показатели в зависимости
от того, выбрал ли он в наборе ответов <обычно>, <иногда>, <редко>,
<никогда>. Для таких тестов выведена обобщенная формула, известная
как коэффициент альфа (L.J. Cronbach, 1951; M.R. Novick, C.Lewis, 1967).
В этой формуле вместо ? стоит So?-сумма дисперсий результатов от-
дельных заданий. Процедура состоит в нахождении дисперсии индиви-
Простой вывод этой формулы приведен в работе Р.Л.Ибела (R.L.Ebel, 1965,
р. 320-327).
И Строго говоря, это утверждение справедливо, лишь когда применяется формула
Рппня я нс. коппепяттия половин или (Ьопмула Спирмана-Брауна (M.R. Novick,
112 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
дуальных результатов по каждому заданию с последующим суммирова-
нием этих дисперсий по всем заданиям (R.L.Ebel, 1965, р. 326-330).
Формула коэффициента альфа выглядит следующим образом:
_ п( - ?о?)
" ("-1) , 1
Надежность субъективных оценок. Как мы видим, различные
типы надежности отличаются друг от друга тем, какие факторы взяты
в качестве источников дисперсии ошибки. В одном случае такая диспер-
сия означает временные колебания, в другом-различия в сериях парал-
лельных заданий, в третьем-несогласованность тестовых заданий. 1
В свою очередь, факторы, не учтенные при измерении дисперсии ошиб-
ки, в основном делятся на два типа: (а) факторы, чья дисперсия сохра-
няется в показателях, поскольку они входят в изучаемые различия, и (б)
посторонние факторы, поддающиеся экспериментальному контролю. На-
пример, в руководстве к тесту не принято сообщать об ошибках измере-
ния, которые могут появиться в результате проведения теста в отвле-
кающей обстановке или в более короткое или длительное, чем это
положено, время. Подобных отклонений можно избежать, и поэтому нет
нужды в отдельных коэффициентах надежности, соответствующих дис-
персии отвлечения или дисперсии временных лимитов.
Большинство тестов, особенно если они предназначены для массово-
го обследования с использованием компьютеров для вычисления показа-
телей, настолько стандартизированы, что их проведение и регистрация
результатов сводят на нет дисперсию ошибки, обусловленную этими
факторами. Пользуясь такими тестами, необходимо лишь внимательно
следить за выполнением соответствующих предписаний. Вместе с тем
имеются данные, свидетельствующие о том, что в клинических тестах,
применяемых при интенсивных индивидуальных обследованиях, важным
источником ошибки являются различия в способе проведения теста.
С помощью специальных экспериментов удается отделить соответствую-
щую дисперсию от той, которая обусловлена колебаниями в состоянии
испытуемого или использованием различных форм теста.
Сравнительно просто установить, насколько значителен другой ис-
точник ошибки, обусловленный дисперсией подсчета. Некоторые типы
тестов, особенно тесты творческих способностей и проективные лич-
ностные тесты, сильно зависят от оценки подсчитывающего показате-
ли теста. В таких тестах надежность подсчета столь же важно знать, как
и уже знакомые нам коэффициенты надежности. Такую надежность
субъективной оценки можно определить, сравнив два тестовых бланка
с оценками, заполненные двумя экспертами независимо друг от друга.
Коэффициент корреляции полученных таким образом результатов вы-
числяется обычным путем и служит искомой мерой надежности подсче-
та. Если результаты теста определяются на основе суждений эксперимен-
татора, то в руководстве к тесту необходимо также привести
и коэффициент надежности подсчета.
Итоги. Различные типы только что рассмотренных коэффициентов
надежности сведены в табл. 8 и 9. В табл. 8 коэффициенты распределены
по числу форм теста и сеансов тестирования, необходимых для их опре-
деления. В табл. 9 представлены источники дисперсии ошибки, учиты-
ваемые каждой из процедур определения коэффициента надежности.
-------- - -.>...,.п т,ттт.дг>ттг>>типг>т1ятт1 непосоед-
113
НАДЕЖНОСТЬ
Таблица 8
Методы измерения надежности теста
в мвисимости от форм теста и сеансов
тестирования
Таблица 9
Источники дисперсии ошибки для раз-
личных коэффициентов надежности
Необходимое число сеансов тес-Необходимое число форм теста
тированияоднадве
расщеплен-
наявзаимозаменяе-
Кьюдера -один Ричардсона субъектив-мые (непосредственно следующие друг за другом)
ных оце-
нок
Тип коэффициента
надежности
Дисперсия ошибки
ретестовый
временные колебания
состояния испытуемого
ретестовая
взаимозаменяе-
мые (проводимые
через определен-
ный промежуток
времени)
взаимозаме-
няемых формнеоднородность
(непосредст-содержания
венный)
взаимозаме-колебания в состоянии
няемых формиспытуемого и неодно-
(с временнымзначность содержания
интервалом)
расщеплениянеоднозначность
содержания
неоднородность и
Кьюдера-Ри-неоднозначность
чардсона,содержания
альфаиндивидуальные
субъективныхразличия у ставящих
оценокоценки
ственно в процентах дисперсии показателей, определяемой разными
источниками.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143