Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер — это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки. То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
Например, у вас было 60 человек. В итоге вы отобрали 30 «значимых» вопросов. Отсортируйте список по возрастанию числа правильных ответов на эти вопросы. А теперь посмотрите, как отличаются показатели 20 худших, 20 средних и 20 лучших. Вот вам и критерии оценки. Можете пользоваться своим тестом: вы его сделали!
В действительности все это можно проделать гораздо более тонкими и изощренными способами, ведь конструирование тестов — это целая наука (точнее, технология), к тому же она все время развивается. Но, скорее всего, для ваших целей вполне достаточно тех простых приемов, о которых вы только что прочитали.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер — это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки. То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
Например, у вас было 60 человек. В итоге вы отобрали 30 «значимых» вопросов. Отсортируйте список по возрастанию числа правильных ответов на эти вопросы. А теперь посмотрите, как отличаются показатели 20 худших, 20 средних и 20 лучших. Вот вам и критерии оценки. Можете пользоваться своим тестом: вы его сделали!
В действительности все это можно проделать гораздо более тонкими и изощренными способами, ведь конструирование тестов — это целая наука (точнее, технология), к тому же она все время развивается. Но, скорее всего, для ваших целей вполне достаточно тех простых приемов, о которых вы только что прочитали.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94