Критической оценки Web-разрядных версий Карьера Ключевые
Авторы оценили надежность и достоверность Web-разрядных версий Карьера ключа (Л. К. Джонс, 1997). Девяносто девять студентов завершили Web-разрядных версий Карьера ключ и самостоятельного поиска - Форма R (JL Голландия, 1994) в порядке и уравновешенная завершила второй Карьера Ключевые администрации 2 недели после окончания первого теста. Test - повторное тестирование надежности колебался от 0,75 и 0,84. За исключением обычных шкала (0,47), все коэффициенты одновременных действия были на уровне или выше 0,65.
Многие статьи были недавно опубликованы в профессиональных журналах, касающиеся использования Интернет, консультации специалистов (см., например, Hohenshil, 2000; Сампсон, 2000). Внимание к веб-консультирования и оценки является обоснованным. Веб-оценки имеет много преимуществ по сравнению с традиционными методами оценки. Использование веб-для целей оценки означает, что испытания могут быть введен к группам лиц, в то же время, что значительно экономит время и деньги, и это уменьшает ошибки ввода данных (Pasveer
* Адаптации тестирования ситуации для большого числа людей с инвалидностью, которые нуждаются в услугах
* Положительные отзывы от клиентов
* Управление и забил эффективности
* Сокращение ошибки
* Рентабельность
Исследование возможности * (Brown, 1990; Сампсон, 1983, 2000; Сампсон
Тем не менее, веб-оценки имеет много недостатков, а также. Отсутствие консультант - клиент, контакт, отсутствие персональной последующей деятельности и последующей путем, и возможный компромисс о конфиденциальности данных клиента есть все приводилось в качестве недостатков (Сампсон, 2000). Оливер и Зак (1999) рассмотрели 24 нулевой стоимостью карьеры оценки веб-сайтов и сайтов к выводу, что было легко использовать, но и (а) предусматривается только умеренной степени тест интерпретация, (б) укладывается в схему планирования карьеры лишь в очень ограниченной степени, (с) как правило, не предоставляют информацию о разработчиков сайта, (г) содержится мало свидетельств того, что инструменты оценки, содержащиеся на сайте были утверждены для самостоятельного использования, (е) при условии ограниченного контроля конфиденциальности и (е) не содержит психометрических данных или сведений о инструментом развития. Кроме того, Оливер и Зак (1999) показал, что веб-мастера или организаций, которые несут ответственность за сайты, не оперативно реагировать на просьбы о предоставлении такого рода информации ..
Таким образом, консультанты признают, что многие веб-сайты содержат инструменты оценки, которые являются непроверенными и не были подвергнуты критическому обзору. Консультанты также признаем, что большинство веб-инструментов карьеры оценки доказательств отсутствия технической адекватности. Даже карандаш и бумага документов, которые имеют адекватную технические характеристики могут иметь различные свойства, когда они адаптированы для использования в сети Интернет. Аффективных переменных, таких как "компьютер фобии" и оборудования отклонение от 1 тестирования или иной ситуации может оказать влияние на испытательном индивида деятельности (Мак-Ки
Если компьютеризированной тестирования не позволяет испытуемому, чтобы пропустить вокруг себя, или знать количество пункты будут представлены как обычные бумаги и карандаш тест делает, то это еще один фактор, который приводит к неэквивалентности между двумя вариантами теста (Moreland, 1992 ). Это важно для испытаний разработчики рассмотреть эти проблемы и обеспечить эмпирические данные психометрических свойств компьютерной версии документа при адаптации инструмент карандаш и бумага оценки для использования в Интернет ..
Национальный совет по вопросам измерений в области образования (1995), в Кодекс профессиональных обязанностей в образовательных измерений (раздел 3.2), предположил, что это профессиональная ответственность тех, кто выбирает инструменты оценки "рекомендовать и / или выбрать оценки на основе публично доступных документальное подтверждение их техническое качество и полезность, а не на безосновательные утверждения или заявления "(стр. 4). Профессионалы, которые используют компьютеризированные версии тестов должны требовать того же технического соответствия, как они делают для обычных версия бумажной andpencil теста (Мак-Ки
Один популярный бумаги и карандаш инструмент карьеры оценки, которая была адаптирована для использования в сети Интернет Карьера ключ (CK-Джонс, 1997). 1997 бумага и карандаш версия пересмотра подлинник документа (Jones, 1987), короче и более компактны, и предлагается бесплатно для некоммерческого использования. Пользователя (а) уровень, в какой степени 24 заявлений, касающихся деятельности, способности, ценности и самовосприятие их описать; (б) уровень, в какой степени 42 профессий интерес или привлечь их; (с) их сумма оценки для расчета их сходство для каждого из 6 типов личности Голландия (Нидерланды, 1985); (г) рассмотрение рабочих мест для определения списка двух или трех типов личности, для которых они получают самые высокие оценки, и (е) выбрать работу, которая их интересует. Исследования оригинальную версию CK (Jones, 1983, 1987, 1989, 1990, 1993) показали, что ее психометрические характеристики были сопоставимы с другими документами такого рода. безотказной работы внутреннее соответствие варьировались от 0,64 до 0,79 за Cales CK с.
Повторных испытаний вероятность безотказной работы составляет от 0,66 до 0,92. Параллельные действия оценивалась путем сравнения первой букве кода студентов на CK с первой букве своей специальности, в результате чего 40% скорости ударил ..
CK была адаптирована для использования в Интернете (Jones, 1997) и доступен по адресу <a target="_blank" href="http://www.careerkey.org/english" http://www rel="nofollow"> .careerkey.org / английский </ A>. Этот сайт также содержит ссылки, которые призваны помочь пользователям веб-версии CK в использовании их результатов для планирования карьеры. Однако, по словам его автора (Л. К. Джонс-личностное общение, июнь, 2000), Web-разрядных версий CK не был подвергнут испытанию ее психометрических свойств. Несмотря на положительные характеристики бумаги и карандаш версия документа, нельзя считать, что Интернет-версия имеет те же характеристики.
Цель нашего исследования заключалась в оценке повторных испытаний надежности и одновременного действия веб-версия CK. Кроме того, на сайте CK веб была оценена в отношении стандартов, которые были опубликованы Национальным Карьера ассоциации развития (NCDA) в отношении использования Интернета для карьеры информацию и услуги по планированию (см. Приложение А. в Харрис-Bowlsbey, Dikel,
Метод
Участники
В исследовании участвовали 99 студентов, которые были зачислены в двух разделах учебный класс, психология, которая была специально разработана для не-образования специальностей. Хотя большинство студентов специальности средств массовой информации, других специальностей, представленных в классе включить детей в семейных отношениях и психологии. В общей сложности 68 женщин и 31 мужчин участвовал, и все были европейцы, а 80% в возрасте от 20 до 22 лет.
Инструменты
Мы оценили повторных испытаний надежности и одновременного действия веб-версия CK. По мнению ее автора (Л. К. Джонс, из личного общения, июнь, 2000) и информации размещенной на сайте CK веб Есть в настоящее время не надежность и достоверность исследований этого вида документа. Для оценки одновременного действия веб-версии СК, самостоятельного поиска R-Form (SDS-R Голландия, 1994) была использована в качестве критерия измерения. CK на основе (1985) теории Голландии профессиональной личности и условий работы, вероятно, самый популярный, часто используемые и широко применимые теории выбора профессии. Внутреннее соответствие надежности SDS-R, как сообщается, находится в 0,80 с и 0,90 с, а повторных испытаний надежности, как сообщается, находится в 0,70 с и 0,80 с и "умеренно высокой", основанной на исследованиях, проведенных с 1977 версии. документа (Дэниелс, 1994). Действительность, как сообщается, адекватной и. сравнимо с другими запасов интерес. По словам Дани Ls (1994), SDS-R является отличным инструментом профессиональной и, как таковая, была целесообразной мерой критерием для использования в данном исследовании ..
Порядок
Мы сделали краткую презентацию для студентов во время которых мы рассказывали. Цель этого исследования, по оценкам, количество времени, которое необходимо будет принять участие в исследовании, а также обсудили характер заданы вопросы по СК и ПБ. Студенты говорили, что они могли бы получить дополнительный кредит в своих классах, если они участвовали в исследовании, они тоже сказали, что если они решили не участвовать в исследовании, они могли бы заполнить альтернативные уступки, чтобы заработать столько же дополнительных баллов. Студенты говорили, что, если они участвовали в исследовании, они будут иметь возможность установить назначение с инструктором, чтобы обсудить свои оценки с обеих CK и SDS - R. Добровольцы затем запросил. Же введение в исследование, предоставляемых учащимся, в обоих разделах курса.
Участникам было поручено завершить CK и SDS - R в установленном (уравновешенная) порядке. Подбрасывания монеты был использован для определения порядка, в котором каждая часть студентов будет полной, какой документ в первую очередь. Участники были затем поручил завершить SDS и CK в заданном порядке, один за другим. Участникам было также поручено завершить CK второй раз через 2 недели после завершения его в первый раз.
Результаты
Оценить тест - повторное тестирование надежности, коэффициентов Пирсона продукта момента корреляции были рассчитаны на одинаковых масштабах всей два администраций CK по всей выборке, так и отдельно для мужчин и женщин. Test - повторное тестирование надежности коэффициенты для всей выборки колебался от 0,75 и 0,86, и было в среднем 0,82 (реальность, -. 75; расследованию, -. 79; Artistic, -. 85, социальная, -. 86; Предприимчивые , -. 84; обычного, -. 82). Для мужчин, коэффициенты колебались между 0,75 и 0,89, и было в среднем 0,81 (реальность, -. 83; расследованию, -. 85; Artistic, -82, социальная, -. 75; Инициативный, -. 75; обычного, -. 89). Для женщин, коэффициенты колебались между 0,69 и 0,87, и было в среднем 0,80 (реальность, -. 69; расследованию, -. 77; Artistic, -. 85, социальная, -. 82; Инициативный, -. 87; обычного , -. 81). Все корреляции были статистически значимы при р <0,001 уровне. Коэффициенты были несколько выше у мужчин, чем для женщин, реалистичной, расследованию и обычных весы и несколько выше для женщин, чем мужчин е или на художественных, социальных и предпринимательство масштабах ..
Для оценки одновременного действия, Пирсона - момент корреляции были рассчитаны между всеми 6 весы по каждому инструменту. Отдельные исследования проводились по всей выборке и отдельно для мужчин и женщин. В таблице 1 представлены соотношения между 6 CK весы и 6 SDS - R весы для всей выборки. Корреляция между одинаковыми весы на две документов варьировались от 0,47 до 0,83, и все они были статистически значимы на р <0,001 уровне. Все CK масштабах, за исключением обычных шкала корреляции на уровне или выше 0,65. В таблице 2 представлены отдельные одновременных аренду действия данных для мужчин и женщин. Корреляция между одинаковыми весы на две документов варьировались от 0,58 до 0,82. Опять же, все CK масштабах, за исключением обычных шкала корреляции на уровне или выше 0,65. Корреляция между одинаковыми весы на две документов варьировались от 0,43 до 0,84. За исключением обычных масштабах, все CK весы были корреляции на уровне или выше 0,62. Коэффициенты были несколько выше у мужчин, чем для ш предзнаменованием на реалистичной, расследования, социальных и обычных масштабах, и чуть выше для женщин, чем для мужчин по художественным и предпринимательство масштабах ..
Дальнейшее изучение одновременного действия CK, мы сравнили 3-буквенные коды, генерируемый по каждому инструменту. Для этого мы провели два анализа. В первом анализа, мы получили 3-буквенные коды для каждого участника по каждому инструменту (CK, в первой администрации CK был использован). Мы поставили масштаба с высшей точкой всего в первой позиции, шкалы на втором месте общее количество очков на второй позиции, и так далее. В случае связей (т. е. 2 весы имеют равные общей точки), более чем один 3-буквенный код был построен, 1 с каждой шкалы в таком положении. Используя эту процедуру, CK и SDS была та же буква в первые позиции в 72% случаев, то же письмо второй позиции в 37% случаев, и то же письмо, в третьей позиции в 41% случаев.
Мы использовали вторую процедуру для сравнения 3-буквенные коды, которую дает CK и ПБ. Эта процедура была идентична описанной выше процедуры, за исключением следующего: Мы использовали "правило Голландии 8" при строительстве 3-буквенные коды для SDS. На основе стандартной погрешности измерения, Голландии предложил, что любые два SDS масштабах, которые не отличаются по 8 или более пунктов должно рассматриваться равны. Таким образом, мы построили несколько трехбуквенных кодов для SDS, используя правило 8, и мы сравнили результате кодов с 3-буквенный код который дает CK, используя вышеуказанную процедуру. Потому что ни одна норма сопоставимых верховенства 8 был предложен CK, мы не использовали один. Используя эту процедуру, чтобы сравнить два документа, CK и SDS была та же буква в первой позиции в 94% случаев, то же письмо второй позиции в 85% случаев, и то же письмо, в третьей позиции в 76% случаев. В 65% случаев, 3-буквенный код (ы), построенная для CK соответствует один из трех буквенных кодов, построенных для SDS ..
Веб сайт CK была также проведена в отношении руководящих принципов NCDA для использования Интернет для распространения информации и планирования карьеры услуг. В таблице 3 приведены эти руководящие принципы и в какой степени, на наш взгляд, сайт придерживается этих принципов. Наши оценки показывают, что веб-сайт выполняет все NCDA принципов со следующими исключениями: советник не дает анализ относительно того, потребности клиента могут быть удовлетворены путем Интернет-коммуникаций; советник не дает периодический контроль (по телефону или видеотелефон телеконференций) от клиента прогресса, а также веб-сайт не содержит заявление о характере клиента информацию, которая храниться на электронных носителях или времени данные будут сохранены. Кроме того, мы не уверены, в какой степени информированности местных условий не существует. Наконец, на основе нашего обзора мы рейтингом два руководящих принципов, как "в процессе": "Некоторые виды содержания были тщательно протестированы для интернет-доставки" и "[CK был] испытания в вычислить г доставки режиме заверить, что их психометрических свойств те же "(Harris-Bowlsbey и др.., 1998, p.
Обсуждение
Результаты этого исследования обнадеживают, и они в целом поддерживают надежность и достоверность CK. В частности, коэффициенты надежности, полученные в данной работе для веб-версии СК, как правило, сопоставима с данными, для бумаги и карандаш версия этого документа и были сходны с теми, которые для SDS и других кадастров, что интерес были основаны на (1985) теории Голландии. Хотя коэффициенты надежности 0,90 или выше считается хорошим, коэффициенты 0,80 и выше, как правило, считается достаточным (Sattler, 1990). Шалфей и Ysseldyke (1998) рекомендуется использовать 2 уровень надежности прикладной настройки - одна для группы данных и один для индивидуальных данных. Если результаты тестов используются для административных целей, и, по сообщениям групп лиц, минимальный коэффициент надежности должна быть 0,60. Когда тест оценка используется для принятия важных решений для каждого учащегося (например, размещение в той или иной класс или программы), М. И. nimum стандарт должен быть 0,90.
Когда тест оценка используется для изготовления отбора решения для каждого учащегося (например, будь то клиент должен получить дополнительную оценку), уровень 0,80 рекомендуется. Данные для всех участников нашего исследования показали, что четыре из шести весы CK было достаточно для принятия надежность отбора решений. Пятая шкала (расследования) вплотную приблизился к этому стандарту. Хотя одна шкала (реалистичной, 0,75) не полностью отвечает критериям, которые, как правило, считается приемлемым для использования с физическими лицами при принятии решений, обследование, анализ гендерного предложил, что масштаб Реальные имеет достаточную стабильность для мужчин, но не для женщин. Гендерного анализа предложил, что для мужчин, 4 из 6 масштабах была стабильность коэффициентов, которые превысили 0,80, а оставшиеся два (социальные, Предприимчивые) было коэффициенты, которые подошли к этому критерию (0,75). Кроме того, четыре из шести масштабах была стабильность коэффициентов, которые превысили 0,80 для женщин, и одна (следственных, 0,77) подошел го является критерием. С учетом этих данных, пользователи CK может чувствовать себя достаточно удобно использовать CK на экране для профессиональных областей, которые клиент может дополнительно изучить.
При оценке критерия связанных действительности, то необходимо учитывать тип действия доказательств (одновременно или интеллектуального) и соответствующих коэффициентов действительности. Как Gay (2000) предложил, однако, не существует "магическое число" действия коэффициент должен достичь. Вообще, чем выше коэффициент действительность, тем более действительный инструмент. Sax (1997) отметил, что одновременное коэффициентов действия обычно превышают коэффициенты интеллектуального действия, и, хотя интеллектуального коэффициента действия значительно различаются, корреляции 0,60 и выше, как правило, считается высокой. В связи с этим и на основании результатов нашего исследования, связанные критерий действительности Web-разрядных версий CK может считаться адекватным. Однако пользователям следует быть осторожными в интерпретации обычных масштабах, в свете его меньше, чем желательно корреляции с соответствующей шкале на СКС-R. В нашем исследовании CK обычных масштабах соотносятся как высоки с SDS Предприимчивые масштабе, как это было с SDS-R обычных масштабах ..
Кроме того, на сайте CK веб отвечает большинству стандартов NCDA (Harris-Bowlsbey и др.., 1998) описал для использования Интернета для предоставления информации карьеры и планирования услуг. В соответствии со стандартами, веб-сайт был разработан при участии консультантов по вопросам карьеры и других специалистов, а также их квалификации были четко сформулированы. Веб-сайт доступен через свободный общественных пунктов доступа в Интернет и в настоящее время тщательно протестированы для он-лайн услуг. Существует четкое заявление относительно целесообразности клиенту для получения услуг веб-сайт. Тем не менее, веб-сайт не указывает ли это возможно для советника для анализа целесообразности удовлетворения этих потребностей путем обмена интернет-трафиком. Кроме того, как представляется, не будет возможности для периодических телефону или видеотелефон контроля за ходом клиента, как это требуется по стандартам NCDA. Тем не менее, существуют доказательства того, что люди, сотрудники сайта определить / направлять клиентов к квалифицированным консультантам карьере, если ecessary п ..
Советник полномочий, согласованных целей и расходов, где и как клиенты могут сообщать о любых неэтичном поведении советника, а также степень безопасности и конфиденциальности в Интернете все надлежащим образом на этом сайте. Существует также заявление о необходимости личной жизни в связи клиент-консультант, а веб-сайт предупреждает клиента с обстоятельствами, которые могут указывать на необходимость оказания консультативной поддержки. Тем не менее, нет никаких указаний от вида клиента информации, хранимой в электронном виде или времени данные сохраняются.
Как с требованиями стандартов NCDA, действие компьютеризированную администрации CK которого оценивается обеспечить, чтобы его психометрические свойства, являются адекватными. Же этических принципов, которые следуют в лицо-к-лицу режиме, придерживаться в веб-версии, и конфиденциальность защищена. И наконец, веб-сайта показывает, что клиент будет передан квалифицированный консультант карьеру, если есть какие-либо доказательства, что клиент не понимает результатов оценки.
Хотя наш обзор в целом показывает, что консультанты могут быть достаточно удобными рекомендовать Web-разрядных версий CK к своим клиентам, некоторые предупреждает, представляется целесообразным. Во-первых, провинциальный характер образца существенно ограничивает обобщения полученных результатов. Дополнительные исследования с различных образцов (например, работающие взрослые, студенты с различных специальностей) и в настройках, не один университет, прежде чем мы можем быть уверены, что психометрические свойства предложенных нашего исследования применимы ко всем скорее всего пользователей интернет-версии CK.
В частности, ограниченное представление колледжа специальности в нашем исследовании могло повлиять на результаты, полученные нами. Потому что большинство участников были средства массовой информации майоров, обычных типов можно было бы недостаточно представлены в нашей выборке. Таким образом, ограниченный диапазон баллов, которые, возможно, депрессию коэффициенты надежности обычных масштабах, в частности. Хотя наши результаты в целом подтверждают надежность и Валиди ты в веб-версии CK и поддерживать ее использования в качестве скрининга устройства, пользователи документ должен проявлять осторожность в использовании и интерпретации обычного масштаба, пока дальнейшие исследования проводились.
Ссылки
Браун, Д. Т. (1990). Компьютерной техники в карьере оценки. Планирование карьеры и взрослых Development Journal, 6 (4), 27-36.
Дэниелс, М. H. (1994). Обзор самостоятельного поиска. В J. Т. Капес, М. М. Mastie,
Гей, Л. Р. (2000). Педагогические исследования: Компетенции для анализа и применения (шестое издание). Columbus, OH: Merrill.
Харрис-Bowlsbey, J., Dikel, М. Р.,
Хофер, П. J.,
Hohenshil, Т. H. (2000). Высокие технологии консультирования. Журнал Консультирование
Голландия, J. Л. (1985). Создание профессионального выбора: теории личности и профессиональной рабочей среды. Englewood Cliffs, NJ: Prentice Hall
Голландия, J. Л. (1994). Self-Режиссер поиск - Форма Р. Одесса, FL: Психологические по оценке ресурсов
Джонс, Л. К. (1983). Сравнение двух самостоятельного инструментов профориентации: Occu-Сортировка и самостоятельного поиска. Школа Советник, 30, 204-211.
Джонс, Л. К. (1987). Карьера ключ. Роли, Северная Каролина: Автор. (Первоначально опубликовано Ferguson в Чикаго)
Джонс, Л. К. (1989). Измерительные 3-мерного построить карьеру в нерешительности среди студентов: пересмотр шкалы Профессиональное решение - Карьера Решение профиль. Журнал психолог-консультант, 36, 477-486.
Джонс, Л. К. (1990). Карьера Основные: исследования надежности и достоверности ее масштабов и его полезность для студентов. Измерение и оценка в области консультирования и развития, 23, 67-76.
Джонс, Л. К. (1993). Два профориентации документов: их полезности для студентов и влияние на разведку карьеры студентов. Школа Советник, 40, 191-200.
Джонс, Л. К. (1997). Карьера ключ. Проверено мая 2002 года, с <a target="_blank" href="http://www.careerkey.org/english" rel="nofollow"> http://www.careerkey.org/english </ A>
Мак-Ки, Л. М.,
Морленд, К. Л. (1992). Компьютерный психологической оценки. У М. Zeidner
Национальный совет по вопросам измерений в области образования. (1995). Кодекс профессиональных обязанностей в образовательных измерения. (Доступный из Национального совета по вопросам измерения в области образования, 1230 Семнадцатая Street, NW, Washington, DC 20036-3078)
Оливер, Л. В.,
Pasveer, K.A.,
Сальвия, J.,
Сампсон, J. P. (1983). Компьютерный контроль и оценка: Текущее состояние и последствия для будущего. Измерение и оценка в ориентации, 15, 293-299.
Сампсон, J. P. (2000). Использование Интернета для расширения тестирования в консультировании. Журнал Консультирование
Сампсон, J. П.,
Sattler, J. (1990). Оценка детей (3-е изд.). Сан - Диего, штат Калифорния: Сатлер.
Sax, G. (1997). Принципы образования и психологического измерения и оценки (4 изд.). Белмонт, штат Калифорния: Уодсворт.
Эдвард М. Левинсон, Министерство образования и школа психологии, Университет Индианы, Пенсильвании, Хизер Л. Земан, Чикаго государственных школах; Дениз Л. Олер, Карьера Услуги и регистрации управления Эдинборо Университета Пенсильвании. Переписка по этой статье, должны быть адресованы Эдвард М. Левинсон, 242 Стоаффер зал, Департамент образования и школа психологии, Университет Индианы, Пенсильвании, Индиане, PA 15705 (адрес электронной почты: <A HREF = "mailto: emlevins@iup.edu" > emlevins@iup.edu </ A>).