Результаты

Результаты

Психометрические характеристики пунктов опросников и их культурная релевантность

В основе исследования лежало предположение, что психометрические свойства пунктов опросников (например, то, насколько высоко эти пункты будут коррелировать с внешними критериями – с тестами интеллекта и креативности) будут зависеть от их культурной релевантности. Для проверки этой гипотезы был проведен множественный регрессионный анализ (для интеллекта и креативности отдельно), в котором зависимой переменной выступала корреляция каждого из пунктов опросника с соответствующим внешним критерием (интеллектом и креативностью), а предикторами – средние по всей выборке оценки релевантности каждого из пунктов, полученные на втором этапе. Результаты регрессионного анализа представлены в таблице 1.10. Они говорят о том, что как для интеллекта, так и для креативности значимыми предикторами корреляции опросников с внешними критериями являются прототипичность (связь положительная) и ценность (связь отрицательная). В случае двух опросников два значимых предиктора объясняют сходный процент дисперсии – 30 % для интеллекта и 34 % для креативности, а также имеют одинаковую для интеллекта и креативности направленность связей с зависимой переменной. Таким образом, можно говорить об универсальности выявленной зависимости для двух конструктов.

Таблица 1.10. Результаты множественного регрессионного анализа (зависимая переменная – корреляция пунктов с интеллектом, независимая переменная – оценки релевантности пунктов опросника)

Для того чтобы выяснить, как зависит высота самооценки по опроснику от ценности, частотности и прототипичности входящих в него баллов, был проведен множественный регрессионный анализ, в котором зависимой переменной являлись высота самооценок испытуемых по каждому из пунктов опросника, а предикторами – оценки релевантности. Результаты анализа представлены в таблице 1.11, из которой следует, что уровень самооценки интеллекта и креативности положительно предсказывается такими измерениями релевантности, как ценность и частотность. Как и в случае с корреляцией пунктов опросника с внешними критериями, данная зависимость является универсальной для двух конструктов.

Таблица 1.11. Результаты множественного регрессионного анализа (зависимая переменная – средний балл по пункту, независимая переменная – оценки релевантности пунктов опросника)

Способы коррекции баллов самооценки с учетом культурной релевантности входящих в опросник пунктов

Проведенное исследование предполагает определенный практический выход, связанный с возможностями коррекции самооценочных баллов с целью повышения валидности измерения способностей с помощью опросников. На основе полученных данных о связи релевантности с качеством работы пунктов опросника был разработан ряд методов, позволяющих корректировать результаты самооценки. Далее мы приведем два новых способа расчета дополнительных коэффициентов, которые будут сравниваться по эффективности, во-первых, между собой, а во-вторых – с традиционным методом подсчета баллов по опроснику, т. е. с простым суммированием баллов по всем пунктам опросника[11].

Так как основными предикторами корреляции пунктов опросника с внешними критериями как для интеллекта, так и для креативности выступили прототипичность и ценность, разработка корректирующих самооценочный балл коэффициентов производилась с учетом этих двух измерений. Расчет производился для всей выборки в целом, для двух конструктов – интеллекта и креативности – отдельно.

Первый коэффициент (коэффициент b) вычислялся следующим образом. Были посчитаны коэффициенты корреляции между самооценками испытуемых и прототипичностью и ценностью пунктов опросника. Далее балл для каждого испытуемого рассчитывался по формуле: b = r_прот. – (r_{прот. цен.})2 ? r_цен., где r_прот. – корреляция между самооценками испытуемых и средней прототипичностью пунктов, r_цен. – корреляция между самооценками испытуемых и средней ценностью пунктов и r_{прот. цен.} – корреляция между измерениями ценности и прототипичности.

Еще один способ подсчета балла испытуемого заключался в комбинации двух способов подсчетов – общего балла и коэффициента b. Общий балл и коэффициент b были переведены в z-оценки и сложены между собой, в результате чего получился коэффициент d. Сравнение корреляций для разных методов подсчета индивидуальных баллов представлено в таблице 1.12.

Таблица 1.12. Корреляции между баллами по опроснику, полученными с помощью разных способов подсчета, и внешними критериями – тестовыми интеллектом и креативностью

Как видно из таблицы, первый коэффициент дает корреляцию с тестовыми показателями практически идентичную той, что получается при использовании простой суммы баллов. Примечательно то, что эти два показателя (сумма баллов и коэффициент b) достаточно слабо коррелируют между собой – корреляция в случае интеллекта равна нулю, а в случае креативности – 0,3. Корреляции коэффициента d с тестовыми показателями интеллекта и креативности, как и следовало ожидать исходя из слабой корреляции предыдущих двух показателей, оказался немного выше.

Таким образом, несмотря на то, что существенного улучшения в соотношении самооценочного балла с объективными тестами пока добиться не удалось, можно констатировать, что привлечение компонентов релевантности для подсчета итоговых баллов по опросникам дает результаты по крайней мере не худшие, а даже немного лучшие, чем традиционный способ подсчета. При этом подсчет баллов по опроснику с учетом культурной релевантности входящих в него пунктов дает то очевидное преимущество, что его невозможно фальсифицировать. Это становится особенно важным, когда тестирование происходит в значимой для испытуемого ситуации, и он стремится показать себя с лучшей стороны (например, при приеме на работу). Возможно, именно для таких случаев коррекционные коэффициенты будут иметь наибольшую силу. В то же время не следует ограничиваться описанными выше способами коррекции балла – проведенное исследование предоставляет богатый материал для дальнейшей работы в этом направлении.