Идёт процесс вычислений ...

Загрузка данных экспертной оценки в рамках проекта-конкурса МОНЭКС.
Выбор группы экспертов
Исключение экспертов: кликните на эксперте и нажмите [Del], чтобы исключить эксперта. Удерживайте кнопку [Ctrl] для выбора нескольких экспертов. Добавление экспертов: кликните на поле с экспертами и в выпадающем меню-списке выберите эксперта.

MONEX-online ver 0.83 07.09.2015 built using R & Shiny.

Для связи с автором приложения:

История проекта

Если что-то существует, оно обязательно существует в каком-то количестве – и, следовательно, может быть измерено – Терстоун (1938)

Проект Многокритериальной ОНлайн-ЭКСпертизы (далее – МОНЭКС) направлен на повышение качества психодиагностических методик, применяемых в Российской Федерации, а также на появление и поддержание действующего на постоянной основе профессионального сообщества высококвалифицированных экспертов в сфере психологической диагностики, выполняющих объективную и независимую оценку качественных и психометрических характеристик психодиагностических методик.

Идея проекта МОНЭКС базируется на опыте, приобретенном экспертным сообществом психологов-диагностов в результате работы по подготовке и изданию двух томов «Ежегодника рецензий и обзоров» (редакторы - Н.А.Батурин и Е.В.Эйдман), а также на материалах пятилетнего опыта дискуссий в онлайн-режиме, проводившихся в рамках Интернет-сообщества психологов-диагностов.

В июне 2014 проведена демонстрационная экспертиза и обсуждение методики Р.Кеттелла (16PF форма С, адаптация А.Н. Капустиной). Краткий анализ и описание результатов подготовлены А.Г. Виноградовым с использованием R.

В сентябре 2014 проведена экспертиза двух методик: 1 октября 2014 были опубликованы официальные результаты экспертизы , а также неофициальные методические результаты (с участием экспертов «вне конкурса»).

Онлайн-приложение MONEX

Веб-приложение MОНЭКС разработано Ю.А. Тукачевым с помощью фреймворка Shiny для языка статистических вычислений R и предназначено для интерактивного анализа и визуализации данных экспертной оценки методик. В настоящее время достуны данные по 9 методикам: 16PF, СРНИ, МФА, МИГ-ТС-2, SATS-34, Опросник ЭКДЭ, ОТУ: Наркотик, Ситуационный тест продаж (СТП) и Профориентатор.

Полезные ссылки:

1. Положение о МОНЭКС

2. МОНЭКС: полная информация о проекте

3. Информация для потенциальных экспертов

4. Информация для авторов (правообладателей) психодиагностических методик

5. Раздел "Измерение, диагностика, оценка" форума ЭСПП

6. Российский стандарт тестирования персонала (версия 1.3)

7. Коллективный Указатель "Методика-Автор"(КУМА)

8. Официальный сайт книги А.Г. Шмелева "Практическая тестология"

Поддержите наш проект

Проект «МОНЭКС» продолжает динамично развиваться, и перед ним встают новые задачи. Одной из таковых на данном этапе является развитие официального сайта http://monex-online.ru и веб-приложения MONEX для интерактивного анализа и визуализации данных экспертиз.

В настоящее время проект развивается только за счет частных пожертвований на проведение экспертизы. Организаторы проекта не получают заработную плату или какое-либо вознаграждение за свои усилия. Вместе с тем, у проекта есть текущие расходы, связанные с оплатой доменного имени и хостинга сайта.

Мы будем благодарны, если вы поддержите проект любым из способов:

1. Перевод на яндекс-кошелек 41001358931204 (воспользуйтесь формой ниже)

2. Перевод на счет в системе webmoney: R448704932126

Если Вы хотите выступить спонсором одного из туров экспертиз, то свяжитесь, пожалуйста, с одним из менеджеров проекта: kozjak@monex-online.ru (Козяк Анастасия Александровна), tukachev@monex-online.ru (Тукачев Юрий Александрович).

Матрица оценок экспертов по критериям


Эксперты оценивали методику по 20 критериям, используя трехбалльную шкалу. Перечень критериев приводится ниже.

Описание 20 критериев

К01 Описание назначения и сферы применения методики

К02 Теоретическое обоснование диагностических конструктов

К03 Лицензионная чистота методики (явное разрешение на адаптацию в случае адаптации)

К04 Описание процедуры проведения (инструкция, задания, правила их решения)

К05 Описание обработки и интерпретации результатов

К06 Описание последовательности этапов разработки (логичная последовательность)

К07 Описание выборок (апробационной, пилотной, стандартизации, применения)

К08 Проверка надежности-однородности диагностических шкал (IRT-анализ)

К09 Проверка ретестовой (диахронной) надежности

К10 Экспертная оценка валидности по содержанию (содержания заданий)

К11 Внутренняя валидизация пунктов и шкал (ф-анализ, структурное моделирование)

К12 Внешняя конструктная валидизация с другими методиками (конверг-дискрим. анализ)

К13 Проверка внешней эмпирико-прагматической валидности шкал (по известным группам)

К14 Проверка прогностической валидности (по будущим критериальным событиям)

К15 Проверка репрезентативности (нормальности) тестовых норм

К16 Обеспечение достоверности (защищенности от фальсификаций и мотив. искажений)

К17 Наличие примеров и образцов интерпретации (типовые профили и их интерпретация)

К18 Компьютеризация методики и сопутствующие технологии

К19 Проработка сопряжения с практическими задами (отбор, консультирование, тренинг)

К20 Репутационный капитал (рецензии экспертов, отзывы пользователей и т.п.)

Усредненный профиль по критериям К1...К20 (по экспертам)

Индекс согласованности (r.wg) предложенный James, L. R., Demaree, R. G., & Wolfe, G. (1984). Он основан на сравнении наблюдаемой дисперсии экспертных оценок с дисперсией, которую можно было бы наблюдать, если бы эксперты выставляли баллы случайным образом. Индекс равняется единице, когда имеет место полное согласие экспертов (все видят одно и то же). Если же оценки распределены равномерно по всей шкале, то он будет стремиться к нулю. Для измерения степени согласованности по всей совокупности критериев используется модификация индекса rwg(J), предложенная Линделлом и Брандтом (1997). В этом показателе сравнивается усредненная по всем критериям дисперсия экспертных оценок с дисперсией равномерно распределенных баллов.

James, L.R., Demaree, R.G., & Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Journal of Applied Psychology, 69, 85-98.

Lindell, M. K. , & Brandt, C. J. (1997). Measuring interrater agreement for ratings of a single target. Applied Psychological Measurement , 21,271–278.


Результаты иерархического кластерного анализа (мера различия – евклидово расстояние, объединение кластеров по методу Уорда)


Выбор кластерного решения

Настройки кластерного анализа

Участие экспертов в экспертизах по методикам

Распределение среднего коэффициента согласованности экспертов по всем экспертизам

Рейтинг экспертов


Загрузка файла с рейтингом:

Загрузить рейтинг

Средний ранг: усредненое значение результативности (места) эксперта по всем экспертизам.

Средняя согласованность: усредненное значение согласованности эксперта по всем экспертизам.

Рейтинг-балл: итоговый балл эксперта с учетом активности в экспертизах.

Ранг: место эксперта в рейтинге в зависимости от рейтинг-балла.