Как рассчитать коэффициент значимости оценки согласованности мнения экспертов

Как рассчитать коэффициент значимости оценки согласованности мнения экспертов.

Для определения взаимосвязи (согласованности) оценок экспертов используют коэффициент конкордации Кендала.

Конкордация Кенделла - это непараметрический статистический тест. Он обычно используется для измерения статистической связи между несколькими выборками. 

Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:

(1)

где:

 S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;
n - число экспертов;
m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 – мнения экспертов не согласованы, 1 – оценки экспертов полностью согласованы.

Очень часто, в литературе, описание коэффициент конкордации Кендала, ограничивается формулами, в которых не учитываются связанные ранги, а критерий ограничивается требованием стремления W к единице, что существенно затрудняет его практическое использование. Тогда как в абсолютном выражении W может оказаться очень малым, но его значение будет статистически значимым для проверки гипотезы о равномерном распределении рангов (согласии ранжировок). Вычисление коэффициента конкордации без введения поправочных коэффициентов и проверки на статистическую значимость, может привести к существенным ошибкам.

Можно выделить 2 ограничения в использовании  коэффициент конкордации  Кендала:

                   невозможность рассчитать согласованность мнений экспертов по каждой переменной в отдельности.

                   коэффициент измеряет согласованность мнений в смысле их коррелированности, но не совпадения.

Пример

Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить).

Таблица 1. Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего:

S = 630. Определяем величину коэффициента конкордации:

W = 12 * 630 / 25 * (343 - 7) = 0,9.