Определение достоверности результатов проведённого опроса

 

 

Базовой статистической характеристикой для определения степени согласованности мнений экспертов является коэффициент конкордации W [33].

В случае строгого ранжирования (отсутствуют критерии, находящиеся на одной позиции) значение W определяется следующим образом:

 

 

(1.18)

 

где r – число критериев, m – число экспертов, – ранг, выставленный j – м экспертом i – му критерию.

 

В случае нестрогого ранжирования:

 

(1.19)

 

 

где – число групп равных рангов, введённых j - м экспертом;

– количество дробных рангов в l - ой группе, введённых j - м экспертом.

 

Значение W находится в пределах , причём, случай

W = 0 означает полную противоположность, а

W = 1 – полное совпадение ранжировок.

Практически, достоверность экспертного опроса считается хорошей, если

 

.

 

Б. Метод непосредственной численной оценки

В качестве степени согласованности служит дисперсия:

(1.20)

где – веса экспертов,

(при отсутствии информации о компетентности экспертов можно считать

), – оценка j -го эксперта.

При решении многокритериальной задачи соответствующие оценки дисперсии (1.20) могут быть получены по каждому из критериев.

Используя распределение Стьюдента [33], можно определить статистическую значимость результатов и построить соответствующие доверительные интервалы.

Если выбранные критерии согласованности не выполнены, то необходимы повторные экспертизы либо с расширением числа участников, либо с представлением экспертам дополнительной информации. Кроме того, в этом случае должны быть приняты специальные организационные меры, чтобы обеспечить достаточную достоверность результатов.

Соответствующие правила и процедуры, конечно, во многом зависят от содержания конкретных экспертиз, но тем не менее может быть высказан целый ряд общих соображений, которые достаточно хорошо сформулированы в методе «Дельфы» [31]. Данный метод широко использовался в США для решения разнообразных политических, экономических, социальных и военных проблем.

Метод получил название по имени древнегреческого города Дельфы, где по преданию находился известный дельфийский оракул.

 

Метод Дельфы содержит серию рекомендаций.

 

1. Экспертами могут быть только признанные специалисты в соответствующей области.

 

2. Так как каждый эксперт может ошибаться, то только мнение достаточно большого числа экспертов может удовлетворительно охарактеризовать исследуемый вопрос.

 

3. Вопросы, которые ставятся экспертам, должны быть относительно просты и поставлены настолько чётко, чтобы исключить неоднозначность толкования.

 

4. Исключаются открытые дискуссии, но допускается процедура получения и анализа экспертами дополнительной информации.

 

5. Лица, организующие экспертизы, должны проявлять большой такт, чтобы в максимальной степени исключить влияние организаторов опроса на мнение экспертов.

Построение результирующей оценки

 

Пусть в результате выбранной процедуры опроса построена матрица

 

 

где r – число критериев, m – число экспертов, – мнение j – го эксперта об относительной ценности i –го критерия.

Процедура построения результирующей оценки зависит от процедуры проведения опроса.

 

Ранжирование

 

 

Для построения средней оценки вводится в соответствии с [33] понятие расстояния между ранжировками проведёнными k –ым и l –ым экспертами:

 

. (1.21)

При наличии m ранжировок , проведённых m экспертами, результирующей считается та сумма расстояний от которой до исходных есть величина наименьшая из всех возможных. Такая ранжировка называется медианой Кемени.

Медиана Кемени находится из задачи минимизации по всем возможным ранжировкам из множества R (таких ранжировок r!) суммы расстояний от r до , т.е. определяется формулой:

, (1.22)

 

где m – число экспертов,

– ранжировка на множестве критериев, проведённая j -м экспертом.

 

Наряду с принципом Кемени, для выбора результирующего ранжирования часто используется принцип большинства. Он состоит в следующем: на первое место в результирующую ранжировку попадает критерий, который большинство экспертов поставили на первое место, на второе – критерий, который поставили на второе и т. д.

Однако, как показано в [33], данный принцип в отличие от принципа Кемени не всегда приводит к выбору наилучшего решения.