Если имеется
группа лиц, компетентность которых в данной области не вызывает сомнений, то
можно опросить каждого из экспертов, предложив им расположить цели по
важности или “проранжировать” их. В простейшем случае можно не разрешать повторять
ранги, хотя это не обязательно — повторение рангов всегда можно учесть.
Результаты
экспертной оценки в нашем примере представим таблицей рангов целей:
Таблица 3.2
Эксперты
1
2
3
4
5
6
7
8
9
10
Сумма
A
3
5
1
8
7
10
9
2
4
6
55
B
5
1
2
6
8
9
10
3
4
7
55
Сумма рангов
8
6
3
14
15
19
19
5
8
13
Суммарный ранг
4.5
3
1
7
8
9.5
9.5
2
4.5
6
55
Итак, для
каждой из целей Ti мы можем найти сумму рангов, определенных
экспертами, и затем суммарный или результирующий ранг целиRi. Если суммы рангов совпадают — назначается среднее
значение.
Метод ранговой
корреляции позволяет ответить на вопрос — насколько коррелированны, неслучайны
ранжировки каждого из двух экспертов, а значит — насколько можно доверять
результирующим рангам? Как обычно, выдвигается основная гипотеза — об отсутствии
связи между ранжировками и устанавливается вероятность справедливости
этой гипотезы. Для этого можно использовать два подхода: определение
коэффициентов ранговой корреляции Спирмэна или Кендэлла.
Более простым в
реализации является первый — вычисляется значение коэффициента Спирмэна
Rs =1- ; {3 - 9}
где di определяются
разностями рангов первой и второй ранжировок по n
объектов в каждой.
В нашем примере
сумма квадратов разностей рангов составляет 30, а коэффициент корреляции
Спирмэна около 0.8, что дает значение вероятности гипотезы о полной независимости
двух ранжировок всего лишь 0.004.
При небходимости
можно воспользоваться услугами группы из mэкспертов, установить
результирующие ранги целей, но тогда возникнет вопрос о согласованности мнений
этих экспертов или конкордации.
Пусть у нас
имеются ранжировки 4 экспертов по отношению к 6 факторам, которые определяют
эффективность некоторой системы.
Таблица 3.3
Факторы -->
Эксперты
1
2
3
4
5
6
Сумма
A
5
4
1
6
3
2
21
B
2
3
1
5
6
4
21
C
4
1
6
3
2
5
21
D
4
3
2
3
2
5
21
Сумма рангов
Сум. ранг
15
4
11
2
10
1
19
6
12
3
17
5
84
Отклонение
суммы
от среднего
+1
1
-3
9
-4
16
+5
25
-2
4
+3
9
0
64
Заметим, что
полная сумма рангов составляет 84, что дает в среднем по 14 на фактор.
Для общего
случая n факторов и m экспертов среднее значение суммы рангов
для любого фактора определится выражением
D{3 - 10}
Теперь можно
оценить степень согласованности мнений экспертов по отношению к шести
факторам. Для каждого из факторов наблюдается отклонение суммы рангов, указанных
экспертами, от среднего значения такой суммы. Поскольку сумма этих отклонений
всегда равна нулю, для их усреднения разумно использовать квадраты значений.
В нашем случае
сумма таких квадратов составит S= 64, а в общем случае эта сумма будет
наибольшей только при полном совпадении мнений всех экспертов по отношению ко
всем факторам:
Smax{3
- 11}
М. Кэндэллом
предложен показатель согласованности или коэффициент конкордации,
определяемый как
{3
- 12}
В нашем примере
значение коэффициента конкордации составляет около 0.229, что при четырех
экспертах и шести факторах достаточно, чтобы с вероятностью не более 0.05
считать мнения экспертов несогласованными. Дело в том, что как раз случайность
ранжировок, их некоррелированность просчитывается достаточно просто. Так для
нашего примера указанная вероятность соответствует сумме квадратов отклонений
S= 143.3 , что намного больше 64.
В заключение
вопроса об особенностях метода экспертных оценок в системном анализе отметим
еще два обстоятельства.
В первом примере мы получили результирующие ранги 10
целей функционирования некоторой системы. Как воспользоваться этой результируюзей
ранжировкой? Как перейти от ранговой (Ord) шкалы целей к шкале весовых
коэффициентов — в диапазоне от 0 до 1?
Здесь обычно
используются элементарные приемы нормирования. Если цель 3 имеет ранг 1, цель
8 имеет ранг 2 и т. д., а сумма рангов составляет 55, то весовой коэффициент
для цели 3 будет наибольшим и сумма весов всех 10 целей составит 1.
Вес
цели придется определять как
(11-1) / 55 для
3 цели;
(11-2) / 55 для
8 цели и т. д.
При использовании групповой экспертной оценки можно не
только выяснять мнение экспертов о показателях, необходимых для системного
анализа. Очень часто в подобных ситуациях используют так называемый метод
Дельфы (от легенды о дельфийском оракуле).
Опрос экспертов
проводят в несколько этапов, как правило — анонимно. После очередного этапа от
эксперта требуется не просто ранжировка, но и ее обоснование. Эти обоснования
сообщаются всем экспертам перед очередным этапом без указания авторов обоснований.
Имеющийся опыт
свидетельствует о возможностях существенно повысить представительность,
обоснованность и, главное, достоверность суждений экспертов. В качестве
“побочного эффекта” можно составить мнение о профессиональности каждого
эксперта.
Как уже отмечалось в первой части нашего
курса, в большинстве реальных больших систем не обойтись без учета “состояний
природы” — воздействий стохастического типа, случайных величин или
случайных событий. Это могут быть не только внешние воздействия на
систему в целом или на отдельные ее элементы. Очень часто и внутренние
системные связи имеют такую же, “случайную” природу.
Важно понять, что стохастичность связей между
элементами системы и уж тем более внутри самого элемента (связь “вход-выход”)
является основной причиной риска выполнить вместо системного анализа
совершенно бессмысленную работу, получить в качестве рекомендаций по управлению
системой заведомо непригодные решения.
Выше уже оговаривалось, что в таких случаях вместо самой случайной
величины X приходится использовать ее математическое
ожи-дание Mx. Все вроде бы просто — не знаем, так ожидаем. Но насколько
оправданы наши ожидания? Какова уверенность или какова вероятность ошибиться?
Такие вопросы решаются, ответы на них получить можно — но для
этого надо иметь информацию о законе распределения СВ. Вот и приходится на
данном этапе системного анализа (этапе моделирования) заниматься
статистического исследованиями, пытаться получить ответы на вопросы:
· А не является ли данный элемент системы и
производимые им операции “классическими”?
· Нет ли оснований использовать теорию для
определения типа распределения СВ (продукции, денег или информационных
сообщений)? Если это так — можно надеяться на оценки ошибок при принятии
решений, если же это не так, то приходится ставить вопрос иначе.
· А нельзя ли получить искомое распределение
интересующей нас СВ из данных эксперимента? Если этот эксперимент обойдется дорого
или физически невозможен, или недопустим по моральным причинам, то может быть
“для рагу из зайца использовать хотя бы кошку” — воспользоваться
апостериорными данными, опытом прошлого или предсказаниями на будущее,
экспертными оценками?
Если и здесь нет оснований принимать положительное решение, то
можно надеяться еще на один выход из положения.
Не всегда, но все же возможно использовать текущее состояние
уже действующей большой системы, ее реальную “жизнь” для получения глобальных
показателей функционирования системы.
Этой цели служат методы планирования эксперимента, теоретической
и методологической основой которых является особая область системного анализа —
т. н. факторный анализ, сущность которого будет освещена несколько позже.
Достаточно часто при анализе экономических систем приходится
решать т. н. задачи массового обслуживания, возникающие в следующей ситуации.
Пусть анализируется система технического обслужи-вания автомобилей, состоящая
из некоторого количества станций различной мощности. На каждой из станций
(элементе системы) могут возникать, по крайней мере, две типичных ситуации:
· число заявок слишком велико для данной мощности
станции, возникают очереди и за задержки в обслуживании приходится платить;
· на станцию поступает слишком мало заявок и теперь уже
приходится учитывать потери, вызванные простоем станции.
Ясно, что цель системного анализа в данном случае
заключается в определении некоторого соотношения между потерями доходов по
причине очередей и потерями по причине простоя станций. Такого соотношения,
при котором математическое ожидание суммарных потерь окажется минимальным.
Так вот, специальный раздел теории систем — теория
массового обслуживания, позволяет
· использовать методику определения средней длины
очереди и среднего времени ожидания заказа в тех случаях, когда скорость поступления
заказов и время их выполнения заданы;
· найти оптимальное соотношение между издержками по
причине ожидания в очереди и издержками простоя станций обслуживания;
· установить оптимальные стратегии обслуживания.
Обратим внимание
на главную особенность такого подхода к задаче системного анализа — явную
зависимость результатов анализа и получаемых рекомендаций от двух внешних
факторов: частоты поступления и сложности заказов (а значит — времени их исполнения).
