Экспертные методы исследования систем управления

     Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:

- профессиональной компетентности в области проектирования организационных систем;

- креативности (умению решать творческие задачи);

- научной интуицией;

- заинтересованности в объективных результатах экспертной работы;

- деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);

- объективности;

- нонконформизма.

     Проведение сбора мнений экспертов предполагает решение следующих вопросов:

- определение места и времени сбора мнений;

- определение формы и методики сбора мнений;

- определение количества туров сбора мнений;

- определение состава и содержательной части документации;

- определение порядка занесения результатов мнений экспертов в документы.

     Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т. е. указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

- анкетирование;

- интервьюирование;

- дискуссия;

- мозговой штурм;

- совещание;

- деловая игра.

     Все они обладают своими достоинствами и недостатками. Во многих случаях оргпроектирования каждая их этих разновидностей используются совместно, что дает нередко большой эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

     Вместе с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.

     Обычно процесс разработки анкеты включает:

- определение формы и содержания обращения к эксперту;

- выбор типа вопросов;

- формулировку вопросов;

- изложение необходимых для эксперта информации;

- разработку формы анкеты.

     Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный — предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый — «да», «нет», «не знаю»; открытый — вопрос, ответ на который может быть дан в произвольно форме).

     Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

     Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений). 
 
 
 
 
 
 
 
 

3. Краткий обзор  экспертных методов.

  

  По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному — последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

     Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов систем управления. Достоинством метода рангов является его простота. Недостатками являются:

- невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15–20;

- не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

     Данный метод применяется в практике исследования систем управления несмотря на свою простоту, довольно редко.

     Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный», и т. п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

     Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

    Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

     При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I — объект 2, объект 2 — объект 3 и т. д.) или в форме матрицы.

     В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

     В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост  и он позволяет исследовать большее  количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

     Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

     Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

      Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

     Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

     При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

     Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации — дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает  значения от 0 до 1. При 0 — нет согласованности между мнениями экспертов, при 1 — согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.

     Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия — большая мера согласованности.

В случаях, когда мнения экспертов различаются  незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

        Концепция мозговой атаки получила широкое распространение с начала 50-х годов как "метод систематической тренировки творческого мышления", направленный на "открытие новых идей и достижение согласия группы людей на основе интуитивного мышления". Методы этого типа известны также под названиями мозгового штурма, конференций идей, коллективной генерации идей (КГЦ).

     Обычно при проведении мозговой атаки, или сессий КГИ, стараются выполнить определенные правила, суть которых сводится к тому, чтобы обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей; для этого рекомендуется приветствовать любые идеи, даже если они вначале кажутся сомнительными или абсурдными (обсуждение и оценка идей проводится позднее), не допускается критика, не объявляется ложной идея и не прекращается обсуждение ни одной идеи. Требуется высказывать как можно больше идей (желательно нетривиальных), стараться создавать как бы цепные реакции идей.

     В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями, методы типа комиссий, судов (когда одна группа вносит как можно больше предложений, а вторая - старается их максимально критиковать) и т.п. В последнее время иногда мозговую атаку проводят в форме деловой игры.

     На практике подобием сессий КГИ являются разного рода совещания - конструктораты, заседания ученых и научных советов, специально создаваемых временных комиссий.