Структуризация методов исследования систем управления

В априорных  методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов  относятся:

• метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);
• метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;
• дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;
• методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;
• документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.

Апостериорные методы оценки качества эксперта базируются на использовании информации о его  суждениях, имевших место в экспертизах, проведенных с его участием. К  таким методам относятся:

• метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;
• метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.

Тестовые  методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также  выявление наличия необходимых  навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового  эксперимента необходимо выполнение следующих  условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить  степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.

Если  оценка компетентности экспертов может  носить количественный характер, то такие характеристики как креативности (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.

Поскольку при подборе экспертов используется определенное множество характеристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.

4. Характеристики основных экспертных методов в исследовании систем управления

 

Наиболее  широко в исследовании систем управления, как правило, используются экспертные методы. Как научный способ экспертный метод был разработан сравнительно недавно и впервые он получил  название "Дельфи". В дальнейшем были разработаны другие аналогичные  методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных  с прогнозированием в области  науки и техники, а затем они  стали применяться в других областях, в том числе в управлении.

Сущность  экспертных методов, как при решении  задач исследования систем управления, так и при использовании их в практике принятия решений в  других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов  по рассматриваемым вопросам.

Наиболее  распространенными экспертными  методами при классификации по признаку оценки предпочтений в настоящее время при принятии решений по управлению являются следующие:

- метод  рангов;

- метод  непосредственного оценивания;

- метод  сопоставлений.

Последний метод включает две его разновидности:

1) парного  сравнения;

2) последовательного  сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в  том, что оценивание (измерение) изучаемых  объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными  достоинствами и недостатками.

Общность  каждого из методов заключается  в последовательности проведения процедур их использования.

К ним  следует отнести:

- организацию  экспертного оценивания;

- проведение  сбора мнений экспертов;

- обработку  результатов мнений экспертов.

Практика  показывает, что уменьшение субъективности и соответственно повышение объективности  результатов использования экспертных методов существенно зависит  от соблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит, в первую очередь, от организации экспертного оценивания, назначения ответственного за организацию  и проведение работ по экспертной оценке, а также от формирования экспертных комиссий.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и  экспертную.

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов  работы экспертов и т.п.

В экспертную группу входят эксперты - специалисты  по решаемым проблемам.

Формирование  экспертной осуществляет руководитель (организатор) рабочей группы. При  этом выполняется ряд последовательных мероприятий:

- постановку  проблемы и определение области  деятельности группы;

- составление  предварительного списка экспертов  - специалистов в рассматриваемой  области деятельности;

- анализ  качественного состава предварительного  списка экспертов и уточнение  списка;

- получение  согласия эксперта для участия  в работе;

- составление  окончательного списка экспертной  группы.

Количество  экспертов в экспертной группе зависит  от множества факторов и условий. В частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа  приглашаемых экспертов.

Подбор  конкретных экспертов проводится на основе анализа качества каждого  из предлагаемых экспертов. Используются для этой цели разнообразные способы:

- оценка  кандидатов в эксперты на основе  статистического анализа результатов  прошлой деятельности в качестве  экспертов по проблемам оргпроектирования;

- коллективная  оценка кандидата в эксперты  как специалиста в данной области;

- самооценка  кандидата в эксперты;

- аналитическое  определение компетентности кандидатов  в эксперты.

Очень часто  применяют одновременно несколько  способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо  от избранного способа оценки качеств  кандидатов эксперты должны удовлетворять  во всех случаях таким требованиям  как:

- профессиональной  компетентности в области проектирования  организационных систем;

- креативности (умению решать творческие задачи);

- научной  интуицией;

- заинтересованности  в объективных результатах экспертной  работы;

- деловитости  (собранности, умению переключаться  с одного вида деятельности  на другой, коммуникативности, независимости  суждений, мотивированности действий);

- объективности;

- нонконформизма.

Проведение  сбора мнений экспертов предполагает решение следующих вопросов:

1) определение  места и времени сбора мнений;

2) определение  формы и методики сбора мнений;

3) определение  количества туров сбора мнений;

4) определение  состава и содержательной части  документации;

5) определение  порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора  мнений экспертов. Среди всех известных  форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

- анкетирование;

- интервьюирование;

- дискуссия;

- мозговой  штурм;

- совещание;

- деловая  игра.

Все они  обладают своими достоинствами и  недостатками. Во многих случаях оргпроектирования  каждая их этих разновидностей используются совместно, что дает нередко большой  эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой  неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов  при коллективном обсуждении.

Вместе  с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.

Обычно  процесс разработки анкеты включает:

- определение  формы и содержания обращения  к эксперту;

- выбор  типа вопросов;

- формулировку  вопросов;

- изложение  необходимых для эксперта информации;

- разработку  формы анкеты.

Представляет  интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного  заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может  быть дан в произвольно форме).

Очень важно  при анкетировании экспертов  правильно, просто и однозначно, кратко и в то же время с необходимой  полнотой сформулировать вопросы в  анкетах, а в тексте пояснительной  записки указать, что конкретно  требуется от эксперта.

Для ответов  на вопросы, то есть для принятия решения  каждым экспертом, проводятся объективные  и (или) субъективные измерения рассматриваемого объекта в явном или неявном  виде. При субъективном измерении  эксперты, как правило, применяют  один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости  от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному  объекту присваивается ранг 1, а  наименее предпочтительному - последний  ранг, равный по абсолютной величине числу  упорядочиваемых объектов. Более  точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди  других объектов систем управления.

Достоинством  метода рангов является его простота.

Недостатками  являются:

- невозможность  с достаточной точностью ранжировать  количество объектов, количество  которых превышает 15-20;

- не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный  метод применяется в практике исследования систем управления несмотря на свою простоту, довольно редко.