Метод экспертных оценок в маркетинге

     Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

     Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры  и алгоритмы об работки, силы и  средства для проведения обработки.

     В процессе непосредственного проведения опроса экспертов и обработки  его результатов группа управления осуществляет выполнение комплекса  работ в соответствии с разработанным  планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

     Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и  одобрение результатов; представление  итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц. 
 
 
 
 

Глава 2.Формализация и обработка экспертных оценок 

2.1.Обработка  экспертных оценок и задачи  обработки 

     После проведения опроса группы экспертов  осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений.

     Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы. Наличие, как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

     Все множество проблем можно разделить  на два класса. К первому классу относятся проблемы, для решения  которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных. Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным.

     Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго  класса может привести к большим  ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа. Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

     В зависимости от целей экспертного  оценивания и выбранного метода измерения  при обработке результатов опроса возникают следующие основные задачи: 1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов; 2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом; 3) определение относительных весов объектов; 4) определение согласованности мнений экспертов; 5) определение зависимостей между ранжировками; 6) оценка надежности результатов обработки. Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

     При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой  совокупности показателей. Желательно иметь численные значения для  каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

     Обработкой  результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов.

     Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание. Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения.

     При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

     Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.

     При обработке экспертных данных мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно  оценивать и выявлять причины  несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

     Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации — дисперсионный  и энтропийный.

     Дисперсионный коэффициент конкордации принимает  значения от 0 до 1. При 0 — нет согласованности между мнениями экспертов, при 1 — согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.

     Энтропийный коэффициент конкордации (иначе  его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия — большая мера согласованности.

     В случаях, когда мнения экспертов  различаются незначительно, то указанные  выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

     Обработка   экспертных   оценок  позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения – различные цели, а объекты сравнения – средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).

     Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому  одной из важнейших задач процедуры  обработки является определение  их надежности.

     При установлении причинно-следственных зависимостей между объектами предметной области, экспертам в ряде случаев сложно выразить их численно. То есть трудно установить количественно степень влияния той или иной причины (объекта) на конкретное следствие. Особенно психологически это сложно, если таких объектов много.

     Вместе  с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперт устанавливает предпочтения объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все возможные пары объектов, в каждой из них устанавливает ту причину, которая по его мнению оказывает большое влияние на следствие.

     Все методы получения групповых оценок позволяют получить достоверные  результаты в случае хорошо подобранной  группы экспертов и согласованности  их мнений. 
 
 
 
 
 
 
 
 
 

2.2.Формализация  информации 

     Рациональное  использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

     Возможности формализации информации зависят от специфических особенностей исследуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения. Форма представления экспертных данных зависит и от принятого критерия, на выбор которого, в свою очередь, существенное влияние оказывает специфика исследуемой проблемы.

     Формализация  информации, полученной от экспертов, должна быть направлена на подготовку решения таких технико-экономических и хозяйственных задач, которые не могут быть в полной мере описаны математически, поскольку являются «слабоструктурированными», т.е. содержат неопределенности, связанные не только с измерением, но и самим характером исследуемых целей, средств их достижения и внешних условий.

     При анализе перспектив необходимо не только представить в виде косвенных оценок часть информации, не поддающуюся количественному измерению, и не только выразить с помощью таких оценок количественно измеримую информацию, о которой в момент подготовки решения нет достаточно надежных данных. Самое важное – формализовать эту информацию так, чтобы помочь принимающему решение выбрать из множества действий одно или несколько, наиболее предпочтительные в отношении некоторого критерия.

     Если  эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, значит, он обладает определенной системой предпочтений. В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к формализации.

     Исследуемые объекты или явления можно опознавать или различать на основе признаков или факторов. Фактор – это множество, состоящее, по крайней мере, из двух элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин. Уровень одних факторов может быть выражен количественно (в рублях, процентах, килограммах и т.д.) – такие факторы называются количественными. Уровень других нельзя выразить с помощью числа, их называют качественными.

     Факторы условно разделяют на дискретные и непрерывные. Дискретными являются факторы с определенным, обычно небольшим, числом уровней. Факторы, уровни которых рассматриваются как образующие непрерывное множество, называют непрерывными. В зависимости от целей и возможностей анализа одни и те же факторы могут трактоваться или как дискретные, или как непрерывные.

     Рассмотрим  основные логические аксиомы, которые  используются в экспертных методах при формализации информации с помощью различных шкал.

     При использовании номинальных шкал исследуемые объекты можно опознавать и различать на основе трех аксиом идентификации:             

     1)     i либо есть j, либо есть не j;

     2)     если i есть j, то j есть i;

     3)     если i есть j и j есть k, то i есть k.

     Факторы в данном случае выступают как  ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).

     В случаях, когда исследуемые объекты  можно в результате сравнения  расположить в определенной последовательности с учетом какого-либо существенного  фактора(факторов), используются порядковые шкалы, позволяющие устанавливать равноценность или доминирование.

     Использование порядковых шкал позволяет различать  объекты и в тех случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не знаем признака сравнения, но можем частично или полностью упорядочить объекты на основе системы предпочтений, которой обладает эксперт. Любое множество A будем называть упорядоченным, если для любых двух его элементов X и Y установлено, что, либо X  предшествует Y, либо Y предшествует X. Иногда не удается установить строгое предшествование для всех элементов множества, но можно произвести «групповое» упорядочение, когда упорядочиваются подмножества равноценных элементов. Далее можно поставить задачу сравнения и упорядочения этих подмножеств.