Метод экспертных оценок в маркетинге

     Практика  свидетельствует, что оптимальное  число экспертов составляет 7-12 высококвалифицированных  специалистов.

     Экспертные  оценки могут осуществляться путем  использования следующих подходов:

     -открытое  обсуждение поставленных вопросов  с последующим открытым или закрытым голосованием;

     -закрытое  обсуждение с последующим закрытым  голосованием или заполнением  анкет экспертного спроса;

     -свободные  высказывания без обсуждения  и голосования.

     Экспертная  оценка - это оценка исследуемых  процессов квалифицированными специалистами - экспертами. Подобная оценка особенно необходима, когда невозможно получит непосредственную информацию о каком-либо процессе или явлении. На практике для проведения экспертных оценок  применяют:

• Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.
• Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.
• Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.
• Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.
• Экспертное фокусирование. Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, "фокусируются" на ней. Основная цель - выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего "бреда".
• Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.
• Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.
• Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.
• Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".
• "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.
• "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.
• Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо".
• Синектика считается методом с высоким творческим потенциалом. Идея метода заключается в постепенном отчуждении исходной проблемы путем построения аналогий с другими областями знаний. После многоступенчатых аналогий производится быстрый возврат к исходной задаче.

     Каждый  из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

     Независимо  от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов. При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы. 
 
 
 

1.3.Подбор экспертов 

     Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:
• уровень и профиль образования,
• профиль работы (связь с данной предметной областью),
• опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),
• уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),
• количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.
2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).
3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:
• коммуникативные навыки,
• способность к совместному творчеству,
• гибкость ума,
• нонконформизм.

     При оценивании экспертов по названным  критериям и выборе экспертов  могут использоваться следующие  процедуры:

1. Самооценка экспертов по объективным параметрам.
2. Взаимная оценка экспертов.
3. Оценка экспертов независимыми специалистами.
4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

     Наиболее  предпочтительным является отбор экспертов  на основе независимой квалифицированной  оценки с поправкой на качество ранее  сделанных экспертиз. 
 

1.4.Опрос экспертов 

     Опрос главный этап совместной работы группы управления и экспертов. Основным содержанием опроса является: - постановка задачи и предъявление вопросов экспертам; - информационное обеспечение работы экспертов; - выработка экспертами суждений, оценок, предложений; - сбор результатов работы экспертов.

     Можно назвать три типа задач, которые решаются в процессе опроса: - оценка качественная или количественная заданных объектов; - построение новых объектов; - построение и оценка новых объектов. При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

     Анкетирование может проводиться с обратной связью или без нее. При анкетировании  с обратной связью опрос экспертов  производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

     Главным в организации опроса является обеспечение  максимума информации и максимума  творческой активности, самостоятельности  эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности. Однако возможности эксперта по переработке информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении.

     Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме.

     Из  этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

     Необходимо  подчеркнуть противоречивость значения обмена экспертами информацией, так  как получение такой информации таит опасность потери творческой независимости  в построении модели объекта экспертом. Разрешение этого противоречия в  полной мере невозможно, и при каждой экспертизе ее организаторы должны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспертов.

     Каждый  из видов опроса имеет свои достоинства  и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются: - цель и задачи экспертизы; - существо и сложность анализируемой проблемы; - полнота и достоверность исходной информации; - требуемые объем и достоверность информации, получаемой в результате опроса; - время, отведенное на опрос и экспертизу в целом; - допустимая стоимость опроса, и экспертизы в целом; - количество экспертов и членов группы управления, их характеристики.

     Анкетирование является наиболее эффективным и  самым распространенным видом опроса, ибо позволяет наилучшим образом  сочетать информационное обеспечение  экспертов с их самостоятельным  творчеством. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

1.5.Организация экспертного оценивания 

     Для реализации процедуры экспертного  оценивания необходимо сформировать группу экспертов. Общим требованием при  формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее. Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным.

     Предпосылками использования экспертизы являются:

- Недостаточность  и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;

- Вероятностный  характер объекта информации;

- Сложность  и новизна проблем.

Организация экспертизы проводится в несколько  этапов:

1. Определение целей и задач экспертизы.

2. Выбор  процедуры проведения экспертизы.

3. Отбор  и формирование группы экспертов.

4. Организация  самой процедуры экспертизы;

5. Обработка  информации.

6. Принятие  решения по результатам экспертизы.

     Сначала ставится проблема - определяется предыстория, рассматриваются доводы в пользу ее решения, происходит обсуждение со всеми заинтересованными лицами. Главное здесь - распознать мнимые проблемы. Поэтому при постановке проблемы необходима гласность и обсуждение.

     После того как проблема обоснована определяются границы ее существования, совокупность внутренних и внешних факторов, влияющих на проблему. Для этого выделяется центральный вопрос и расщепляется на подвопросы. При этом пытаются ограничить поле только теми вопросами, без которых нельзя получить ответ на центральный вопрос. Далее формулируются цели и задачи реализации выбранной проблемы. Таким образом, выбираются главные события, факторы, центральные и второстепенные вопросы.

     Первым  этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

     Для подготовки этого документа, а также  для руководства всей работой  назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.

     После формирования группа управления осуществляет работу по подбору экспертной группы примерно в та кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.