Методы структурированной оценки: SWOT анализ, концептуальная карта, цветовое голосование

 
 
 
 

Описание  техники 

• Основа –  взаимодействие нескольких человек;
• Агрегирование индивидуальных точек зрения по определенному вопросу;
• Использовании различных источников информации: документации, исторических записях, более ранних оценках и исследованиях, интервью и т.п.

 
 
 
 

Участники  процесса составления  карт  

Группа (10-20 человек) состоит  обычно из:

• Администраторов различных звеньев
• персонал программы,
• клиенты,
• Представители академического сообщества,
• члены сообществ
• Представителей организаций,
• Лидеров компаний,
• ЛПР,
• Оценщиков,
• Спонсоров и т.п.

 

Роль  модератора (внешний  эксперт или участник  программы) – управление  процедурой – 

Роль  участников –  определение содержания, интерпретация и  применение карты.

 
 
 
 

Основные  этапы составления  концептуальных карт 

• Подготовка  – отбор участников и выбор  фокусов анализа
• Выработка утверждений
• Структурирование утверждений
• Презентация утверждений в виде концептуальных карт
• Интерпретация карт
• Применение карт

 
 
 
 

Шаг 1: Подготовка  

• Отбор участников
• Разработка фокуса исследования: мозговой штурм, общее собрание

 
 
 
 

Шаг 2: Выработка утверждений 

• Мозговой штурм
• Количество утверждений - >100
• Утверждения  слова, краткие формулировки

 
 
 
 

Шаг 3: Структурирование  утверждений 

• Процедура неструктурированной  сортировки карточек
• Комбинирование результатов: таблица или квадратичная матрица
• Индивидуальные матрицы  комбинированные матрицы
• Ранжирование утверждений (Шкала Лайкерта)

 
 
 
 

Структурирование  утверждений: сортировка  карточек

 
 
 
 

Шаг 4: Представление утверждений 

• Проведение  анализа для помещения концепта  на ту или иную точку карты;
• Группировка или разделение утверждений на карте по кластерам, которые отражают более высокие порядки концептуальных группировок изначального блока утверждений;
• Составление карт, которые покрывают утверждения либо по точкам, либо по кластерам.

 
 
 
 

Шаг 4.1: Проведение анализа для расположения точек на карте 

Многомерное  шкалирование – представление  совокупности интересующих исследователя  объекта в виде некоторого  набора точек многомерного пространства  некоторой небольшой размерности, при этом каждому объекту соответствует  одна точка. Координаты точек  истолковываются как значения  неких характеристик исходных  объектов, которые объясняют их  свойства и взаимоотношения.

Неметрическое шкалирование  – использование не оценок  сходства объектов, а результатов  их ранжирования.

 
 
 
 

Шаг 4.2: Кластерный анализ 

Кластерный  анализ – метод, позволяющий разбить изучаемую совокупность объектов на группы «схожих» объектов, кластеров.

Аггломеративная  группировка – начинаем с создания элементарных кластеров, каждый состоит из одного наблюдения, на каждом последующем шаге объединяем два наиболее близких кластеров в один.

 
 
 
 

Шаг 4.3: Составление карты 

Берем усредненные  рейтинги по участникам для  каждого утверждения и кластера. Переносим это графически на  карту – точечную ранжированную  и/или кластерную ранжированную  карту. 

 
 
 
 

Шаг 5: Интерпретация карты 

Используемые материалы:

• Лист утверждений
• Кластерный лист
• Точечная карта
• Кластерная карт
• Точечная ранжированная карта
• Кластерная ранжированная карта

 
 
 
 

Лист  утверждений 

Утверждения, полученный  в процессе мозгового штурма:

1)…

2)…

. …

. …

. …

n)…

 
 
 
 

Лист  кластеров 

• Кластер 1:

1)

13)

2)

75)

78)

• Кластер 2:

3)

4)

51)

52)

91) 
 
 

• Кластер 3:

24)

32)

36)

70)

76)

• Кластер n:

10)

88)

15)

31)

22)

 
 
 
 

Точечная  карта

 
 
 
 

Кластерная  карта

 
 
 
 

Точечная  ранжированная карта

 
 
 
 

Кластерная  ранжированная карта

 
 
 
 

Шаг 6: Применение концептуальной  карты 

• При планировании  проведения оценивания: метод позволяет  акцентировать внимание на ключевых  оценочных ресурсах для достижения  максимальной эффективности программы.
• При выработке консенсуса среди партнеров, заинтересованных в оценке.
• В случае отсутствия ясности по поводу программных целей и ожидаемых результатов, а также критериев изменения ситуации.

 

• Техника оптимальна  на различных этапах:
• В контексте ex ante – для определения основных целей и приоритетов
• В контексте ex post – для оформления критериев эффективности и индикаторов
• В контексте on going evaluation

 
 
 
 

Что  можно концептуализировать? 

• Целевая аудитория
• География
• Тема/содержание программы
• Политический цикл
• Тренды
• Издержки

 
 
 
 

Метод  концептуальных карт: 

Преимущества:

• занимает мало времени
• легкость процесса
• учет большого количества мнений, в т.ч. стэйкхолдеров

 

Недостатки:

• подходит лишь для начального этапа
• громоздкость метода

 
 
 
 

Цветовое  голосование 

• Определение
• Техника проведения
• Pекомендации по применению
• Приемы цветового голосования
• Соединение метода «мозгового штурма» и «цветового голосования»

 
 
 
 

Определение  цветового голосования 

Цветовое  голосование – техника, применяемая  для проведения встреч, основанная  на визуальном представлении  мнений в группе. В ситуации  оценивания, когда вовлечены несколько  участников, оно может быть использовано  для структурирования дискуссии  и коллективной рефлексии, способствуя  выражению всех точек зрения. 

Цветовое  голосование – это инструмент, повышения объективности оценивания  в контексте плюралистического  подхода. Этот метод может быть  применен для прояснения и  классификации вопросов оценивания, выборы критериев оценивания, обоснования  заключения и формулировки рекомендаций.  

 
 
 
 

Техника  проведение цветового  голосования 

Цветовое  голосование - запись всех высказывания  на больших листах бумаги большими  буквами и размещение этих  листов на стене. Рядом с каждым  высказыванием оставляется место  для «голосования». У каждого  из участников обсуждения в  распоряжении имеется некоторое  количество разноцветных стикеров (в зависимости от количества  обсуждаемых высказываний). Каждый  может поместить один или все  стикеры напротив заявления (или  заявлений), с которым больше всего  согласен. 

 
 
 
 

Рекомендации  по применению  

• Количество  высказываний: не более 200;
• Количество участников: не более 50;
• Количество стикеров: общее число стикеров должно примерно совпадать с числом обсуждаемых высказываний (не более 10, не менее 3).

 
 
 
 

Приемы  цветового голосования 

• Оставлять достаточно  места для голосования рядом  с обсуждаемыми высказываниями, разграничивать их горизонтальными  линиями.
• Попросить участников наклеивать стикеры так, чтобы один заходил на другой, в случае голосования несколькими стикерами за одно высказывание одним участником. Тогда по завершении можно будет отследить, сколько человек проголосовало за то или иное высказывание.
• Если представлено несколько типов участников, различным группам выдаются стикеры различных цветов. Это позволяет увидеть различие точек зрения различных категорий участников
• Можно использовать позитивное и негативное голосование. Например, стикеры красного цвета для голосования против, а зеленого – за.
• Можно предложить участникам писать комментарии на стикерах, аргументирующие их позицию.

 
 
 
 

Соединение  метода «мозгового  штурма» и «цветового  голосования» 
 

• Этап 1 - Мозговой  штурм критериев оценки идеи  или решения;
• Этап 2 - Цветовое голосование для определения приоритетных критериев;
• Этап 3 – Определение наиболее удачных решений, присвоение им цветов; 
• Этап 4 - Разделение помеченных и не помеченных стикерами идей, ранжирование;
• Этап 5 – Обсуждение наиболее популярных идей
• Этап 6 – Вынесение окончательного решения