Экспертный метод.

1.4. Пороговые значения определяются на основании мнений групп экспертов.

Достоинство метода – простота и гибкость, так как процедура оценки позволяет анализировать разнородные показатели и в любом количестве.

Однако результаты оценки во многом зависят от квалификации и опыта оценщика. Поэтому определяющим моментом и главной проблемой данного метода является отбор компетентных сотрудников и/или поиск экспертов, которым будет поручена оценка потенциала.

Экспертный метод - это комплекс логических и математико-статистических методов и процедур, связанных с деятельностью экспертов по переработке необходимой для анализа и принятия решений информации.

В практической деятельности по изучению и прогнозированию спроса метод экспертных оценок может быть использован для решения следующих задач: 1) Разработка средне- и долгосрочных прогнозов групповой структуры спроса на товары народного потребления. 2) Прогнозирование внутригрупповой (в развернутом ассортименте) структуры спроса на предстоящий хозяйственный год. 3) Определение групп потенциальных потребителей. 4) Оценка величины неудовлетворенного спроса по группам, видам и разновидностям товаров.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Как сформировать группу экспертов? На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями “высокий”, “средний” и “низкий”. При этом первой позиции присваивается числовое значение “1”, второй – “0,5”, третий – “0”. В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле.

Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5 и выше –1.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они иеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политииков, эономистов.

Прогноз. В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых эспертами. Действительно, взможно ли использовать дя пракических целей, скажем, мнение тидцати экспертов, если они включают 5-7 взаимоисключающих прогностических оценок? Далее достоверность данных в массовом опросе как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений.

В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приёмы, широко используемые в массовых опросах, теряют свою значимость при опросе такой спецефической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить “скрытые” позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе.

В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода.

Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Оценка степени достоверности результатов массовых опросов. В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.

Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете репондента. Задача эксперта – с учётом объективной ситуации и интересующих исследователя факторов всказать по поставленным вопросам непредвзятую, весторонне взвешенную оценку.

Аттестация членов коллектива. В последние годы в практике исследования состояния идейно-воспитательной работы широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.

ЭТАПЫ:

1. Постановка задачи

2. Технология организации экспертного анализа

3. Формирование экспертной комиссии

4. Организация экспертного опроса

5. Формальные методы описания предпочтений объектов

6. Формальные методы определения предпочтений

7. Математические методы обработки результатов экспертизы

8. Оценка согласованности экспертов

В процессе управления производственной системой непрерывно возникают ситуации, когда руководители различных уровней (от мастера до министра) сталкиваются с необходимостью выбора какого-либо одного из нескольких возможных вариантов действий. Выработка и принятие решения – узловая процедура в деятельности руководителя, которая определяет весь дальнейший ход процесса управления, в особенности конечный результат управленческой деятельности.

Многие факторы, определяющие или влияющие на выбор решения, по своей природе не поддаются количественной характеристике, другие - практически не могут быть измерены. Все это сделало необходимой разработку специальных методов, облегчающих выбор управленческих решений в сложных технических, организационных, экономических задачах (методы исследования операций, экспертные оценки и др.).

1.4. Ранжирование как метод коллективных экспертных оценок . Суть процедуры заключается в следующем: экспертам (специалистам в исследуемой области) предлагается провести ранжирование (расположение явлений в порядке возрастания (убывания) значимости) некоторых явлений (ценообразующих факторов). При этом каждому явлению (фактору) присваивается свой ранг (порядковое место явления (фактора) в общей последовательности факторов). Ранги принято обозначать порядковыми числами натурального ряда (1, 2, 3, 4 ……). При этом ранг 1 присваивается наиболее значимому фактору.

Сумма рангов, проставленных экспертом по всем факторам может быть вычислена по следующей формуле:

ri – ранг, поставленный i-ому фактору;

m – число исследуемых явления (факторов).

Суммы рангов проставленных каждым экспертом должны быть равны. Если же эксперт присваивает двум (трем и так далее) различным явлениям одинаковые ранги, т.е. считает два явления (фактора) равнозначными (связанные ранги), то суммы рангов проставленные каждым экспертом не будут совпадать

что в свою очередь не позволить произвести дальнейшие расчеты.

Для избежания нарушения выше представленного равенства, оценщику, проводящему экспертизу, необходимо произвести пересчет таких рангов, в так называемые стандартизированные ранги. Расчет осуществляется путем деления суммы мест, занимаемых связанными рангами, на их число. Пример расчета представлен в таблице 1.

В итоге мы получаем нормальную ранжировку, для которой выполнено основное условия ранжирования (1).

Далее по каждому явлению подсчитывается сумма рангов, проставленных каждым экспертам. Явлению (фактору), который получил наименьшую сумму рангов, присваивается соответственного ранг 1 и т.д. Если на данном этапе для некоторых явления суммы рангов совпадут, то необходимо снова произвести процедуру стандартизации рангов, но уже по рангам, полученным путем суммирования оценок экспертов. Пример ранжирования представлен в таблице 2. Необходимо отметить, что число экспертов (d) должно быть как минимум на 1 больше, чем число исследуемых факторов (m).

Факторы
Эксперт								сумма
Стандартизированные ранги
		3,5	3,5
			4,5		4,5
			4,5		4,5
Сумма рангов (r1)		23,5	31,5
Ранги факторов (R)
Стандартизированные итоговые ранги	1,5			1,5		6,5	6,5

Получение рангов позволяет произвести дальнейшие расчеты весовых коэффициентов для каждого ценообразующего фактора при проведении корректировок в квалиметрических моделях и других методах сравнительного подхода. Однако окончательный вывод о возможности использования коллективного мнения экспертов возможно после определения согласованности мнений экспертов. Проверку согласованности мнений осуществляют с помощью коэффициента конкордации (согласия). Расчет коэффициента осуществляет по следующей формуле:

где,
m – количество оцениваемых факторов;
d – число экспертов;
Ri – сумма рангов по i-ому фактору (явлению);

Чем ближе значение коэффициента к 1, тем выше согласованность. Приемлемость полученных экспертных оценок определяется путем сравнения критерия значимости x2факт=d*(m-1)*W с табличным значением x2табл. при степенях свободы (m-1) и заданной вероятностью (например: Pо = 0,05, P=1-Po). Если полученное расчетным путем значение равно или выше табличного, то коэффициент конкордации существенен и с надежностью 0,95, мнения экспертов согласованны. Табличные значения критерия значимости представлены в таблице 3.

m-1	P0		m-2	P0
0,05	0,01	0,001	0,05		0,001
	3,84	6,63	10,83		26,3		39,25
	5,99	9,21	13,81		27,59	33,41	40,79
	7,81		16,27		28,87	34,8	42,31
	9,49	13,28	18,46		30,14	36,19	43,82
	11,07	15,09	20,52		31,41	37,57	45,31
	12,59	16,81	22,46		32,67	38,93	46,8
	14,07	18,47	24,32		33,92	40,29	48,27
	15,51	20,09	26,12		35,17	41,63	49,73
	16,92	21,67	27,88		36,41	42,98	51,18
	18,31	23,21	29,59		37,65	44,31	52,62
	19,67	24,72	31,26		38,88	45,64	54,05
	21,03	26,22	32,91		40,11	46,96	55,48
	22,37	27,69	34,53		41,34	48,28	56,89
	23,68	29,14	36,12		42,56	49,59	58,3
		30,58	37,7		43,77	50,89	59,7

x2факт= 44,016 > x2табл.= 12,59

Таким образом, мнения экспертов, приведенные в нашем примере, достаточно согласованны и могут быть использованы в дальнейших расчетах.

Весовой коэффициент каждому фактору может быть присвоен с помощью следующей формулы:

ri – итоговый ранг фактора.
В нашем примере веса распределились бы следующим образом (таблица 4).

Факторы
								сумма
Ранг	1,5			1,5		6,5	6,5
Вес	0,232	0,179	0,143	0,232	0,107	0,054	0,054

Представленный способ распределения весов не претендует на объективность, и обладает рядом недостатков, в частности: распределение весов основано на ранжирование факторов, что в свою очередь позволяет распределить факторы только с заданным интервалом, т.е. метод дает ответ, что фактор «А» важнее чем «Б», а «Б» важнее чем «С». Однако, согласно этому фактор «А» в два раза важнее чем фактор «С», что может не соответствовать действительности.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, свя­занных с неформализуемостью и отсутствием определен­ности в представлениях об организационно-экономиче­ских объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обра­боткой результатов. Особенности метода экспертных оце­нок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при опреде­лении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода - формиро­вание группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.

Компетентность (степень квалификации в опреде­ленной области знаний);

Креативность (способность решать творческие за­дачи);

Аналитичность и широта мышления; конструктив­ность (способность формировать конкретные предложе­ния);

Самокритичность эксперта; отношение к экспертизе.

Для формирования экспертных групп могут исполь­зоваться способ тестирования, документационный и дру­гие методы.

Способ тестирования состоит в том, что на основе раз­работанных тестов проходят обследование возможные кан­дидаты, и по результатам ответов формируется группа.

Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая сте­пень, количество публикаций и др.).

Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недо­статок способа: мнение сотрудников может быть согла­сованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект шко­лы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода - проведе­ние экспертизы. Данный этап начинается с выбора спо­соба опроса экспертов. Различают индивидуальный, груп­повой и дельфийский способы.

При индивидуальном способе от каждого эксперта по­средством анкетирования или интервьюирования получа­ют оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, резуль­тирующую оценку. Индивидуальную экспертизу рацио­нально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важней­шими качествами экспертами выступают его компетент­ность и конструктивность.

Групповой способ предусматривает получение суммар­ной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование це­лесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Группо­вой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты незави­симо друг от друга высказывают свое мнение в письмен­ной форме. Важнейшая составляющая метода - тщатель­но разработанные программы анкетирования, осущест­вляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулирован­ные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется еди­ное мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким об­разом, область расхождения мнений сужается и выраба­тывается общее решение. Достоинство дельфийского ме­тода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания сво­его мнения, влияния авторитета.

3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной об­работки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (раз­личные шкалы наименований (классификации), поряд­ков, интервалов, отношений, разностей).

Шкала наименований используется для описания при­надлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по од­ному или ряду признаков (шкала рангов). Шкала интер­валов - для отображения величины различий между свойствами объектов. Шкала отношений - для отраже­ния отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значе­ние имеет выбор метода измерения. Наиболее употреби­тельные методы: ранжирование, парное сравнение, не­посредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, форму­лировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важ­нейшее их содержание, т.е. обладать значительной емко­стью; формулирование должно происходить таким обра­зом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: форми­рование экспертной комиссии, организация и проведение экспертиз на основе использования современных мето­дов, использование многокритериальных оценок при ин­терпретации результатов.

25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ

Эвристические методы основаны на логике, инту­иции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процес­сы при разработке альтернатив. В зависимости от исполь­зуемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристи­ческие.

Основа формально-эвристических методов - форма­лизация приемов решения сложных задач человеком пу­тем моделирования его мыслительных процессов. Вклю­чают метод эволюционного моделирования, лабиринтные методы и др.

Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опыт­ный, информационный материал необходим, чтобы за­пустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволя­ющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант иссле­дуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «по­томок» хуже «родителя», он отбрасывается, и путем оче­редной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «пото­мок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность ис­пользования вычислительной техники, что позволяет про­водить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.

Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повто­ряется вновь, пока не будет найден путь дальнейшего перемещения.

Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и постро­ении структурной модели, позволяющей вычленять на­иболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базиру­ющийся на принципе декомпозиции (разъединении).

В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особен­ностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуа­ции, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генера­ция идей.

Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит пе­ред решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязы­вается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - кри­тика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суж­дения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генера­ции идей:

По числу ведущих: полиуправление (несколько ве­дущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);

По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);

По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (че­рез технические средства).

Условия для обеспечения целенаправленности гене­рации идей:

Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настро­ения и чувства раскованности решающего);

Обеспечить структуризацию процесса поиска реше­ния (разработать психоэвристическую программу, содер­жащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);

Создать системы информационного и технического обеспечения.

В результате генерации должен быть получен набор данных, составляющих основной информационный мас­сив или поле возможных решений.

На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической акти­визации. Выбор способа генерации производится в зави­симости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные мето­ды, морфологический анализ и др.

Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложе­ния в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются чле­нами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в пись­менной форме представляет ранжирование рассмотрен­ных идей. Предложения, получившие наивысшую оцен­ку, принимаются за основу решения. Особенность дан­ного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения инди­видуального мышления.

Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завер­шения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники вы­ступают по очереди. Задачей каждого выступающего яв­ляется обнаружение возможно большего числа недостат­ков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмечен­ные другими участниками. Иногда целесообразно прово­дить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои заме­чания.

Атака разносом является действующим средством не­гативного анализа. Поэтому авторам обсуждаемого доку­мента не следует присутствовать на обсуждении. Орга­низация атаки разносом аналогична прямой мозговой атаке.

Синектические методы базируются на методе мозго­вого штурма, проводимого специальной группой специ­алистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при на­хождении новых технических решений.

Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководи­тель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и фор­мирует ее сущность (ключевые представления). На треть­ем _ участники ведут поиск аналогий к ключевому пред­ставлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается приме­нить некоторые из аналогий и представлений, предло­женных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направ­ления, и при положительном заключении работа продол­жается до принятия решения.

Морфологические методы при разработке альтерна­тив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная груп­па методов применяется при выявлении возможных ва­риантов технических, экономических, организационных решений.

Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предвари­тельной обработки, хранения и передачи информации. В аналитическом поле представляются операции, свя­занные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.

На практике ни один из методов не применяется изо­лированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.

Дина Соловьева

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.

Маркетинговые явления и процессы в большинстве своем относятся к слабоструктурированным системам, которые невозможно однозначно описать и формализованно исследовать. При анализе и прогнозировании такого рода систем не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.

Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может "разложить их по полочкам", так и "мягкоформализованными", основанными на гибких алгоритмах.

Разумеется, экспертиза может быть реализована самим маркетологом-аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:

Отбор квалифицированных экспертов;

Выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе - экспертов между собой;

Определение метода обработки и интерпретации информации, полученной от экспертов.

Выбор экспертов

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

· уровень и профиль образования,

· профиль работы (связь с данной предметной областью),

· опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),

· уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),

· количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.

2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:

· коммуникативные навыки,

· способность к совместному творчеству,

· гибкость ума и "незашоренность" взгляда,

· нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.

3. Оценка экспертов независимыми специалистами.

4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

Индивидуальные методы экспертизы,

Групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.

2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.

3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:

Обсуждающие группы (основная цель работы аналитическая),

Созидательные группы (основная цель креативная).

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

1. Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2. Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3. Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4. Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

5. Экспертное фокусирование. Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, "фокусируются" на ней. Основная цель - выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего "бреда".

6. Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.

7. Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

8. Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

9. Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".

10. "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

11. "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

12. Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо".

Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

1. Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

3. Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.

Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, - это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

Правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

Правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые "узкие места". Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и "качестве" и проведения опроса.

2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.

3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.

4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).

5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
x ij – ранг (важность ), присвоенный i-му объекту j-ым экспертом, x ik – ранг, присвоенный i-му объекту k-ым экспертом, d i – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

Вычисление

Определяется средний ранг совокупности признаков:

Вчисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t q .
Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

где

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы - с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек - вот вам

Вопросы лекции

Предпосылки экспертных оценок

История экспертных оценок

Формирование модели

Методы эвристического моделирования

4.1. Матричные методы

4.2. Графовые методы

4.3. Иерархия факторов

4.4. Свойства модели

4.5. Управление качеством модели

5. Постановка экспертного опроса

6. Способы оценивания экспертных оценок

1. Предпосылки экспертных оценок

В теории и практике современного управления можно выделить следующие категории задач: анализ, оценка, прогнозирование, оптимизация, планирование, выбор и т.д. Состояние точных наук сегодня позволяет для каждой из них выполнить четкую математическую постановку и перечислить формальные методы их решения.

Использование математических моделей позволяет воспроизвести реальный мир (или хотя бы его часть – объект управления или систему управления). Однако модель на практике может оказаться не такой адекватной, как хотелось бы и не всегда может отразить все многообразие реальной жизни, проявления которой гораздо сложнее, чем мы о ней думаем. Основной причиной сложности является ограниченность наших знаний о мире (трактование сложности как степени нашего незнания предложено Пригожиным И., определившего сложную систему как систему, поведение которой может быть для нас неожиданным и для которой у нас нет адекватной модели).

Сложность реальных задач проявляется в следующем.

Многообразие факторов. Всякое моделирование предполагает идентификацию конечного множества объектов (элементов системы), их свойств и действующих в задаче факторов. При этом неизвестно сколько факторов мы упустили.

Качественная природа. Часто факторы и свойств объекта невозможно измерить и количественно оценить.

Случайный характер. Нечеткие множества и неучтенные факторы в модели являются источниками случайного характера практически всех реальных анализируемых процессов. Случайная составляющая присутствует везде.

Нечеткость критериев. Недостаток информации и неопределенность модели рождают еще одну задачу – размытость цели. Если представления о цели нечеткие возникает проблема сформулировать четкие критерии, особенно, если ожидаемый результат оценивается приблизительно, а решаемая задача связана с риском.

Высокая стоимость. Перечисленные трудности можно преодолеть, но это требует больших трудозатрат, привлечения высококвалифицированных специалистов, вложения значительных средств и длительного времени.

Все перечисленные моменты – не проблема для человека, действующего на основании собственных неформальных знаний, опыта и интуиции. Только человек способен к решению нечетко сформулированных задач, генерированию идей, созданию абстрактных образов, предвидению неучтенных событий, действию в условиях неполной и недостоверной информации.

История экспертных оценок

Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Научные методы экспертных оценок получили развитие во второй половине ХХ века.

Первые шаги – 1930 год – группа американских психологов разработала методы экспертной оценки исследования влияния заинтересованности эксперта на характер суждения о будущих общественно-политических событиях.

В послевоенное время толчком развития экспертных методов послужили многочисленные работы, связанные с системным анализом сложных проблем (метод Дельфы). Первое практическое применение этого метода к решению задач оценки систем оружия Министерства Обороны США было сделано корпорацией RANDв 1947 году. Идеи этого анализа использовались в 1952 году при разработке сверхзвукового бомбардировщика В-58, стратегических ракетных систем и систем противовоздушной обороны.

В гражданской области задачами экспертного анализа явились:

выработка политики в области использования водных ресурсов;

исследование сверхзвуковой транспортной авиации;

исследование развития атомного торгового флота;

анализ стратегии строительства атомных электростанций в Европе.

Значительный вклад в теорию экспертных оценок сделан М Кендэллом, опубликовавшим в 1955 году монографию, посвященную применению метода ранговой корреляции для анализа экспертных оценок.

Появились в середине 60-х годов основанные на экспертных оценках методы решения сложных проблем, таких, как распределение ресурсов. Наиболее известными среди них являются PATTERNиQUEST.

Основные классы современных задач , в решении которых используются экспертные оценки.