Экспертные методы в маркетинге. Сущность экспертных методов

Вопросы лекции

Предпосылки экспертных оценок

История экспертных оценок

Формирование модели

Методы эвристического моделирования

4.1. Матричные методы

4.2. Графовые методы

4.3. Иерархия факторов

4.4. Свойства модели

4.5. Управление качеством модели

5. Постановка экспертного опроса

6. Способы оценивания экспертных оценок

1. Предпосылки экспертных оценок

В теории и практике современного управления можно выделить следующие категории задач: анализ, оценка, прогнозирование, оптимизация, планирование, выбор и т.д. Состояние точных наук сегодня позволяет для каждой из них выполнить четкую математическую постановку и перечислить формальные методы их решения.

Использование математических моделей позволяет воспроизвести реальный мир (или хотя бы его часть – объект управления или систему управления). Однако модель на практике может оказаться не такой адекватной, как хотелось бы и не всегда может отразить все многообразие реальной жизни, проявления которой гораздо сложнее, чем мы о ней думаем. Основной причиной сложности является ограниченность наших знаний о мире (трактование сложности как степени нашего незнания предложено Пригожиным И., определившего сложную систему как систему, поведение которой может быть для нас неожиданным и для которой у нас нет адекватной модели).

Сложность реальных задач проявляется в следующем.

Многообразие факторов. Всякое моделирование предполагает идентификацию конечного множества объектов (элементов системы), их свойств и действующих в задаче факторов. При этом неизвестно сколько факторов мы упустили.

Качественная природа. Часто факторы и свойств объекта невозможно измерить и количественно оценить.

Случайный характер. Нечеткие множества и неучтенные факторы в модели являются источниками случайного характера практически всех реальных анализируемых процессов. Случайная составляющая присутствует везде.

Нечеткость критериев. Недостаток информации и неопределенность модели рождают еще одну задачу – размытость цели. Если представления о цели нечеткие возникает проблема сформулировать четкие критерии, особенно, если ожидаемый результат оценивается приблизительно, а решаемая задача связана с риском.

Высокая стоимость. Перечисленные трудности можно преодолеть, но это требует больших трудозатрат, привлечения высококвалифицированных специалистов, вложения значительных средств и длительного времени.

Все перечисленные моменты – не проблема для человека, действующего на основании собственных неформальных знаний, опыта и интуиции. Только человек способен к решению нечетко сформулированных задач, генерированию идей, созданию абстрактных образов, предвидению неучтенных событий, действию в условиях неполной и недостоверной информации.

История экспертных оценок

Слово «эксперт» латинского происхождения и означает «опытный», «сведущий». Научные методы экспертных оценок получили развитие во второй половине ХХ века.

Первые шаги – 1930 год – группа американских психологов разработала методы экспертной оценки исследования влияния заинтересованности эксперта на характер суждения о будущих общественно-политических событиях.

В послевоенное время толчком развития экспертных методов послужили многочисленные работы, связанные с системным анализом сложных проблем (метод Дельфы). Первое практическое применение этого метода к решению задач оценки систем оружия Министерства Обороны США было сделано корпорацией RANDв 1947 году. Идеи этого анализа использовались в 1952 году при разработке сверхзвукового бомбардировщика В-58, стратегических ракетных систем и систем противовоздушной обороны.

В гражданской области задачами экспертного анализа явились:

выработка политики в области использования водных ресурсов;

исследование сверхзвуковой транспортной авиации;

исследование развития атомного торгового флота;

анализ стратегии строительства атомных электростанций в Европе.

Значительный вклад в теорию экспертных оценок сделан М Кендэллом, опубликовавшим в 1955 году монографию, посвященную применению метода ранговой корреляции для анализа экспертных оценок.

Появились в середине 60-х годов основанные на экспертных оценках методы решения сложных проблем, таких, как распределение ресурсов. Наиболее известными среди них являются PATTERNиQUEST.

Основные классы современных задач , в решении которых используются экспертные оценки.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах.

Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов.

Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода – формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:

– компетентность (степень квалификации в определенной области знаний);

– креативность (способность решать творческие задачи);

– аналитичность и широта мышления;

– конструктивность (способность формировать конкретные предложения);

– самокритичность эксперта;

Отношение к экспертизе.

Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.

Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.

Документационный способ – отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).

Способ назначения – определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода – проведение экспертизы.

Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.

При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.

Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение.

Достоинство дельфийского метода – он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.

3-й этап экспертных методов – обработка результатов опроса.

Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).

Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка – для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов – для отображения величины различий между свойствами объектов. Шкала отношений – для отражения отношения свойств объектов, например, их весомости. Шкала разностей – при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, свя­занных с неформализуемостью и отсутствием определен­ности в представлениях об организационно-экономиче­ских объектах. Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обра­боткой результатов. Особенности метода экспертных оце­нок: необходимость научно обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при опреде­лении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода - формиро­вание группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу.

Компетентность (степень квалификации в опреде­ленной области знаний);

Креативность (способность решать творческие за­дачи);

Аналитичность и широта мышления; конструктив­ность (способность формировать конкретные предложе­ния);

Самокритичность эксперта; отношение к экспертизе.

Для формирования экспертных групп могут исполь­зоваться способ тестирования, документационный и дру­гие методы.

Способ тестирования состоит в том, что на основе раз­работанных тестов проходят обследование возможные кан­дидаты, и по результатам ответов формируется группа.

Документационный способ - отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая сте­пень, количество публикаций и др.).

Способ назначения - определение руководителем группы экспертов из числа сотрудников. Главный недо­статок способа: мнение сотрудников может быть согла­сованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект шко­лы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода - проведе­ние экспертизы. Данный этап начинается с выбора спо­соба опроса экспертов. Различают индивидуальный, груп­повой и дельфийский способы.

При индивидуальном способе от каждого эксперта по­средством анкетирования или интервьюирования получа­ют оценки, не зависимые от мнения других. Затем после их обобщения и обработки определяют общую, резуль­тирующую оценку. Индивидуальную экспертизу рацио­нально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важней­шими качествами экспертами выступают его компетент­ность и конструктивность.

Групповой способ предусматривает получение суммар­ной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование це­лесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т.е. при необходимости получения творческого решения. Группо­вой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты незави­симо друг от друга высказывают свое мнение в письмен­ной форме. Важнейшая составляющая метода - тщатель­но разработанные программы анкетирования, осущест­вляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулирован­ные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каким пунктам имеется еди­ное мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким об­разом, область расхождения мнений сужается и выраба­тывается общее решение. Достоинство дельфийского ме­тода - он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания сво­его мнения, влияния авторитета.

3 -й этап экспертных методов - обработка результатов опроса. Для обеспечения возможности формальной об­работки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (раз­личные шкалы наименований (классификации), поряд­ков, интервалов, отношений, разностей).

Шкала наименований используется для описания при­надлежности объекта к определенным классам. Шкала порядка - для измерения упорядочения объектов по од­ному или ряду признаков (шкала рангов). Шкала интер­валов - для отображения величины различий между свойствами объектов. Шкала отношений - для отраже­ния отношения свойств объектов, например, их весомости. Шкала разностей - при необходимости определить, на сколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значе­ние имеет выбор метода измерения. Наиболее употреби­тельные методы: ранжирование, парное сравнение, не­посредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, форму­лировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?) Полученные формулировки должны достаточно полно отражать важ­нейшее их содержание, т.е. обладать значительной емко­стью; формулирование должно происходить таким обра­зом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: форми­рование экспертной комиссии, организация и проведение экспертиз на основе использования современных мето­дов, использование многокритериальных оценок при ин­терпретации результатов.

25. ЭВРИСТИЧЕСКИЕ МЕТОДЫ

Эвристические методы основаны на логике, инту­иции и опыте лиц, принимающих решение (ЛПР). Данные методы позволяют «уловить» и использовать эти процес­сы при разработке альтернатив. В зависимости от исполь­зуемого подхода эвристические методы подразделяются на формально-эвристические и неформально-эвристи­ческие.

Основа формально-эвристических методов - форма­лизация приемов решения сложных задач человеком пу­тем моделирования его мыслительных процессов. Вклю­чают метод эволюционного моделирования, лабиринтные методы и др.

Эволюционное моделирование предполагает наличие исходного опыта по процессу принятия УР. Этот опыт­ный, информационный материал необходим, чтобы за­пустить модель эволюции. На основе имеющегося опыта разрабатывается несколько вариантов решения, позволя­ющих подойти к ликвидации проблемы и достижению цели решения с разных позиций. Каждый вариант иссле­дуется на основе заранее определенных критериев. В режиме испытаний исходное, опорное решение («родительское») изменяется случайным образом, в результате чего производится «потомок» (генерированная идея). Если «по­томок» хуже «родителя», он отбрасывается, и путем оче­редной мутации рождается новый «потомок». Если же «потомок» лучше, то отбрасывается «родитель», а «пото­мок» занимает его место, и процедура повторяется вновь. Основное достоинство данного метода: возможность ис­пользования вычислительной техники, что позволяет про­водить поиск довольно быстро. Однако нельзя получить выдающегося, нестандартного, творческого решения.

Лабиринтные методы основаны на пошаговом поиске с последующей оценкой возможного продолжения пути ликвидации проблемы. Если направление «тупиковое» происходит возврат в исходную точку, и процесс повто­ряется вновь, пока не будет найден путь дальнейшего перемещения.

Концептуальное моделирование основано на сборе исходной информации при анализе ситуации и постро­ении структурной модели, позволяющей вычленять на­иболее важные элементы отношений. Основное средсию для достижения цели - метод структуризации, базиру­ющийся на принципе декомпозиции (разъединении).

В основе неформально-эвристических методов лежит управление интеллектуальной деятельностью человека. Необходимость такого управления обусловлена особен­ностями его мышления (неформальность, способность к обобщениям, к ориентации в неопределенной ситуа­ции, склонность к рассеиванию и к потере информации). Для усиления первых трех свойств и нейтрализации двух последних используется психоинтеллектуальная генера­ция идей.

Процесс решения сложных задач с использованием генерации идей осуществляется в виде целенаправленной, управляемой беседы-дискуссии двух непосредственных участников: ведущего и решающего. Ведущий ставит пе­ред решающим вопросы, на которые решающий должен высказать свои суждения. Вокруг этих суждений завязы­вается дискуссия. В помощь ведущему могут быть выделены оппоненты и эксперты. Задача оппонентов - кри­тика суждений решающего и вовлечение его в дискуссию. Задача экспертов - помочь ведущему оценить суж­дения и наметить последствия дальнейшего обсуждения. Несколько возможных схем организации сеансов генера­ции идей:

По числу ведущих: полиуправление (несколько ве­дущих), моноуправление (один ведущий), автогенерация (отсутствие ведущего);

По числу решающих: односторонние схемы (один решающий), многосторонние схемы (много решающих);

По виду контакта: с непосредственным контактом (в одном помещении), с опосредованным контактом (че­рез технические средства).

Условия для обеспечения целенаправленности гене­рации идей:

Необходимо обеспечить психологический комфорт (создание удобства рабочего места, приподнятого настро­ения и чувства раскованности решающего);

Обеспечить структуризацию процесса поиска реше­ния (разработать психоэвристическую программу, содер­жащую перечень обсуждаемых вопросов, цели дискуссии и рекомендации);

Создать системы информационного и технического обеспечения.

В результате генерации должен быть получен набор данных, составляющих основной информационный мас­сив или поле возможных решений.

На концепции психоинтеллектуальной генерации идей базируется целый ряд метод психологической акти­визации. Выбор способа генерации производится в зави­симости от характера задачи. При решении неотложных вопросов наилучшими методами могут являться прямая мозговая атака или деловые игры. В изобретательском творчестве - разновидности мозговой атаки и синектические методы. В задачах прогностики - анкетные мето­ды, морфологический анализ и др.

Метод номинальной групповой техники построен на принципе ограничений межличностных коммуникаций, поэтому все члены группы, собравшиеся для разработки решения, на начальном этапе излагают свои предложе­ния в письменном виде самостоятельно, независимо от других. Затем каждый участник докладывает суть своего проекта, представленные варианты рассматриваются чле­нами группы (без обсуждения и критики), и только после этого каждый член группы независимо от других в пись­менной форме представляет ранжирование рассмотрен­ных идей. Предложения, получившие наивысшую оцен­ку, принимаются за основу решения. Особенность дан­ного метода и его достоинство - несмотря на совместную работу членов группы, не происходит ограничения инди­видуального мышления.

Методика атаки разносом может быть применена для обнаружения недочетов, ошибочных заключений и выводов в исследовании, находящемся на стадии завер­шения. В заседании принимают участие до 50 человек, которые заранее ознакомлены с рабочим документом, являющимся предметом обсуждения. Все участники вы­ступают по очереди. Задачей каждого выступающего яв­ляется обнаружение возможно большего числа недостат­ков работы. О достоинствах работы и путях ликвидации недостатков не упоминают. Время одного выступления 1-3 мин., запрещается повторять недостатки, отмечен­ные другими участниками. Иногда целесообразно прово­дить обсуждение в два круга, предоставляя возможность повторного выступления желающим, уточнить свои заме­чания.

Атака разносом является действующим средством не­гативного анализа. Поэтому авторам обсуждаемого доку­мента не следует присутствовать на обсуждении. Орга­низация атаки разносом аналогична прямой мозговой атаке.

Синектические методы базируются на методе мозго­вого штурма, проводимого специальной группой специ­алистов, отличающихся гибкостью мышления, широким кругозором. Такие группы, накапливая приемы и опыт работы, добиваются положительных результатов при на­хождении новых технических решений.

Синектика - это метод прогнозирования по аналогии, перенесения выводов относительно некоторых признаков с одного предмета на другой. На первом этапе руководи­тель ставит задачу, отвечает на вопросы членов группы. На втором этапе каждый из участников предлагает свои идеи, пытаясь взглянуть на проблемы с различных точек зрения, таким образом, преодолевая «психологическую инерцию». Руководитель выбирает одну из них и фор­мирует ее сущность (ключевые представления). На треть­ем _ участники ведут поиск аналогий к ключевому пред­ставлению, используя известные факты из других областей знаний. На четвертом - руководитель пытается приме­нить некоторые из аналогий и представлений, предло­женных членами группы, к поставленной задаче. Далее осуществляется экспертная оценка выбранного направ­ления, и при положительном заключении работа продол­жается до принятия решения.

Морфологические методы при разработке альтерна­тив _ это подход к установлению типичных логических связей и взаимообусловленности. Чаще всего данная груп­па методов применяется при выявлении возможных ва­риантов технических, экономических, организационных решений.

Строится морфологическая таблица. Весь процесс разработки вариантов решения в таблице представляется в области трех полей. Первое поле - информационное служит для обозначения всех операций сбора, предвари­тельной обработки, хранения и передачи информации. В аналитическом поле представляются операции, свя­занные с анализом информации и выбором альтернатив. В целевом - формируются выводы, целевые установки, ограничения и требования к решению. Прослеживаются все операции, протекающие в процессе разработки и принятия решения.

На практике ни один из методов не применяется изо­лированно от других, получение эффективного решения возможно лишь путем целесообразного их сочетания.

Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение ряда этапов:

На первом подготовительном этапе осуществляется формирование экспертных групп

на выбранных уровнях управления и подготавливается вся документация, необходимая для проведения экспертизы целей.

Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.

Компетентность эксперта - это степень его квалификации в определенной области знаний. Компетентность может быть определена на основе опыта эксперта в данной области его квалификации, степенью знакомства с научными достижениями в исследуемой области и т.д. Одна из наиболее важных указанных характеристик, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

Креативность эксперта-способность решать творческие задачи.

Отношение к экспертизе является важной характеристикой эксперта, определяющей его желание (активность или пассивность) участия в экспертизе.

Самокритичность эксперта - самооценка своей компетентности.

Аналитичность, широта мышления, конструктивность мышления - свойство коллективизма - также важные характеристики эксперта.

Даже неполные определения характеристик экспертов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны.

Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

На втором организационном этапе осуществляется отработка результатов экспертизы.

На этом этапе выполняются все необходимые расчеты для сопоставления качественных целей на каждом уровне управления с целями, выбранными, по мнению экспертов, с точки зрения их количества и важности (приоритетности).

Процесс обсуждения выбранных целей происходит до тех пор, пока не совпадут мнения большинства экспертов.

Сформулируем требования, которым должна удовлетворять методика оценки целей функционирования с помощью экспертов:

· Оценка целей функционирования должна проводиться в благоприятной психологической обстановке.

· Трудоемкость опроса должна быть в допустимых пределах.

· Экспертная документация не должна допускать двоякого понимания вопросов.

· Экспертная документация должна быть, по возможности, однородной и полной.

· Выбранная система шкал экспертной оценки должна быть обоснована и доведена до сведения эксперта.

· Цели проведения экспертизы должны быть известны всем экспертам. Наиболее приемлемым с практической точки зрения является анкетирование.

Общие представления

Экспертные методы применяются при решении следующих задач:

формулирование и уточнение цели оценки качества продукции;

разработка классификации продукции и потребителей;

построение иерархической структурной схемы показателей качества;

определение коэффициентов весомости показателей;

определение базовых значений показателей.

Применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка производится в случае невозможности использования более объективных методов для решения вопроса;

мнения экспертов должны быть независимыми;

формулировка вопросов, поставленных перед экспертами, должна исключать возможность различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Операции, выполняемые экспертами можно разделить на два класса: органолептические и мыслительные. Органолептические выполняются с помощью органов чувств, а мыслительные - принятие решений на основе переработки информации. К недостаткам экспертных методов следует отнести присущий ему субъективизм, а также явление конформизма - влияние преобладающего в группе суждения на мнение эксперта.

Применение экспертных методов требует привлечения высокопрофессиональных экспертов. В нашей стране еще не развит институт экспертов профессионалов по оценке качества. Поэтому, для этих целей, как правило, приглашаются специалисты по оцениваемой продукции.

В настоящее время активно заявляет о себе новый термин - “экспертные системы”. Под экспертной системой понимается система “человек - машина”, в которой человек играет решающую роль при вынесении оценок. Экспертные системы подразделяют на две группы:

• - системы, функционирующие за счет знаний, в основном, в процессе поиска информации;
• - системы, имеющие в своем составе ЭВМ с соответствующим математическим обеспечением, способные “отвечать” на вопросы типа “что будет, если...?”

Считается наиболее перспективным развитие экспертных систем первого типа, так как, прежде всего человек, в отличие от ЭВМ, может творчески мыслить и синтезировать информацию.

Формирование и подготовка экспертной комиссии

Экспертные комиссии, создаваемые для оценки качества продукции, состоят из двух групп: рабочей (организационная) и экспертной. Рабочая группа занимается разработкой методики оценивания качества, организацией и проведением экспертной оценки качества, обработкой полученной от экспертов информации и анализом результатов. В состав рабочей группы входит организатор, консультант по оцениваемой продукции и технические работники для выполнения машинописных, чертежных, вычислительных работ. Экспертная группа выполняет только оценочные операции.

Организация, в которой формируется экспертная комиссия, должна издать приказ или распоряжение, где указывается состав экспертной комиссии, обязанности ее членов, период и продолжительность работы. Для повышения качества работы экспертов, необходимо, чтобы состав экспертной комиссии был постоянным достаточно длительное время. В.И. Галеев считает, что в состав экспертной группы следует включать 7-12 (15) человек. При этом целесообразно принимать решение, за которое подано не менее 2/3 голосов членов экспертной комиссии. Г.Г. Азгальдов предлагает для упрощенного метода оценивания численность экспертной группы от 7 до 10 человек. В отдельных случаях, когда времени на разработку мало (не больше месяца), а оцениваемый объект сложный (например, грузовой автомобиль или морское судно) необходимо образовать две или три экспертных группы, численностью по 7-10 человек. В этом случае каждая группа работает на отдельных группах свойств объекта.

Если же для оценки качества используется приближенный или точный методы, то применяется более сложный и более точный способ определения численности экспертной группы, который основан на двух основных положениях:

1. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки gэ, тем меньше относительная погрешность и выше доверительная вероятность (надежность) , с которой вычислены gэ. Причем:

где gист - истинное значение той характеристики, которая определяется экспертным методом;

g - абсолютная погрешность, определяющая доверительный

интервал:

g =g ист - g э. (31)

2. Чем больше предварительной информации известно рабочей группе относительно экспертной группы и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.

При создании экспертной группы используются следующие методы анализа соответствия экспертов предъявляемым требованиям:

• 1) Качественный метод, при котором соответствие определяется в процессе беседы с экспертом организатора-руководителя деятельностью экспертной комиссии и консультанта по оцениваемой продукции.
• 2). Количественный метод включает в себя следующие виды оценки качества экспертов:

эвристические - значения оценок качества экспертов определяются человеком;

статистические - значения оценок получаются в результате обработки ответов экспертов;

тестовые - значения оценок находятся в результате специальных испытаний экспертов;

документальные - значения оценок основываются на анализе документальных данных об экспертах;

комбинированные - значения оценок получаются с помощью некоторой совокупности перечисленных методов.

Перед работой экспертов необходимо обсудить с ними следующие вопросы:

сущность понятия “качество продукции”;

основные термины и определения по оцениваемой продукции и квалиметрии;

сущность экспертных методов и область их применения;

основные оценочные операции, их описание, специфика, трудности выполнения;

наиболее распространенные ошибки экспертов, содержание и программа проводимой работы;

методы обработки значений экспертных оценок и их сущность.

Необходимо, чтобы структура экспертной группы, ее профессиональный состав и количество экспертов соответствовали способу опроса.

С этими целями рабочая группа выбирает способ опроса экспертов и проводит его до формирования экспертной группы.

Опрос экспертов осуществляется индивидуально или совместно с другими экспертами; с обсуждением суждений эксперта на заседании экспертной группы или без него. Опрос может заключаться в беседе эксперта с техническим работником, по схеме “вопрос - ответ” (интервьюирование), в самостоятельном заполнении карты опроса (анкетирование), в заполнении карты опроса, получая при этом все необходимые разъяснения от технического работника (смешенное анкетирование).

Если используется упрощенный метод оценивания качества, то рабочая (организационная) группа проводит выбор экспертов в следующем порядке. Отбирается группа потенциальных экспертов, численностью на 2 -5 человек больше, чем положено иметь в экспертной группе. Затем в личной беседе с каждым потенциальным экспертом стараются получить информацию о качестве самого эксперта. Г.Г. Азгальдов предлагает “дерево свойств” эксперта в виде рисунка 8.

Рассмотрим содержание каждого из приведенных свойств.

Компетентность - всестороннее знание экспертом объекта (профессиональная компетентность) и методов оценивания его качества (квалиметрическая компетентность). Профессиональная компетентность включает знание методов проектирования и производства продукции, показателей качества аналогов, перспектив развития продукции, условий и характера эксплуатации. Квалиметрическая компетентность обеспечивает понимание принципов и методов оценки качества продукции, практическое умение пользоваться ими, знание типов оценочных шкал, субъективных вероятностей и умение различать достаточное число градаций оцениваемого объекта. Компетентность является наиболее важным, но трудно оцениваемым свойством. Оценка специалиста по уже освоенной им профессии является достаточно простой, но экспертам приходится работать на стыке специальностей, здесь требуется оригинальное мышление, интуиция, умение оценить новые идеи, а “чрезмерный профессионализм” может мешать выйти эксперту за рамки его профессиональных представлений.

Для определения показателя компетенции чаще всего используют два метода: самооценка и взаимооценка, на них мы остановимся ниже. Расчетная формула показателя компетентности К ком выражена в виде:

К ком = 0,4К с ком + 0,6 К в ком, (32)

где К с ком - результат самооценки, в баллах;

К в ком - результат взаимооценки, в баллах.

Рисунок 3 Свойства, характеризующие качество эксперта

Уверенность - убежденность эксперта в правильности выбранной им оценки.

Объективность - способность эксперта быть объективным, то есть при участии в экспертизе не поддаваться ведомственным, начальственным или личным интересам.

Деловитость - умение быстро выполнять порученную работу, способность быстро переключаться с оценки одного показателя на оценку другого, умение работать с людьми в конфликтной ситуации, способность противостоять мнению большинства при уверенности в своей правоте, обоснованность и мотивированность выносимых оценок и суждений, умение четко формулировать свои мысли.

Заинтересованность - желание делать порученную работу зависит от его индивидуальных способностей, загруженности основной работой, целей экспертизы и возможностей использования ее результатов в своей практической деятельности.

Учитывая эти свойства, рабочая группа отбирает 7-10 экспертов, у которых они выражены в наибольшей степени.

Окончательным этапом формирования экспертной группы является проведение тестирования, самооценки, взаимооценки экспертов, анализа их надежности и проверки согласованности мнений.

Тестирование проводится для установления компетентности и профпригодности экспертов и заключается в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы анкеты, после чего эксперт по бальной системе проверяет свои профессиональные знания и деловые качества.

Если эксперты имеют опыт совместной работы, то они могут провести взаимную оценку друг друга.

Анализ надежности экспертов проводится по степени надежности, которую можно рассчитать, основываясь на сведениях о результатах работы эксперта в других экспертных группах. Степень надежности - это отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.

Согласованность мнений экспертов оценивается коэффициентом конкордации W , о котором будет рассказано ниже.

Проведение экспертного опроса

Опрос экспертов должен соответствовать следующим требованиям:

• - ограниченное количество вопросов, задаваемых эксперту;
• - полнота охвата решаемой задачи;
• - всестороннее рассмотрение вопроса;
• - ограниченное время опроса;
• - возможность применения заочного опроса;

Операции экспертной оценки качества выполняются по этапам:

• 1. Подготовительный этап:
  • - формулирование цели оценки;
  • - формирование рабочей группы.
• 2. Этап работы рабочей группы:
  • - уточнение цели оценки;
  • - выбор методов, модификаций, способов и процедур оценки;
  • - определение перечня операций, выполняемых экспертами;
  • - формирование экспертной группы;
  • - выбор методов, способов и процедур опроса экспертов.
• 3. Этап работы экспертной группы:
  • - классификация продукции и потребителей;
  • - определение номенклатуры показателей качества;
  • - определение коэффициентов весомости показателей;
  • - определение базовых значений показателей;
  • - определение оценок единичных показателей;
  • - определение комплексных показателей.
• 4. Заключительный этап:
  • - обработка значений экспертных оценок;
  • - анализ результатов и подготовка решения экспертной группы.

При реализации третьего этапа - работы экспертной группы, получают ответы экспертов, которые можно разделить на:

• 1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.
• 2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).
• 3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.

Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:

• - сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;
• - сравнение различных методов или процедур, например, очного или заочного опроса;
• - повышение точности результата за счет многократного обмена информацией;
• - оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.

К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.

Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.

Характерными чертами метода Делфи являются:

• - анонимность; эксперты не встречаются друг с другом;
• - ответы на вопросы обязательно содержат количественную характеристику;
• - многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;
• - контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.

Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.

По способу проведения экспертные опросы подразделяются:

• - непосредственное измерение;
• - ранжирование;
• - сопоставление.

При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.

Значения коэффициентов рассчитываются по формуле (33):

где n - количество экспертов;

m - число взвешиваемых показателей;

G ij - коэффициент весомости j-го показателя в баллах, данный

i-м экспертом.

Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.

Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее - 2, и чем важнее свойство, тем больше значение весомости.

Расчетная формула весомости j-го свойства M j:

где W jl - место, на которое поставлена весомость j-го свойства у

l-го эксперта;

r - количество экспертов;

n - количество свойств.

Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M j имеет вид:

причем P jl - оценка весомости j-го свойства у l-го эксперта.

Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:

• 1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).
• 2. Наиболее важное свойство получает весомость M j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.
• 3. Если свойство с весомостью M 1 важнее всех остальных свойств вместе взятых, то M 1 увеличивается до величины, превосходящей сумму всех прочих весомостей:

Если же эксперт считает, что свойство M 1 менее важное, то проводится обратная процедура:

• 4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.
• 5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2, ....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.

Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.

Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).

Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.

Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 3).

Таблица 3

Таблица 4

Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:

где F i,j - частота предпочтения i-м экспертом j-го объекта

экспертизы;

c - общее число суждений одного эксперта, связанное с

числом объектов экспертизы m (числом измеряемых

показателей или коэффициентов весомости) соотношением:

Таблица 5

Номер объекта экспертизы

Анализ результатов

После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднеарифметического рангов;

n - число экспертов;

m - число объектов экспертизы.

Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):

Значение сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1. При (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.

Если имеют место «связанные ранги», то коэффициент конкордации задается формулой

L-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него

(4 3 -4)+(3 3 -3)=84.

Существенность значения W устанавливается также с помощью критерия

который также сравнивают с табличным при заданном уровне значимости и числе степеней свободы f = n-1.