Методы экспертной оценки товаров. Методы оценки качества экспертов

Лекция 7. Особенности технологии экспертной оценки качества.

Сущность экспертных методов и организация работ по использованию

при управлении качеством

Как научный способ экспертный метод разработан сравнительно недавно и назывался «Дельфи». В дальнейшем были разработаны дру­гие аналогичные методы, имеющие в своей основе экспертные оцен­ки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области науки и техники, а затем стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов заключается в усреднении полученных различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. Усредненная оценка (К) определяет­ся по формуле

где n - количество экспертов,

K i - оценка, данная i -м экспертом.

Наиболее распространенными экспертными методами прикласси­фикации по признаку оценки предпочтений являются метод рангов, метод непосредственного оценивания и метод сопоставлений . Последний вклю­чает две разновидности - парного сравнения и последовательного сопоставления .

К разновидностям эк­спертных методов с определенной долей условности можно отнести органолептический и социологический. Органолептический метод основан на использовании чувств (вкуса, слуха, зрения, обоняния тактильности) эксперта. Он применяется при оценивании, например продукции пищевой промышленно­сти. Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится в письмен­ной форме (с помощью анкет) или устно (на конференциях, аукцио­нах, выставках и т.п.). При его использовании следует применять научно обоснованные способы опроса, математические принципы сбора и обработки информации. Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести орга­низацию экспертного оценивания, проведение сбора мнений экспер­тов и обработку полученных результатов.

Уменьшение субъективности результатов использования экс­пертных методов существенно зависит отсоблюдения правил органи­зации, подготовки и проведения экспертных работ. Особенно это за­висит от организации экспертного оценивания, назначения ответ­ственного за организацию и проведение работ по экспертной оценке, а также формирования экспертных комиссий.

Для общего руководства экспертными работами назначается пред­седательэкспертной комиссии. В составе комиссии организуют две группы - рабочую и экспертную (рис.1).

В подчинении руководителя рабочей группы находятся техничес­кие работники, осуществляющие техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов и т. п., а также специалисты по решаемым проблемам.

Формирование экспертной группы проводитруководитель рабочей группы, который, осуществляет постановку пробле­мы и определяет область деятельности группы; составляет предвари­тельный список экспертов-специалистов; выполняет анализ каче­ственного состава предварительного списка экспертов и уточняет список; получает согласие эксперта для участия в работе; составляет окончательный список экспертной группы.

Число экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, имеющих­ся возможностей и т. п. Подбор специалистов проводится на осно­ве анализа качеств каждого возможного кандидата. При этом ис­пользуются разнообразные способы: оценка кандидатов на основе статистического анализа результатов прошлой деятельности в каче­стве; коллективная оценка кандидата как специалиста в данной области; самооценка кандидата в эксперты; аналитическое определение компетентности кандидатов.

Часто применяют одновременно несколько способов, на­пример самооценки и коллективной оценки качеств, предлагаемого эксперта. Такой подход позволяет обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки. Во всех случаях кандидаты в эксперты должны обладать следующими качествами: профессиональной ком­петентностью; креативностью (умением решать творческие задачи); научной интуицией; заинтересованностью в объективных результатах экспертной работы; деловитостью (собранностью, умением пе­реключаться с одного вида деятельности на другой, коммуникатив­ностью, независимостью суждений, мотивированностью действий); объективностью.

Проведение сбора мнений экспертов предполагает предваритель­ное определение: места и времени; формы и методики; количества туров сбора мнений, состава и содержательной части документации, порядка занесения мнений экспертов в документы. Важным являет­ся выбор формы сбора мнений экспертов.

Среди всех известных форм сбора мнений можно отметить инди­видуальные, коллективные и смешанные. Каждая из этих форм име­етразновидности: анкетирование, интервьюирование, дискуссия, моз­говой штурм, совещание, деловая игра. Во многих они используются совместно, что дает боль­ший эффект и объективность. Такой подход к сбору мнений экспер­тов, когда используется смешанная форма, применяется в случаях не­ясности проблемы, расхождения индивидуальных мнений или разно­гласия экспертов при коллективном обсуждении.

На практике чаще применяется анкетирование, которое позволяет с меньшими трудозатратами собрать мнения экс­пертов. Обычнопроцесс разработки анкеты включает:

Определение формы и содержания обращения к эксперту;

Выбор типа вопросов;

Формулировку вопросов;

Изложение необходимой для эксперта ин­формации;

Разработку формы анкеты.

В последние годы среди типов вопросов наиболее употребляемы­ми стали так называемые веерный (предполагает один ответ из ряда ответов), закрытый (ответы «да», «нет», «не знаю») и открытый (ответ на вопрос может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной за­писки указать, что конкретно требуется от эксперта. Для ответов на вопросы, т. е. для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее методов (рангов, непосредственного оценивания, сопоставлений).

Метод рангов и непосредственного оценивания.

По методу рангов эксперт осуществляет ранжирование (упорядоче­ние) исследуемых объектов в зависимости от их относительной значимости (предпочтительности). При этом наиболее предпочтительному объекту обычно присваивается первый ранг, а наименее предпочтительному - последний, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования, и наоборот.

П

Таблица 1.9.2 Определение результирующего ранга объектов ранжирования

Объект ранжиро- вания №	Эксперт №							Сумма рангов объектов

ри предпочтительной (по рангам) расстановке объектов экспер­тизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектовН, начиная с единицы [H x (Н+ 1):2]. Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объек­та. При этом в итоге первый ранг присваивается тому объекту, кото­рый получил наименьшую сумму рангов, а последний - тому, у кото­рого оказалась наибольшая сумма рангов, т. е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами приведен в табл. 2).

Метод непосредственного оценивания (балльный) представляет со­бой упорядочение исследуемых объектов в зависимости от их важности путем при­писывания баллов каждому из них. Наиболее значимому объекту да­ется наибольшее количество баллов по принятой шкале, диапазон шкалы оценок обычно принимается от 0 до 1, до 5, до 10 или до 100. В простейшем случае оценка может равняться 0 или 1. Иногда оцени­вание осуществляется в словесной форме, например «очень важный», «важный», «маловажный». Для большего удобства обработки резуль­татов опроса такие оценки могут переводиться в балльную шкалу (на­пример, соответственно 3, 2, 1).

Н

Таблица 3. Определение результатов непосредственного оценивания объектов

Объект оценива- ния №	Эксперт №							Сумма баллов объекта	Результи- рующий ранг объекта	Весомость объекта

епосредственное оценивание следует применять при уверенно­сти полной профессиональной информированности экспертов о свойствах исследуемых объектов. По результатм оценок определя­ются ранг и весомость (значимость) каждого исследуемого объекта (пример оценивания трех объектов по 10-балльной шкале приведен в табл. 3).

ПО результатам оценок экспертов место любого объекта можно пределить по формуле:

(2)

Где В i - значимость i -го объекта (i = 1, 2,.., п), рассчитанная на основании

оценок экспертов (j = 1,2,.., k ),

А ij - оценка (в баллах), данная i -у объекту j -м экспертом.

Метод сопоставления .

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т. д.) или в форме матрицы. Общее количество пар сравнения равно

, (3)

где Н - количество исследуемых объектов экспертизы.

В

Таблица 4 Матрица оценки объектов методом парного сравнения

Наименование объекта	№ объекта						Общее кол-во предпочтений

результате сравнения эксперт высказывает мнение о важности того или иного объекта, т. е. отдает одному из них предпочтение. Иног­да эксперты приходят к выводу об эквивалентности каждого из объек­тов пары. Для упорядочения всех рассматриваемых объектов необходи­ма последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструментаматрицы (табл. 4). В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, т. е. предпочтение по­рой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или нахо­дится по расположению в матрице выше сравниваемого, поэтому иног­да для исключения психологического влияния проводят двойное пар­ное сравнение, т. е. еще раз осуществляют парное сравнение, но толь­ко при обратном расположении объектов и объектов в каждой паре. Количество пар при двойном парном сравнении соответственно в два раза больше, чем при одинарном парном сравнении.

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вер­тикальных и горизонтальных строк матрицы для каждой пары объек­тов он ставит 1 или 0 (либо плюс или минус) в зависимости от опре­деленной им значимости того или иного объекта.

Весомость каждого объекта сравнения рассчитывается по формуле:

(4)

где А i/i,j - количество предпочтений (единиц, или плюсов, подчеркиваний)

i -го объекта над i -м объектом, указанное j -м экспертом;

А - общее количество пар объектов.

Р

Таблица 5. Сводная матрица результатов парного сравнения объектов

Наименование объекта	№ объекта	Кол-во предпочтений i- го объекта, данных экспертами					Сумма предпоч- тений	Весомость объекта

езультаты заполнения матриц всеми экспертами и расчетные дан­ные можно свести в матрицу (табл. 5).

Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количество пар при этом увеличивается вдвое.

Сущность метода последовательного сопоставления состоит в сле­дующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому объекту присваивается определенное количество баллов, например по шка­ле от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл, равный 1, а всем остальным - в порядке уменьшения их значимости от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балль­ных оценок всех остальных объектов. Если будет, то величина балль­ной оценки первого объекта увеличивается до этого уровня, а если нет, то эксперт уменьшает эту величину до такого числового значе­ния, чтобы она стала меньше суммы оценок всех остальных объек­тов. Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке перво­го наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно это ощущается при количестве, превышающем шесть-семь исследуемых объектов.

Обработка и оценка согласованности экспертных данных.

Обработка собранных мнений экспертов проводится как количественно (численные данные), так и качественно (содержатель­ная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются методы усред­нения экспертных суждений. Однако даже при имеющихся числен­ных данных, но при недостаточности информации по решаемому вопросу, наряду с ко­личественными методами обработки экспертных данных используют­ся методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто не совпадают, поэтому необходимоко­личественно оценивать меру согласованности мнений экспертов и опре­делять причины несовпадения суждений. Мера согласованности, ес­тественно, определяется на основе статистических данных всей груп­пы экспертов. Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации.

Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласо­ванность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согла­сия) по формуле:

(5)

где С - сумма квадратов отклонений сумм рангов по каждому объекту от сред­ней суммы рангов по всем объектам и экспертам, т. е.

(6)

где
- средняя сумма рангов.

Коэффициент конкордации может быть в диапазоне
. ПриW =0 согласованность мнений экспертов отсутствует, а при W= 1 - согласованность полная. Обычно считается, что согласованность впол­не достаточна, если W >= 0,5.

Допустим, по результатам работы компетентных экспертов полу­чены определенные данные ранжирования и по ним требуется рас­считать коэффициент конкордации (табл. 6)

Кэффициент конкордации равен

, (7)

т

Таблица 6. Данные для расчета коэффициента конкордации

Эксперт №	Ранги, поставленные экспертами Пяти объектам ранжирования (Н=5)

.е. мнения экспертов можно признать согласованными, так как по­лученная величина коэффициента конкордации удовлетворяет условию W>= 0,5.

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значи­мости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т. д., в противном слу­чае оценку согласованности мнений проводят по другим критериям согласия.

Рассчитанную величину коэффициента конкордации следует взве­шивать по критерию Пирсона (X 2 ) с определенным уровнем значимо­сти (В), т. е. максимальной вероятностью неправильного результата |работы экспертов. Обычно задавать значимость достаточно в преде­лах 0,005 - 0,05.

В случае получения расчетной величины X 2 расч > табличной Х 2 табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

Табличные величины Х 2 табл (табл. 7) зависят от принимаемого уровня значимости и числа степеней свободы (S ), которое определя­ется по формуле

, (8)

Расчетная величина Х 2 расч определяется по формуле

Таким образом, для данных, приведенного ранее примера

. (10)

При уровне значимости 0,05 табличная величина Х 2 табл равна при­мерно 9, т. е. мнения экспертов можно окончательно признать с веро­ятностью 0,95 согласованными, так как Х 2 расч > Х 2 табл .

Механизм потребительского выбора достаточно консервативен, поскольку базируется, как правило, на использовании только того, что уже хорошо себя зарекомендовало. В значительной степени он ориентирован на прошлое, чем на возможное будущее.

В условиях рынка основой оценки качества продукции должна стать объективная общественная полезность продукции, что будет отражать ее прогрессивность и соответствие чертам нового быта. Одним из методов, который может обеспечить именно такую оценку продукции, может стать экспертный метод.

Экспертный метод оценки качества продукции предусматривает выяснение мнения экспертов.

Эксперт – это квалифицированный специалист, который соответствует требованиям профессиональной и квалиметрической компетентности, деловитости и объективности, а также заинтересованный в работе экспертной комиссии.

Использование экспертных методов рационально при наличии одной из двух причин:

· задание не может быть выполнено никаким другим методом;

· другие методы выполнения задания или менее точные, или более трудоемкие.

Экспертные методы совместно с другими или самостоятельно могут быть использованы для:

· классификации продукции;

· определения номенклатуры показателей качества продукции;

· определения коэффициентов весомости отдельных показателей качества;

· выбора базовых образцов продукции и определения значений отдельных показателей качества этих образцов;

· определение органолептических показателей качества оцениваемой продукции;

· определение комплексных показателей качества продукции.

Привлечение к работе в экспертных комиссиях высококвалифицированных экспертов позволяет получить точную и воспроизводимую оценку качества товаров. Проведенные эксперименты подтверждают, что при правильной методике экспертной оценке ошибка результатов находится в пределах 5–10 %, и ее целиком можно сопоставить с результатами инструментальных методов.

Для оценки качества продукции экспертным методом создаются экспертные комиссии. Порядок создания, цели и задания такой комиссии определяются приказом или распоряжением руководителя министерства, ведомства, объединения, фирмы. Общий алгоритм операций создания и работы экспертной комиссии, которая использует методы группового опроса, приведен на рисунке 7.1.

Работа экспертной группы заканчивается статистической обработкой экспертных оценок, их анализом и принятием обоснованных решений.

Основные преимущества групповой экспертной оценки заключается в возможности разностороннего анализа проблем, связанных с определением отдельных характеристик товара. Взаимодействие между экспертами увеличивает объем суммарной информации по сравнению с информацией каждого члена группы. При групповой оценке меньше вероятность ошибки конечного результата работы. В большинстве случаев групповая оценка более надежная, чем оценка каждого эксперта в отдельности.

Рабочая группа готовит и проводит экспертную оценку качества продукции. Ее заданием является подготовка экспертов, помощь в проведении оценки качества, обработка, анализ, обобщение результатов и установление коллективного мнения экспертов. Она начинает свою деятельность с подбора экспертов и формирования экспертной группы.

Рис. 7.1. Общий алгоритм операций по созданию и работе экспертной комиссии

Экспертная комиссия состоит из двух групп – рабочей и экспертной.

В состав рабочей группы входят:

· организатор (он же председатель экспертной комиссии) осуществляет методическое руководство работой на всех этапах. Он должен быть квалифицированным специалистом в области методологии оценки качества продукции, знать основы ее производства и процессы, которые могут меть место в данной продукции, при ее производстве, транспортировании и хранении. Он создает рабочую группу; составляет программу работ; принимает участие в опросе экспертов; анализирует результаты каждой операции, а также окончательные итоги, формулирует выводы и предложения на основе полученных результатов проведенной дегустации;

· специалист – это высококвалифицированный работник фирмы, при которой формируется экспертная комиссия. Желательно, чтобы он имел универсальные знания о продукции, касающиеся как ее производства, так и особенностей использования. Задача специалиста – анализ информации, полученной от экспертов, для корректировки дальнейшей работы фирмы. программист. Если оценка качества продукции или обработка результатов производится с использованием компьютерной техники, то основной задачей этого специалиста является разработка программы для проведения такой работы и последующей обработки полученных результатов;

· технические работники разъясняют положенияанкеты, если они не достаточно понятны экспертам, проводят их опрос, получают от экспертов анкеты, могут уточнять результаты, но высказывать свое мнение в отношении оценки экспертов не должны.

Формирование экспертной группы. Организатор и специалист составляют список экспертов (учитывается служебное положение, время и характер работы, профессия). В состав группы должны войти специалисты разных направлений производства и оценки качества товара (проектирования, технологии производства, эстетики, исследования качества).

Экспертная группа может формироваться из работников одной или нескольких фирм, которые выпускают (реализуют)товары данной группы. При этом необходимо учитывать тенденции и взгляды на качество продукции, которые господствуют в данной фирме, служебное положение (субординацию) экспертов, создание и поддержание психологического климата в группе. Желательно отдавать предпочтение созданию экспертной группы на базе одной фирм с приглашением к работе нескольких специалистов других фирм.

Результат работы экспертной комиссии в значительной степени зависит от количества экспертов и их компетентности. Подбор экспертов – это чрезвычайно тяжелая задача. Она связана с тем, что:

· необходимо учитывать индивидуальные способности экспертов, а надежной методики определение этих способностей нет;

· недостаточно изучены психофизиологические особенности человека, от которых в значительной мере зависит работа экспертов;

· существует противоречие между желанием уменьшить затраты на экспертизу путем использования ограниченного количества экспертов для оценки качества широкой номенклатуры товаров и желанием увеличить точность и надежность экспертной оценки.

По мнению Г.Г. Азгальдова и Е.П. Райхмана, компетентность экспертов определяется 4-мя группами свойств (рис. 7.2).

Профессиональная подготовка предусматривает знания различных сторон проектирования и производства продукции, требований потребителей, условий и характера использования (эксплуатации).

Квалиметрическая подготовка обеспечивает четкое понимание экспертом принципов и методов оценки качества продукции, знание методов определения отдельных показателей качества и умение пользоваться ними в процессе практической работы (использование различных типов оценочных шкал, способность различать достаточное число градаций оцениваемой продукции).

Рис. 7.2. Показатели компетентности экспертов

Заинтересованность эксперта в работе экспертной комиссии зависит от многих факторов:

· целей экспертизы;

· характера выводов;

· индивидуальных особенностей эксперта,

· занятости на основной работе;

· возможности использования результатов экспертной оценки в собственной практической работе.

Деловитость эксперта включает подвижность и эластичность внимания (способность быстро переключать внимание с одного показателя на другой); собранность; оперативность; обоснованность выводов; контактность (умение работать с людьми в конфликтных ситуациях); мотивированность выставленной оценки.

Объективность эксперта заключается в том, что он делает выводи на основе действительного уровня качества оцениваемой продукции, а не руководствуется другими мнениями.

Методы оценки компетентности экспертов делят на 5 групп: эвристические, статистические, тестовые, документальные и комбинированные.

Эвристическая (от греч. heurisko – отыскиваю, открываю) оценка эксперта базируется на оценке окружающих людей или самооценке. Существуют такие виды эвристических оценок: самооценка, взаимооценка, оценка рабочей группы.

Самооценка – это метод, при котором оценку собственной компетентности дает сам эксперт. Установлено, что достоверность средней экспертной оценки тем выше, чем больше среднее значение самооценки членов экспертной группы. Между тем необходимо иметь ввиду, что результаты самооценки почти всегда субъективны, что является недостатком этого метода.

З целью повышения точности результатов самооценки ее проводят дифференцированно. Показатель самооценки определяют как функцию двух коэффициентов: информированности и знаний оцениваемой продукции и аргументированности своей оценки. Т.Г. Роднина и Г.О. Вукс предлагают определять информированность и знание экспертом оцениваемой продукции при помощи «Анкеты самооценки» (приложение А). В анкете эксперт отмечает регулярность знакомства с источниками информации, а также степень своего знакомства с оцениваемой продукцией. Самооценка рассчитывается по формуле:

К сам = В эсп I экс,

где К сам – коэффициент самооценки эксперта;

В экс – весомость показателей информированности и знаний;

I экс – оценка, которая зависит от степени информированности.

Пример расчета К сам приведен в приложении Б.

Взаимооценка – это эвристическая оценка эксперта, которая дается другими экспертами, она должна уменьшить субъективность самооценки каждого эксперта. Известно, что существует взаимосвязь между компетентностью эксперта и средней оценкой, которую он получил от своих коллег. Сущность этого вида оценки состоит в том, что каждый член экспертной группы дает оценку всем другим экспертам, а потом рассчитывается средняя оценка каждого эксперта.

Недостатки взаимооценки:

· эксперты могут недостаточно знать один другого;

· на результаты оценки могут влиять взаимные симпатии или антипатии;

· разные эксперты могут неоднозначно воспринимать понятие «компетентность эксперта»;

· использовать взаимооценку только в тех комиссиях, где эксперты хорошо знают друг друга;

· проводить анонимное анкетирование;

· объяснять, что результаты анкетирования будут использоваться только для корректировки оценок товара.

Оценка эксперта рабочей группой – это эвристическая оценка, которая должна дать количественную характеристику заинтересованности эксперта в экспертной оценке и его внимательности в процессе опроса. Оценка дается специалистами-аналитиками, которые проводят опрос экспертов после экспертной оценки продукции. При этом они оценивают отношение экспертов к экспертизе а также их активность при обсуждении результатов. Чаще всего для такую оценку рекомендуют использовать 10–балльную оценку.

Статистическая оценка . – это оценка, полученная после статистической обработки мнений экспертов об объекте оценки. Эти оценки используются с целью уменьшения ошибок, которые возникают при экспертных оценках. Необходимость статистической обработки результатов экспертизы обусловлена тем, что в отличии от измерений, которые проводятся при помощи технических средств и базируется на сравнении неизвестных величин с известными, при экспертных методах часто известная величина отсутствует. К тому же на точность экспертных оценок влияет много факторов объективного и субъективного характера, вследствие чего возникают систематические или случайные ошибки.

Систематическая ошибка – это ошибка, которая постоянно повторяется в процессе данного определения. Основная причина ее появления является недостаточная или неточная информация экспертов. Уменьшить ее можно путем ознакомления экспертов с необходимой информацией до начала работы экспертной комиссии. Систематическую ошибку можно определить по величине отклонения оценки каждого эксперта от среднего значения, полученной в экспертной комиссии.

Случайная ошибка зависит от психофизиологических особенностей эксперта (собранности, внимательности, уверенности в собственной правоте). Она уменьшается, если эксперт часто принимает участие в работе экспертных комиссий и имеет практический опыт.

Оценка объективности эксперта – это оценка способности эксперта к непреднамеренной оценке конкретного образца товара. Это очень важная характеристика компетентности эксперта, которая существенно влияет на точность результатов экспертной оценки.

Тестовые оценки позволяют при помощи тестирования определить психофизиологические особенности экспертов. Их используют для оценки объективности, квалиметрической и профессиональной подготовленности эксперта. Тестирование позволяет оценить личностные черты, чего нельзя сделать никакими другими методами. Недостатком данного метода можно считать невозможность сравнить данные, полученные методом тестирования, с данными, полученными при помощи других объективных методов.

При составлении тестов необходимо придерживаться таких требований:

· эксперт должен понимать постановку тестового задания и условия, которым отвечает его решение;

· вероятность случайного угадывания решения задания должна быть близка нулю;

· тестовое задание должно иметь точный ответ;

· необходимо обосновать приближение тестового задания и реальных задач, которые решает эксперт при оценке качества продукции.

Оценка квалилиметрической подготовки эксперта – это оценка теоретических знаний методов оценки показателей качества продукции и умение их использовать в практической работе. Эта оценка может проводиться путем устного или письменного контроля знаний с использованием тестов.

Несколько сложнее проверить такие знания, как умение использовать различные типы оценочных шкал, определять субъективную вероятность, распознавать достаточное количество градаций показателей качества.

Документальная оценка – это оценка эксперта на основе документов, которые подтверждают его соответствие установленным требованиям. Например, компетентность эксперта может быть подтверждена общими сведениями, которые приводятся в анкете: опыт – копией трудовой книжки; профессиональная подготовка – дипломом профессионального образования; специальная подготовка – аттестатом или свидетельством установленного образца о специальной подготовке; повышение квалификации – соответствующим свидетельством.

Документальная оценка может быть только дополнением к другим методам оценки компетентности эксперта и самостоятельного значения не имеет. Это обусловлено тем, что часть информации, которая есть в документах, дублирует другие оценки.

Комбинированная оценка предполагает использование различных методов оценки компетентности экспертов. Так как различные методы этой оценки имеют свои преимущества и недостатки, то их совместное использование может позволить усилить преимущества и смягчить недостатки отдельных методов.

Контрольные вопросы и задания

1. В чем суть потребительных методов сенсорного анализа?

2. Какие условия необходимо создавать при создании дегустационных комиссий для потребительской оценки?

3. Какие правила необходимо соблюдать при составлении анкеты для потребительской оценки?

4. В чем суть парного и треугольного методов исследования?

5. В чем суть аналитических методов сенсорного анализа?

6. С какой целью чаще всего используют метод оазведения?

7. В чем суть бальной оценки качества товаров?

8. Какие требования необходимо соблюдать при разработке бальной системы оценки качества товара?

9. С какой целью устанавливают коэффициенты значимости показателей качества?

10. В чем суть экспертного метода оценки качества товаров?

11. Назовите основные этапы и операции, имеющие место при проведении экспертной оценки.

12. Какие существуют методы оценки компетентности экспертов?

13. Охарактеризуйте основные методы оценки компетентности экспертов (эвристический, тестовый, документальный).

Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:

1. способность организовывать и планировать труд;

2. профессиональная компетентность;

3. сознание ответственности за выполняемую работу;

4. контактность и коммуникабельность;

5. способность к нововведениям;

6. трудолюбие и работоспособность.

По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).

Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":

"1" - явно неорганизованный работник и руководитель;

"2" - не умеет организовывать и планировать свой труд и труд подчиненных;

"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;

"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;

"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.

По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.

Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.

Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.

Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.

Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:

К = Оу.обр. (1 + С/4 + В/18), где

Оу.обр. - оценка уровня образования, которая обычно принимается (составляет

0,15 для лиц, имеющих незаконченное среднее образование;

0,60 - для лиц со средним образованием;

0,75 - для лиц со среднетехническим и незаконченным высшим образованием;

1,00 - для лиц с высшим образованием по специальности;

С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);

В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.

На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.

Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.

На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.

Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.

Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.

Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.

Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.

Групповая экспертиза включает следующие обязательные этапы:

Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;

Выбор техники опроса или способов выявления индивидуальных мнений;

Формирование экспертной группы;

Проведение опроса экспертов;

Обработка результатов (получение группового суждения);

Анализ результатов.

Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.

Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.

Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).

Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.

После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).

Таблица 1.

Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:

1. если всегда - 1,5 балла;

2. если в большинстве случаев - 1 балл;

3. если иногда - 0,5 балла;

4. если почти никогда - 0 баллов.

При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.

Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:

Где Зср - средний балл оценки качества по степени его функциональной значимости;

З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;

N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);

Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:

Где Пср - средняя оценка степени проявления качеств у аттестуемого;

П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;

N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;

N - общее количество экспертов.

Затем по каждому качеству определяется средневзвешенный балл по формуле:

К = Зср * Пср, где К - качество.

Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:

1) 57 х 1,5 = 85,5;

2) 57 х 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.

Качественная экспертиза -- это оценка качественных характеристик товара экспертами для установления соответствия их требованиям нормативных документов. Проводят эту экспертизу с целью определения качества товара в товарной партии при сдаче-приемке, или после длительного хранения, или при обнаружении скрытых технологических дефектов в процессе хранения, когда обычные сроки предъявления претензий поставщику истекли. Кроме того, экспертиза по качеству применяется при оценке образцов новых товаров перед постановкой их на серийное производство. Для пищевых продуктов качественная экспертиза только по органолептическим показателям называется дегустацией.

В зависимости от назначения качественная экспертиза бывает: приемочная, по комплектности, новых видов товаров, дегустация пищевых продуктов, по договорам.

Приемочной экспертизой по качеству называется оценка качества товаров экспертами для подтверждения достоверности результатов проверки при приемке. Основанием для проведения такой экспертизы могут служить: разногласия между поставщиком и получателем по результатам приемочного контроля, проведенного получателем в отсутствии поставщика и невозможности его явки на повторную приемку; обнаруженное или предполагаемое несоответствие фактического качества товара указанному в документах; нарушение упаковки (поломка, деформация и др.); наличие значительных качественных потерь в процессе транспортирования или хранения. При проведении качественной экспертизы пользуются стандартами, санитарными и ветеринарными правилами и инструкциями, правилами или кодексами транспортных организаций.

При проведении приемочной экспертизы по качеству эксперты должны придерживаться основных правил, которые включают следующие положения:

• 1. Перед началом экспертизы необходимо ознакомиться со всеми нормативными документами (стандартами на конкретные виды продукции, упаковку и маркировку, методы испытаний).
• 2. Качество товаров необходимо определять в соответствии с требованиями действующих стандартов, договоров. При Необходимости принимаемые товары могут оцениваться путем сопоставления с образцами или эталонами. Выбор показателей качества определяется целями и условиями проведения экспертизы. Чаще всего эксперты ограничиваются оценкой органолептических показателей и некоторых физико-химических показателей, используя простейшие средства измерений. Проверка микробиологических и сложных физико-химических показателей может быть рекомендована экспертом лишь в отдельных случаях после завершения приемки по качеству.
• 3. Для оценки качества должна быть отобрана выборка или объединенная проба, размер которой должен быть не менее установленных норм.
• 4. При неоднородности товарной партии, включающей товары разного качества (стандартные, 1-го или других сортов, нестандартные, брак, отход), эксперт должен выявить процентное содержание каждой фракции. При обнаружении дефектных товаров эксперт должен отобрать образцы товаров с наиболее характерными дефектами и установить причины их возникновения. Целесообразно направить образцы дефектной продукции в испытательную лабораторию для выявления их вида и причин возникновения. В акте экспертизы должно быть отражено процентное содержание продукции с различными дефектами.
• 5. При выявлении причин несоответствия качества эксперт должен указать в акте состояние тары и упаковочныхматериалов (их целостность, надежность, достаточность).
• 6. Эксперт не должен проводить приемочную экспертизу, если нарушена целостность товарной партии или предъявлены обезличенные товары, а также распакованные или без товарно-сопроводительных документов.

Экспертизой товаров по комплектности называется оценка экспертом наличия необходимых элементов комплекта и установление соответствия данным, указанным в технических документах. Правовой базой этой экспертизы является Гражданский кодекс РФ (ч. 2, ст. 478-480). Основанием для ее проведения служат особенности принимаемых товаров, целостность которых обеспечивается наличием в комплекте всех необходимых элементов. Все комплектующие элементы подразделяют на три группы:

• * обеспечивающие функциональное назначение товара, его эстетические свойства;
• * предназначенные для ремонта товара в процессе эксплуатации;
• * определяющие сохранность товаров при перевозке, хранении и реализации.

Экспертизе по комплектности подвергают в основном непродовольственные товары, а продовольственные товары -- только при продаже наборов продуктов.

Экспертизой качества новых товаров, называется оценка качества товаров по номенклатуре показателей, характеризующих степень новизны, возможность и целесообразность их выпуска в реализацию. Новый товар -- это продукция, предназначенная для реализации и отличающаяся от имеющихся товаров аналогичного назначения измененными потребительскими свойствами. Цель этой экспертизы качества -- определение практической полезности и показателей качества, которые могут создать потребительские предпочтения.

Правовая база экспертизы качества новых товаров отсутствует, а нормативная база представлена стандартами, санитарными и иными правилами и в этом совпадает с приемочной экспертизой. При экспертизе качества новых товаров используют различные методы оценки: органолептической, измерительной, социологической, экспертной. Решающее значение имеет экспертная оценка качества, а остальные методы выполняют вспомогательную роль.

Целью экспертизы может быть оценка всей номенклатуры показателей качества или только их части, например степени новизны. Выбор показателей качества обусловливается необходимостью соблюдения обязательных требований (безопасности, функционального назначения), а также определения степени новизны, что и составляет сущность экспертизы качества новых товаров. Степень новизны характеризуется количественными и качественными изменениями потребительских свойств, формирующими и удовлетворяющими новые потребности. Степень новизны может выражаться в баллах или процентах. Е.Е. Задесенец предлагает следующие градации степени новизны: товары незначительной новизны (степень новизны до 20%), товары нового вида (21--70%) и качественно новые товары (71-100%). В зависимости от градации нового товара выбирают и методы его изучения. Для товаров, степень новизны которых не превышает 70%, можно использовать сравнительные методы, основанные на сравнении показателей качества товаров одного наименования новых и уже известных. Для качественно новых товаров этот метод мало приемлем, поэтому для них применяют прогнозно-аналоговые, безаналоговые или комбинированные, которые являются разновидностями сравнительного метода, но на более высоком уровне, с использованием элементов прогнозирования. Прогнозно-аналоговый метод основан на построении перспективно-прогнозного ряда базовых образцов товаров-аналогов и использовании его для сравнительной оценки качественно новых товаров. Безаналоговый метод -- на анализе процессов потребления разными группами потребителей или процессов проектирования. Комбинированный метод основан на совмещении оценок ранее известных и новых потребительских свойств изучаемых товаров. В этом случае эксперты широко используют всю доступную им информацию о товарах-аналогах, об уровне проектных разработок. Комбинированный метод сочетает сравнительный метод для изучения качественных свойств и прогнозно-аналоговый (безаналоговый) для изучения новых свойств.

Дегустацией пищевых продуктов называется оценка органолептических показателей качества экспертами, проверенными на сенсорную чувствительность. Целью Дегустации является получение достоверных результатов при органолептической. оценке качества, снижение ее субъективности за счет высокой профессиональной компетентности экспертов, которая достигается узкой специализацией их по группам товаров. Отбор экспертов в дегустационные группы проводится путем проверки их сенсорной чувствительности, кроме того, эксперт должен иметь опыт органолептической оценки выбранной товарной группы.

Дегустацию пищевых продуктов проводят при экспертизе новых товаров, при необходимости выявления качественных изменений органолептических показателей, при определении товарного сорта и других градаций качества. Результаты дегустации могут быть- выражены в виде описания отдельных показателей, а также в баллах. В последнем случае применяют стандартные шкалы (шкалы балльной оценки) вин, пива, твердых сычужных сыров и сливочного масла) или для балловой оценки данного вида товара должна быть разработана специальная шкала.

Экспертизой товаров по договорам называется оценка экспертом соблюдения требований качества, установленных договорами купли-продажи, комиссии и хранения. Основанием для проведения такой экспертизы служат разногласия между сторонами, заключившими договор. Правовой базой проведения такой экспертизы являются Федеральный закон «О защите прав потребителей» (гл. 1 и 2, ст. 1--26), правила продажи товаров, правила комиссионной торговли непродовольственными товарами, утвержденные постановлением Правительства РФ от 6 июня 1998 г. № 569.

Необходимость в проведении экспертизы по договорам хранения появляется в случае возникновения количественных потерь сверх установленных норм или снижения качества товаров, а также при полной их потере. Снижение качества товаров при хранении происходит вследствие микробиологических, биологических, физических, химических, физико-химических и биохимических процессов. Нередко ухудшение качества товаров можно определить по органолептическим показателям, эксперт при этом самостоятельно принимает решение о необходимости исследования товара в испытательных лабораториях измерительными методами. Независимо от причин возникновения качественные потери списывают по актам, которые подписывают эксперты, руководитель и материально-ответственные лица. Нормы списания товаров за счет снижения качества отсутствуют.

Ассортиментной экспертизой называется оценка экспертом количественных и качественных характеристик товара для установления его ассортиментной принадлежности. Этот вид товароведной экспертизы как самостоятельный применяют только при возникновении разногласий между поставщиком и покупателем, продавцом и потребителем по вопросам ассортиментной принадлежности товара к определенной группе, наименованию, товарной марке или при установлении соответствия ассортимента товаров в партии ранее представленным образцам, каталогам или договорам купли-продажи.

Документальной экспертизой называется оценка экспертом товароведных характеристик товаров, основанная на информации товарно-сопроводительных, технологических и иных документов. При проведении документальной экспертизы отсутствующего товара эксперт анализирует имеющиеся документы: накладные, сертификаты, качественные удостоверения, акты списания, технические документы по контролю за температурно-влажностным режимом, докладные работников торговых организаций. Самостоятельно этот вид экспертизы проводится в случае отсутствия товара вследствие его реализации, хищения, порчи, гибели из-за непредвиденных обстоятельств. Сложность документальной экспертизы заключается в том, что при отсутствии товара эксперту приходится полагаться на представленные документы, которые могут быть фальсифицированы. Результаты экспертизы в таком случае зависят от компетентности эксперта, так Как в результате проведенной экспертизы могут быть опровергнуты документы, представленные торгующими организациями, а руководители и материально ответственные лица привлечены к уголовной ответственности.

Комплексной экспертизой называется оценка экспертом всех характеристик товара на основе их испытаний и анализа документов. Она может включать не только товароведные, но и стоимостные характеристики. Этот вид экспертизы применяют в тех случаях, когда необходимо всесторонне оценить товар с учетом позиций продавца, потребителя, а также сложившейся рыночной конъюнктуры. Комплексную экспертизу широко применяют в практике комиссионной торговли, при экспортно-импортных операциях внешнеторговой деятельности, при заключении договоров купли-продажи по образцам крупных партий товара. Комплексная экспертиза включает другие „виды экспертизы (количественную, качественную, ассортиментную и документальную), и поэтому все средства и методы, используемые для их проведения, применяются и для этой экспертизы.

Экспертные методы - методы оценки, проводимые группой экспертов в условиях неопределенности или риска.

Экспертные методы используются для определения номенклатуры показателей качества, коэффициентов их весомости, для измерения показателей качества и их оценки органолептическим методом. Оценка показателей качества измерительным, регистрационным, расчетным методами применяется для определения комплексных показателей качества различных уровней иерархии.

Предназначены для экспертной оценки товаров в случаях, когда другие, ранее перечисленные методы неприменимы или неэкономичны.

Экспертные методы основаны на принятии эвристических решений, базой для которых являются знания и опыт, накопленные экспертами в конкретной области в прошлом.

Экспертным методам присущи определенные достоинства и недостатки.

Преимуществами является то, что они позволяют принимать решения, когда объективные методы невосприимчивы. К другим преимуществам относится их восстанавливаемость. Сфера применения этих методов - не только оценка качества товаров, но и исследование операций технологического цикла, принятие решений, управляющие, прогнозирования.

Экспертные методы, применяемые квалифицированными экспертами, позволяют дать точную оценку товаров. Проведенные эксперименты свидетельствуют, что при правильной методике экспертной оценки погрешность результатов составляет 5-10%, что допускается для измерительных методов. Полученные экспериментальным путем результаты экспертных оценок в различных группах экспертов показали их достаточно высокую восстанавливаемость.

К недостаткам экспертных методов относятся субъективизм, ограниченность применения, высокие затраты на их проведения.

Субъективизм экспертных методов является следствием того, что экспертная оценка проводится каждым экспертом индивидуально и представляет, по мнению Е. П. Райхмана ы Г. Г. Азгальдова "не что иное, как его психологическую реакцию на физические и химические характеристики продукции". Однако следует иметь в виду, что экспертная оценка складывается из мнений нескольких экспертов, каждый из которых является не только специалистом в определенной отрасли знаний, но и потребителем. Поэтому экспертная оценка в определенной мере отражает и мнения потребителей, что невозможно осуществить при других методах.

Вследствие значительной доли субъективизма экспертные методы имеют определенные ограничения. их использование рационально в двух случаях: во-первых, когда поставленные перед экспертами цели не могут быть решены другими методами; во-вторых, когда имеющиеся альтернативные методы дают менее точные и достоверные результаты или связаны с большими затратами.

Для устранения этого недостатка экспертные методы при проведении товарной экспертизы сочетаются с другими методами. Чаще всего вместе применяются экспертный и органолептический методы. Более того, при разработке шкал органолептической балловой оценки, выборе номенклатуры показателей качества, определении коэффициентов весомости экспертные методы незаменимы.

Экспертные методы подразделяются на три подгруппы: 1) методы группового опроса экспертов; 2) математико-статистические методы обработки экспертных оценок 3) методы экспертной оценки показателей качества.

Каждая группа экспертных методов в свою очередь подразделяется на виды и разновидности. Классификация экспертных методов представлена на рис. 1.3.

Рис. 1.3. в

Методы группового опроса экспертов - методы, основанные на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации.

Целью этих методов является получение групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора является необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных товаров).

Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и/или прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие между экспертами позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, в сравнении с информацией любого члена группы. К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше ошибка принятия основных решений и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного результата.

К недостаткам групповых оценок относятся: трудности в получении надежной и согласованной оценки; получение неодинаковых ответов на один и тот же вопрос с большой разницей мнений из-за разной компетентности экспертов; получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить; большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах; возможность конфронтации, когда отдельные эксперты за неуверенности или иных причин могут соглашаться с мнением большинства.

Несмотря на указанные недостатки, экспериментально установлено, что при соблюдении определенных требований групповая оценка более надежна, чем индивидуальная. К таким требованиям относятся: приемлемое распределение оценок; групповая надежность; подготовка экспертизы.

Эффективность экспертизы зависит от точности и надежности полученных результатов, то есть от применяемых методов и от квалификации эксперта. Выбор эксперта является сложной задачей, чаще всего учитывают несколько личных свойств: компетентность - профессиональное и кваліметричну, заинтересованность эксперта в результатах экспертизы, отношение к делу, объективность. Почти не учитываются такие черты, как склонность к риску, другие психологические особенности.

Не разработан до сих системный подход к оценке качества эксперта; существующие методы оценки делятся на пять групп:

Эвристические;

Статистические - оценки, которые получают в результате анализа оценок экспертов с определением отклонений от средних значений;

Тестовые - оценки, полученные в результате выполнения тестовых заданий экспертами;

Документальные - оценки компетентности, полученные при анализе отдельных документальных данных экспертиз, проведенных экспертом;

Комбинированные - оценки, полученные во время анализа данных, полученных при сочетании перечисленных методов.

Эвристические оценки включают самооценку и оценку, сделанную коллективом экспертов. Самооценка чаще всего субъективная; для уменьшения субъективности применяют балльную шкалу по отдельным свойствам эксперта. Самооценку проводят соответственно по видам товаров и показателям качества, например, эстетичность изделий, эксперт оценивает себя анкетированием. Анкета включает периодичность ознакомления с современной отечественной и зарубежной литературой, с современными образцами продукции, с результатами социологических опросов.

Как разновидность самооценки применяют метод оценки по аргументированностью и ознакомления с продукцией, которая анализируется. Оценка проводится с помощью анкеты с определением коэффициента компетентности.

С помощью тестовых оценок возможно оценить такие важные свойства эксперта, как кваліметричну и профессиональную компетентность, объективность. Квалиметрична компетентность при проведении органолептической оценки заключается в многократном опросе экспертов для определения коэффициентов весомости несколько раз и определение достоверности оценок.

Профессиональная компетентность проверяется в виде контроля умение пользоваться различными типами оценочных шкал - порядка, отношений, интервалов, а также умения различать значительное количество характеристик, градаций при оценке свойств продукта, который анализируется.

При участии экспертов в коллективной оценке и обсуждении наблюдается явление конформизма, то есть попадание эксперта под влияние выводов других экспертов, что негативно влияет на формирование объективной оценки эксперта. Поэтому умение придерживаться своего мнения и отстаивать свои выводы имеет положительное значение во время проведения экспертизы коллективным методом и формирования объективной оценки.

Экспертные методы оценки качества основываются на использовании выводов экспертов. Они применяются при невозможности или нецелесообразности, неекономічності использования измерительных или расчетных методов. Это происходит при нехватке информации, необходимости применения и разработке специальных технических средств, при оценке эстетических показателей качества и тому подобное. Экспертные методы могут сочетаться с другими методами или применяться как самостоятельный вид во время оценки качества нормативной документации на продукцию и продукции, определении номенклатуры показателей и коэффициентов их весомости, при выборе базовых образцов и показателей качества, во время определения и измерения показателей качества органолептическим методом, во время оценки единичных и комплексных показателей качества, определенных измерительным или расчетным методом.

Основой экспертной оценки качества является объективная общественная полезность продукции, которая отражает ее современность. Мнение о качестве продукции, которую выражает квалифицированный эксперт, отвечает общественным потребностям и совпадает с мнением массового потребителя.

Однако в выборе товара потребитель придерживается консервативной позиции и новую продукцию принимает осторожно, а иногда и вовсе не воспринимает. В заключении экспертов о качестве товара обобщается совокупность мнений потребителей продукции. Исследования показали, что зафиксированы оценки качества товара экспертов совпадают с оценками качества продукции, которые получили во время массового опроса потребителей. Определение точности экспертных исследований за соблюдение методологии проведения экспертизы показало, что она составляет 5-10%.

в Отношении качества продукции, ее потребительских свойств экспертные методы используют в таких случаях:

Определение номенклатуры показателей во время проведения экспертизы;

Выбор критериев оценки продукта или товара и размещения показателей по принципу иерархии;

Определение коэффициентов весомости показателей качества для определения уровня качества продукта, товара;

Исследование показателей органолептическим методом с применением методов их количественного выражения;

Оценка показателей качества измерительным, регистрационным, расчетным методами для определения комплексных показателей качества различных уровней иерархии.

Чаще всего применяются следующие экспертные методы:

Ведущего эксперта (единичного);

Комиссий;

комбинированный.

Метод ведущего эксперта дает возможность быстро провести экспертизу, сократить время на процедуру согласования и обсуждения, статистическую обработку данных членами группы. Однако результаты экспертизы, проводимой одним экспертом, зависят от уровня его профессиональных знаний, личности, уровня компетентности.

Метод экспертных комиссий предполагает участие группы специалистов, которые проводят анализ и оценку. Такой метод позволяет получить достоверные, объективные результаты, но требует значительных затрат времени на подготовку и организацию экспертизы. Количество экспертов, которые формируют комиссию, зависит от требуемой точности и надежности результатов экспертизы. Экспертная комиссия состоит из двух групп - рабочей и экспертной. Рабочая группа осуществляет подготовку, организацию и проведение экспертной оценки качества продукции, последующий анализ ее результатов. В состав рабочей группы входят организатор, консультант, который владеет профессиональными знаниями о продукции, оценивают технические работники. Экспертная группа может состоять из нескольких подгрупп, каждая из которых специализируется на решении соответствующих задач - определении номенклатуры показателей, оценке отдельных групп показателей и тому подобное.

Комбинированный метод, который основывается на последовательном использовании работы ведущего эксперта и небольшой по количеству экспертной комиссии, применяется в некоторых случаях.

в Общей классификации экспертных методов нет. Однако применяют классификацию в зависимости от соотношения количества данных, полученных экспертным или аналитическим методом, способа получения информации от эксперта и некоторых других факторов.

в Зависимости от способа получения от эксперта информации различают методы:

Коллективный;

Индивидуальный.

При коллективном способе технический работник проводит опрос сразу всей группы экспертов, при индивидуальном - каждого эксперта отдельно. Для получения достоверных результатов необходимо четко и правильно поставить цель и задачи эксперту, при групповом методе это трудно, однако возможно при постоянно сформированном составе группы. При индивидуальном способе применяют интервью, интервью-анкеты, анкетирование, смешанное анкетирование. Опросы могут проводить очным и заочным способом. При очном способе эксперт излагает свои суждения лицу, проводящему опрос. При заочном опросе контакт между ними отсутствует и эксперт заполняет сам анкету или карточку опроса.

Во время проведения интервью технический работник делает отметку в форме беседы, которая проходит по программе и определенному перечню вопросов. Во время проведения интервью-анкеты перечень вопросов носит более конкретный, направленный характер, последовательность вопросов жестко определена. Анкета заполняется в присутствии эксперта.

Анкетирование отличается тем, что эксперт самостоятельно заполняет анкету, имея пояснительную записку по заполнению. Смешанное анкетирование предполагает предварительное объяснение эксперта по заполнению анкеты с уточнением задачи.

По информативности наибольшие возможности имеют методы интервью, интервью - анкеты, анкетирование. Самая большая независимость суждений характерна для метода анкетирования.

Для решения сложных ситуаций неопределенности или во время формирования научно - технического прогноза экспертиза требует участия группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество коллективной оценки заключается в возможности разностороннего анализа количественных и качественных аспектов проблем. Существуют проблемы, решить которые невозможно без участия специалистов. Предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т. е. две группы одинаково компетентных экспертов с большей вероятностью найдут объективное решение.

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфи, ПАТТЕРН и комбинированный.

Метод Дельфи (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией.

Метод Дельфи был разработан в американской исследовательской компании РЭНД Корпорейшн В.Хелмером, Н.Долки и Т. Гордоном. Он использовался для военного научно-технического прогнозирования будущего. Срок Дельфы происходит от названия городка в Греции, где жили оракулы при храме бога Аполлона.

Особенностями метода Дельфи является: отказ от совместной работы экспертов; анонимность оценок; регулируемый обратной связи; групповая ответ.

Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в ЭВМ. Это позволяет уменьшить расхождение индивидуальных оценок и получить групповой ответ, что правильно отражает мнение каждого эксперта.

Анонимность опроса позволяет уменьшить конформний авторитарный влияние отдельных доминирующих экспертов, регулируемый обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежности оценок.

При использовании этого метода для целей экспертной оценки качества потребительских товаров оказываются следующие его недостатки: сложность опрос экспертов и заполнение анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость записей объяснений из-за отсутствия прямого контакта организатора с экспертами.

Метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на построении иерархической структуры - дерева целей - и вынесении постановления этих целей после открытого обсуждения.

Название метода состоит из первых букв английских слов, означающих "Помощь планированию путем количественной оценки технических данных".

Метод разработан в американской фирме "Хонкуелл" для оценки проектов новых систем вооружения. Метод имеет аналоги: ПРОФАЙЛ, во Франции - метод КПЭ, ПРОПЛЕН тому подобное.

Метод ПАТТЕРН предусматривает несколько этапов.

I этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и т. д. порядка, которые затем делятся на более узкие задачи. Деление продолжается до тех пор, пока не будут получены простые элементы, которые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемых деревом целей.

II этап - определение с помощью экспертов коэффициентов весомости (или значимости) каждого задания в отношении основной цели, при этом эксперты выносят решение после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с положительным фактором - взаимодействие экспертов, которые стремятся к принятию положительного решения, - имеет и негативные последствия из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.

III этап - применение ЭВМ для обработки полученных данных и их анализа. Преимуществами метода ПАТТЕРН является упрощение процедуры экспертного опроса. Недостатки: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий как отдельные эксперты; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфи и ПАТТЕРН имеют существенные недостатки и не соответствуют полностью целям экспертной оценки, Ое. Л. Райхман и Г. Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки.

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Преимуществами комбинированного метода, является достаточная гибкость, которая позволяет исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов.

К недостаткам метода относится багатоопераційність, которая требует значительных затрат времени и средств. Однако этот недостаток окупается повышенной достоверностью и восстановлению результатов.

Для оценки качества товаров комбинированный метод имеет общий алгоритм экспертных операций:

1. Этап подготовительный:

Формирование рабочей группы;

Формирование экспертной группы;

Классификация продукции и потребителей;

Построение структурной схемы показателей качества.

2. Этап получения индивидуальных экспертных оценок:

Выбор процедуры назначения оценок экспертами;

Выбор метода получения информации от эксперта и подготовка документов, необходимых для опроса;

Опрос экспертов.

3. Этап получения коллективных экспертных оценок:

Обобщения индивидуальных экспертных оценок;

Определение согласованности индивидуальных экспертных оценок;

Определение объективности коллективных экспертных оценок.

Для каждого этапа есть соответствующие задачи. В период подготовительного этапа решаются такие задачи, как определение функций и структуры рабочей группы, ее количественного состава, обязанностей отдельных членов. Определяются и разрабатываются принципы формирования экспертной группы: относительно количества экспертов, их профессиональной подготовки и тому подобное.

На втором этапе происходит определение техники опроса экспертов, оцениваются наличие контакта между экспертами, метод передачи информации и форма экспертных оценок. Эксперты могут определять оценки самостоятельно или после обсуждения с другими экспертами или ознакомления с анонимными экспертами. Оценки обосновываются, определяются в количественной форме и дихотомічній, где ответы даются в форме "да", "нет" или 0-1.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для анализа, подготовки и принятия решений. Возможности преобразования информации в соответствующие формы зависят от специфических особенностей объекта, полноты данных о нем, надежности, уровня принятия решения, а также от принятого критерия, зависит от исследуемой проблемы.

Одним из элементов, общим для многих экспертных методов, является коэффициенте весомости.

Коэффициент весомости - количественная характеристика степени значимости конкретного показателя для оценки качества.

Определение коэффициентов весомости показателей качества производится экспертным методом. Коэффициенты весомости предназначены для повышения достоверности экспертной оценки качества товаров.

Каждый показатель занимает в номенклатуре показателей качества по значимости определенное место. Эксперты ранжирования показателей по степени значимости осуществляют на основании профессиональных знаний и умений. Кроме того, любой квалифицированный эксперт стремится оценить показатели качества обследованного товара с позиций массового потребителя.

Если эксперт имеет возможность сравнить и оценить возможные варианты действий, предоставляя каждому из них определенное число, то он обладает определенной системе или шкале предпочтений. Правильное применение шкал имеет важное значение для обеспечения точности экспертных оценок. Различают следующие типы шкал: номинальная, порядковая, интервальная, отношений. Но наибольшие преимущества перед другими имеет шкала порядка благодаря относительной простоте экспертной оценки показателей качества по степени значимости. Характеристики шкал приведены в табл. 1.1.

Шкала номинальных наименований используется для того, чтобы отличить один объект от другого. Объекты должны быть пронумерованы, однако цифрами обозначается объект, а не его количественная характеристика. Это более простой тип измерения, в котором числа или символы используются только для классификации объектов. Шкала может быть использована для цифрового кодирования отдельных свойств в анкетах, для определения коэффициентов весомости.

Шкала порядковая (рангов) - такой метод оценивания, при котором параметры, показатели или объекты, которые оцениваются, располагаются в порядке роста или снижения показателя параметра (показателя) или свойств объекта. Классическим примером оценивания с использованием порядковой шкалы является оценка твердости минералов по шкале Мопса (шкала относительной твердости состоит из 10 эталонов твердости, причем твердость талька принята за 1, алмаза - 10). Этот способ может использоваться при определении интенсивности цвета муки, аромата фруктовых соков, букета вин, консистенции сыров. Порядковая шкала имеет преимущества при ее применении для определения коэффициентов весомости, поскольку упрощается процесс упорядочивания показателей качества по значимости для потребителей.

Таблица 1.1. Типы шкал и их характеристика

Тип шкалы	Определение шкалы	Отношения, задаваемые на шкале
Номинальная	Простой тип измерения, в котором числа или символы используются только для классификации объектов.	Эквивалентность (=)
Порядковая (ранги)	Объекты одного класса находятся в соответствующем отношении 3 объектами другого класса (больше чем, больше преимуществ, сильнее и тому подобное). Если [А]>[В] для некоторых объектов классов А и В, то имеет место частично упорядоченная шкала.	Эквивалентность (=). Больше чем (>).
Интервальная	Порядковая шкала, которая разделена на известные расстояния между двумя любыми числами на шкале, нулевая точка шкалы и единица измерения выбираются произвольно.	Эквивалентность (=) Больше чем (>). Отношение любых двух интервалов известно.
Отношений	Интервальная шкала с применением истинной нулевой точки, отношение любых двух точек не зависит от единицы измерения.	Эквивалентность (=). Больше чем (>). Определено отношение любых двух интервалов. Определено отношение между любыми двумя точками.

При определении коэффициентов весомости показателей качества эксперты сначала оценивают наиболее важный из этих показателей (по их мнению) и присваивают ему определенное число, например 1. Все дальнейшие показатели оценивают в убиваючому или возрастающем порядке по степени значимости.

После этого данные всех экспертов усредняются по каждому показателю.

В практике оценки качества товаров часто используется метод определения коэффициентов весомости, названный "методом фиксированной суммы". Суть его заключается в том, что эксперты назначают коэффициент весомости показателей, входящих в показатель верхнего уровня, причем сумма этих коэффициентов должна быть равна заранее определенному числу.

"Метод фиксированной суммы" целесообразно применят только при небольшом количестве показателей.

Практический опыт показывает, что при экспертной оценке качества товаров целесообразно применять следующие процедуру определения коэффициентов весомости.

1. Предварительное ранжирования экспертами показателей однородной группы. Ранг 1 присваивается самому важному показателю, 2 - следующему по важности и так далее Если показатели равнозначны по значимости, то им присваиваются одинаковые ранги. Количество показателей в однородной группе должно быть 4 и более. При меньшем количестве ранжирование не проводится.

2. Определение экспертами коэффициентов весомости показателей. Показателю 1-го ранга присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя определяется как доля важности первого показателя. При определении третьего и последующих показателей учитывается их важность в сравнении с предыдущими. В результате этих последовательных действий эксперт определяет коэффициенты весомости единичных, а затем комплексных показателей качества.

3. Ознакомление экспертов с значениями коэффициентов весомости (их обоснованиями), назначенными другими экспертами.

Обоснование коэффициентов весомости - очень трудоемкая операция, поэтому применяется при ограниченном числе показателей (около 10- 15). Иначе экспертам предлагается дать обоснование только по некоторым показателям на их усмотрение.

4. Усреднение значений коэффициентов весомости, определенных всеми экспертами. Проводят технические работники путем расчета среднеарифметической или средневзвешенной В последнем случае учитывается комплексная оценка качества эксперта.

Недостатками шкалы является неточность ранговых оценок за отсутствия уравнения интервалов, невозможность расчетов даже средней арифметической величины.

Шкала интервалов. Это такой метод оценивания, при котором существенной характеристикой является разность между значениями оцениваемых параметров, которая может быть выражена числом единиц, предусмотренных этой шкале. С помощью такой шкалы проводят ранжирование объектов, а также в определенных единицах устанавливают, на сколько один объект больше другого. Примером шкалы интервалов является шкала Цельсия, которая разбита на 100 равных интервалов и применяется для характеристики таких свойств продукции, которые связаны с температурными режимами, например, морозостойкость синтетической кожи, минимальная температура морозильной камеры в холодильнике.

Шкала отношений позволяет достичь высочайшего уровня измерения. Это такой метод оценивания, при котором используется единица измерения, она применяется для большинства параметров, которые представляют собой физические величины: размер, вес, плотность, силу, напряжение, частоту и тому подобное. Результаты измерения по шкале имеют свойства чисел, которые можно подвергать статистической обработке. Примером такой шкалы является температурная шкала Кельвина, началом которой является абсолютный нуль.

При сравнении шкалы интервалов и отношений определено, что с помощью последней получаются более точные результаты. Кроме того, оценки, полученные по шкале интервалов, можно использовать с целью вычисления средних взвешенных величин, расчеты которых характерны для экспериментальных опросов. Шкала отношений может быть основной для экспертного метода, шкалу порядка можно применять при достаточном обосновании.

В практике экспертной оценки применяют два основных вида шкал-размерные и безразмерные. Данные безразмерных шкал выражают в долях единицы, процентах, баллах.

Математико-статистические методы обработки экспертных оценок - методы, предназначенные для повышения достоверности результатов оценки качества товаров экспертами.

Они подразделяются на четыре подгруппы: ранжирования, непосредственной оценки, последовательных предпочтений и парных сравнений.

Ранжирование - метод, основанный на расположении объектов экспертизы в возрастающем или убиваючому порядке.

Предназначен для решения многих практических задач, когда объекты, определяющие конечные результаты, не поддаются непосредственному измерению. Кроме того, отдельные объекты, характеризующихся различной природой, бывают несовместимыми, поскольку у них нет общей меры сравнения. Основанием для ранжирования является необходимость упорядочения любого объекта во времени и пространстве, а также в соответствии с измеряемой качества без проведения точных измерений. И наконец, в ситуации, когда качество, которое измеряется, в принципе не может быть измерено по причинам практического и теоретического характера.

Процедура ранжирования состоит в расположении объектов экспертом в наиболее рациональном порядке и присвоении им определенного ранга в виде числа натурального ряда. При этом ранг 1 получает наиболее важный объект, а ранг п - наименее важный. В результате получена шкала порядка, в которой число рангов равно числу объектов Если два объекта имеют одинаковые ранги, то им приписывают так называемые стандартизированные ранги, которые рассчитываются как среднее суммы мест объектов с одинаковыми рангами.

Например, шести объектам присвоены следующие ранги:

Объекты 2 и 5 поделили 2-е и 3-е места. их стандартизированный ранг будет равен

(2 + 3) /2 = 2,5.

Объекты 3, 4 и 6 поделили 4-е, 5-е и 6-е места, а их стандартизированный ранг равен 5:

(4 4-5 + б)/3 = 5. В результате получается следующее ранжирование:

Метод ранжирования редко применяется в чистом виде. Чаще всего он сочетается с методом непосредственной оценки или его модификациями (ранжированием по сумме оценок, комбинированным способом и др.).

Метод непосредственной оценки заключается в том, что диапазон изменения какой-либо количественной переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка в баллах, например от 0 до 10. Шкала оценок может быть положительной и отрицательной, например, от +3 до -3.Эксперт должен включить каждый объект в определенный интервал в зависимости от его значения. Число интервалов, на которые разбивается весь диапазон изменения качества, может быть неодинаковым у разных экспертов. Отдельным экспертам разрешается оценивать одинаковым числом качественно различные факторы.

В некоторых случаях оказывается удобнее для выбора наиболее предпочтительного фактора сначала произвести оценку, а затем ранжирование.

Суммарные оценки рангов могут нормироваться, это позволяет установить более тесную связь между оценками, которые эксперты предоставили отдельным объектам. С этой целью оценки по всем объектам суммируются и в дальнейшем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки можно снова подвергнуть ранжуванню.

При проведении экспертизы несколькими экспертами стремятся получить усредненную оценку для каждого объекта. С этой целью нормированные оценки каждого объекта суммируются, полученная сумма делится на число экспертов. Второй способ определения зависимости между оценками факторов заключается в том, что важнейшему фактору дается оценка (устанавливается весомость) за определенным числом 1 или 10, следующие факторы оцениваются как доля важнейшего фактора. Преимущество метода в том, что облегчается процесс выбора оценок, потому что не нужно каждый раз сопоставлять весь ряд, а лишь учитывать значение первой и предыдущей по важности оценки. Оценки усредняются путем расчета средней арифметической.

Метод последовательных преимуществ - основанный на сравнении отдельного объекта с суммой последующих объектов для установления его важности. применяется при измерении уровня качества, оценке деятельности научных организаций. Метод имеет такое основное преимущество по сравнению с другими методами, которая дает возможность сопоставления и измерения качественно различных факторов.

Метод разработан В. Черчменом и Г. Акофом и предназначен для проведения сравнений с учетом определенных допусков.

Порядок представления результатов или их группировки не влияют на преимущества.

Процедура последовательных сравнений заключается в следующем. Эксперту представляется ряд объектов (показателей, факторов, результатов), которые необходимо оценить по их относительной важности (значимости), и он производит ранжирование. Наиболее важному объекту присваивается оценка, равная 1, остальных объектов - оценки ниже 1 до 0 в порядке их относительной важности. Затем эксперт устанавливает, является ли объект с оценкой 1 более важным, чем сумма последних факторов. Если важность объекта велика, то он увеличивает оценку, чтобы она была больше, чем сумма всех других.

Если значение объекта ниже, чем сумма всех других он корректирует оценки.

Таким образом, используемая процедура состоит в систематической проверке оценок путем их последовательного сравнения.

Метод последовательных предпочтений целесообразно применять, если число сравниваемых объектов не превышает 7. При большем количестве объектов их необходимо разбивать на подгруппы, которые включают 6 объектов. В тех случаях, когда это невозможно, следует использовать метод парных сравнений.

Метод парных сравнений - основан на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.

Применяется с целью выявления преимущества среди значительного количества факторов, проблем, показателей. Эксперты могут просто проводить сравнение с констатацией превосходства одного фактора перед другим. Возможно применение специальной шкалы предпочтений, где каждая степень преимущества имеет свою определенную оценку.

Метод парных сравнений может использоваться и для установления суммарных рангов факторов.

Для облегчения процедуры составляют матрицы парных уравнений, в которых все объекты (факторы) записывают в одном и том же порядке дважды: в верхней строке и крайнем левом столбце. Каждый эксперт должен проставить на пересечении строки и столбца оценку для двух сравниваемых факторов. В зависимости от того, какой фактор является наиболее важным, эта оценка будет равна соответственно 1 или 0. В главной диагонали такой матрицы проставляются прочерки или нули (таблица. 1.2).

Таблица 1.2.

Каждая пара факторов может сравниваться единожды или дважды. Существуют различные варианты частичного парного сравнения: выбор предпочтительного объекта из заранее сгруппированных пар; частичное парное сопоставление одной группы объектов со всеми другими, тогда как остальные факторы сопоставляется с некоторыми другими; установление суммарных рангов факторов.

Метод парных сравнений иногда сочетают с предварительным ранжированием объектов, при этом парное сравнение используется для уточнения преимущества отдельных объектов. В этом случае строится дополнительная матрица, в которой указывается доля случаев, когда один фактор оказывается более значимым, чем другой, в общем числе полученных оценок.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.

Предназначены для определения значений показателя качества расчетным или эвристическим путем в случаях, когда использование измерительных методов невозможно или неэкономичное из-за чрезмерных расходов на их применения или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной надежной оценки, не смотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, которые значительно отличаются по качеству, рекомендуется определять значение единичного показателя Р следующим образом:

где Р;5- базовое (эталонное значение).

Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости и, т. е. с целью разработки формул для расчетов оценок показателей:

Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р; - Р;) Р; -наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя зависят от цели оценки качества, при этом необходимо чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигаете путем разделения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждому следующему уровню осуществляется после принятия согласованных решений на предыдущий.

Экспертная процедура определения допустимых значений показателей качества заключается в ряде операций:

выдачи экспертам анкет и пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимые;

ознакомление каждого эксперта с оценками, указанными другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

Усреднение результатов оценки.

При значительной разнице мнений проводится дополнительный тур голосования. Значение показателя берется за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений рімакс, за минимальное допустимое значение - среднее из 50% наибольших значений значения используются экспертами при определении оценок показателей качества К.

Для определения экспертами вида зависимостей (и) между значением показателей Г; и их оценкам К нередко используется "главный метод точек". Необходимость его использования обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель действительной величины.

"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.

"Метод трех главных точек" - основан на разделении значений показателей Г; на максимальное, минимальное, среднее значения и определении значений оценок Р; в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формулы для расчета оценок показателя качества Кі "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки.

"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.

Семибальна шкала является равномерной, то есть при переходе от одного класса качества в другой оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая лучше всего, по его мнению, отражает характер зависимости и Затем каждому класс качества назначается оценка в соответствии с характеров зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "высочайшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Pi и их оценками К;, а для показателей, оцениваемых органолептическим методами, - между классами качества и их оценками.

В заключение проводится обсуждение полученных результатов, их обработка и анализ. Для показателей, которые определяются измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Определение комплексных показателей качества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателей качества.

Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта 7-9 показателей, расположенных на одном уровне иерархии, которые составляют довольно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки является комплексом операций, которые осуществляются последовательно, с постепенным повышением уровня. При этом анализ начинается с нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре метода движения по уровнях без подготовки.

Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Г; (или их оценкам К) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель упрощает объект исследования, поскольку учитываются не все показатели и связи между ними.

Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой является набором оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ .