Методи отримання колективних експертних оцінок

Метод Дельфі - отримання узгодженого думки і оцінки експертів за допомогою спеціальної програми послідовних індивідуальних опитувань експертів. Метод Дельфі розроблений у середині XX ст. О. Хелмером і Н. Далекому (США). Назва методу походить від давньогрецького міста Дельфі, де але доданню жив провісник майбутнього (оракул), і сам метод був призначений для прогнозних розрахунків з проблем, яким була властива недостатність інформації. Його застосування передбачає ряд послідовно здійснюваних процедур, спрямованих на формування групової думки з досліджуваної проблеми, за таких умов:

  • • повна відмова від особистих контактів експертів, опитуваних з конкретної проблеми;
  • • забезпечення експертів необхідною інформацією;
  • • збереження анонімності оцінок, аргументації та критики;
  • • обґрунтування відповідей експертів за запитом організаторів експертизи;
  • • можливість кількісної оцінки відповідей експертів;
  • • багаторазове проведення експертизи (у кілька турів);
  • • інформування експертів про результати кожного туру;
  • • виявлення оцінок і думок, що відрізняються від думки більшості;
  • • статистична обробка результатів.

Забезпечення продуктивної роботи експертної комісії досягається за рахунок анонімності, зворотного зв'язку і групової відповіді.

Анонімність процедури забезпечується шляхом індивідуального опитування кожного експерта, в результаті чого відсутній ідентифікація оцінок експертів і наведених ними аргументів.

Зворотній зв'язок здійснюється за допомогою доведення до учасників експертизи результатів кожного проміжного туру опитування у вигляді усереднених статистичних значень.

Груповий відповідь формується за допомогою статистичних методів, що забезпечує правильне відображення думки кожного експерта.

Особливі вимоги даний метод пред'являє до опитувальної анкеті: все що містяться в ній питання повинні зводитися до кількісної оцінки і допускати можливість вкладення відповіді в числовій формі. Не дозволяється використання питань, які потребують змістовних відповідей. Тому в анкету включаються питання, що стосуються часу настання досліджуваної події (наприклад, коли в Росії буде створено перший зразок автомобіля японського рівня), кількісних значень прогнозованих характеристик (яке співвідношення рівнів продуктивності праці в Росії і США очікується До 2020 р), ймовірностей настання деяких подій або впливу окремих факторів на досліджувану систему (наприклад, оцініть у відсотковому відношенні частку інтелектуальної праці в загальній структурі витрат на виробництво економічного продукту в Росії в 2020 р).

Розглянемо деякі технологічні особливості методу Дельфі.

По-перше, робота з даного методом починається з чистого аркуша, тобто анкета, надавана експертом в першому турі крім загального формулювання завдання експертизи нічого не містить. Основне завдання першого туру - виробити структуру опитувальної анкети, яка згодом буде використовуватися для проведення експертизи.

По-друге, заповнені таким чином анкети передаються організаторам експертизи, які аналізують напрямки, ідентифікують події і виводять остаточні переліки тих і інших, що і складе основу другої опитувальної анкети.

По-третє, анкета, розроблена групою експертів протягом першого туру опитування, на другий тур замінюється новою анкетою, розробленою організатором експертизи самостійно або залученими сторонніми фахівцями, з тим щоб дотримуватися процедури класичного підходу - тоді робота експертів у другому турі починається з пошуку відповідей на нові (або уточнення) питання.

По-четверте, заповнені експертами анкети обробляються і аналізуються, формуються статистичні ряди і обчислюються медіани і квартили (за медіану приймається середній член роду, по відношенню до якого число оцінок з початку і кінця ряду буде однаковим; квартили - інтервали упорядкованого ряду, що містять по 25 % значень цього ряду. Два крайніх інтервалу називають відповідно нижньою і верхньою квартилями, а два середніх інтервалу (квартили) утворюють найбільш бажаних область).

Отримані значення приймаються за характеристики розподілу оцінок (медіана служить показником групової відповіді, а найбільш краща область - показником розкиду індивідуальних оцінок) і повідомляються експертам.

По-п'яте, експерти, чиї оцінки виявилися в крайніх квартилях, надають обґрунтовану відповідь, чому їх думка відрізняється від групової думки.

Вони вправі міняти оцінку, приводити додаткову аргументацію і т.п. З новими обґрунтуваннями знайомлять всіх членів експертної групи, не називаючи експертів і хто і як обгрунтував або змінив свою первинну позицію.

По-шосте, в черговому турі опитувальна анкета крім первісного переліку питань включає групові медіани значень ключових характеристик досліджуваного явища, нижній і верхній квартили та зведені дані про містяться в анкеті розбіжностях з груповим думкою.

Члени експертної групи знову розглядають аргументи і виставляють нові оцінки щодо містяться в анкеті питань.

По-сьоме, організатор експертизи, отримавши переглянуті оцінки і відповідні їм аргументи, знову проводить статистико-аналітичну обробку анкет і готує новий додаток до опитувальної анкеті для чергового туру. Після цього експерти повинні ознайомитися з думкою колег і з урахуванням цього виставити нові оцінки. Дані оцінки ще раз обробляються і приймаються в якості результату всієї експертизи.

На практиці необов'язково проводити всі чотири туру опитування, якщо, наприклад, експерти прийшли до угоди на другому турі.

З метою підвищення результативності опитувань і активізації роботи експертів метод Дельфі поєднують з діловою грою і з іншими методами, наприклад методами "дерево цілей", "прогнозування" та ін.

ПАТЕРН (PATTERN) - методика системного аналізу об'єкта, в якій вперше запропонована ідея структуризації цілей і визначені класи критеріїв: оцінки відносної важливості, взаємної корисності стану і термінів розробки ("стан - термін"). Метод розроблений в США в 60-і рр. XX ст. Структура методики ПАТЕРН наведена на рис. 5.7.

Практика використання системи ПАТЕРН продемонструвала можливість проводити аналіз складних проблемних ситуацій, розподіляти за важливістю величезну кількість даних в будь-якій області діяльності, досліджувати взаємне співвідношення постійних і змінних факторів, на яких грунтуються і на які впливають прийняті ними рішення.

Структура методики ПАТЕРН

Рис. 5.7. Структура методики ПАТЕРН

Система ПАТЕРН стала важливим засобом аналізу труднорешаемих проблем з великою початковою невизначеністю, прогнозування і планування їх реалізації. Основні ідеї методики застосовувалися в різних областях: наукові дослідження, проектування і створення систем різної складності в науково-дослідних організаціях і на підприємствах, розширення ринків збуту військово-космічної продукції і т.д.

Глибина прогнозування в системі ПАТЕРН становила 10-15 років, що відповідало життєвому циклу становлення і старіння техніки.

Методика була призначена для створення системи підготовки та реалізації планів забезпечення військової переваги США над усім світом. У 1964 р сенатор Г. Гемфрі виступив у Конгресі США з пропозицією створення на базі концепції ПАТЕРН Бюро допомоги президенту у підготовці рішень науково-інформаційними методами (PASSIM - President Advisory Staff on Scientifi c Information Management).

В якості основ для формування та оцінки "дерева цілей" розробляються "сценарій" (нормативний прогноз) змін об'єкта дослідження та прогноз розвитку науки і техніки (вишукувальний прогноз). Вітчизняні вчені Ю. І. Черняк, В. Н. Волкова суттєво покращили методику ПАТЕРН, запропонувавши не тільки принципи формування "дерева цілей", а й принципи декомпозиції ("простір - час"). Цей методичний підхід дозволяє сформувати систему цілей, що охоплюють, з одного боку, тимчасової аспект розвитку (поточний період, найближчий період і віддалений період), а з іншого - просторовий аспект (досліджувану систему, ближню середу і далеку середовище).

На рис. 5.8 наведено приклад, який ілюструє формування цілей в системі "простір - час".

Формування цілей в системі

Рис. 5.8. Формування цілей в системі "простір - час"

Концепція Ю. І. Черняка і В. Н. Волкової про відповідність двох "шкал" розвитку складних систем (просторової і тимчасової) знайшла застосування при розробці галузевих автоматизованих систем управління, управління великими науковими проектами, систем управління регіонами та ін.

Дуже плідним є принципове положення концепції про виділення складових на верхньому рівні структури "дерева" для вирішення нових, недосліджених проблем ("що потрібно дізнатися", "що потрібно створити", "що потрібно організувати" - рис. 5.9).

Виділення складових на верхньому рівні структури

Рис. 5.9. Виділення складових на верхньому рівні структури "дерева" для вирішення нових, недосліджених проблем

Важливе практичне значення має також принцип "пірамідки", запропонований зазначеними авторами, що допомагає зрозуміти, що виділювані гілки "дерева цілей" характеризують обсяг "області цілей". Розкрити "область мети" допомагає послідовне переміщення по гранях "пірамідки" з поверненням на новому витку до вже структурованим гілкам з урахуванням нового бачення проблеми (рис. 5.10).

Принцип

Рис. 5.10. Принцип "пірамідки", що характеризує обсяг "області мети"

Застосовувана в даний час вітчизняна методика структуризації цілей забезпечує формування системи цілей з урахуванням простору ініціювання змін (різних компонентів зовнішнього середовища), життєвих циклів (ключових компетенцій, технологій, продуктів), факторів менеджменту організації. Так, наприклад, методика передбачає послідовну декомпозицію цілей за такими основними рівнями ієрархії:

I - формування глобальної мети системи.

II - кінцеві результати діяльності (продукти, послуги).

III - простір ініціювання цілей (далека середу, безпосередня середу, власне система).

IV - життєвий цикл продукту (етапи ЖЦ).

V - склад системи (засоби діяльності, предмети діяльності, персонал, відносини).

VI - цикл управління (етапи).

VII - делегування повноважень.

У результаті такої декомпозиції можна задати мету у вигляді деяких напрямків розвитку або вийти на рівень організаційно-економічних (технічних) заходів (рис. 5.11).

Систематизація програм, що розробляються галузевими підрозділами регіональної адміністрації

Рис. 5.11. Систематизація програм, що розробляються галузевими підрозділами регіональної адміністрації

При розробці програм необхідно чітко сформулювати мету і визначити параметри оцінки її досягнення, а також фінансові ресурси на основі системи "планування - програмування - бюджетування".

Програмно-цільовий підхід набув широкого поширення у нас і за кордоном. Сутність цієї системи полягає в тому, що витрати на реалізацію програм розподіляються не по їх характером, а по цілям і пропонованим результатами.

Взаємозв'язок планування, бюджетування і програмування на регіональному рівні показана на рис. 5.12.

Взаємозв'язок планування, бюджетування і програмування на регіональному рівні

Рис. 5.12. Взаємозв'язок планування, бюджетування і програмування на регіональному рівні

 
< Попер   ЗМІСТ   Наст >