Моніторинг та оцінка — це велика тема, і щодо неї існує великий обсяг літератури. Ця глава має на меті ознайомити читачів із ключовими проблемами у цій сфері, що стосуються діалогу, та надати чітке розуміння того, як проводити моніторинг та оцінку в процесі діалогу. Щоб бути цілком ефективними, моніторинг та оцінка повинні бути частиною процесу з самого початку, і тому ми пропонуємо читати цю главу в контексті глави 2.3 «Розробка процесу діалогу».

Мета моніторингу та оцінки

Як уже згадувалося раніше, готовність і здатність команди управління проектом реагувати на те, що виникає в процесі та його контексті, ймовірно, буде принаймні настільки ж важливою, як і потужність дизайну оригінального процесу, для визначення, чи досягнуто цілей діалогової ініціативи. Моніторинг та оцінка — це те, що робить таку реакцію можливою. Коли моніторинг та оцінка є невід’ємною частиною реалізації, вони виконують дві важливі функції.

• Забезпечення необхідних даних для навчання та адаптації під час процесу діалогу та, у довгостроковій перспективі, основа для вдосконалення практики діалогу та сприяння знанням про процес.
• Основа для підзвітності установам, які надають ресурси для уможливлення процесів діалогу. Ці установи мають легітимний інтерес у тому, щоб зрозуміти, як і наскільки їхні інвестиції відповідають поставленим цілям.

Моніторинг та оцінка діалогових процесів є частиною більш широкого поля, що еволюціонує від акцентування головним чином на підзвітності до більшої уваги навчанню та адаптації.168 Традиційно у визначеннях надається чітке розділення між моніторингом — діяльністю команди управління проектом та безперервним процесом, який зосереджується головним чином на зборі даних, та оцінкою — обмеженим у часі заходом, який фокусується на аналізі та висновках з даних. Оцінка проводиться зовнішніми оцінювачами, часто після завершення процесу. Однак, оскільки більший наголос робиться на навчанні та адаптації, ці відмінності стають менш чіткими. Дедалі частіше команда управління проектом бере на себе відповідальність за аналіз та інтерпретацію інформації, щоб діяти відповідно до неї, тоді як оцінювачі розробляють способи інтегрувати свою роботу в поточні ініціативи, щоб сприяти управлінню проектами, які вже відбуваються.

Слідуючи цій тенденції, ми розглядаємо моніторинг та оцінку як єдиний потік діяльності, що відповідним чином є частиною процесу діалогу від початку до кінця, як показано у схематичних оглядах процесу діалогу на рисунку 2.1.1 та рисунку 2.3.2. З цієї точки зору корисним визначенням є таке:

Для подальшого читання Основні опубліковані джерела щодо моніторингу та оцінки походять із галузей гуманітарної допомоги, підтримки розвитку, а також запобігання та вирішення конфліктів. Деякі останні вичерпні публікації:Cheyanne Church and Mark M. Rogers, Designing for Results: Integrating Monitoring and Evaluation in Conflict Transformation Programs (Washington, DC: Search for Common Ground, 2006). Доступно за посиланням: sfcg.org. Cheyanne Church and Julie Shouldice, The Evaluation of Conflict Resolution Interventions. Part I: Framing the State of Play (Londonderry: INCORE, 2002); and Part II: Emerging Practice and Theory (INCORE, 2003.Частина I надає вичерпний огляд літератури та онлайн-ресурсів з моніторингу та оцінки. Доступно за посиланням: incore.ulst.ac.uk. IDRC handbook: Sarah Earl, Fred Carden and Terry Smutylo, Outcome Mapping: Building Learning and Reflection into Development Programs (Ottawa: International Development Research Centre, 2001). Доступно за посиланням: idrc.ca. UNDP Handbook: Monitoring and Evaluation for Results. Part I: The Monitoring and Evaluation Framework; Part II: How to Conduct Monitoring and Evaluation. Доступно за посиланням: undp.org. ‘Learning and Adapting’, MSP Resource Portal. Доступно за посиланням: mspguide.org.

Моніторинг та оцінка — це інтегрований процес постійного збору та оцінки інформації для винесення суджень про прогрес у досягненні певних цілей та завдань, виявлення непередбачених позитивних чи негативних наслідків дії та забезпечення розуміння того, чому стався успіх чи невдача.169

П’ять аспектів належної практики моніторингу та оцінки

Чітке визначення того, що слід оцінювати

Як ми розглядали в главі 2.3, при визначенні цілей процесу діалогу слід враховувати різні рівні. У процесі моніторингу та оцінки важливо розрізняти та відокремлювати їх, щоб досягти справедливої та корисної оцінки.170

Продукти (outputs) — це прямі результати діяльності, яка є частиною процесу діалогу. Вони охоплюють початкові та проміжні цілі процесу, описані в главі 2.3, заходи, визначені структурою процесу, такі як низка діалогових заходів із залученням певної кількості учасників та подальші заходи, в яких беруть інтерв’ю з деякими з цих учасників.

Моніторинг та оцінка результатів діяльності команди управління проектом у досягненні цілей щодо продуктів забезпечує основний рівень підзвітності.

Наслідки (outcomes) — це зміни, які породжує або яким сприяє дія в короткостроковій перспективі, наприклад, домовленість, досягнута в результаті діалогу, або нові точки зору та навички, отримані учасниками діалогу. Це можуть бути заплановані результати, сформульовані як цілі в процесі планування, або непередбачені результати, зміни на краще чи гірше, яких група планування не передбачала. Моніторинг та оцінка наслідків є основним центром осмислення та виправлення по ходу, за які відповідає команда управління проектом у міру розгортання ініціативи діалогу.

Моніторинг та оцінка наслідків — це певний центральний акцент на осмисленні та виправленні по ходу, за які відповідає команда управління проектом у міру розгортання ініціативи діалогу.

Ефект (impact) — це більший або довгостроковий вплив результатів, таких як нові закони або політика, що виникають у результаті домовленості або лідерства учасників діалогу. Оцінка ефекту є складною, тому що ефекти, як правило, стають очевидними лише за кілька років, оскільки важко встановити чіткий причинно-наслідковий зв’язок між наслідками та ефектом.171 Тому це завдання є важливим, оскільки воно виходить за рамки моніторингу та оцінки як таких. Ним повинні займатися дослідники, які мають можливість ретроспективного погляду та ресурси, щоб загалом виявляти дані про те, як результати діалогового процесу сприяли змінам.172

Вбудовування моніторингу та оцінки в процес діалогу

Скликачі, співрозробники та менеджери проектів закладають основу для ефективного моніторингу та оцінки на етапі розробки процесу діалогу. Це вимагає планування та надання ресурсів, що дозволяють команді управління проектом проводити періодичні огляди та аналіз (див. «Основні елементи процесу моніторингу та оцінки» нижче). Це також вимагає максимальної чіткості у формулюванні загальної мети ініціативи, стратегії її досягнення, а також коротко- та довгострокових цілей, що випливають зі стратегії.

Таблиця розробки процесу, представлена в главі 2.3, містить вказівки щодо цих важливих завдань та відображення мислення, що лежить в основі розробки — основоположна теорія змін. Ці кроки створюють важливу основу для «подвійного циклу навчання» — глибокої рефлексії, яка ставить під сумнів основні припущення.

 Див. блок 2.3.1, Таблиця розробки процесу; і опис теорії змін у розділі, присвяченому розробці стратегії.

Це ще одна корисна концепція зі сфери науки про дії. Рисунок 2.5.1 показує, що при «одинарній петлі навчання» сприймаються як належне вихідні припущення щодо проблем, контексту та цілей. У ній оцінюються застосовані стратегії та, в тій мірі, в якій заявлені наслідки не були досягнуті, зосереджується увага на тому, як удосконалити стратегії — зробити те саме, але краще. На відміну від цього, подвійна петля навчання передбачає перегляд початкового мислення, що лежить в основі визначення проблеми, стратегії та бажаних результатів. Вона націлена на те, щоб мислити по-іншому, а не просто робити щось по-іншому.

Залучення зацікавлених сторін

Забезпечення широкої участі в оцінюванні процесу діалогу вважається гарною практикою моніторингу та оцінки в різних сферах. У випадку з діалоговими процесами цей підхід узгоджується з керівними принципами, такими як інклюзивність та спільна відповідальність, і виражає належне почуття підзвітності перед учасниками та всіма зацікавленими сторонами. Оцінка з широкою участю, яка закладена в процесі діалогу, може підтримати конструктивну динаміку, породжену діалогом, та сприяти зацікавленості та ентузіазму ключових зацікавлених сторін щодо продовження процесу. Затінена вставка на цій сторінці містить посилання на ресурси щодо підходів моніторингу та оцінки з широкою участю.

Для подальшого читання Щодо процесів моніторингу та оцінки з широкою участю див. Janet Donnelly, ed., Who Are the Question- Makers? A Participatory Evaluation Handbook (New York: UNDP, 1997).Доступно за посиланням: undp.org.
Різноманітні ресурси, розроблені Консорціумом комунікації для соціальних змін, у тому числі Will Parks, Who Measures Change? An Introduction to Participatory Monitoring and EvaluationтаAllish Byrne et al., eds, Measuring Change: A Guide to Participatory Monitoring and Evaluation of Communication for Social Change (South Orange, NJ: Communication for Social Change Consortium, 2005- 2006). Доступно за посиланням: communicationforsocialchange.org.
Інноваційна система моніторингу та оцінки під назвою Most Significant Change пропонує альтернативу використанню заздалегідь визначених показників змін. Це підхід з широкою участю, який передбачає збір та системний аналіз «значущих історій» змін, які переживають зацікавлені сторони. Посібник з цього підходу доступний за посиланням: mande.co.uk. Посилання на інші сайти, що спеціалізуються на процесах моніторингу та оцінки, див. mande.co.uk.

Моніторинг та оцінка з широкою участю також є частиною формування потенціалу для майбутніх процесів діалогу в тому сенсі, що відкритість та навички оціночного мислення стають частиною соціального капіталу, який може підтримати діалоговий підхід до вирішення проблем. Зацікавлені сторони, які беруть активну участь в оцінці, розвивають підвищену здатність інтерпретувати докази, робити висновки та надавати судження.

Це також можливості, які в цілому сприяють демократії, оскільки «поінформований громадянин» повинен не тільки мати інформацію, але й знати, як нею користуватися — як зважувати докази, розглядати суперечності та невідповідності, формулювати цінності та вивчати припущення.173 Вудхілл зазначає, що включення цієї мети розширення прав і можливостей представляє «розширення підзвітності, включаючи «підзвітність у низхідному напрямку», спрямовану на бенефіціарів».174

Ще одне джерело стосовно моніторингу та оцінки, Measuring Change: A Guide to Participatory M&E of Communication for Social Change, визначає перелік основних принципів.

• Цей підхід випливає з переконання, що успішність ініціативи розвитку [чи діалогу] повинна визначатися тими, кому вона призначена, на їхніх умовах.
• Створено простір для того, щоб передбачувані бенефіціари могли осмислити та самі могли визначити, чи отримали вони користь та як і що можна покращити.
• Широке коло людей бере активну участь як суб’єкт у процесі з широкою участю, починаючи від розробки і далі.
• Процес застосовується та має практичну цінність для тих, хто бере участь.
• Місцеві (прожиті) знання та досвід поважаються та підкреслюються; несправедливість у владі та праві голосу визнається та усувається.
• Традиційні ієрархії руйнуються, в тому числі між людьми (різні зацікавлені сторони) та між типами знань (експертні порівняно з вродженими чи непрофесійними).
• Розвиток потенціалу (рефлексія, аналіз, навчання, вирішення проблем) є основним у процесі, оскільки слід розвивати навички та ознаки, що мають більш широке значення.
• Свідома увага приділяється зміцненню взаємного навчання поза межами проекту.
• Розуміння та взаємоповага поглиблюються через процес спільного навчання.
• Процес забезпечує навчання та розширення повноважень.
• Загалом, зацікавлені люди та громади здійснюють оцінку, а сторонні особи забезпечують фасилітацію.
• Відкрите ставлення до змін є вирішальним.175

Цей перелік свідчить про те, що, в принципі, існує безліч причин використовувати підхід на основі участі та переваги його використання. У той же час практики повинні усвідомлювати, що існують також пов’язані з цим виклики. Оцінки з широкою участю вимагають більше часу, ніж ті, які повністю проводяться сторонніми оцінювачами та/або командою управління проектом, і вони повинні розроблятися зовсім інакше. Це підхід, який неприйнятний для стилю розробки й управління проектами «згори вниз», оскільки «значуща участь» передбачає передачу істотного контролю. Крім того, моніторинг та оцінка з широкою участю може бути складним завданням для оцінювачів, які повинні стати більшою мірою фасилітаторами, ніж сторонніми спостерігачами. «Відсутність спроможності належним чином та ефективно використовувати інструменти та методи участі часто призводить до незадовільної реалізації, а отже і до незадовільних результатів нібито процесів участі», — пише Джим Вудхілл, директор Міжнародного центру Вагенінгена.

«Крім того, наївність або свідоме уникнення питань влади призводить до великої критики процесів участі». Ці виклики не повинні перешкоджати прийняттю підходу участі, але вони роблять ще більш важливим повне включення моніторингу та оцінки до процесу розробки та впровадження, а також підхід з особливою увагою до навчання.176

Розробка кількісних та якісних показників

У сфері моніторингу та оцінки показниками є дані (кількісні та якісні), які надають інформацію про зміни — незалежно від того, відбулися вони чи ні, і якщо так, то в якій мірі. «Там, де бажана зміна є конкретною, відчутною та вимірюваною, показники не потрібні», пишуть Черч і Роджерс. «Там, де передбачувана зміна є більш абстрактною, показники допомагають наблизити зміну».177 Наприклад, якщо метою діалогу є зміна угоди про можливість проведення виборів, необхідності в показниках, що визначають, чи було досягнуто домовленості та чи відбулися вибори, насправді не буде. Але якщо метою є підвищення довіри громадськості та залучення до демократичних процесів, кількість людей, які голосують, може бути необхідним і корисним показником того, чи було досягнуто бажаного результату.

Багато джерел, згаданих у цій главі, містять вказівки щодо того, як розробляти показники.178 При цьому важливо встановити структуру якісних та кількісних даних. Підрахувати кількість людей, які голосують у наведеному вище прикладі, порівняно просто, оскільки дані є конкретними і їх легко порахувати — це кількісний показник. Однак лише дані про голосування не зможуть зафіксувати основні зміни у ставленні, які привели людей до виборчих дільниць, не кажучи вже про їхні наміри у голосуванні. Генерувати таку якісну інформацію про думки та ставлення людей є складнішим та більш трудомістким завданням. Однак саме така інформація потрібна, якщо для нашого розуміння змін і чому вони сталися, потрібно знати нюанси та глибину.

Вудхілл зазначає, що моніторинг та оцінка традиційно роблять наголос на кількісних показниках, які можуть здаватися більш «надійними та об’єктивними». Однак, рухаючись до навчальної орієнтації, ця сфера дедалі ширше використовує якісні дані як засіб, що пропонує більш правдиву картину складної реальності, що стикається із зусиллями соціальних змін, забезпечуючи тим самим інформацію, необхідну команді управління проектом, щоб оцінити стан та внести необхідні корективи.

Вудхілл також зазначає, що засоби, що використовуються для збору якісних даних, такі як анкетування або інтерв’ю, дають змогу виявити несподівані зміни, які не розкриваються через вимірювані показники, що є ще однією перевагою для навчання.

Кількісні та якісні показники«Як відомо будь-якому досвідченому... практику, якщо донор запитує звіт, повний цифр, він його отримає. Однак чи мають якесь ці цифри відношення до реальності — це вже інше питання».Див. джерела цих матеріалів у розділі «Мудрість з практики — джерела» (стор. 238).

Нарешті, різниця між двома видами показників може бути менш значущою, ніж традиційно вважається, оскільки якісні дані часто можуть бути виражені в кількісному вираженні — наприклад, відсоток виборців, які дають подібні пояснення щодо свого рішення проголосувати.179

Баланс між орієнтацією на навчання та орієнтацією на результат

Іноді може здатися, що підхід, який наголошує на навчанні та адаптації, не узгоджується із ретельним моніторингом та оцінкою, що включає постановку цілей у початковому дизайні процесу. Однак, як стверджує Конраад Ван Брабант, команда управління проектом має досягти балансу між гнучкістю та відкритістю до ситуації, що виникає, та відповідальністю перед зацікавленими сторонами діалогу — як учасниками, так і прихильниками — за отримання результатів.

Сформулювати цілі для того, що має бути інтерактивним процесом, по суті важко. Це стає ще важчим, коли ми, як ініціатори та менеджери процесу, не хочемо нав’язувати ні порядок денний, ні часові рамки, [але хочемо] надати зацікавленим сторонам з відповідного суспільства більше можливостей та «відповідальності», щоб це зробити. Ми знаємо, що хочемо здійснити «зміну» та «трансформацію», але не можемо і навіть не хочемо визначити природу бажаних змін. Ми також не можемо гарантувати, що вони відбудуться. Тоді виникає спокуса стверджувати, що «подорож важливіша, ніж прибуття до пункту призначення», і в цьому є багато правди. Проте в той же час ми не хочемо залучати людей до подорожі незвіданими територіями, де врешті-решт ми можемо ходити по колу.180

Основні елементи процесу моніторингу та оцінки

Як зазначалося вище, ключовим аспектом належної практики моніторингу та оцінки є вбудовування процесів моніторингу та оцінки в загальний дизайн процесу. Наступний огляд вказує на те, чого можуть стосуватися ці процеси моніторингу та оцінки. Ці елементи можуть бути корисними, незалежно від конкретного підходу або прийнятих інструментів.181

Практика роздумів. Практика роздумів — це засноване на досвіді та орієнтоване на практику критичне мислення. Все, що вам потрібно, — це допитливе, аналітичне та рефлективне ставлення. Багато з нас так чинять у своїй роботі: ми робимо нотатки в умі чи фізичні записи про те, що пройшло добре, а що не так добре і чому, як потрібно щось робити, що потрібно уточнювати, яких підводних каменів уникати, як керувати певними стосунками та враховувати певні чутливі моменти або застереження. Здебільшого ми робимо це неформально, самостійно (наприклад, думаючи про прожитий день по дорозі додому ввечері) або з колегами (наприклад, розмовляючи в коридорі офісу або в машині на зворотному шляху з відвідання об’єкту). Ці неформальні роздуми впливають на наші наступні кроки, якщо ми пам’ятаємо їх наступного дня. Шанси на те, що цей процес у цілому буде добре управлятися, будуть додатково посилюватися, завдяки створенню командної атмосфери, в якій (1) заохочується та забезпечується критичне, але конструктивне мислення; та (2) люди не перевантажені постійно нагальними завданнями, що не залишають їм часу та енергії, щоб зробити крок назад і поглянути збоку на те, що відбувається.

У проектній команді, що вдало функціонує, люди не бояться поділитися своїми роздумами, оскільки знають, що їх вислухають, і що буде виділено цінні моменти, незалежно від того, звідки вони походять в офіційній ієрархії. Іноді справді не вистачає додаткової енергії або часу, щоб забезпечити належне оформлення такої командної рефлексії. У такому випадку одним із варіантів є просто записати це на плівку, а також підписати та зберегти плівки для подальшого використання.

Неупереджені партнери по обмірковуванню. Навіть коли практики роздумів є усталеними, для людей, які переживають ситуацію та процес, завжди буде проблемою стежити за «загальною картиною» та продовжувати «креативно думати» про те, як і куди скеровувати процес. Зазвичай корисно мати одну або кількох осіб, які добре знайомі з ситуацією, але щоденно не знаходяться в достатній мірі «в її епіцентрі», і запитання, думки та поради яких ми навчилися поважати. Ці люди можуть виступати як «тестові слухачі» для команди або її керівника. Це може бути хтось із групи зацікавлених сторін, представлених у діалозі, або сторонні особи — можливо, краще мати по одному з обох категорій. Хороший тестовий слухач не лише піднімає багато правильних питань і змушує нас бачити різні аспекти будь-якої ситуації. Нам потрібен хтось, хто може також запропонувати рішення, висунути альтернативи та надати практичні вказівки щодо того, як діяти в ситуації, повній невизначеності та двозначності.

Періодичні перевірки. Практика роздумів у команді та взаємодія з шанованим тестовим слухачем є формою майже постійного та неформального «моніторингу», який впливає на наше управління процесом. Але ця форма «моніторингу» має також і слабкі сторони: вона недостатньо структурована, всебічна чи глибока, і, як правило, не документується та не передається напряму. Тому належне управління процесами також вимагає періодичних перевірок.

Періодичні перевірки не повинні проводитися часто, наприклад щотижня, але не повинні також проводитися й рідко, наприклад щорічно. Коли і як часто їх організовувати, залежатиме від того, наскільки динамічними є контекст і процес, а також від «природних» моментів для паузи, погляду назад і погляду вперед. Команда проекту є головним гравцем у періодичній перевірці. Але, знову ж таки, присутність людей, які знаходяться як у процесі, так і поза ним, або навіть за межами країни, може бути дуже корисною. Цю роль можуть відіграти люди, які виступають у ролі «тестових слухачів», та/або одна або кілька осіб з головного офісу, які є орієнтирами для цього діалогового проекту. На деякі сесії з перевірки можуть бути запрошені деякі учасники, які є активними прихильниками процесу діалогу та/або представниками міжнародних організацій, що надають підтримку.

Ефективне проведення періодичних перевірок вимагає відповідальності та ресурсів. Вони не відбудуться, або не реалізують весь свій потенціал, якщо керівники проектів не поставляться до цього ретельно, якщо вони не записані в робочий план і для них не відведені бюджетні ресурси, а на співробітників не покладено обов’язки підготувати їх з точки зору логістики та суті. Не менш важливим є їхнє документування, що є ще одним завданням та сферою відповідальності, які слід покласти на відповідальних осіб.

Основні етапи моніторингу

Розробіть алгоритм прийняття важливих рішень. Керівники процесу діалогу стикаються з неминучим елементом «розв’язання дилем». Іноді він може загостритися, що призведе до «критичних моментів прийняття рішень». Прийняті рішення впливатимуть на наступні кроки і, можливо, на довшу траєкторію та досягнення процесу діалогу. Документування цих критичних моментів, прийнятих рішень та аргументів, що обґрунтовували рішення, є цінним довідковим матеріалом для періодичних перевірок та подальшої оцінки.

Збирайте історії про ефекти та впливи. Проміжні засідання команди з метою обдумування, особливо періодичні перевірки, дають можливість збирати історії про результати, передбачувані та непередбачувані, позитивні та негативні, а також приклади очевидного впливу процесу діалогу. З часом таких історій з’являється дедалі більше. Деякі з них будуть отримані командою як чіткий зворотній зв’язок. Інші з’являтимуться у неформальних умовах, і член команди може дізнатися про них лише випадково. Обдумування в команді має бути приводом зібрати їх, обміркувати, на що вони вказують стосовно діалогу, і вибрати дещо для подальшого дослідження та більш глибокого документування.

Проводьте огляд та моніторинг показників. Якщо ви встановили собі показники та розрізнили показники процесу проекту (рамок, за допомогою яких ви можете управляти своїми ресурсами протягом узгодженого періоду часу), та процесу діалогу (соціально-динамічної взаємодії, яку ви каталізуєте та намагаєтеся спрямувати в конструктивному напрямку), то періодична перевірка — це можливість відстежувати події за показниками, а також перевіряти якість показників.

Однак має бути зрозуміло, що періодична перевірка не структурована навколо показників, а є поступовою рефлексією та критичним дослідженням. Це обдумування: занадто часто вибрані на початку показники виявляються не дуже прийнятними, або просто занадто складними, щоб здійснювати їхній моніторинг на практиці. Більше того, ми зазвичай не встановлюємо показників для непередбачуваних наслідків. Вони можуть бути важливими та позитивними, але ми можемо їх не врахувати, якщо керуємося попередньо встановленими показниками. Коротше кажучи, саме перевірка має включати показники, а не показники мають формувати перевірку. Після деяких перевірок у вас, імовірно, з’являться показники, у яких ви впевнені та моніторинг яких можна здійснювати на практиці.

Плануйте наступну перевірку. Періодичні перевірки — це перш за все інструмент управління. Вони глибокі та критичні, але вони проводяться в ході процесу/проекту та допомагають визначити наступний обраний курс. Коли перевірки проводяться в конструктивному дусі разом із командою, яка звикла до підходу та атмосфери обдумування, перевірки також надають важливу можливість навчання. Вони забезпечують зворотню документацію процесу, але також є моментом для формулювання або перегляду проміжних та загальних цілей діалогу. Вони дають можливість вирішити, як підвищити якість участі та відносин між учасниками, суть діалогу, та як захистити чи зміцнити політичний простір для діалогу, щоб досягти наших цілей трансформації.

Інструменти моніторингу та оцінки

Як пропонується у джерелах, згаданих у цій главі, практики діалогу можуть запозичити багато структур та інструментів моніторингу та оцінки й адаптувати їх до своїх конкретних потреб та обставин, щоб допомогти розробити зміст рефлексійних вправ, описаних вище.

Див. Постійна оцінка, гл. 2.4.

У главі 2.4 ми представили три інструменти моніторингу та оцінки (підведення підсумків, інтерв’ю та оновлення контексту), які також є невід’ємною частиною впровадження. Ось два додаткові інструменти моніторингу та оцінки.

Структурування періодичних перевірок182

Накресліть лінію часу для досліджуваного періоду, а потім визначте ключові періоди та події на цій лінії щодо трьох найбільш важливих параметрів: контексту, процесу діалогу та роботи команди проекту. На рисунку 2.5.2 показано, як може виглядати така лінія часу. Використовуйте її для огляду трьох ключових параметрів.

1. Зосередьтеся на контекстуальних змінах, які слід перевірити:

• припущення про те, як розвиватиметься контекст, який спрямовував розробку процесу
• базовий аналіз учасників: чи є нові учасники, різні конфігурації учасників, змінена «динаміка учасників»?

2. Зосередьтеся на процесі діалогу, щоб розглянути:

• характер і якість участі: тип та кількість учасників; процес відбору; включення; представництво; рівень зацікавленості та залучення до процесу; ставлення учасників; зміни рівня залученості та ставлення учасників
• пройдену траєкторію: яким шляхом ми пішли; чи вийшли ми з колії; чи ми зараз на шляху; чому?
• які можливості та загрози виникли та які відхилення відбулися; чи ми знали про них на той час; який вибір ми зробили і чому; чи були або є витрати невикористаних можливостей?
• яким був ритм процесу та які основні чинники формування ритму та його зміни (прискорення, уповільнення)?
• якість фасилітації процесу на даний момент.

3. Зосередьтеся на «подіях проекту» для оцінки елементів ресурсів:

• фінансові — рівень та терміни наявності грошових коштів; якість фінансів (гнучкість чи її відсутність)
• логістичні — своєчасна наявність транспортних засобів, місць проведення зустрічей, обладнання зв’язку тощо; вплив поломок на об’єктах логістики, якщо такі є
• людські ресурси — навички в команді та спосіб їх використання; злагоджене та ефективне функціонування колективу
• планування — наскільки фактична реалізація проекту відповідає (або не відповідає) початковим робочим планам; чому це так?

4. Дослідіть взаємозв’язок між контекстом, процесом та розвитком проекту:

• Чи змінилися конфігурація та динаміка учасників з причин, які не мають нічого спільного з нашим діалоговим процесом, чи, можливо, це сталося саме тому, що наш діалоговий процес починає чинити вплив, залучати більше уваги та викликати очікування?
• Чи потрібно нам змінити своє позиціонування на зміненій арені учасників?
• Як ми повинні реагувати на важливі контекстуальні події, такі як нова і дуже суперечлива тема на першому місці політичного порядку денного?
• Що вплинуло на проект, наприклад, залучення нового члена команди з певними зв’язками та навичками або затримка виплати гранту?

Якщо процес діалогу проходить добре, чи почав він впливати на ширшу «динаміку учасників», і, можливо, це потребує коригування умов проекту (запланованих заходів, графіку, вимог до бюджету та грошових потоків, а також проміжних та загальних цілей)?

Для подальшого читання Додаткові інструменти моніторингу та оцінки були розроблені для процесів сталого діалогу Тедді Немероффом, Елі Келман та Джессікою Манн. Див. Nemeroff, ‘Monitoring and Evaluation for Sustained Dialogue’ (2004), доступно за посиланням: idasa.org.za.

Оцінка та систематизація ключових знань

Таблиця з моніторингу та оцінки на рисунку 2.5.3 є додатковою до Таблиці розробки процесу, представленої у главі 2.3, і призначена для структурування остаточної оцінки процесу діалогу. Запитання в цій таблиці можуть допомогти тим, хто бере участь у розробці та впровадженні процесу, фіксувати не лише результати, але й те, як розгортався процес, використовувані стратегії та основні припущення, на яких він базувався.

Остаточне оцінювання такого характеру допоможе викристалізувати важливі знання, які можуть слугувати інформацією для майбутньої практики.

Див. блок 2.3.1, Таблиця розробки процесу, гл. 2.3.