Мониторинг и оценка — это большая тема, и по ней существует большой объем литературы. Эта глава имеет целью ознакомить читателей с ключевыми проблемами в этой сфере, касающимися диалога, и предоставить четкое понимание того, как осуществлять мониторинг и оценку в процессе диалога. Чтобы быть вполне эффективными, мониторинг и оценка должны быть частью процесса с самого начала, и поэтому мы предлагаем читать эту главу в контексте главы 2.3 «Разработка процесса диалога».
Цель мониторинга и оценки
Как уже упоминалось ранее, готовность и способность команды управления проектом реагировать на все, что возникает в процессе и его контексте, вероятно, будет по крайней мере столь же важной, как и мощность дизайна оригинального процесса, для определения того, достигнуты ли цели диалоговой инициативы. Мониторинг и оценка — это то, что делает такую реакцию возможной. Когда мониторинг и оценка являются неотъемлемой частью реализации, они выполняют две важные функции.
Мониторинг и оценка диалоговых процессов являются частью более широкого поля, эволюционирующего от акцентирования главным образом на подотчетности, к большему вниманию обучению и адаптации.168 Традиционно в определениях предоставляется четкое разделение между мониторингом — деятельностью команды управления проектом и непрерывным процессом, сосредотачиваемом главным образом на сборе данных, и оценкой — ограниченным во времени мероприятием, которое фокусируется на анализе и выводах из базы данных. Оценка проводится внешними оценщиками, часто после завершения процесса. Однако, поскольку больший упор делается на обучение и адаптацию, эти различия становятся менее четкими. Все чаще команда управления проектом берет на себя ответственность за анализ и интерпретацию информации, чтобы действовать в соответствии с ней, тогда как оценщики разрабатывают способы интегрировать свою работу в текущие инициативы, чтобы способствовать управлению проектами, которые уже реализуются.
Следуя этой тенденции, мы рассматриваем мониторинг и оценку как единый поток деятельности, соответствующим образом являющийся частью процесса диалога от начала до конца, как показано в схематических обзорах процесса диалога на рисунках 2.1.1 и 2.3.2. С этой точки зрения полезным определением является следующее:
Для дальнейшего чтенияОсновные опубликованные источники по мониторингу и оценке происходят из отраслей гуманитарной помощи, поддержки развития, а также предотвращения и разрешения конфликтов. Некоторые из последних исчерпывающих публикаций:Cheyanne Church and Mark M. Rogers, Designing for Results: Integrating Monitoring and Evaluation in Conflict Transformation Programs (Washington, DC: Search for Common Ground, 2006). Доступно по ссылке: sfcg.org
Cheyanne Church and Julie Shouldice, The Evaluation of Conflict Resolution Interventions. Part I: Framing the State of Play (Londonderry: INCORE, 2002); and Part II: Emerging Practice and Theory (INCORE, 2003).Часть I предоставляет исчерпывающий обзор литературы и онлайн-ресурсов по мониторингу и оценке. Доступно по ссылке: incore.ulst.ac.uk
IDRC handbook: Sarah Earl, Fred Carden and Terry Smutylo, Outcome Mapping: Building Learning and Reflection into Development Programs (Ottawa: International Development Research Centre, 2001). Доступно по ссылке: idrc.ca
UNDP Handbook: Monitoring and Evaluation for Results. Part I: The Monitoring and Evaluation Framework; Part II: How to Conduct Monitoring and Evaluation. Доступно по ссылке: undp.org
«Learning and Adapting», MSP Resource Portal. Доступно по ссылке: portals.wdi.wur.nl.
Мониторинг и оценка — это интегрированный процесс постоянного сбора и оценки информации для вынесения суждений о прогрессе в достижении определенных целей и задач, выявление непредвиденных положительных или отрицательных последствий действия и обеспечения понимания того, почему произошел успех или неудача.169
Пять аспектов надлежащей практики мониторинга и оценки
Четкое определение того, что следует оценивать
Как мы рассматривали в главе 2.3, при определении целей процесса диалога следует учитывать разные уровни. В процессе мониторинга и оценки важно различать и разделять их, чтобы достичь справедливой и полезной оценки.170
Продукты (outputs) — это прямые результаты деятельности, которая является частью процесса диалога. Они охватывают начальные и промежуточные цели процесса, описанные в главе 2.3, мероприятия, определенные структурой процесса, такие как ряд диалоговых мероприятий с привлечением определенного количества участников и дальнейшие мероприятия, в которых берут интервью у некоторых из этих участников.
Мониторинг и оценка результатов деятельности команды управления проектом по достижению целей касательно продуктов обеспечивает основной уровень отчетности.
Последствия (outcomes) — это изменения, которые порождает или которым способствует действие в краткосрочной перспективе, например, договоренность, достигнутая в результате диалога, или новые точки зрения и навыки, полученные участниками диалога. Это могут быть запланированные результаты, сформулированные как цели в процессе планирования, или непредвиденные результаты, изменения к лучшему или худшему, которых группа планирования не предполагала. Мониторинг и оценка последствий является основным центром осмысления и исправления по ходу, за которые отвечает команда управления проектом по мере развертывания инициативы диалога.
Мониторинг и оценка последствий — это определенный центральный акцент на осмыслении и исправлении по ходу, за которые отвечает команда управления проектом по мере развертывания инициативы диалога.
Эффект (impact) — это более сильное или долгосрочное влияние результатов, таких как новые законы или политика, возникающих в результате договоренности или лидерства участников диалога. Оценка эффекта является сложной, так как эффекты, как правило, становятся очевидными лишь через несколько лет, поскольку между последствиями и эффектом трудно установить четкую причинно-следственную связь.171 Поэтому эта задача является важной, поскольку она выходит за рамки мониторинга и оценки как таковых. Ею должны заниматься исследователи, имеющие возможность рестроспективной точки зрения и ресурсы, чтобы вообще обнаруживать данные о том, как результаты диалогового процесса способствовали изменениям.172
Встраивание мониторинга и оценки в процесс диалога
Созыватели, соразработчики и менеджеры проектов закладывают основу для эффективного мониторинга и оценки на этапе разработки процесса диалога. Это требует планирования и предоставления ресурсов, позволяющих команде управления проектом проводить периодические обзоры и анализ (см. «Основные элементы процесса мониторинга и оценки» ниже). Это также требует максимальной четкости в формулировании общей цели инициативы, стратегии ее достижения, а также кратко- и долгосрочных целей, вытекающих из стратегии.
Таблица разработки процесса, представленная в главе 2.3, содержит указания по этим важным задачам и отображение мышления, лежащего в основе разработки — основополагающей теории изменений. Эти шаги создают важную основу для «двойного цикла обучения» — глубокой рефлексии, которая ставит под сомнение основные предположения.
См. блок 2.3.1, Таблица разработки процесса; и описание теории изменений в разделе, посвященном разработке стратегии.
Это еще одна полезная концепция из сферы науки о действии. Рисунок 2.5.1 показывает, что при «одинарной петле обучения» воспринимаются как должное исходные предположения относительно проблем, контекста и целей. В ней оцениваются примененные стратегии и, в той мере, в которой заявленные последствия не были достигнуты, концентрируется внимание на том, как усовершенствовать стратегии — сделать то же самое, но лучше. В отличие от этого двойная петля обучения предполагает пересмотр первоначального мышления, лежащего в основе определения проблемы, стратегии и желаемых результатов. Она нацелена на то, чтобы мыслить по-другому, а не просто делать что-то по-другому.
Рисунок 2.5.1 Двойная петля обучения
Привлечение заинтересованных сторон
Обеспечение широкого участия в оценке процесса диалога считается хорошей практикой мониторинга и оценки в различных сферах. В случае с диалоговыми процессами этот подход согласуется с руководящими принципами, такими как инклюзивность и общая ответственность, и выражает должное ощущение подотчетности перед участниками и всеми заинтересованными сторонами. Оценка с широким участием, которая заложена в процессе диалога, может поддержать конструктивную динамику, порожденную диалогом, и способствовать заинтересованности и энтузиазму ключевых заинтересованных сторон относительно продолжения процесса. Затененная вставка на этой странице содержит ссылки на ресурсы по подходам мониторинга и оценки с широким участием.
Для дальнейшего чтенияО процессах мониторинга и оценки с широким участием см. Janet Donnelly, ed., Who Are the Question- Makers? A Participatory Evaluation Handbook (New York: UNDP, 1997).Доступно по ссылке: undp.org
Различные ресурсы, разработанные Консорциумом коммуникации для социальных изменений, в том числе Will Parks, Who Measures Change? An Introduction to Participatory Monitoring and EvaluationиAllish Byrne et al., Eds, Measuring Change: A Guide to Participatory Monitoring and Evaluation of Communication for Social Change (South Orange, NJ: Communication for Social Change Consortium, 2005- 2006). Доступно по ссылке: communicationforsocialchange.org. Инновационная система мониторинга и оценки под названием Most Significant Change предлагает альтернативу использованию заранее определенных показателей изменений. Это подход с широким участием, который предусматривает сбор и системный анализ «значимых историй» изменений, которые переживают заинтересованные стороны. Пособие по этому подходу доступно по ссылке: mande.co.uk. Ссылки на другие сайты, специализирующиеся на процессах мониторинга и оценки см. mande.co.uk.
Мониторинг и оценка с широким участием также являются частью формирования потенциала для будущих процессов диалога в том смысле, что открытость и навыки оценочного мышления становятся частью социального капитала, который может поддержать диалоговый подход к решению проблем. Заинтересованные стороны, активно участвующие в оценке, развивают повышенную способность интерпретировать доказательства, делать выводы и генерировать суждения.
Это также возможности, которые в целом способствуют демократии, поскольку «информированный гражданин» должен не только иметь информацию, но и знать, как ею пользоваться — как взвешивать доказательства, рассматривать противоречия и несоответствия, формулировать ценности и изучать предположения.173 Вудхилл отмечает, что включение этой цели расширения прав и возможностей представляет собой «расширение подотчетности, включая «подотчетность в нисходящем направлении», направленную на бенефициаров».174
Еще один источник касательно мониторинга и оценки, Measuring Change: A Guide to Participatory M&E of Communication for Social Change, определяет перечень основных принципов.
Этот перечень свидетельствует о том, что, в принципе, существует множество причин использовать подход на основе участия и преимущества его использования. В то же время практики должны осознавать, что существуют также связанные с этим вызовы. Оценки с широким участием требуют больше времени, чем те, которые полностью производятся сторонними оценщиками и/или командой управления проектом, и они должны разрабатываться совершенно иначе. Это подход, который неприемлем для стиля разработки и управления проектами «сверху вниз», поскольку «значимое участие» предусматривает передачу существенного контроля. Кроме того, мониторинг и оценка с широким участием может быть сложной задачей для оценщиков, которые должны стать в большей степени фасилитаторами, чем сторонними наблюдателями. «Отсутствие способности должным образом и эффективно использовать инструменты и методы участия часто приводит к неудовлетворительной реализации, а следовательно и к неудовлетворительным результатам якобы процессов участия», — пишет Джим Вудхилл, директор Международного центра Вагенингена.
«Кроме того, наивность или сознательное избегание вопросов власти приводит к большой критике процессов участия». Эти вызовы не должны препятствовать принятию подхода участия, однако они делают еще более важным полное включение мониторинга и оценки в процесс разработки и внедрения, а также подход с особым вниманием к обучению.176
Разработка количественных и качественных показателей
В сфере мониторинга и оценки показателями являются данные (количественные и качественные), которые предоставляют информацию об изменениях — независимо от того, состоялись они или нет, и если да, то в какой степени. «Там, где желаемое изменение является конкретным, осязаемым и измеряемым, показатели не нужны», пишут Черч и Роджерс. «Там, где предполагаемое изменение более абстрактно, показатели помогают приблизить изменение».177 Например, если целью диалога является изменение соглашения о возможности проведения выборов, необходимости в показателях, определяющих, была ли достигнута договоренность и произошли ли выборы, на самом деле — не будет. Но если целью является повышение доверия общественности и привлечение к демократическим процессам, количество людей, которые голосуют, может быть необходимым и полезным показателем того, был ли достигнут желаемый результат.
Многие источники, упомянутые в этой главе, содержат указания о том, как разрабатывать показатели.178 При этом важно установить структуру качественных и количественных данных. Подсчитать количество голосующих в приведенном выше примере сравнительно просто, поскольку данные являются конкретными и их легко посчитать — это количественный показатель. Однако одни только данные о голосовании не смогут зафиксировать основные изменения в отношении, которые привели людей на избирательные участки, не говоря уже об их намерениях в голосовании. Генерировать такую качественную информацию о мыслях и отношении людей является сложной и более трудоемкой задачей. Однако именно такая информация необходима для нашего понимания изменений и почему они произошли — нужно знать нюансы и глубину.
Вудхилл отмечает, что мониторинг и оценка традиционно делают упор на количественные показатели, которые могут казаться более «надежными и объективными». Однако, двигаясь к учебной ориентации, эта сфера все шире использует качественные данные в качестве средства, предлагающего более правдивую картину сложной реальности, сталкивающегося с усилиями социальных изменений, обеспечивая тем самым информацию, необходимую команде управления проектом, чтобы оценить состояние и внести необходимые коррективы.
Вудхилл также отмечает, что средства, используемые для сбора качественных данных, такие как анкетирование или интервью, позволяют выявить неожиданные изменения, которые не раскрываются через измеряемые показатели, что является еще одним преимуществом для обучения.
Количественные и качественные показатели«Как известно любому опытному... практику, если донор запрашивает отчет, наполненный цифрами, он его получит. Однако имеют ли эти цифры какое-либо отношения к реальности — это уже другой вопрос».См. источники этих материалов в разделе «Мудрость из практики — источники» (стр. 245).
Наконец, разница между двумя видами показателей может быть менее значимой, чем традиционно считается, поскольку качественные данные часто могут быть представлены в количественном выражении — например, процент избирателей, которые дают подобные объяснения своего решения проголосовать.179
Баланс между ориентацией на обучение и ориентацией на результат
Иногда может показаться, что подход, который делает акцент на обучении и адаптации, не согласуется с тщательным мониторингом и оценкой, включая постановку целей в первоначальном дизайне процесса. Однако, как утверждает Конраад Ван Брабант, команда управления проектом должна достичь баланса между гибкостью и открытостью к возникающей ситуации и ответственностью перед заинтересованными сторонами диалога (как участниками, так и сторонниками) за получение результатов.
Сформулировать цели для того, что должно быть интерактивным процессом, по сути, трудно. Это становится еще труднее, когда мы, как инициаторы и менеджеры процесса, не хотим навязывать ни повестку дня, ни временные рамки, [но хотим] предоставить заинтересованным сторонам из соответствующего общества больше возможностей и «ответственности», чтобы это сделать. Мы знаем, что хотим осуществить «изменение» и «трансформацию», но не можем и даже не хотим определить природу желаемых изменений. Мы также не можем гарантировать, что они состоятся. Тогда возникает соблазн утверждать, что «путешествие важнее, чем прибытие в пункт назначения», и в этом есть много правды. Однако в то же время мы не хотим привлекать людей к путешествию неизведанными территориями, где в конце концов мы можем ходить по кругу.180
Основные элементы процесса мониторинга и оценки
Как отмечалось выше, ключевым аспектом надлежащей практики мониторинга и оценки является встраивание процессов мониторинга и оценки в общий дизайн процесса. Следующий обзор указывает на то, чего могут касаться эти процессы мониторинга и оценки. Эти элементы могут быть полезными, независимо от конкретного подхода или принятых инструментов.181
Практика размышлений. Практика размышлений — это основанное на опыте и ориентированное на практику критическое мышление. Все, что вам нужно, — это любопытное, аналитическое и рефлективное отношение. Многие из нас так поступают в своей работе: мы делаем заметки в уме или физические записи о том, что прошло хорошо, а что не так хорошо и почему, как нужно что-то делать, что нужно уточнять, каких подводных камней избегать, как управлять определенными отношениями и учитывать определенные чувствительные моменты или предостережения. В основном мы делаем это неформально, самостоятельно (например, думая о прожитом дне по дороге домой вечером) или с коллегами (например, разговаривая в коридоре офиса или в машине на обратном пути после посещения объекта). Эти неформальные размышления влияют на наши последующие шаги, если мы помним о них на следующий день. Шансы на то, что этот процесс в целом будет хорошо управляться, будут дополнительно усиливаться, благодаря созданию командной атмосферы, в которой (1) поощряется и обеспечивается критическое, но конструктивное мышление; и (2) люди не перегружены постоянно неотложными задачами, которые не оставляют им времени и энергии, чтобы сделать шаг назад и взглянуть со стороны на то, что происходит.
В проектной команде, которая удачно функционирует, люди не боятся поделиться своими размышлениями, поскольку знают, что их выслушают, и будут выделены ценные моменты, независимо от того, откуда они происходят в официальной иерархии. Иногда действительно не хватает дополнительной энергии или времени, чтобы обеспечить надлежащее оформление такой командной рефлексии. В таком случае один из вариантов — просто записать это на пленку, а также подписать и сохранить пленки для дальнейшего использования.
Непредвзятые партнеры по обдумыванию. Даже когда практики размышлений являются устоявшимися, для людей, переживающих ситуацию и процесс, всегда будет проблемой следить за «общей картиной» и продолжать «креативно думать» о том, как и куда направлять процесс. Обычно полезно иметь одного или нескольких людей, которые хорошо знакомы с ситуацией, однако ежедневно не находятся в достаточной мере «в ее эпицентре», и вопросы, мнения и советы которых мы научились уважать. Эти люди могут выступать в качестве «тестовых слушателей» для команды или ее руководителя. Это может быть кто-то из группы заинтересованных сторон, представленных в диалоге, либо посторонние лица — возможно, лучше иметь по одному человеку из обеих категорий. Хороший тестовый слушатель не только задает много правильных вопросов и заставляет нас видеть различные аспекты любой ситуации. Нам нужен кто-то, кто может также предложить решение, выдвинуть альтернативы и предоставить практические указания о том, как действовать в ситуации, полной неопределенности и двусмысленности.
Периодические проверки. Практика размышлений в команде и взаимодействие с уважаемым тестовым слушателем является формой почти постоянного и неформального «мониторинга», влияющего на наше управление процессом. Однако эта форма «мониторинга» имеет также и слабые стороны: она недостаточно структурирована, всестороння или глубока, и, как правило, не документируется и не передается напрямую. Поэтому надлежащее управление процессами также требует периодических проверок.
Периодические проверки не должны проводиться часто, например еженедельно, но не должны также проводиться и редко, например ежегодно. Когда и как часто их организовывать, будет зависеть от того, насколько динамичными являются контекст и процесс, а также от «естественных» моментов для паузы, взгляда назад и взгляда вперед. Команда проекта является главным игроком в периодической проверке. Но, опять же, присутствие людей, которые находятся как в процессе, так и вне его, или даже за пределами страны, может быть очень полезным. Эту роль могут сыграть люди, выступающие в роли «тестовых слушателей», и/или один или несколько человек из главного офиса, являющиеся ориентирами для этого диалогового проекта. На некоторые сессии по проверке могут быть приглашены некоторые участники, которые являются активными сторонниками процесса диалога и/или представителями международных организаций, оказывающих поддержку.
Эффективное осуществление периодических проверок требует ответственности и ресурсов. Они не состоятся, или не реализуют весь свой потенциал, если руководители проектов не отнесутся к этому тщательно, если они не записаны в рабочий план и для них не отведены бюджетные ресурсы, а на сотрудников не возложены обязанности подготовить их с точки зрения логистики и сути. Не менее важно их документирование, что является еще одной задачей и сферой ответственности, которые следует возложить на ответственных лиц.
Основные этапы мониторинга
Разработайте алгоритм принятия важных решений. Руководители процесса диалога сталкиваются с неизбежным элементом «разрешения дилемм». Иногда он может обостриться, что приведет к «критическим моментам принятия решений». Принятые решения будут влиять на последующие шаги и, возможно, на более длинную траекторию и достижения процесса диалога. Документирование этих критических моментов, принятых решений и аргументов, обосновывающих решение, является ценным справочным материалом для периодических проверок и последующей оценки.
Собирайте истории об эффектах и влияниях. Промежуточные заседания команды с целью обдумывания, особенно периодические проверки, дают возможность собирать истории о результатах, предсказуемых и непредсказуемых, положительных и отрицательных, а также примеры очевидного влияния процесса диалога. Со временем таких историй появляется все больше. Некоторые из них будут получены командой в качестве четкой обратной связи. Другие будут появляться в неформальной обстановке, и член команды может узнать о них лишь случайно. Обдумывание в команде должно быть поводом собрать их, подумать, на что они указывают относительно диалога, и выбрать что-то для дальнейшего исследования и более глубокого документирования.
Проводите обзор и мониторинг показателей. Если вы установили себе показатели и разграничили показатели процесса проекта (рамок, с помощью которых вы можете управлять своими ресурсами в течение согласованного периода времени), и процесса диалога (социально-динамического взаимодействия, которое вы катализируете и пытаетесь направить в конструктивную сторону), то периодическая проверка — это возможность отслеживать события по показателям, а также проверять качество показателей.
Однако должно быть понятно, что периодическая проверка не структурирована вокруг показателей, а является постепенной рефлексией и критическим исследованием. Это обдумывание: слишком часто выбранные в начале показатели оказываются не очень приемлемыми, или просто слишком сложными, чтобы осуществлять их мониторинг на практике. Более того, мы обычно не устанавливаем показателей для непредсказуемых последствий. Они могут быть важными и позитивными, но мы можем их учесть, если руководствуемся предварительно установленными показателями. Короче говоря, именно проверка должна включать в себя показатели, а не показатели должны формировать проверку. После некоторых проверок у вас, вероятно, появятся показатели, в которых вы уверены и мониторинг которых можно осуществлять на практике.
Планируйте следующую проверку. Периодические проверки — это прежде всего инструмент управления. Они глубокие и критические, но они проводятся по мере процесса/проекта и помогают определить последующий выбранный курс. Когда проверки проводятся в конструктивном духе вместе с командой, которая привыкла к подходу и атмосфере обдумывания, проверки также предоставляют важную возможность обучения. Они обеспечивают обратное документирование процесса, но также являются моментом для формулирования или просмотра промежуточных и общих целей диалога. Они дают возможность решить, как повысить качество участия и отношений между участниками, суть диалога, и как защитить или укрепить политическое пространство для диалога, чтобы достичь наших целей трансформации.
Инструменты мониторинга и оценки
Как предлагается в источниках, указанных в этой главе, практики диалога могут заимствовать многие структуры и инструменты мониторинга и оценки и адаптировать их к своим конкретным потребностям и обстоятельствам, чтобы помочь разработать содержание рефлексивных упражнений, описанных выше.
См. Постоянная оценка, гл. 2.4.
В главе 2.4 мы представили три инструмента мониторинга и оценки (подведение итогов, интервью и обновление контекста), которые также являются неотъемлемой частью реализации. Вот два дополнительных инструмента мониторинга и оценки.
Структурирование периодических проверок182
Нарисуйте линию времени для исследуемого периода, а затем определите ключевые периоды и события на этой линии по трем наиболее важным параметрам: контекста, процесса диалога и работы команды проекта. На рисунке 2.5.2 показано, как может выглядеть такая линия времени. Используйте ее для рассмотрения трех ключевых параметров.
Рисунок 2.5.2 Образец линии времени процесса
1. Сосредоточьтесь на контекстуальных изменениях, которые следует проверить:
2. Сосредоточьтесь на процессе диалога, чтобы рассмотреть:
3. Сосредоточьтесь на «событиях проекта» для оценки элементов ресурсов:
4. Исследуйте взаимосвязь между контекстом, процессом и развитием проекта:
Если процесс диалога проходит хорошо, начал ли он влиять на широкую «динамику участников», и, возможно, это требует корректировки условий проекта (запланированных мероприятий, графика, требований к бюджету и денежным потокам, а также промежуточных и общих целей)?
Для дальнейшего чтенияДополнительные инструменты мониторинга и оценки были разработаны для процессов устойчивого диалога Тедди Немероффом, Эли Келман и Джессикой Манн. См. Nemeroff, «Monitoring and Evaluation for Sustained Dialogue» (2004), доступно по ссылке: idasa.org.za.
Оценка и систематизация ключевых знаний
Таблица по мониторингу и оценке на рисунке 2.5.3 является дополнительной к таблице разработки процесса, представленной в главе 2.3, и предназначена для структурирования окончательной оценки процесса диалога. Вопросы в этой таблице могут помочь тем, кто участвует в разработке и внедрении процесса, фиксировать не только результаты, но и то, как разворачивался процесс, используемые стратегии и основные предположения, на которых он базировался.
Окончательное оценивание такого характера поможет выкристаллизовать важные знания, которые могут служить информацией для будущей практики.
См. блок 2.3.1, Таблица разработки процесса, гл. 2.3.
Источник: Разработка Филипа Томаса для OAS/PROPAZ (1998).