Готовы ли к внешней оценке? Ограничения, возможности, риски и потенциал привлечения внешних специалистов для оценки своих социальных программ обсудили в ходе воршкопа Форума Доноров и ЕВРАЗ в рамках конференции АСОПП-2021.
По мнению ведущей воркшопа Ирины Ефремовой-Гарт, разработанная в 2015 году Позиция Форума Доноров по развитию культуры оценки по-прежнему актуальна: она помогает понять, какие усилия уже прилагают и могут прилагать донорские организации. Это как минимум четыре направления работы:
1. Интеграция оценки в деятельность фондов и грантодающих организаций
2. Повышение полезности оценки, практическое использование ее результатов
3. Создание возможностей для роста компетентности в области оценки
4. Соблюдение и продвижение профессиональных принципов и стандартов.
Бюджет на оценку постепенно растет и в НКО, и в донорских организациях, однако его объем зависит от типа оценки. «С момента проведения исследования в 2015 году произошло важное изменение: мы видим рост популярности оценки социального воздействия, импакта, но не видим роста бюджета. Если доноры в фокус своего внимания ставят именно этот тип оценки, имеет смысл задуматься о серьезных инфраструктурных вливаниях. Оценка социального воздействия — одна из самых сложных. Для ее проведения вам нужны группы для сравнения, нужны регулярные замеры того, что происходит в ходе реализации. Я за все 20 лет ни в России, ни за рубежом не видела ни компании, ни фонда, которые могли бы себе позволить держать в штате человека, который выполнял бы это упражнение — это предмет для работы даже не одного, а целой команды внешних оценщиков. Приступать к оценке социального воздействия имеет смысл, когда мы 1) инвестируем серьезные, не только финансовые ресурсы, 2) вкладываем их длительное время», — рассказала Ирина.
Какие вопросы стоит задать себе перед тем, как принять решение о проведении оценки?
На этапе разработки программ и проектов мы научились прописывать цели и задачи, выбирать методы их достижения, но до сих пор забываем вписывать в них стратегию оценки — то, что должно прорабатываться наряду с остальными компонентами дизайна программы. Он должен отвечать на несколько вопросов:
1. Зачем нам может понадобиться оценка? Какие решения мы будем принимать на основании собранной информации
2. Когда? На каком этапе и какая информация потребуется? Без ответа на этот вопрос спланировать ресурсы на привлечение внешних оценщиков невозможно .
3. Кем она будет проводиться? Внешними или внутренними ресурсами?
4. Для кого? Кто и как будет использовать информацию, полученную в ходе оценки?
5. Какими будут источники информации, достаточно ли у нас данных?
6. Какими ресурсами мы располагаем на проведение оценки?
Для каких целей могут привлекать доноры внешних оценщиков?
— сверить запланированные и достигнутые результаты
— понять, что стало причиной отклонений/изменений
— какие незапланированные результаты появились в ходе реализации
Внешняя оценка обладает рядом и недостатков, и преимуществ:
+ Свежий взгляд
+ Независимость и объективность, повышающие доверие к результату
+ Профессионализм и опыт
+ Полностью сосредоточен на задаче проведения оценки
— Отстранённостью может привести к неправильно поставленным акцентам
— Может не хватить авторитета
— После завершения работ организация может потерять много важной информации
— Не несет ответственности за использование результатов и рекомендаций оценки
— Высокая стоимость услуг
Основные проблемы, влияющие на качество процесса:
1. Низкий уровень зрелости процессов управления в организациях
2. Несформированность специальной этики управленческих конкурсных технологий, принятии решений по финансированию, оглашению и исполнению контрактов; некорректность и непрозрачность процедур и результатов;
3. Низкий уровень вовлеченности ключевых стейкхолдеров в процесс проведения оценки и использования ее результатов.
Правилом хорошего тона становится обращение и к партнерам, и к благополучателями (при формулировании вопросов оценки), спрашивая, чем им были бы полезны результаты оценки. Не менее важно и согласовать одинаковое понимание и расшифровку вопросов оценки и заказчиком оценки, и исполнителем. При составлении договора с внешним оценщиком не забудьте также 1) закрепить вопросы конфиденциальности и кому будут принадлежать результаты, «ноу-хау», полученные в ходе оценки, 2) сроки и формат промежуточного отчета.
До того, как внешние оценщики начнут работу «в поле», вы как заказчик должны проинформировать респонденты: какова цель оценки, как будут использоваться результаты оценки, кто будет проводить оценку.
К наиболее популярным продуктам по результатам оценки относятся: отчет по оценке, исполнительное резюме, устная презентация заказчику, публикации в прессе, фото- или видео-материал, рабочая сессия с заказчиком (становится все более востребованным форматом и позволяет заменить большие полнотекстовые отчеты).
Своим опытом привлечения внешних оценщиков поделились представители компаний и корпоративных фондов.
КПМГ проводили оценку методом SROI программы раннего вмешательства «Раннее начало» на протяжении почти двух лет, потому что в нашей стране просто нет данных для сравнения.
Фонду «Дом Роналда МакДоналда» оценка стала доказательной базой и позволила показать, насколько программа фонда позитивно влияет и на благополучателей (семьи с тяжелобольными детьми), и на систему здравоохранения в России. В результате удалось выстроить GR-коммуникации с органами власти и получить от государства несколько дополнительных площадок для тиражирования программы в других регионах.
«Раньше подрядчик существовал отдельно от заказчика, но сейчас мы поняли, что такая автономность не работает», — отметила Анастасия Савельева (Металлоинвест), — «самой эффективной стала модель партнерства и обмена мнениями. Они дают понимание, как может развиваться программа без компании, — это особенно ценно, когда донор пересматривает свои проекты.
