Основные виды оценки программной деятельности

При разработке вашего подхода к проведению оценки, вам могут оказаться полезными следующие три вида оценки, распространенные в организациях. Необходимо отметить, что при разработке своего подхода к оценке, следует не просто выбрать один из трех видов оценки, необходимо уделить внимание упомянутым выше основным вопросам.

Оценка целей (выполняют ли ваши программы установленные задачи?)

Часто программы создаются для достижения одной или более конкретных целей. Эти цели указываются в первоначальных планах программы.

Оценка целей определяет в какой мере программой были достигнуты установленные цели или задачи. Вопросы, на которые следует ответить, при разработке оценки, направленной на определение достижения ваших целей:

1. Какую цель или цели имеет каждая программа?

2. Для каждой цели какая информация может подтвердить, что цель достигнута?

3. Из каких источников следует брать информацию?

4. Каким образом можно собрать эту информацию?

5. Когда необходима данная информация (чтобы знать, когда следует приступить к ее сбору)?

6. Какими ресурсами вы располагаете для сбора информации?

Оценка процесса (понимание того, как реально работает ваша программа, ее сильные и слабые стороны)

Оценка процесса дает полную картину того, как выполняется программа. Такая оценка полезна при анализе длительных программ, которые меняются с годами, а также в случаях, когда персонал или потребители обращаются с жалобами по поводу программы, или существуют большие недостатки в обслуживании. Такая оценка также полезна для предоставления представителям извне точного описания механизмов работы программы (например, для дальнейшего распространения).

Существует множество вопросов, на которые следует ответить в ходе проведения оценки процесса. Однако можно выбрать лишь те вопросы, которые касаются наиболее важных моментов программы. Примеры вопросов, на которые следует ответить при разработке оценки, направленной на изучение процесса реализации ваших программ:

1. На основе чего персонал и/или потребители определяют необходимость продукции или услуг?

2. Что требуется от персонала для предоставления услуг или продукции?

3. Каким образом персонал проходит подготовку по предоставлению услуг и продукции?

4. Каким образом потребители или клиенты попадают в программу?

5. Что требуется от потребителей или клиентов?

6. Каким образом персонал определяет продукцию или услуги, которые будут предоставляться потребителю или клиенту?

7. В чем состоит участие потребителя или клиента в программе?

8. Что, по мнению потребителей или клиентов, является преимуществом программы или продукции?

9. Что, по мнению персонала, является преимуществом программы или продукции?

10. Какие типичные жалобы можно услышать от персонала и/или потребителей?

11. Какие рекомендации предлагают персонал/потребители относительно улучшения продукции или программы?

12. На основе чего персонал и/или потребители определяют, что продукция или услуги более не имеют спроса?

Оценка результатов (определение позитивного воздействия на клиентов)

Оценка программной деятельности на основе результатов приобретает все большее значение для неприбыльных организаций и финансирующих их агентств. Оценка результатов помогает найти ответ на вопрос: правильно ли выбрала организация свою программную деятельность? Ведь эта деятельность должна приносить результаты, в которых, по вашему мнению (в лучшем случае подтвержденному фактами), нуждаются ваши клиенты. Результатами программы явля-ются те выгоды, которые получили клиенты от участия в ней. Обычно результаты выражаются в освоении знаний, навыков, поведенческих установок или улучшении состояния, например, более высокая грамотность, уверенность в собственных силах и т.д. Часто результаты путают с выходящими ресурсами программы или единицами услуг, например, количеством клиентов, которые приняли участие в программе.

Для проведения оценки результатов сперва необходимо испытать этот подход на одной или двух программах.

Проведение оценки результатов предполагает следующие шаги:

  1. Определите основные результаты, которые вы хотите изучить или проверить в рамках оцениваемой программы. Возможно, стоит вернуться к миссии организации и спросить себя, что изменит ваша организация в жизни клиентов в ходе работы над реализацией своей миссии. Например, если ваша миссия заключается в предоставлении убежища и ресурсов женщинам, пострадавшим от насилия, следует спросить себя, какие позитивные последствия будут иметь для этих женщин эффективное выполнение данных задач, а именно предоставление убежища, других услуг или ресурсов. В крайнем случае вы можете также задать себе следующий вопрос: "Какими основными видами деятельности мы сейчас занимаемся?" и потом по каждому виду деятельности: "Почему мы это делаем?" Ответом на этот вопрос обычно и будет результат. Однако этот подход, вместо того, чтобы помочь вам определить ваши первоочередные задачи, может привести к оправданию вашей настоящей неэффективной деятельности.
  2. Выберите те результаты, которые вы хотели бы изучить, определите первоочередность, и если у вас ограничены ресурсы и время, выберите первые 2-4 наиболее важных результатов для изучения.
  3. Для каждого результата необходимо определить, какие измеряемые показатели смогут подтвердить, что вы движетесь к их достижению на благо своих клиентов. В процессе проведения оценки результатов, этот шаг является наиболее важным и определяющим. Однако, этот шаг в то же время является наиболее проблематичным и сложным, потому что вы вдруг переходите от неосязаемой концепции, как например, повышение уверен-ности в собственных силах, к конкретным действиям, например, оказание поддержки клиентам в преодолении маршрута на работу, воздержании от наркотиков и алкоголя, и т.д. На этом этапе полезно иметь «адвоката дьявола», человека, который сможет задать вам вопрос: «Почему вы считаете, что данный показатель свидетельствует о достижении результата?».
  4. Конкретизируйте целевую группу, т.е. укажите количество или процент клиентов, которые вследствие вашей деятельности достигнут конкретного результата, например, «повышение уверенности в своих силах (результата) среди 70% взрослого африкано-американского женского населения, проживающего в центральной части Миннеаполиса, выражающегося в таких показателях ...».
  5. Определите, какие данные необходимы для получения информации по этим показа-телям, например, вам необходимо знать, сколько клиентов из целевой группы приняли участие в программе, сколько из них самостоятельно преодолели путь до работы, и сколько воздержалось от наркотиков и т.д. Если у вас новая программа, вам может понадобится оценка процесса ее реализации с тем, чтобы убедиться, что ее выполнение происходит в соответствии с первоначальными планами. (Майкл Петтон, выдающийся исследователь, писатель и консультант по проведению оценки, считает, что наиболее важной оценкой является именно оценка реализации программы, которая определяет, была ли программа в конечном счете выполнена согласно первоначального плана.)
  6. Определите, каким образом можно эффективно и реалистично собрать информацию. Рассмотрите следующие методы: изучение программной документации, наблюдение за персоналом и клиентами программы, опросы и собеседования на тему преимуществ, полученных клиентами от участия в программе, анализ конкретных успехов и неудач программы и т.д. Возможно, вам не понадобятся все перечисленные выше методы.
  7. Проанализируйте и составьте отчет о полученных результатах оценки.

Комментирование закрыто.