ЧЕКМАРЕВ АНАТОЛИЙ

Проведение оценки

 

Наличие развитой системы проведения оценки в соответствии с CMMI является одним из основных преимуществ модели перед родственными стандартами и методиками. По данным, приведенным в [6], относительный вклад CMMI в части методов оценки в общую методологию, включающую ITIL, ISO 20000, 6 сигма и т.д., составляет 90%.

Присвоение организации в результате оценки некоего уровня в соответствии с CMMI означает ее рейтингование среди других компаний, прошедших оценку, включая прямых конкурентов, с возможностью последующей официальной публикации. Это накладывает жесткие требования и ограничения на методику проведения оценки, учитывая необходимость получения сравнимых, формально обоснованных и точных результатов.

Официальная документация CMMI включает «Требования к проведению оценки в соответствии с CMMI» («Appraisal Requirements for CMMI») [7]. Данный документ содержит основные требования к методологии и проведению обследования и оценки.

В соответствии с данными требованиями Software Engineering Institute разработал Стандартную методику оценки для совершенствования процессов CMMI (Standard CMMI Appraisal Method for Process Improvement - SCAMPI), которая может быть непосредственно использована для выявления сильных и слабых сторон существующих процессов, анализа присутствующих рисков, а также определения текущего уровня зрелости организации. Данная методика включает описание этапа подготовки к оценке (например, выбор опций оценки), действий на территории оцениваемой организации, предварительного обследования, процедур сбора сведений, рейтингования, итоговой отчетности и последующих действий.

В соответствии с требованиями SCAMPI допускается 3 уровня формализации при проведении оценки, которые соответствуют классам: A, B и C. Наиболее формальная оценка (класс A) должна проводиться авторизованным SEI – «Лидером - оценщиком» (Lead Appraiser) в соответствии с методикой, изложенной в «SCAMPI A Method Definition Document (MDD)».

Результаты только данной оценки могут быть опубликованы в качестве официальных и признаются Министерством обороны США в качестве формальной характеристики потенциального поставщика услуг или продуктов.

Оценка по классу B предоставляет возможность выбора в объеме оценки, при этом  проводится анализ только действующих практик и на основе единой фиксированной шкалы. Класс C обеспечивает максимальную гибкость в проведении оценки, включая анализ планируемых к внедрению процессов на основе шкалы, которую может предложить клиент.

В связи с тем, что оценка CMMI является достаточно ресурсоемкой, при выборе класса оценки необходимо максимально точно определить ее цель. Если оценка проводится в целях получения официального рейтинга, то, безусловно, единственным выбором будет класс A. В случае необходимости совершенствования конкретного направления деятельности, достаточным будет класс С.

Во всех случаях оценка производится путем выявления процессов, признаков их соответствия формальным требованиям модели зрелости: достижение специфических и общих целей, выполнение специфических и общих практик, наличие типовых результатов их выполнения. При этом используется развитая методика проверки и подтверждения получаемых в ходе оценки сведений, которая позволяет гарантировать объективность, повторяемость и точность оценки. В целях обеспечения возможности разбора спорных ситуаций каждый шаг проведения обследования подробно документируется.

В случае анализа достижения соответствующего уровня зрелости (класс оценки - А) в обязательном порядке проверяется достижение всеми процессами, обязательными для искомого уровня зрелости, уровня развития равного или превышающего соответствующий уровень зрелости. Т.е., например, если оценивается достижение организацией уровня зрелости «Регламентированности», то каждый из обязательных для этого уровня процессов должен иметь уровень не ниже «регламентированного».

Оценка может проводиться для организации в целом или ее части. Обязательным требованием к проведению оценки является предварительное четкое описание и документирование области и ограничений обследования.

По результатам оценки обеспечивается подготовка развернутой отчетности в установленном формате. В случае опубликования результатов оценки детальный отчет размещается в базе данных SEI в целях набора статистики по различным разделам оценки. Данная информация может использоваться, в том числе, при уточнении параметров модели в целях разработки новых версий.

Например, при разработке действующей версии 1.3 рабочая группа в связи с необходимостью уточнения параметров модели в части высших уровней зрелости рассмотрела проанализировала данные 1000 оценок, обнаружив среди них оценки уровней развития процессов более 3-го в дюжине случаев. При этом авторы отчетов указывали на невозможность четкого определения уровня на основе версии, действовавшей на момент выполнения оценки.