Оценка и выбор CASE-средств

ЭТАП 2. Оценка и выбор CASE-средств
Модель процесса оценки и выбора описывает наиболее общую ситуацию оценки и выбора. Как видно из рисунка, оценка и выбор могут выполняться независимо друг от друга или вместе, требуя применения определенных критериев.

Модель процесса оценки и выбора CASE-средств (рис)

Процесс оценки и выбора может преследовать несколько целей (включая одну или более):
– оценка нескольких CASE-средств и выбор одного (или более) из них;
– оценка одного (или более) CASE-средства и сохранение результатов для последующего использования;
– выбор одного (или более) CASE-средства с использованием результатов предыдущих оценок.
Входной информацией для процесса оценки являются:
– определение пользовательских потребностей;
– цели, предположения и ограничения проекта;
– данные о доступных CASE-средствах;
– список критериев, используемых в процессе оценки.

Результаты текущей оценки CASE-средств могут включать результаты предыдущих оценок. При этом не следует забывать, что набор критериев, использовавшихся при предыдущей оценке, должен быть совместимым с текущим набором. Конкретный вариант реализации процесса (оценка и выбор, оценка для будущего выбора или выбор, основанный на предыдущих оценках) определяется перечисленными выше целями.

Элементы процесса оценки и выбора включают:
– цели, предположения и ограничения, которые могут уточняться в ходе процесса;
– потребности пользователей, отражающие их количественные и качественные требования к CASE-средствам;
– критерии, определяющие набор параметров, в соответствии с которыми производятся оценка и принятие решения о выборе;
– формализованные результаты оценок одного средства или более;
– рекомендуемое решение (обычно либо решение о выборе, либо дальнейшая оценка).

Процесс оценки и/или выбора может быть начат только тогда, когда лицо, группа или организация полностью определили для себя конкретные потребности и формализовали их в виде количественных и качественных требований в заданной предметной области. Термин «пользовательские требования» далее означает именно такие формализованные требования.

Пользователь должен определить конкретный порядок действий и принятия решений с любыми необходимыми итерациями. Например, процесс может быть представлен в виде дерева решений с его последовательным обходом и выбором подмножеств кандидатов для более детальной оценки. Описание последовательности действий должно определять поток данных между ними.

Определение списка критериев основано на пользовательских требованиях и включает:
– выбор критериев для использования из приведенного далее перечня;
– определение дополнительных критериев;
– определение области использования каждого критерия (оценка, выбор или оба процесса);
– определение одной (или более) метрики по каждому критерию для использования при оценке;
– назначение веса каждому критерию при выборе.

Процесс оценки CASE-средств

Цель процесса оценки – определение функциональности и качества CASE-средств для последующего выбора. Оценка выполняется в соответствии с конкретными критериями, ее результаты включают как объективные, так и субъективные данные по каждому средству.

Процесс оценки включает следующие действия:
– формулировку задачи оценки, включая информацию о цели и масштабах оценки;
– определение критериев оценки, вытекающее из определения задачи;
– определение средств-кандидатов путем просмотра списка кандидатов и анализа информации о конкретных средствах;
– оценку средств-кандидатов в контексте выбранных критериев. Необходимые для этого данные могут быть получены путем анализа самих средств и их документации, опроса пользователей, работы с демоверсиями, выполнения тестовых примеров, экспериментального применения средств и анализа результатов предшествующих оценок;
– подготовку отчета по результатам оценки.

Одним из важнейших критериев в процессе оценки может быть потенциальная возможность интеграции между каждым из средств кандидатов и другими средствами, уже находящимися в эксплуатации или планируемыми к использованию в данной организации.

Масштаб оценки должен устанавливать требуемый уровень детализации, необходимые ресурсы и степень применимости ее результатов. Например, оценка должна выполняться для набора из одного (или более) конкретного CASE-средства, CASE-средств, поддерживающих один (или более) конкретный процесс создания и сопровождения ПО, или CASE-средств, поддерживающих один (или более) проект или тип проекта.

Список CASE-средств – возможных кандидатов формируется из различных источников: обзоров рынка ПО, информации поставщиков, обзоров CASE-средств и др.

Следующим шагом является получение информации о CASE-средствах или получение их самих, или и то, и другое. Эта информация может состоять из оценок независимых экспертов, сообщений и отчетов поставщиков CASE-средств, результатов демонстрации возможностей CASE-средств со стороны поставщиков и информации, поступающей непосредственно от реальных пользователей. Сами CASE-средства могут быть получены путем приобретения, в виде оценочной копии или другими способами.

Для оценки и накопления соответствующих данных могут применяться следующие способы:
– анализ CASE-средств и документации поставщика;
– опрос реальных пользователей;
– анализ результатов проектов, использовавших данные CASE-средства;
– просмотр демонстраций и опрос демонстраторов;
– выполнение тестовых примеров;
– применение CASE-средств в пилотных проектах;
– анализ любых доступных результатов предыдущих оценок.

Существуют как объективные, так и субъективные критерии. Результаты оценки в соответствии с конкретным критерием могут быть двоичными, находиться в некотором числовом диапазоне, представлять собой просто числовое значение или иметь какую-либо другую форму.

Для объективных критериев оценка должна проводиться путем воспроизводимой процедуры, чтобы любой другой специалист, выполняющий оценку, мог получить такие же результаты. Если используются тестовые примеры, их набор должен быть заранее определен, унифицирован и документирован.

Для субъективных критериев CASE-средство должно оцениваться более чем одним специалистом или группой с использованием одних и тех же критериев. Необходимый уровень опыта специалистов или групп должен быть заранее определен.

Результаты оценки должны быть стандартным образом документированы (для облегчения последующего использования) и при необходимости утверждены.

Отчет по результатам оценки должен содержать следующую информацию:
– введение – общий обзор процесса и перечень основных результатов;
– предпосылки – цель оценки и желаемые результаты, период времени, в течение которого выполнялась оценка, определение ролей и соответствующего опыта специалистов, выполнявших оценку;
– подход к оценке – описание общего подхода, включая полученные CASE-средства, информацию, определяющую контекст и масштаб оценки, а также любые предположения и ограничения;
– информацию о CASE-средствах, включающую: 1) наименование CASE-средства; 2) версию CASE-средства; З) данные о поставщике, включая контактный адрес и телефон; 4) конфигурацию технических средств; 5) стоимостные данные; 6) описание CASE-средства, включающее поддерживаемые данным средством процессы создания и сопровождения ПО, программную среду CASE-средства (в частности, поддерживаемые языки программирования, операционные системы, совместимость с базами данных), функции CASE-средства, входные/выходные данные и область применения;
– этапы оценки – выполняемые в процессе оценки конкретные действия, описанные со степенью детализации, необходимой как для понимания масштаба и глубины оценки, так и для ее повторения при необходимости; – конкретные результаты – результаты оценки, представленные в терминах критериев оценки. В тех случаях, когда отчет охватывает целый ряд CASE-средств или результаты данной оценки будут сопоставляться с аналогичными результатами других оценок, необходимо обратить особое внимание на формат представления результатов, способствующий такому сравнению. Субъективные результаты должны быть отделены от объективных и сопровождаться необходимыми пояснениями;
– выводы и заключения;
– приложения – формулировка задачи оценки и уточненный список критериев.

Процесс выбора CASE-средств

Процессы оценки и выбора тесно взаимосвязаны. По результатам оценки цели выбора и/или критерии выбора и их веса могут потребовать модификации. В таких случаях может понадобиться повторная оценка. Когда анализируются окончательные результаты оценки и к ним применяются критерии выбора, может быть рекомендовано приобретение CASE-средства или набора CASE-средств. Альтернативой может быть отсутствие адекватных CASE-средств. В этом случае рекомендуется разработать новое CASE-средство, модифицировать существующее или отказаться от внедрения.

Процесс выбора включает в себя следующие действия:
– формулировку задач выбора, включая цели, предположения и ограничения;
– выполнение всех необходимых действий по выбору, включая определение и ранжирование критериев, определение средств-кандидатов, сбор необходимых данных и применение ранжированных критериев к результатам оценки для определения средств с наилучшими показателями. Для многих пользователей важным критерием выбора является интегрируемость CASE-средства с существующей средой;
– выполнение необходимого количества итераций с тем, чтобы выбрать (или отвергнуть) средства, имеющие сходные показатели;
– подготовку отчета по результатам выбора.
В процессе выбора возможно получение двух результатов:
– рекомендаций по выбору конкретного CASE-средства;
– запроса на получение дополнительной информации, необходимой для оценки.
Масштаб выбора должен устанавливать требуемый уровень детализации, необходимые ресурсы, график и ожидаемые результаты. Существует ряд параметров, которые могут быть применены для определения масштаба, включая:
– предварительный отбор (например, отбор только средств, работающих на конкретной платформе);
– использование ранее полученных результатов оценки, результатов оценки из внешних источников или комбинации того и другого.

В том случае, если предыдущие оценки выполнялись с использованием различных наборов критериев или конкретных критериев, но различными способами, результаты оценок должны быть представлены в согласованной форме. После завершения данного шага оценка каждого CASE-средства должна быть представлена в рамках единого набора критериев и непосредственно сопоставима с другими оценками.

Алгоритмы, обычно используемые для выбора, могут быть основаны на масштабе или ранге. Алгоритмы, основанные на масштабе, вычисляют единственное значение для каждого CASE-средства путем умножения веса каждого критерия на его значение (с учетом масштаба) и сложения всех произведений. CASE-средство с наивысшим результатом получает первый ранг. Алгоритмы, основанные на ранги, используют ранжирование CASE-средств-кандидатов по отдельным критериям или группам критериев в соответствии со значениями критериев в заданном масштабе. Затем аналогично предыдущему ранги сводятся вместе и вычисляются общие значения рангов.

При анализе результатов выбора предполагается, что процесс выбора завершен, CASE-средство выбрано и рекомендовано к использованию. Тем не менее, может потребоваться более точный анализ для определения степени зависимости значений ключевых критериев от различий в значениях характеристик CASE-средств-кандидатов. Такой анализ позволит установить, насколько результат ранжирования CASE-средств зависит от оптимальности выбора весовых коэффициентов критериев. Он также может использоваться для определения существенных различий между CASE-средствами с очень близкими значениями критериев, или рангами.

Если ни одно CASE-средство не удовлетворяет минимальным критериям, выбор (возможно, вместе с оценкой) может быть повторен для других CASE-средств-кандидатов.

Если различия между самыми предпочтительными кандидатами несущественны, дополнительная информация может быть получена путем повторного выбора (возможно, вместе с оценкой) с использованием дополнительных или других критериев.

Рекомендации по выбору должны быть строго обоснованы. В случае отсутствия адекватных CASE-средств, как было отмечено выше, рекомендуется разработать новое CASE-средство, модифицировать существующее или отказаться от внедрения.

Критерии оценки и выбора CASE-средств

Критерии формируют базис для процессов оценки и выбора и могут принимать различные формы:
– числовые меры в широком диапазоне значений, например, объем требуемой памяти;
– числовые меры в ограниченном диапазоне значений, например простота освоения, выраженная в баллах от 1 до 5;
– двоичные меры (истина/ложь, да/нет), например способность генерации документации в формате Postscript;
– меры, которые могут принимать одно значение или более из конечных множеств значений, например платформы, для которых поддерживается CASE-средство.

Типичный процесс оценки и/или выбора может включать набор критериев различных типов.

Добавить комментарий