Проверка приемлемости интерфейса для пользователя
Как показано на рис. 2.4, заключительная процедура этапа формативного оценивания представляет собой проведение в какой-либо форме проверки приемлемости для пользователя получившегося интерфейса. Эта проверка является кульминационным моментом всего итеративного процесса проектирования. В случае, когда поставленные перед проектированием цели не достигнуты, что выясняется по результатам проверки, процессы итеративного проектирования и формативного оценивания продолжаются согласно циклу обратной связи, показанному на рис. 2.4. Если же все поставленные задачи решены, итерации, включая данную проверку, заканчиваются и начинается стадия итогового оценивания. Следует особо подчеркнуть, что испытания интерфейса должны проводиться именно с той категорией конечных пользователей, для которой и планировалось построение интерфейса, что является обязательным условием объективности результатов проверки.
Отмечено [157], что методы оценивания, используемые на этапе формативного оценивания обучающих систем, могут также применяться и в процедурах проверки приемлемости для пользователя результатов проектирования человеко-машинного программного интерфейса. Применительно к этой области описаны [35] три главные стадии формативного оценивания обучающих систем: оценивание одиночным пользователем, оценивание небольшой группой пользователей и оценивание в условиях реального использования.
Оценивание одиночным пользователем
Первая стадия формативного оценивания [35] наименее формализована и проводится в ситуации, когда обучающийся работает все время в присутствии инструктора и пытается придерживаться его указаний. На данном этапе обучающемуся больше приходится обсуждать с инструктором встречающиеся трудности, чем фактически проходить курс обучения. Подобным образом и первая форма оценивания при проектировании программного интерфейса может включать в себя совместную работу пользователя с проектировщиком, которому сообщается обо всех трудностях, возникших в процессе освоения системы.
Оценивание небольшой группой пользователей
После того как программно реализованная обучающая система прошла стадию оценивания одиночным пользователем, рекомендуется [35] проведение ее оценивания небольшой группой лиц. На этом этапе группа обучаемых выполняет задание при минимальном вмешательстве со стороны инструктора. Отмечаются все ошибки и трудности, и обучающая система итеративно дорабатывается для устранения выявленных недостатков. Цикл оценивания небольшой группой лиц и последующая доработка продолжаются согласно петле обратной связи (рис. 2.4) до достижения системой требуемого качественного уровня. При этом часто используются конкретные критерии оценки требуемого уровня обучения, позволяющие определить, в какой момент итеративную доработку на стадии оценивания небольшой группой лиц можно завершить [147].
Аналогично этому при проектировании диалоговых вычислительных систем может применяться оценивание макета интерфейса небольшой группой пользователей. При этом для определения тех частей интерфейса, которые следует доработать, могут быть использованы вопросники, структурированные интервью и оперативное оценивание в рабочем режиме.
Оценивание в условиях реального использования
Заключительная стадия формативного оценивания, согласно [35], включает проверку функционирования измененной в процессе итеративной доработки обучающей системы в ситуации, близкой к условиям фактического обучения. Проведение такой формы оценки по существу означает переход от формативного оценивания к итоговому. Так называемые эксплуатационные испытания («проверка на месте») являются одним из параметров оценивания в реальных условиях обучения применительно к новым программным интерфейсам. Однако в данном случае должны быть собраны эргономические показатели, с тем чтобы оценить качество интерфейса человек — ЭВМ, а также сам процесс выполнения программ.