ЧЕЛОВЕЧЕСКИЙ ФАКТОР

Формальное планирование и проведение экспериментов

Процесс итогового оценивания, как правило, включает в себя проведение некоторых формализованных экспериментов. При этом необходимо проявлять осторожность в выборе как мето­дик проведения экспериментов, так и строгих или приближен­ных планов этих экспериментов.

Методики проведения экспериментов

Согласно [154], качественное исследование интерфейса че­ловек— ЭВМ требует особого внимания к подбору пользова­телей для проведения эксперимента, к внешним условиям ра­боты и методам сбора и анализа данных.

Правильный подбор пользователей для проведения экспе­риментов крайне важен для качества оценивания. В случае, когда программный интерфейс проектировался для пользова­телей-новичков, неприемлема его оценка опытными пользова­телями. Определение подходящего уровня квалификации час­то является сложным вопросом, потому что интерфейс харак­теризуется целым рядом параметров. Обычно пользователь хорошо знаком лишь с каким-либо одним аспектом работы, например с языком программирования, но оказывается неком­петентным в вопросах работы конкретного интерактивного ре­дактора. Поэтому определение характеристик соответствую­щей категории пользователей и уровня их квалификации явля­ется центральным пунктом проблемы эффективности итогово­го оценивания. С проблемой выбора пользователей непосредст­венно связан вопрос о продолжительности их обучения работе с интерфейсом перед проведением эксперимента. Можно сфор­мировать относительно однородную группу пользователей, про­ведя с ними занятия до начала этапа формативного оценива­ния. В результате к моменту проведения эксперимента все уча­ствующие в нем пользователи могут в равной мере владеть навыками работы с интерфейсом. Необходимые продолжитель­ность и способ обучения зависят от конкретной ситуации и мо­гут определяться предварительным тестированием.

Одна из особенностей процесса оценивания программного интерфейса человек—ЭВМ заключается в том, что он обыч­но автоматизируется. Представление и сбор данных осуществ­ляются программным обеспечением ЭВМ. В связи с этим тому, кто проводит оценивание, часто приходится выполнять функ­ции управления повторным циклическим выводом на печатаю­щий терминал или дисплей в замкнутом контуре взаимодей­ствия. Тем не менее очень важно тщательно проводить наблю­дение для обеспечения уверенности в том, что неверные дей­ствия пользователя не являются следствием сбоев в аппарат­ной части системы или непонимания им задания. Даже в слу­чае полностью автоматизированного процесса оценивания при вычислительной машине всегда должен находиться человек, выполняющий функции наблюдателя. В дополнение к этому необходимо качественно разработать и предварительно прове­рить инструкции для пользователя, чтобы гарантировать пол­ное понимание последним поставленных перед ним задач.

Требуется также рассмотреть различные параметры усло­вий исследования. В случае, когда итоговое оценивание прово­дится в лабораторных условиях разработчика, следует проана­лизировать рабочие условия организаций, для которых пред­назначена система, для того чтобы учесть все ключевые пара­метры, характерные для рабочей среды. Поддержание поряд­ка на рабочем месте, освещение, расположение оборудования, всевозможные посторонние помехи — все это взаимосвязанные факторы, которые могут отрицательно повлиять на результаты непосредственного оценивания интерфейса в рабочей обстанов­ке и потому должны быть приняты во внимание. Для оценива­ния разрабатываются либо подробные схемы решения задач, либо только их краткие описания, что определяется типом за­дачи, характером оценивания и уровнем квалификации поль­зователя.

В процессе итогового оценивания учитываются как эффек­тивность работы пользователя, так и даваемые им субъектив­ные оценки интерфейсу. Несмотря на то что на этой стадии обычно проводится измерение пользовательских предпочтений, подобные методы оценки еще недостаточно хорошо разработа­ны. Часто субъективные мнения пользователей о системе рас­ходятся с фактической оценкой эффективности работы, что от­ражает действительное расхождение между эмоциональной оценкой, даваемой пользователем системе, и рабочими возмож­ностями интерфейса или свидетельствует о субъективности суждений. Требуются дополнительные исследования по пробле­ме повышения эффективности субъективных оценок, и с этой целью в настоящее время желательно использовать оценочные шкалы в сочетании с измерениями фактически выполненной работы во время оценивания. Перспективным инструментом субъективного оценивания представляются методики, исполь­зующие количественные оценки [30] и двухаспектные харак­теристики [28].

Одним из преимуществ процесса оценивания программно­го интерфейса является возможность проводить его средства­ми самого программного обеспечения независимо от пользо­вателя. Описано [26] применение как специальных файлов протоколирования для оценивания эффективности работы пользователя в оперативном режиме, так и программ отметки данных при неверных действиях пользователя для последую­щего их анализа в автономном режиме.

Авторы работы [99] включили в пакет программ по оце­ниванию качества интерфейса процедуру просмотра архивных данных, посредством которой последовательность действий пользователя может быть выборочно пересмотрена в режиме поиска отдельных символов и действий определенного функ­ционального назначения. При разработке систем измерения эффективности работы с интерфейсом важно правильно выби­рать степень детализации производимой ими оценки. Напри­мер, протоколирование последовательности всех нажимаемых пользователем клавиш в состоянии обеспечить любую форму обобщенной оценки интерфейса самыми разными способами, но требует чрезмерной емкости памяти и последующего дли­тельного автономного анализа данных. Предварительное пла­нирование основных стратегий анализа данных поможет из­бежать неудач, возможных при бессистемном эксперименти­ровании.

Использование методов планирования экспериментов

В настоящее время существует целый ряд методик, примене­ние которых может быть полезным при планировании экспери­ментов, предназначенных для оценивания программного ин­терфейса человек — ЭВМ; большинство из этих методов по­дробно описано в литературе [15, 34, 79, 98].

Хороший план эксперимента предполагает случайное рас­пределение объектов исследования по отношению к условиям оценивания с целью контроля систематических ошибок. Часто используется та или иная форма многофакторного дисперси­онного анализа.

Вследствие сложности программных интерфейсов для по­лучения их обобщенной оценки часто бывает необходимо одно­временное оценивание по нескольким факторам. Так как при использовании факторных планов все уровни какого-либо од­ного фактора рассматриваются в сочетании с каждым из уров­ней всех остальных факторов, результирующее количество ком­бинаций обрабатываемых величин увеличивается в геометри­ческой прогрессии. Решение дилеммы обобщенные результа­ты— затраты состоит в использовании методик планирования, более экономичных в отношении объема обрабатываемого ма­териала.

Авторы работы [156] рекомендуют использование трех альтернативных методик, позволяющих проводить качествен­ное оценивание интерфейсов; при этом обработке подлежит меньший объем данных, чем в случае полного факторного экс­перимента. К этим методикам относятся: факторный анализ, иерархическое планирование и дробный факторный эксперимент. Сокращение количества факторов, рассматриваемых на этапе итогового оценивания, может быть более эффективным при использовании двух - или трехуровневых факторных планов с одним наблюдением на каждом уровне, а не планов с множе­ственными наблюдениями. При этом взаимодействия более высокого порядка могут рассматриваться как ошибки для эф­фектов низшего порядка.

Иерархические планы могут использоваться для сокраще­ния числа комбинаций уровней факторов, так как они основа­ны на принципе, в соответствии с которым определенное зна­чение одного фактора сочетается лишь с конкретным значе­нием уровня другого фактора. Поскольку применение данного метода предполагает независимость факторов, относящихся к разным иерархическим уровням, при его использовании необ­ходимо очень точно определять иерархические взаимоотноше­ния между различными факторами.

По-видимому, наиболее распространенной альтернативой полному факторному эксперименту является дробный фактор­ный эксперимент. Методики, описанные - на этом принципе, эко­номичны вследствие использования при оценивании только час­тей полных факторных планов. Подробный анализ применения данной методики в качестве эффективного способа широко­масштабной многофакторной оценки содержится в книге [34].

Основная цель итогового оценивания проекта заключается, как правило, в определении количественных характеристик связи между эффективностью работы пользователя и пара­метрами структуры проектируемого интерфейса. Эти функцио­нальные связи соответствуют в свою очередь эмпирическим моделям программного интерфейса. В качестве методики оп­ределения этих эмпирических моделей предлагается примене­ние полиномиального регрессионного анализа [15]. Сбор дан­ных при этом проводится последовательно по методике «по­верхности отклика».

При разработке эмпирических моделей часто используются центральные композиционные планы [15, 153], так как они минимизируют количество данных, необходимых для решения задач с полиномиальной моделью регрессии. Известно их при­менение для оценивания степени воздействия четырех времен­ных параметров системы (системной задержки, скорости представления изображения, скорости реагирования на ввод с клавиатуры и размера буферной памяти клавиатуры) на эф­фективность работы пользователя, его субъективное мнение о системе и на подбор материала для итогового оценивания во время ввода данных в вычислительную машину [156]. В той же работе рассмотрена также проблема применения процедур моделирования для сосредоточения оцениваемых величин в. быстродействующей базе данных, что должно способствовать более полному пониманию разработчиками интерфейса чело­век— ЭВМ и может принести пользу в последующих проектах.

Приближенные методы планирования экспериментов

В случае, когда итоговое оценивание проводится не в лабора­торных условиях проектной организации, часто бывает трудно реализовать полностью контролируемый эксперимент. Авторы работы [29] рекомендуют использование отличающихся конт­рольных групп и планирование ряда приближенных экспери­ментов в реальных условиях, не позволяющих обеспечить слу­чайное распределение пользователей по отношению к оцени­ваемой структуре интерфейса.