Измерение рабочих характеристик человеко-машинных систем
Операционная релевантность
Влияние субъективных факторов на рабочие характеристики систем генерации речи не ограничивается только проблемами обеспечения разборчивости речи и точности распознавания. Информативность речевого сообщения, способность человека к запоминанию и воспроизведению информации, представленной в речевой форме, а также связь между восприятием речи и одновременным выполнением человеком других задач не менее важны. Такие характеристики должны быть «операционно релевантны» задаче, в рамках которой используется речевой вывод [70]. Мерой операционной релевантности характеристик счстемы является критерий, который обеспечивает пользователю и проектировщикам получение информации относительно того, как будет работать система в ситуациях, имеющих важное значение для оператора. Так, мерой эффективности автоматизированной навигационной системы с речевым управлением и речевым выводом информации может быть время, требуемое нилоту в тяжелых метеорологических условиях и в сложной воздушной обстановке для изменения маршрута с использованием речевых устройств, ручного управления и средств визуального отображения информации.
Например, в описанной выше системе SYNCALL характеристики полета оценивались процентным отклонением временных задержек передачи параметров полета от установленных допусков для конкретной авиалинии. Необходимы также меры, позволяющие прогнозировать уровень затрат и выгод при использовании речевой технологии и учитывающие достигаемую экономию времени, более эффективное использование персонала и оборудования и более высокую эксплуатационную надежность. Такие меры могут носить универсальный характер, но особенно полезны в конкретных приложениях.
Время реакции
Еще один операционно релевантный критерий — это время реакции системы. Тот факт, что речевое сообщение требует определенного времени на его передачу, придает особую значимость рабочей характеристике, которая известна как «время реакции системы» [81]; применительно к речевым предупреждениям это временной интервал, начинающийся от момента подачи предупреждающего сигнала и продолжающийся до тех пор, пока лицо, воспринимающее сигнал, не примет решения и не инициирует первое ответное действие. Следовательно, время реакции системы включает в себя затраты времени на обнаружение, восприятие, запоминание сообщения, последующее восстановление его в памяти и принятие решения. Именно время реакции всей системы, а не просто время ответа или задержка реакции человека является критической переменной для систем речевого предупреждения.
Но определяющим фактором не всегда является только время реакции системы. Должна учитываться еще и точность реакции. Определенное соотношение времени реакции и ее точности зависит от величины доступного пользователю временного интервала для ответа и последствий неточности ответа.
Другие примеры критериев операционной релевантности — те, что использовались в экспериментах по моделированию полета вертолета с помощью системы VIEWS [91]. Они включают в себя живучесть, т. е. процент сбитых вертолетов при выполнении опасных заданий, число случаев обнаружения неприятельскими РЛС, число столкновений с деревьями и т. п. Такие критерии, основанные на подсчете числа событий, специфичны для каждого конкретного приложения; выбор типа события, подлежащего учету, должен определяться требованием его операционной релевантности целям пользователя.
Еще один важный критерий — одобрение со стороны пользователя. Различные категории пользователей могут отличаться В своих оценках целесообразности применения речевых устройств для конкретных функций. Например, характер одобрения обычными пользователями «говорящих» автомобильных приборов может отличаться от одобрения слепыми речевого терминала ЭВМ.