Глава 3. тов как метода: пункты контрольных листов носят двоичный характер, в то время как многие параметры человеко-машинного интерфейса являются непрерывными;

тов как метода: пункты контрольных листов носят двоичный характер, в то время как многие параметры человеко-машинного интерфейса являются непрерывными; относительное значение каждого пункта контрольного листа для оцениваемого параметра неизвестно; нет способа объединения данных контрольного листа для того, чтобы выработать единую количественную оценку эргономической адекватности интерфейса; не существует стандартных, психометрически разработанных эргономических контрольных листов (хотя некоторые варианты контрольных листов были опубликованы), и в большинстве случаев ИЧФ разрабатывают их сами. Поэтому методика контрольных листов применяется главным образом на ранних этапах создания системы, когда оценка деятельности невозможна.

3,5. Насколько действенно тестирование эффективности?

Методология тестирования, разработанная в рамках ЧФ, является более адекватной, чем измерение характеристик или анализ проекта, которые имеют значительные недостатки (однако это не означает, что их нельзя улучшить). Это, вероятно, связано с тем, что, как отмечалось в гл. 2, большая часть ИЧФ, имея университетское образование в области психологии или смежных науках, в той или иной степени обучена еще и методам измерений.

Однако с понятием адекватности необходимо разобраться. Прежде всего следует описать, как выполнять оценку эффективности: на практике трудности измерений, проводимых в полевых условиях, порождают недостатки тестирования. Хотя методология тестирования, разработанная в рамках ЧФ, является адекватной для сбора информации о явных эргономических недостатках проекта, она дает меньше информации для предсказания характера деятельности персонала системы. С другой стороны, руководители испытаний не слишком требовательны к разработанному в рамках ЧФ тестированию; они заинтересованы скорее в общих ответах, чем в результатах, которых обычно ожидает скрупулезный исследователь.

Другой стороной оценки адекватности тестирования является то, что оно имеет отношение только к деятельности оператора. Весьма редко делаются попытки оценить эффективность технического обслуживания, главным образом потому, что рассматриваемое поведение является когнитивным и, следовательно, скрытым, а также потому, что деятельность по отысканию и устранению повреждений сильно зависит от природы отказа оборудования. Стандарты на отыскание и устранение неполадок выражаются через среднее время, необходимое для ремонта оборудования. Однако в действительности никто не рассчитывает

Оценка эффективности систем

на то, что технический персонал обеспечит выполнение этих требований. Более того, отказы, происходящие во время рабочих испытаний, являются лишь слабым подобием того, что может произойти в реальных условиях, так что любые выводы ИЧФ по этому вопросу не могут быть обобщены на всю последующую деятельность по техническому обслуживанию.

Кроме того, очень трудно определить влияние деятельности операторов на функционирование системы на разных уровнях, а это значит, что ИЧФ не может сделать количественной оценки вклада персонала в результат работы системы. Он может, например, заключить, что эффективность деятельности отделения гидроакустиков составила 95%, но не может сказать, каков вклад этих 95% в успех или неудачу атаки на подводную лодку. Это затрудняет ИЧФ оценку деятельности персонала, что имеет следующие последствия: 1) невозможно заставить конструкторов и разработчиков уделять человеческим факторам при создании системы то внимание, которое они заслуживают; 2) ИЧФ трудно отыскивать средства улучшения деятельности персонала, так как он не знает, насколько эта деятельность несовершенна.

Существуют трудности в определении связи между деятель ностью персонала и результатом работы системы, так как она зависит от множества факторов, свойственных всякой ситуации в системе. В любой реальной системе, даже если ею управляет один оператор (например, летчик-истребитель), существует множество факторов, оказывающих воздействие на деятельность оператора. Если исследователю приходится в течение эксперимента иметь дело с одной или двумя дюжинами факторов, которые одновременно изменяются, то ему трудно проверить свою гипотезу. Эксперимент ограничивает количество переменных до приемлемого числа, хотя при этом исследуемый процесс несколько изменяется, поскольку в действительности все переменные действуют одновременно. К сожалению, в реальных условиях мы не можем произвольно ограничить количество одновременно изменяющихся величин.

Еще одно ограничение эффективности тестирования — отсутствие стандартов деятельности персонала. Без таких стандартов трудно делать выводы из полученных данных.

Некоторые авторы полагают, что, если бы появилась возможность автоматизированной регистрации характеристик деятельности оператора, указанные проблемы исчезли бы. Однако эти оптимистические надежды лишены реальной почвы. При наличии такой аппаратуры необходимо иметь стандарты для определения адекватности или неадекватности деятельности. Р>> мере роста компьютеризации систем, несомненно, будет noi л- шаться надежность автоматизированной оценки деятельности