Глава 3. (поскольку сравнительно просто запрограммировать компьютер на получение определенных данных), но и тогда останутся трудности

(поскольку сравнительно просто запрограммировать компьютер на получение определенных данных), но и тогда останутся трудности.

Оценка эффективности системы является более приближенной и сильнее зависит от ограничений, связанных с материально-техническим снабжением, временем, деньгами, персоналом и т. д., чем большинство экспериментальных исследований. Ценность экспериментальных данных зависит от того, насколько грамотно поставлен эксперимент, а в случае тестирования такой зависимости нет.

Насколько эффективно оценена подсистема персонала при тестировании эффективности системы в целом? Мы не можем ответить на этот вопрос, так как каждый тест системы является индивидуальным тестом; было несколько попыток объединить такие тесты в «общий» опыт тестирования системы [23]. Общеизвестно, например, что при тестировании систем в процессе военных учений (например, с участием морских соединений) собрано немного полезных данных о деятельности персонала, так как результаты деятельности искажались так, чтобы создать благоприятное впечатление высшего начальства.

Таким образом, у нас нет ответов на следующие вопросы: 1) как работают наши методы тестирования в реальных условиях; 2) какие из методов применяют ИЧФ и как; 3) какие факторы сдерживают или стимулируют использование этих методов тестирования. Ответы на эти вопросы надо искать в реальных условиях тестирования [36].

На основе того немногого, что мы знаем или о чем догадываемся, можно сделать вывод, что методология оценок имеет ряд преимуществ й прикладных исследованиях. Следовало бы разработать психометрически обоснованные и стандартизованные эргономические контрольные листы и шкалы оценок, которые с небольшими изменениями можно было бы использовать в любом тестировании. Должны быть также разработаны методы сравнительной оценки деятельности на разных уровнях управления системой (индивидуальном, бригадном, подсистемном, системном). Мы также должны учитывать исторический опыт оценки эффективности систем.

Несмотря на перечисленные недостатки, ИЧФ может внести заметный вклад в оценку работы системы.

3.6. Дополнительная литература

Существует обширная литература по тестированию деятельности персонала, к которой может обратиться заинтересованный читатель. Что касается истории исследований до 1969, то следует обратиться к Снайдеру [47]. Аскрен и Ньютон [2] проана-

Оценка эффективности систем

лизировали 95 документов по тестированию подсистемы персонала и оценке его деятельности; рефераты этих сообщений, представленные ими, передают особенности РИ. Кинан и др. [28] в 1965 опубликовали перечень оценок, применяемых в военно-воздушных силах. Кинкейд и Потемпа [29J издали труды конференции по оценке человеческих факторов, состоящие из ряда блестящих статей, касающихся разных аспектов предмета. Книга [38] —хороший первоисточник, как н некоторые разделы монографии [34]. Работы Мейстера по методологии (см. [37]) содержат материалы по всем затронутым в данной главе вопросам. Рекомендуем также обратиться к специальной статье, касающейся тестирования в полевых условиях, в журнале Human Factors за 1974.

Прекрасное описание рабочих испытаний можно найти у Гира [22]. В сообщениях Холшузера [24, 25] изложены последовательность и методики проведения РИ; последнее сообщение особенно полезно для подготовки плана оценки ЧФ. Работа Майерза и др. [39] посвящена оценке влияния ЧФ на функционирование системы. Рабидо [44] рассматривает проблемы, связанные с тестированием в полевых условиях, и методы сбора субъективной информации.

Чтобы понять, что представляют собой РИ, полезно прочесть не только планы испытаний, но и отчеты о завершенных испытаниях [30, 33, 12]. Опубликован один из немногочисленных проектных контрольных листов [42]. Питерз и Холл [41] обобщили виды эргономических несоответствий, обнаруженных при РИ.

Делались попытки создать новые методы И и О; эти попытки не имели большого успеха [43, 9—11, 3]. Ряд руководств по И и О, ориентированных на эргономические характеристики, используется в сухопутных войсках и военно-морском флоте [13, 17]. Мейстер также написал руководство по И и О, назначение которого выходит за рамки эргономической ориентации [35]. Автор попытался с помощью этого руководства дать возможность неспециалисту выполнять функции ИЧФ (так как оценщики, как правило, не имеют специальной подготовки). Эти материалы полезны также и для специалистов. Перечисленные документы не решают задач, рассмотренных в данной главе, однако показывают, как можно улучшить существующее положение. Читатель может заметить, что перечисленная литература относится к 1960-м и началу 1970-х. Это не значит, что деятельность по изучению И и О прерывалась; такое впечатление может сложиться с учетом возросшего интереса к более «горячим» темам ЧФ, например рабочей нагрузке. Исследования по оценкам эффективности системы продолжались (см., например, [5, 19, 27, 31, 32, 49, 51J).

152 Глава 3

Тем не менее проблемы, упомянутые выше, до сих пор не решены. Остается надеяться, что в будущем к ним обратятся более последовательно и систематично.

Литература

1. Altman J. \V. (1969) Choosing human performance tests and measures. In J. P. Kinkaid, K. W. Potempa (eds), Proceedings of the human factors testing conference 1—2 October 1968 (Report AFHRL-TR-69-9). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory.

2. Askren W. В., Newton R. R. (1969) Review and analysis of personnel subsystem test and evaluation literature (Report AFHRL-TR-68-7). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory.

3. Askren W. В., Bower S. M., Schmid M. D., Schwartz N. F. (1969) A voice-radio method for collecting human factors data (Report AFHRL-TR-68-10). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory.

4. Beare A. N., Dorris R. E. (1983) A simulator-based study of human errors in nuclear power plant control room tasks. Proceedings, Human Factors Society Annual Meeting, pp. 170—174.

5. Bohn C. A. (1983) Use of low cost, low fidelity mockups for reproduction testing. Proceedings, Human Factors Society Annual Meeting, pp. 589— 591.

6. Chapanis A. (1959) Research techniques in human engineering. Baltimore: Johns Hopkins Press.

7. Christensen J. M., Mills R. G. (1967) What does the operator do in complex systems. Human Factors, 9, 329—340.

8. Cohill A. M„ Ehrich R. W. (1983) Automated tools for the study of human/ computer interaction. Proceedings, Human Factors Society Annual Meeting, pp. 897—900.

9. Crites С D. (1969) Video tape recording as a technique for personnel subsystem test and evaluation (Report AFHRL-69-18). Wright-Patterson AFB, OH: Air Force System Command.

10. Crites С D. (1969) Press camera with Polaroid back technique for personnel subsystem test and evaluation (Report AFHRL-69-17). Wright-Patterson AFB, OH: Air Force System Command.

11. Crites С D. (1969) Miniature event recording as a technique for personnel subsystem test and evaluation (Report AFHRL-69-16). Wright-Patterson AFB. OH: Air Force System Command.

12. Department of the Air Force (1965). Category II system development test and evaluation of the 482L emergency mission support system, personnel subsystem test and evaluation (Report APGC-TR-65-61, Vol. III). Eglin AFB, FL: Deputy for Test Operations, Air Proving Ground Center (AD 476 172).

13. Department of the Army (1974) Human factors engineering data guide for evaluation (HEDGE). Aberdeen Proving Ground, MD: U.S. Army Test and Evaluation Command.

14. Department of Defense (1977). Test and Evaluation (DoD Directive 5000.3), Washington, DC.

15. Department of Defense (1979). Human engineering requirements for military systems (MIL-H-46855B). Washington, DC.

16. Department of Defense (1981). Human engineering design criteria for military systems, equipment and facilities (MIL-STD 1472C). Washington, DC.

17. Department of the Navy (1975). Human factors test and evaluation manual (HFTEMAN). Vol. I —Data Guide, Vol. II — Support Data, Vol. Ill — Methods and Procedures (Report ТР-76-ПА, B, C). Point Mugu, CA: Pacjfic Missile Test С nter.

Оценка эффективности систем

i 53

18. Department of the Navy (1979). Operational test director guide, COMOP TEVFOR Instruction 3960. IB. Norfolk, VA: Operational Test and Evaluation Force.

19. Edwards J. M., Bloom R. F., Oates J. R., Sipitowski S., Brainin P A., Eckenrode R. J., Zeidler P. C. (1981) An annotated bibliography of the manned systems measurement literature. Darien, CT: Dunlap and Associates

20. Fuller J. H., Waag W. L., Martin E. L. (1980) Advanced simulator for pilot traning: design of automated performance measurement svstem (Report AFHRL-TR-79-57). Williams AFB, AZ: Air Force Human Resources Laboratory.

21. Geddie J. С (1976) Profiling the characteristics of the developmental test participant (Technical Memorandum 31—76). Aberdeen Proving Ground, MD: U.S. Army Human Engineering Laboratory.

22. Geer С W. (1977) User's Guide for the Test and Evaluation Sections of MIL-H-46855 (Report D194-10006-1). Seattle, WA: Boeing Aerospace Company (AD A045 097).

23. General Accounting Office (1984). The Army needs more comprehensive evaluations to make effective use of its weapon system testing (Report GAO/NSIAD-84-40). Washington, DC.

24. Holshouser E. L. (1975) Human factors engineering policy and procedures for test and evaluation of Navy systems (Report TP-75-15). Point Mugu, CA: Pacific Missile Test Center (AD-B0006035L).

25. Holshouser E L. (1977) Guide to human factors engineering general purpose test planning (GPTP) (Airtask A3400000/054C/7W0542-001) (Technical Publication TP-77-14). Point Mugu, CA: Pacific Missile Test Center.

26. Johnson E. M., Baker J. D. (1974) Field testing: the delicate compromise. Human Factors, 16, 203—214.

27. Jones D. T. (1983) Human factors in support of the coast guard advanced marine vessels test and evaluation effort. Proceedings, Human Factors Society Annual Meeting, pp. 584—588.

28. Keenan J. J„ Parker T. C, Lenzycki H. P. (1965) Concepts and practices in the assessment*of the human performance in Air Force systems (Report AMRL-TR-65-168). Wright-Patterson AFB, OH: Aerospace Medical Research Laboratories.

29. Kinkaid J. P., Potempa K. W. (eds) (1969) Proceedings of the human factors testing conference 1—2 October. 1968 (Report AFHRL-TR-69-6). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory.

30. Lathrop R. C, Grave C, Lahey S. G. (1960) Evaluation of the human factors. aspects of the ground aircraft missile (GAM-77) (Hound Dog) (Report

APGC-TN-60-19). Eglin AFB, FL: Human Factors Office, Air Proving Ground Center (AD 236 953).

31. Malone Т. В., Kirkpatrick M., Mallory D„ Johnson J. G., Walker R. W. (1980) Human factors evaluation of control room design and operator performance at Three Mile Island-2 (Report NUREG/CR-1270. Vol. 1). Alexandria, VA: Essex Corporation. (Available from National Technical Information Service, Springfield, VA.)

32. Malone Т. В., Micocci A. J., Bradley J. G. (1974) Man-machine evaluation of the M60A2 tank system (Research Problem Review 74-4j. Ft. Hood, TX: Army Research Institute (AD A077 756).

33. Martin Company (1963). Personnel subsystem test and evaluation, lest cycle report on missile SM68-1! (Report CR-63-43) Denver, CO (AD 405 382).

34. Meister D. (1971) Human factors: theory and practice. New York: Wiley.

35. Meister D. (1978) Human factors in operational system testing: a manual procedures (Report SR 78-8). San Diego, CA: Navy Personnel Research and Pevelopment Center. '

16*4 Глава 3

36. Meister D. (1983) Are our methods any good? A way to find out. Proceedings, Human Factors Society Annual Meeting, pp. 75—79.

37. Meister D. (1985) Behavioral analysis and measurement methods. New York: Wiley.

38. Meister D., Rabideau G. F. (1965) Human factors evaluation in system development. New York: Wiley.

39. Myers L. В., Carter R. G., Hosteller R. S. (1966) Guidebook for the collection of human factors data (Report PTB 66-3). State College, PA: HRB-Singer, Inc. (AD 631 023).

40. Osga G. (1981) Guidelines for development, use and validation of a human performance data bank for NTDS combat operations. San Diego, CA: Systems Exploration, Inc.

41. Peters G. A., Hall F. S. (1963) Missile system safety: an evaluation of system test data (Atlas MA-3 engine system) (Report ROM 3181-1001, R-5135). Canoga Park, CA: Reliability Operations, Human Factors, Rocket-dyne Engineering. March 1963.

42. Philco-Ford (1964). Human engineering design check list (Report WDL-TR-1968A). Palo Alto, CA: (AD 829 426).

43. Potempa K. W. (1969) A catalog of human factors techniques for testing new systems (Report AFHRL-TR-68-15). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory.

44. Rabideau G. F. (1964) Field measurement of human performance in man-machine systems. Human Factors, 6, 663—672.

45. Siegel A. I., Wolf J. J. (1969) Man-machine simulation models: psychological and performance interaction. New York: Wiley.

46. Smode A. F., Gruber A., Ely J. H. (1962) The measurement of advanced flight vehicle crew proficiency in synthetic ground environments (Technical Documentary Report No. MRL-TDR-62-2). Wright-Patterson AFB, OH: Behavioral Sciences Laboratory.

47. Snyder M. T. (1969) Historical development and current trends of human factors testing on Air Force systems. In J. P. Kinkaid, K. W. Potempa (eds), Proceedings of the human factors testing conference 1—2 October 1968 (Report AFHRL-TR-69-6). Wright-Patterson AFB, OH: Air Force Human Resources Laboratory, pp. 7—31.

48. Stinson W. J. (1979) Evaluation of LVA full-scale hydrodynamic vehicle motion effects on personnel performance (Report NPRDC TR-79-16). San Diego, CA: Navy Personnel Research and Development Center.

49. Test Design Division (1976). Test design plan, new Army battle tank, XM1, operational test I (Report TDP-OT-931). Falls Church, VA: U.S. Army Operational Test and Evaluation Agency (AD A021 726).

50. Vreuls D., Obermayer R. W., Goldstein I., Lauber J. W. (1973) Measurement of trainee performance in a captive rotary-wing device (Report NAVTRAE-OUIPCEN 7I-C-0194-1). Orlando, FL: Naval Training Equipment Center.

51. Waag W. L., Eddowes E. E., Fuller J. H., Jr., Fuller R. R. (1976) ASUPT automated objective performance measurement system (Report AFHRL-TR-75-3). Williams AFB, AZ: Air Force Human Resources Laboratory (AD A014 799).