Сбор данных о функционировании системы 2 страница

Рассмотрим основные виды ресурсов, используемых при реализации задач системного анализа. Выделяют энергетические, материальные, временные и информационные ресурсы. Характеристику ресурсов начнем с энергетических ресурсов. Обычно энергетические затраты на реализацию модели значительно меньше, чем затраты энергии, потребляемые самой системой, для которой разработана модель. Поэтому в обычной ситуации энергетическими ресурсами, как правило, пренебрегают. Однако актуальность обеспечения энергетическими ресурсами возникает в тех случаях, когда модельные исследования проводятся на объектах, работающих в относительно автономных условиях. Примерами таких объектов являются научно-исследовательские морские суда, летательные аппараты, космические станции. Энергетические возможности таких объектов ограничены. Следовательно, прежде чем приступить к организации модельных исследований в таких условиях, требуется обосновать обеспеченность готовящихся исследований с точки зрения достаточности энергетических ресурсов.

Следующий вид ресурсов — материальные ресурсы, которые представляют собой достаточно обширную категорию. Сюда можно отнести и людские ресурсы, требуемые для реализации моделей, и ресурсы обеспеченности проводимых исследований необходимым оборудованием, приборами и инструментами, и канцелярские товары и принадлежности, и т.п. В случае решения задачи путем моделирования на ЭВМ в качестве материальных ресурсов выступают объем памяти и машинное время. Указанные ресурсы ограничивают возможности решения задач большой размерности в реальном масштабе времени. С подобными проблемами приходится сталкиваться при решении задач в экономических, социальных, метеорологических, организационно-управленческих, сложных технических системах. В случае нехватки ресурсов для решения подобных задач необходимо проводить реконструкцию модели. Самое тривиальное действие, которое можно применить в данном случае, это провести декомпозицию модели системы на совокупность связанных моделей меньшей размерности.

Временные ресурсы. Практика решения задач системного анализа такова. Заказчик работ заключает с системными аналитиками, которые выступают в роли исполнителей работ, договор. В данном договоре оговариваются сроки выполнения работ по проведению системного анализа. Как правило, эти сроки являются ограничивающим временным фактором на выполняемые работы. Таким образом, исследования, проводимые с помощью моделей, должны по времени укладываться в рамки, оговоренные договором.

Наконец, информационные ресурсы. Количество и качество информации, используемой при построении моделей систем, различно. Если при построении модели используется достоверная информация в дос-

таточно представительном объеме, это является одним из условий построения хорошей модели. Качество и полнота информации, представленной в модели, обеспечивает принятие обоснованных решений и является гарантией успешного управления. В свою очередь, ограниченность информации приводит к значительной неопределенности результатов, получаемых в ходе расчетов на модели. Решения, принимаемые на основе таких моделей, будут обладать слабой степенью обоснованности.

Таким образом, при построении и реализации моделей следует уделять внимание обеспечению процесса использования моделей всеми видами ресурсов. Даже самая качественная модель в смысле адекватности описания происходящих в системе процессов может на практике оказаться бесполезной, если она не обеспечена в надлежащем объеме всеми видами ресурсов, необходимых для ее успешного применения.

2.7. Определение целей системного анализа

Формулирование проблемы

Для традиционных наук начальный этап работы заключается в постановке формальной задачи, которую надо решать. В исследовании сложной системы это промежуточный результат, которому предшествует длительная работа по структурированию исходной проблемы. Начальный пункт определения целей в системном анализе связан с формулированием проблемы. Здесь следует отметить следующую особенность задач системного анализа. Необходимость системного анализа возникает тогда, когда заказчик уже сформулировал свою проблему, т.е. проблема не только существует, но и требует решения. Однако системный аналитик должен отдавать себе отчет в том, что сформулированная заказчиком проблема представляет собой приблизительный рабочий вариант. Причины, по которым исходную формулировку проблемы необходимо считать в качестве первого приближения, состоят в следующем. Система, для которой формулируется цель проведения системного анализа, не является изолированной. Она связана с другими системами, входит как часть в состав некоторой надсистемы, например, автоматизированная система управления отделом или цехом на предприятии является структурной единицей АСУ всего предприятия; АСУ предприятия имеет связи с отраслевой системой; сама система, в свою очередь, состоит из подсистем. И поэтому, формулируя проблему для рассматриваемой системы, необходимо учитывать, как решение данной проблемы отразится на системах, с которыми связана данная система. Неизбежно планируемые изменения затронут и подсистемы, входящие в состав данной системы, и надсистему, содержащую данную систему. Таким образом, к любой реальной проблеме следует относиться не как к отдельно взятой, а как к объекту из числа взаимосвязанных проблем.

Другая причина того, что к сформулированной заказчиком проблеме следует относиться как к первоначальному рабочему варианту, состоит в том, что она (проблема) является его рабочей моделью, его взглядом на проблемную ситуацию. В реальной жизни необходимо учитывать позиции всех заинтересованных сторон. Учет мнений всех заинтересованных сторон приводит к дополнениям, уточнениям первоначального варианта описанной проблемы. Следовательно, системное исследование проблемы должно начинаться с ее расширения до системы проблем, связанных с исследуемой, без учета которых она не может быть решена. Это расширение должно происходить как с учетом связей данной системы с над- и подсистемами, так и с точки зрения • углубления данной проблемы, ее детализации.

Для формулирования системы проблем необходимо сформировать перечень заинтересованных лиц, так или иначе связанных с работами по системному анализу. В данный перечень следует включать, во-первых, клиента, который ставит проблему, заказывает и оплачивает системный анализ. Именно заказчик формулирует исходную проблему системного анализа. Далее включаются лица, принимающие решения, от полномочий которых зависит решение проблемы. Необходимо учитывать мнения активных участников решения проблемы, поскольку на них лягут основные работы по реализации принятых решений. Следующий контингент — пассивные участники, те, на ком скажутся последствия решения проблемы. На этапе формулирования проблемы необходимо учитывать, к каким изменениям приведут внедрения мероприятий проведенного системного анализа, и как это отразится на пассивных участниках. И, наконец, требуется включать в перечень самого системного аналитика и его сотрудников, главным образом, для того, чтобы предусмотреть возможность минимизации его влияния на остальных заинтересованных лиц.

При формулировании системы проблем системный аналитик должен следовать некоторым рекомендациям. Во-первых, за основу должно браться мнение заказчика. Как правило, в качестве такового выступает руководитель организации, для которой проводится системный анализ. Именно он, как было отмечено выше, генерирует исходную формулировку проблемы. Далее системный аналитик, ознакомившись со

сформулированной проблемой/должен уяснить задачи, которые были поставлены перед руководителем, ограничения и обстоятельства, влияющие на поведение руководителя, противоречивые цели, между которыми он старается найти компромисс. Насколько это возможно, следует выяснить личные качества руководителя, его склонности и предубеждения. Далее системный аналитик должен изучить организацию, для которой проводится системный анализ. Необходимо тщательно ознакомиться с существующей иерархией управления, функциями различных групп, а также предыдущими исследованиями соответствующих вопросов, если таковые проводились. Аналитик должен воздерживаться от высказывания своего предвзятого мнения о проблеме и от попыток втиснуть ее в рамки своих прежних представлений ради того, чтобы использовать желательный для себя подход к ее решению. Наконец, аналитик не должен оставлять непроверенными утверждения и замечания руководителя. Как уже отмечалось, проблему, сформулированную руководителем, необходимо, во-первых, расширять до комплекса проблем, согласованных с над- и подсистемами, и, во-вторых, согласовывать ее со всеми заинтересованными лицами.

Следует также отметить, что каждая из заинтересованных сторон имеет свое видение проблемы, отношение к ней. Поэтому при формулировании комплекса проблем необходимо учитывать, какие изменения и почему хочет внести та или другая сторона. Кроме того, проблему необходимо рассматривать всесторонне, в том числе и во временном, историческом плане. Требуется предвидеть, как сформулированные проблемы могут измениться с течением времени или в связи с тем, что исследование заинтересует руководителей другого уровня. Формулируя комплекс проблем, системный аналитик должен дать развернутую картину того, кто заинтересован в том или ином решении.

Определение целей

После того, как сформулирована проблема, которую требуется преодолеть в ходе выполнения системного анализа, переходят к определению цели. Определить цель системного анализа — это означает ответить на вопрос, что надо сделать для снятия проблемы. Сформулировать цель — значит указать направление, в котором следует двигаться, чтобы разрешить существующую проблему, показать пути, которые уводят от существующей проблемной ситуации.

Формулируя цель, требуется всегда отдавать отчет в том, что она имеет активную роль в управлении. В определении цели было отражено, что цель — это желаемый результат развития системы. Таким образом, сформулированная цель системного анализа будет определять весь дальнейший комплекс работ. Следовательно, цели должны быть реалистичны. Задание реалистичных целей направит всю деятельность по выполнению системного анализа на получение определенного полезного результата. Важно также отметить, что представление о цели зависит от стадии познания объекта, и по мере развития представлений о нем цель может быть переформулирована. Изменение целей во времени может происходить не только по форме, в силу все лучшего понимания сути явлений, происходящих в исследуемой системе, но и по содержанию, вследствие изменения объективных условий и субъективных установок, влияющих на выбор целей. Сроки изменения представлений о целях, старения целей различны и зависят от уровня иерархии рассмотрения объекта. Цели более высоких уровней долговечнее. Динамичность целей должна учитываться в системном анализе.

При формулировании цели нужно учитывать, что на цель оказывают влияние как внешние по отношению к системе факторы, так и внутренние. При этом внутренние факторы являются такими же объективно влияющими на процесс формирования цели факторами, как и внешние.

Далее следует отметить, что даже на самом верхнем уровне иерархии системы имеет место множественность целей. Анализируя проблему, необходимо учитывать цели всех заинтересованных сторон. Среди множества целей желательно попытаться найти или сформировать глобальную цель. Если этого сделать не удается, следует проранжировать цели в порядке их предпочтения для снятия проблемы в анализируемой системе.

Исследование целей заинтересованных в проблеме лиц должно предусматривать возможность их уточнения, расширения или даже замены. Это обстоятельство является основной причиной итеративности системного анализа.

На выбор целей субъекта решающее влияние оказывает та система ценностей, которой он придерживается, поэтому при формировании целей необходимым этапом работ является выявление системы ценностей, которой придерживается лицо, принимающее решение. Так, например, различают технократическую и гуманистическую системы ценностей. Согласно первой системе природа провозглашается как источник неисчерпаемых ресурсов, человек — царь природы. Всем известен тезис: «Мы не можем ждать милостей от природы. Взять их у нее наша задача». Гуманистическая система ценностей говорит о том, что природные ресурсы ограничены, что человек должен жить в гармонии с природой и т.д. Подробный анализ этих систем ценностей приведен в [18]. Практика развития человеческого общества показывает, что следование технократической системе ценностей приводит к пагубным последствиям. С другой стороны, полный отказ от технократических ценностей тоже не имеет оправдания. Необходимо не противопоставлять эти системы, а разумно дополнять их и формулировать цели развития системы с учетом обеих систем ценностей.

2.8. Формирование критериев

Критерий — это способ сравнения альтернатив. Необходимо различать понятия критерий и критериальная функция. Критерием качества альтернативы может служить любой ее признак, значение которого можно зафиксировать в порядковой или более сильной шкале. После того как критерий сформирован, т.е. найдена характеристика, которая будет положена в основу сравнения альтернатив, появляется возможность ставить задачи выбора и оптимизации.

Задача формирования критериев решается непосредственно после того, как сформулированы цели системного анализа. Ситуация становится понятной, если к критериям относиться как к количественным моделям качественных целей. Задача системного аналитика состоит в том, чтобы формализовать проблемную ситуацию, возникающую в ходе системного анализа. Этой цели как раз и служит этап формирования критериев. Сформированные критерии в некотором смысле должны заменять цели. От критериев требуется как можно большее сходство с целями, чтобы оптимизация по критериям соответствовала максимальному приближению к целям. Выполняя данный этап, необходимо сознавать, что критерии не могут полностью совпадать с целями. Одной из причин этого является то, что критерии и цели формулируются в разных шкалах: цели в номинальных, критерии в более сильных, допускающих упорядочение. Критерий является отображением ценностей, воплощенных в целях, на параметры альтернатив, допускающие упорядочение. Определение значения критерия для данной альтернативы является косвенным измерением степени ее пригодности как средства Достижения цели.

Обсуждая вопрос формирования критериев, следует сказать, что это Достаточно трудная и серьезная задача. Редко бывает так, что решение лежит на поверхности. Зачастую для формирования хорошего критерия, адекватно отражающего цель системного анализа, приходится прибегать к неформализуемым процедурам. Неформализуемые, творческие, эвристические этапы играют важную роль в процессе формирования критериев. При решении задач системного анализа, возникает ситуация, когда невозможно предложить один критерий, адекватно отражающий цель исследования: даже одну цель редко удается выразить одним критерием, хотя к этому необходимо стремиться. Критерий, как и всякая модель, лишь приближенно отображает цель; адекватность одного критерия может оказаться недостаточной. Поэтому решение может состоять не обязательно в поиске более адекватного критерия, оно может выражаться в использовании нескольких критериев, описывающих одну цель по-разному и дополняющих друг друга. Еще более усложняется задача в случае, когда сформулировано несколько целей системного анализа, отражающих разные системы ценностей. В этом случае исследователь тем более вынужден формировать несколько критериев и в последующем решать многокритериальную задачу. Таким образом, можно отметить, что многокритериальность является способом повышения адекватности описания цели. Однако введение мно-гокритериальности в задачах системного анализа не должно быть самоцелью. Качество постановки задачи заключается не только и не столько в количестве критериев, сколько в том, чтобы они достаточно адекватно описывали цель системного анализа. Критерии должны описывать по возможности все важные аспекты цели, но при этом желательно минимизировать число необходимых критериев.

Формирование критериев отражает цель, которую ставит заказчик. Но при постановке и решении задач системного анализа необходимо учитывать не только цели, на решение которых он направлен, но и возможности, которыми обладают стороны для решения поставленных задач и которые позволяют снять выявленные проблемы. В первую очередь, необходимо учитывать ресурсы, имеющиеся у сторон. К ресурсам следует отнести денежные ресурсы, которые заказчик согласен выделить системным аналитикам для решения поставленной задачи; ресурсы исполнителя — людские ресурсы, ресурсы вычислительные (наличие вычислительной техники, ее количество и т.д.), материальные ресурсы, требуемые для решения задач (например, наличие канцелярских товаров, транспорта, ресурсов связи); временные ресурсы (сроки решения задач системного анализа, как правило, оговариваются). При формулировке задачи системного анализа необходимо также учитывать интересы окружающей среды. Хоть окружающая среда и играет пассивную роль, необходимо учитывать, что любая система существует внутри нее, взаимодействует с ней. Поэтому при постановке задачи системного анализа необходимо следовать принципу не навредить, не предпринимать ничего, что противоречило бы законам природы. Чтобы удовлетворить условиям непревышения количества имеющихся ресурсов, в постановку задачи системного анализа вводят ограничения.

Между целевыми критериями и ограничениями имеются сходство и различия. Общее заключается в том, что и критерий, и ограничения являются математической формулировкой некоторых условий. В некоторых задачах оптимизации они могут выступать равноправно. Однако на этапе формирования целевой критерий открывает возможности для генерирования новых альтернатив в поисках лучшей из них, а ограничение заведомо уменьшает их число, запрещая некоторые из них. Одними целевыми критериями можно жертвовать ради других, ограничения же исключить нельзя, они должны четко соблюдаться. При формулировании задач системного анализа встречаются случаи, когда ограничения задаются завышенными. Это может привести к нереальности достижения целей системного анализа. В этом случае необходимо ставить вопрос об ослаблении ограничений. Приведем пример. Слишком высокие требования к характеристикам надежности системы могут привести к необходимости чрезвычайных дополнительных финансовых вложений. А это, в свою очередь, может привести к неэффективности разработки и эксплуатации объекта, для которого проводится анализ. Таким образом, формулируя ограничения, необходимо руководствоваться соображениями здравого смысла. В качестве приема, позволяющего найти наилучшие соотношения между критериями и ограничениями, можно порекомендовать использование итерационных процедур. После проведения определенных вычислений и установления факта завы-шенности требований, сформулированных в ограничениях, можно эти требования ослабить и попытаться решить задачу заново.

В заключение данного параграфа перечислим основные критерии, наиболее часто встречающиеся в анализе сложных технических систем. Это экономические критерии — прибыль, рентабельность, себестоимость; технико-экономические — производительность, надежность, долговечность; технологические — выход продукта, характеристики качества и пр.

2.9. Генерирование альтернатив

Следующим этапом системного анализа является создание множества возможных способов достижения сформулированной цели. Иными словами, на данном этапе необходимо сгенерировать множество альтернатив, из которых затем будет осуществляться выбор наилучшего пути развития системы. Данный этап системного анализа является очень важным и трудным. Важность его заключается в том, что конечная цель системного анализа состоит в выборе наилучшей альтернативы на заданном множестве и в обосновании этого выбора. Если в сформированное множество альтернатив не попала наилучшая, то никакие самые совершенные методы анализа не помогут ее вычислить. Трудность этапа обусловлена необходимостью генерации достаточно полного множества альтернатив, включающего в себя, на первый взгляд, даже самые нереализуемые.

Генерирование альтернатив, т.е. идей о возможных способах достижения цели, является настоящим творческим процессом. Существует ряд рекомендаций о возможных подходах к выполнению рассматриваемой процедуры. Необходимо сгенерировать как можно большее число альтернатив. Имеются следующие способы генерации [1]:

а) поиск альтернатив в патентной и журнальной литературе;

б) привлечение нескольких экспертов, имеющих разную подготовку и опыт;

в) увеличение числа альтернатив за счет их комбинации, образования промежуточных вариантов между предложенными ранее;

г) модификация имеющейся альтернативы, т.е. формирование альтернатив, лишь частично отличающихся от известной;

д) включение альтернатив, противоположных предложенным, в том числе и «нулевой» альтернативы (не делать ничего, т.е. рассмотреть последствия развития событий без вмешательства системотехников);

е) интервьюирование заинтересованных лиц и более широкие анкетные опросы;

ж) включение в рассмотрение даже тех альтернатив, которые на

первый взгляд кажутся надуманными;

з) генерирование альтернатив, рассчитанных на различные интервалы времени (долгосрочные, краткосрочные, экстренные).

При выполнении работы по генерированию альтернатив важно создать благоприятные условия для сотрудников, выполняющих данный вид деятельности. Большое значение имеют психологические факторы, влияющие на интенсивность творческой деятельности, поэтому необходимо стремиться к созданию благоприятного климата на рабочем месте сотрудников.

Существует еще одна опасность, возникающая при выполнении работ по формированию множества альтернатив, о которой необходимо сказать. Если специально стремиться к тому, чтобы на начальной стадии было получено как можно больше альтернатив, т.е. стараться сделать множество альтернатив как можно более полным, то для некоторых проблем их количество может достичь многих десятков. Для подробного изучения каждой из них потребуются неприемлемо большие затраты времени и средств. Поэтому в данном случае необходимо про-

вести предварительный анализ альтернатив и постараться сузить множество на ранних этапах анализа. На этом этапе анализа применяют качественные методы сравнения альтернатив, не прибегая к более точным количественным методам. Тем самым осуществляется грубое отсеивание.

Приведем теперь методы, используемые в системном анализе, для проведения работы по формированию множества альтернатив.

Методы коллективной генерации идей

Методы коллективной генерации идей известны также, как методы мозгового штурма или мозговой атаки. Данный метод является методом систематической тренировки творческого мышления, нацеленным на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Техника мозгового штурма состоит в следующем. Собирается группа лиц, отобранных для генерации альтернатив. Главный принцип отбора заключается в подборе специалистов разных профессий, опыта работы и квалификации. Данная группа обсуждает проблему, причем заранее оговаривается, что приветствуются любые идеи, возникшие как индивидуально, так и по ассоциации при выслушивании предложений других участников. Приветствуются даже идеи, лишь незначительно улучшающие высказывания предыдущих выступающих. При обсуждении придерживаются ряда правил:

• необходимо обеспечить как можно большую свободу мышления участников мозгового штурма и высказывания ими новых идей;

• допускается высказывание любых идей, даже если вначале они кажутся сомнительными и абсурдными;

• не допускается критика, не объявляется ложной и не прекращается обсуждение ни одной идеи;

• приветствуется высказывание как можно большего числа идей, особенно нетривиальных.

Разработка сценариев

В некоторых проблемах искомое решение должно описывать реальное поведение объекта в будущем, определять реальный ход событий. В таких случаях альтернативами являются различные последовательности действий и вытекающих из них событий, которые могут произойти с системой в будущем. Эти последовательности имеют общее начальное состояние и различные траектории движения развития системы. Это различие и приводит к проблеме выбора. Такие гипотетические альтернативные описания поведения системы в будущем называются сценариями. Сценарии-альтернативы-это логически обоснованные модели поведения проблемосодержащей системы в будущем, которые после принятия решения можно рассматривать как прогноз изменения состояний системы. Разработка сценариев относится к типичным неформализуемым процедурам. Для составления сценариев привлекаются специалисты, которые должны знать общие закономерности развития систем. При составлении сценариев проводят анализ внутренних и внешних факторов, влияющих на развитие системы, определяют источники этих факторов, целенаправленно анализируют высказывания ведущих специалистов в научных публикациях по рассматриваемой тематике. Сценарий является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию развития системы. Сценарий помогает составить представление о проблеме; затем приступают к более тщательным, как правило, количественным процедурам анализа.

Морфологические методы

Основная идея морфологических методов состоит в систематическом переборе всех мыслимых вариантов решения проблемы или развития системы путем комбинирования выделенных элементов или их признаков. Системный аналитик определяет все мыслимые параметры, от которых может зависеть решение проблемы и представляет их в виде матриц-строк. Затем в этой матрице определяются все возможные сочетания параметров по одному из каждой строки. Полученные таким образом варианты подвергаются оценке и анализу с целью выбора наилучшего варианта решения проблемной ситуации. Методологию морфологического анализа можно проиллюстрировать на примере, приведенном в [19], касающемся разработки системы телевизионной связи. Рассмотрим табл. 2.1, которая порождает 384 различные возможные системы телевизионной связи. Современному телевизионному вещанию соответствует только одна альтернатива. Таким образом, анализируя данную таблицу, можно сказать, что у телевидения широкие возможности для дальнейшего развития.

Деловые игры

Деловыми играми называется имитационное моделирование реальных ситуаций. В процессе моделирования участники игры ведут себя таким образом, будто они в реальности выполняют порученную им роль.

Таблица 2.1

Независимая переменная	Значение переменной
Цвет изображения	Черно-белое
	Одноцветное
	Двухцветное
	Трехцветное
	Семицветное
Размерности изображения	Плоское изображение
	Объемное изображение
Градация яркости	Непрерывные
	Дискретные
Звуковое сопровождение	Без звука
	Монофонический звук
	Стереофонический звук
Передача запахов	Без передачи запахов
	С сопровождением запахов
Наличие обратной связи	Без обратной связи
	С обратной связью

Реальная ситуация в данном случае заменяется некоторой моделью. Чаще всего деловые игры используются для обучения, однако их с успехом применяют и для экспериментального генерирования альтернатив, особенно в слабо формализованных ситуациях. Важная роль в деловых играх отводится руководителю игры, тому, кто управляет моделью, регистрирует ход игры и обобщает ее результаты.

Методы экспертного анализа

Методы экспертного анализа разрабатывались для решения задачи структурирования и системной организации процесса получения и кодирования данных и знаний, источником которых является человек-эксперт. Методы экспертного анализа применяются для решения сла-боформализованных задач. Суть методов состоит в подборе группы экспертов, являющихся специалистами в рассматриваемой области знаний. Перед ними формулируется задача, скажем, изложить свое мнение по проблеме, требующей решения, предложить пути развития системы, обосновать траекторию изменения состояний системы в будущем и т.п. После получения ответов появляется как бы коллективное мнение, коллективный взгляд на решаемую проблему. В результате обработки экспертных ответов получают наиболее вероятный прогноз по развитию системы.

Метод «Дельфи»

Метод «Дельфи» — итеративная процедура при проведении мозговой атаки, которая должна снизить влияние психологических факторов при проведении обсуждений проблемы и повысить объективность результатов. В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод «Дельфи» предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе «Дельфи» прямые дебаты заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до получения приемлемой сходимости совокупности высказанных мнений.