Оценка качества имитационной модели

Оценка качества модели является завершающим этапом ее разработки и пре­следует две цели:

1) проверить соответствие модели ее предназначению (целям исследования);

2) оценить достоверность и статистические характеристики результатов, полу­чаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

1) корректным выбором математического аппарата, используемого для описа­ния исследуемой системы;

2) методической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

• моделирование случайных факторов, основанное на использовании датчиков СЧ, которые могут вносить «искажения» в поведение модели;

• наличие нестационарного режима работы модели;

• использование нескольких разнотипных математических методов в рамках одной модели;

• зависимость результатов моделирования от плана эксперимента;

• необходимость синхронизации работы отдельных компонентов модели;

• наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характе­ризуется тем, в какой степени она обладает так называемыми целевыми свойства­ми. Основными из них являются:

• адекватность;

• устойчивость;

• чувствительность.

Оценка адекватности модели. В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится. Адекватность модели определяется степенью ее соответствия не столько реально­му объекту, сколько целям исследования.

Один из способов обоснования адекватности разработанной модели - использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае - об адекватности модели) на основе некоторых статистических критериев.

Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способа­ми. Наиболее распространенные из них:

• по средним значениям откликов модели и системы;

• по дисперсиям отклонений откликов модели от среднего значения откликов системы;

• по максимальному значению относительных отклонений откликов модели от откликов системы.

Оценка устойчивости модели. Устойчивость модели - это ее способность сохранять адекватность при иссле­довании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто бывает по­лезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

Чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель. Устойчивость результатов моделирования может быть также оценена методами математической статистики.

Оценка чувствительности модели. Достаточно часто возникает задача оценивания чувствительности модели к изменению пара­метров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.

1) вычисляется величина относительного среднего приращения параметра :

2) проводится пара модельных экспериментов при значениях , и средних фиксированных значениях остальных параметров. Определяются значения отклика модели и ;

3) вычисляются ее относительное приращение наблюдаемой переменной :

В результате для -го параметра модели имеют пару значений , характеризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .

Данные, полученные при оценке чувствительности модели, могут быть ис­пользованы, в частности, при планировании экспериментов: большее внима­ние должно уделяться тем параметрам, по которым модель является более чув­ствительной.

Калибровка модели. Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т. е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

1) глобальные изменения модели (например, введение новых процессов, изме­нение типов событий и т. д.);

2) локальные изменения (в частности, изменение некоторых законов распреде­ления моделируемых случайных величин);

3) изменение специальных параметров, называемых калибровочными.

Целесообразно объединить оценку целевых свойств имитационной модели и ее калибров­ку в единый процесс.

Процедура калибровки состоит из трех шагов, каждый из которых является ите­ративным (рис. 1.11).

Шаг 1. Сравнение выходных распределений.

Цель — оценка адекватности ИМ. Критерии сравнения могут быть различны. В частности, может использоваться величина разности между средними значениями откликов модели и системы. Устранение различий на этом шаге основано на внесении глобальных изменений.

Шаг 2. Балансировка модели.

Основная задача — оценка устойчивости и чувствительности модели. По его резуль­татам, как правило, производятся локальные изменения (но возможны и глобальные).

Шаг 3. Оптимизация модели.

Цель этого этапа — обеспечение требуемой точности результатов. Здесь возмож­ны три основных направления работ: дополнительная проверка качества датчиков случайных чисел; снижение влияния переходного режима; применение специальных методов понижения дисперсии.