Аналіз сравджуваності та економічної ефективності прогнозів

 

Під справджуваністю прогнозу розуміють відповідність передбачуваного стану атмосфери тому, що здійснився. Визначення справджуваності всіх видів прогнозів проводиться негайно по закінченні строку їх дії.

Аналіз справджуваності полягає у виясненні причин розходження між передбаченим і тим, що спостерігався, станом атмосфери і отриманні статистичних характеристик, необхідних для визначення меж застосовності різних прогностичних методів і вибору із них найефективніших, вироблення оптимальної стратегії використовування прогностичної інформації і рішення інших задач.

Помилки прогнозів залежно від причин, що їх викликали, бувають наступні:

1) помилки, що виникають за рахунок недостатньої точності і повноти вихідних даних, які використовувалися при розробці або при випуску прогнозу;

2) помилки, що виникають в результаті неправильного застосування прогностичного методу;

3) помилки, викликані недосконалістю самого прогностичного методу.

У реальних умовах помилки прогнозів викликаються сумісною дією всіх трьох чинників.

Середнє значення вказаних внесків порівняно просто знаходиться в припущенні про статистичну незалежність помилок різних груп:

 

Δ _Σ = Δ ₁ + Δ ₂ + Δ ₃,

де Δ _Σ - сумарна помилка прогнозу; Δ ₁, Δ ₂, Δ ₃ - помилки прогнозу 1, 2, 3 груп.

Відносний внесок кожного з доданків у сумарну помилку прогнозів:

Жоден із сучасних прогностичних методів не гарантує постійного збігу передбаченого значення (фази) даної метеорологічної величини зі спостереженим. З цієї точки зору всі прогнози є імовірнісними. Споживачу повідомляються ті значення метеорологічної величини, здійснення яких у даному випадку найбільш імовірне. Проте споживачу прогнозів зовсім не байдуже, з якою саме імовірністю очікується те чи інше погодне явище. Споживачу повинні бути відомі значення ймовірностей здійснення різних явищ при даному формулюванні прогнозу. Визначення цих імовірностей також складає одну з важливих задач аналізу справджуваності прогнозів.

Першим кроком аналізу є формування початкової вибірки, тобто відбір випадків (прогнозів), за якими будуть проводитися розрахунки. До неї повинні увійти прогнози, складені за аналогічних початкових умов (географічний район, пора року і доби, синоптична обстановка). Разом з тим бажано, щоб початкова вибірка включала всі варіанти атмосферних процесів, для яких рекомендовано застосування даного прогностичного методу.

За матеріалами початкової вибірки будується таблиця розподілу (табл. 12.2), що є основою для подальшої статистичної обробки, оскільки надалі повторюваності, приведені в табл. 12.2, розглядатимуться як імовірності відповідних подій. Причому, табл. 12.2 містить якнайповнішу статистичну характеристику справджуваності прогнозів, але для аналізу справджуваності прогнозів основні особливості розподілу, представленого табл. 12.2, бажано виразити одним числом.

Методика розрахунку числових характеристик розподілу, так званих, критеріїв успішності, залежить від виду прогнозів.

Кількісні прогнози. Для оцінки успішності кількісних прогнозів елементу Э використовуються наступні критерії:

1) середня абсолютна помилка прогнозу (з точністю до 0, 1)

 

(12.1)

 

2) середня відносна помилка прогнозу (з точністю до 0, 01)

 

ε = δ /δ _ф, (12.2)

 

де - середня абсолютна фактична мінливість.

У формулах (12.1) і (12.2) N – загальне число складених прогнозів;
Э_п, Э_ф, Э_в – відповідно прогностичне, фактичне (у строк прогнозу) і вихідне значення елемента.

Чим менше δ і ε, тим кращий прогноз. При ε = 1 якість методичних прогнозів знаходиться на рівні інерційних, а при ε > 1 методичні прогнози гірші за інерційні;

3) середня квадратична помилка прогнозу (з точністю до 0, 1)

 

(12.3)

 

Чим менше σ, тим вища якість прогнозу. У порівнянні з середньою абсолютною помилкою прогнозу δ в середню квадратичну помилку σ найбільший вклад вносять значні різниці (Э_п -Э_ф). При нормальному розподілі помилок σ = 1, 25δ. У реальних умовах значення σ приблизно на 20% перевищують значення δ;

4) середня арифметична (систематична) помилка прогнозу (з точністю до 0, 1)

 

(12.4)

Систематична помилка дозволяє судити про так звану фонову погрішність, тобто про методичне середнє зміщення прогностичної величини. Додатні значення вказують на систематичне прогностичне завищення значень прогностичного елемента, від’ємні - на їх заниження.

5) середнє квадратичне відхилення помилки прогнозу (стандартна помилка) (з точністю до 0, 1)

 

. (12.5)

 

У порівнянні з σ, величина враховує вклад систематичних помилок, що допомагає автору вносити необхідну корекцію в метод прогнозу;

6) кореляція тенденцій – коефіцієнт кореляції між прогностичними і фактичними змінами елемента (з точністю до 0, 01)

 

(12.6)

 

де

 

 

При точному прогнозі r_т = 1, при поганому r_т = 0. Слід відмітити, що значення ε та r при нормальному розподілі величин, що перевіряються, пов’язані між собою співвідношенням:

 

або r² + ε ² = 1.

 

Звідси слідує, що зі зменшенням (збільшенням) ε повинен збільшуватись (зменшуватись) коефіцієнт кореляції r.

Альтернативні прогнози. При альтернативних прогнозах розподіл випадків здійснення фаз предиктанта Э₁ і Э₂ представляється у вигляді матриці зв’язаності (табл. 12.2). За даними таблиці оцінюється успішність альтернативних прогнозів за допомогою наступних критеріїв: справджуваність прогнозів наявності і відсутності явища, попередження випадків з явищем і без явища, критерії М.О.Багрова, О.М.Обухова та інші.

 

 

Таблиця 12.2 – Справджуваність альтернативних прогнозів

 

Прогноз	Спостерігалось
Э1	Э2	Сума
Э1 Э2 Сума	n11 n21 n01	n12 n22 n02	n10 n20 n00

 

Тут n_ij – число прогнозів і фактичне число днів з явищем / без явища.

Багатофазові якісні прогнози. Основним критерієм успішності багатофазових якісних прогнозів є кількість прогностичної інформації. Як наголошувалося, таблиця розподілу (табл. 12.1) дозволяє приблизно судити про імовірність здійснення різних градацій (фаз) елементу при даному формулюванні прогнозу. Так, при формулюванні прогнозу А_і імовірність здійснення градації А₁ можна вважати рівною Р_і1, а градації А₂ рівною Р_і2 і т.д. Цей розподіл імовірностей, очевидно, характеризує ступінь невизначеності висновку прогнозиста про очікуваний стан атмосфери (градацію або фазу предиктанта). Як міра невизначеності станів імовірних систем в математиці використовується статистична ентропія Н, яка розраховується за формулою

 

де n - число можливих станів (фаз) системи; Р - імовірність того, що система знаходиться в даному стані (у даній фазі).

Стосовно даного розподілу (табл. 12.1) вказана формула для сукупності прогнозів з формулюванням А_і набуває вигляду:

 

 

Величина окремої статистичної ентропії Н_і0 характеризує невизначеність відомостей про майбутнє значення предиктанта, що містяться в прогнозах з формулюванням А_і.

Повна або середня ентропія всієї сукупності прогнозів Н утворюється як середня зважена із значень Н_і0:

 

 

Нагадаємо основні властивості статистичної ентропії, що дозволяють використовувати її як міру невизначеності прогностичних відомостей.

Величина Н_і0 досягає максимуму, якщо при даному формулюванні прогнозу здійснення всіх значень предиктанта рівноймовірно (Р_і1 = Рі₂ = Р_іl). Навпаки, якщо будь-яка із його градацій передбачається з імовірністю, близькою до одиниці (наприклад, Р_і2 ≈ 1, Р_іj ≈ 0 при j ≠ 2), то Н_і0 ≈ 0, тобто прогноcтичні відомості містять мінімальну невизначеність. Збільшення числа градацій в табл. 12.1 приводить до зростання Н_і0. Оскільки Р_іj завжди менше одиниці, log Р_іj < 0 i H_ij > 0 - ентропія завжди є позитивною величиною. Нескладно бачити, що при випадковому прогнозі, коли, за визначенням випадкового прогнозу, Р_{і j} = Р_0j будь-яких і та j:

 

 

Ентропія випадкових прогнозів визначається кліматологічним розподілом імовірностей різних градацій елемента, незалежним від формулювання прогнозу. Тому ентропію випадкових прогнозів Н₀ прийнято називати кліматологічною або безумовною.

Для оцінки змістовності прогностичних відомостей зручно ввести величину І = Н₀ - Н, яка характеризує зменшення невизначеності відомостей про майбутній стан атмосфери (градацію або фазу елемента), що містяться в методичних прогнозах, в порівнянні із випадковими, й що одержала назву кількості прогностичної інформації. Іноді як критерій успішності прогнозів використовують питому кількість прогностичної інформації, рівну відношенню І/Н₀.

При порівнянні різних прогностичних методів більш досконалим признається той метод, для якого величина І (або І/Н₀) виявляється максимальною. Легко бачити, що для будь-яких випадкових прогнозів
І = 0 і І/Н₀ = 0, а для ідеальних І = Н₀, І/Н₀ = 1. Таким чином, величини І та І/Н₀ лежать у діапазонах: 0 ≤ І ≤ Н₀ та 0 ≤ І/Н₀ ≤ 1.