Випадок двох класів

Розділяюча функція, що представляється лінійною комбінацією компонент вектора , може бути записана в наступному вигляді:

, (1)

де називається ваговим вектором, а – величиною порогу. В основі лінійного класифікатора, при розділенні об’єктів на два класи, лежить наступне розділяюче правило: прийняти рішення , якщо , і , якщо . Таким чином, приписується до , якщо скалярний добуток перевищує поріг . Якщо , то припускають, що можна віднести до будь-якого з класів, хоча переважно, таку ситуацію вважають невизначеною.

Рівняння визначає поверхню рішень, яка відокремлює точки, що відповідають рішенню , від точок, яким відповідає рішення . Коли функція лінійна, дана поверхня є гіперплощиною. Якщо і , і належать до поверхні рішень, то справедливим є наступний вираз: , або , так що є нормаллю по відношенню до будь-якого вектора, що лежить в гіперплощині. В загальному гіперплощина ділить простір ознак на два підпростори: область рішень для і область рішень для . Оскільки , якщо знаходиться в області , то з цього випливає, що нормальний вектор направлений в сторону . В цьому випадку інколи говорять, що будь-який вектор , який знаходиться в області , лежить на додатній стороні гіперплощини , а будь-який вектор , який знаходиться в області , лежить на від’ємній стороні .

Розділяюча функція представляє собою алгебраїчну відстань від до гіперплощини. Це стає більш очевидним, якщо виразити в наступному вигляді:

, (2)

де – нормальна проекція на гіперплощина , а – відповідна алгебраїчна відстань, додатня, якщо знаходиться з додатньої сторони гіперплощини, і від’ємна, якщо знаходиться з від’ємної сторони гіперплощини. Тоді, оскільки ,

, (3)

або

. (4)

Зокрема, відстань від початку координат до гіперплощини виражається відношенням . Якщо , початок координат знаходиться з додатної сторони ; якщо – з від’ємної сторони. Якщо , то функція стає однорідною по відношенню по відношенню до , і гіперплощина проходить через початок координат.

Рис. 1. Лінійна границя областей рішень .

Таким чином розділяюча функція ділить простір ознак поверхнею рішень, яка представляє собою гіперплощину. Спосіб орієнтації даної поверхні задається нормальним вектором , а її положення – величиною порогу .