ЛОГІСТИЧНА РЕГРЕСІЯ

Лінійні класифікатори

Алгоритм класифікації на основі логістичної регресії (logistic regression) є одним з алгоритмів лінійної класифікації - алгоритмів, в основі яких лежить ідея побудови розділяє гиперплоскости між об'єктами різних класів. У параграфі 4.1 ми розглянули задачу класифікації спаму - і в ній функцією, що приймає рішення, була sign (рис. 5.2).

Якщо застосовувати композицію даної функції до деякої функції f (x)> задає розділяє класи гіперплоскость, тобто

точки, що лежать лівіше цієї площини, будуть отримувати негативні значення функції sign, а ті, що правіше, - позитивні. Виходить природний алгоритм лінійної класифікації. Всі міркування далі ми будемо проводити для бінарної класифікації - мульти класова класифікація може бути зведена до навчання До алгоритмів бінарної класифікації.

Функція sign (x)

Мал. 5.2. Функція sign (x)

Для алгоритму класифікації можна побудувати наступний цільової функціонал:

Підставивши алгоритм лінійної класифікації, ми отримаємо функціонал емпіричного ризику для цього методу машинного навчання:

Для лінійного класифікатора введемо поняття відступу. Відступ ( margin ) - це відстань від гиперплоскости до об'єкта класифікації з урахуванням правильності класифікації такої гиперплоскостью. Якщо класифікація вірна, то відступ позитивний, якщо немає - негативний. Для бінарної класифікації відступ можна визначити наступним чином:

Тепер функціонал емпіричного ризику (5.1) можна перетворити в термінах відступу:

Однак нотація Аверсона в функціоналі емпіричного ризику не дозволяє вирішити цю задачу математичного програмування простими аналітичними методами. В такому випадку проводиться апроксимація оригінального функціоналу. На рис. 5.3 наведено чотири функції, поведінка яких схоже з оператором [х].

Апроксимації оператора [х]

Мал. 5.3. Апроксимації оператора [х]:

Цікаво, що чотири функціоналу породжують чотири різних лінійних класифікатора з різними характеристиками:

1) квадратична функція втрат ((1-х) 2 ) - лінійний дискриминант Фішера;

2) сігмодальная функція втрат - нейронні мережі;

  • 3) логарифмічна функція втрат (log 2 (1 + е ~ х )) - логістична регресія;
  • 4) експоненціальна функція втрат (е ~ х ) - алгоритм AdaBoost.

У цьому розділі ми зупинимося на логістичної регресії. Алгоритм SVM, який також пропонує свою апроксимацію оператора [х], буде описаний в наступних розділах.

 
Переглянути оригінал
< Попер   ЗМІСТ   ОРИГІНАЛ   Наст >