Funkcja straty

Funkcja straty (funkcja kosztu, funkcja celu) - funkcja stosowana w wielu problemach dotyczących optymalizacji, w różnych dyscyplinach wiedzy. Zadanie optymalizacyjne polega na szukaniu minimum funkcji straty. W statystyce funkcja straty jest zwykle stosowana w estymacji parametrów, a analizowane zdarzenie odnosi się do pewnej funkcji różnicy między oszacowaniem a wartością rzeczywistą dla danej obserwacji; do statystyki pojęcie funkcji straty wprowadził Abraham Wald w połowie XX wieku. W ekonomii funkcja straty opisuje najczęściej koszt ekonomiczny. W klasyfikacji określa "karę" za błędną klasyfikację przykładu. W naukach aktuarialnych funkcja straty stosowana jest w kontekście ubezpieczeniowym do modelowania relacji między wypłacanymi świadczeniami a składkami, szczególnie od prac Haralda Craméra z lat 20. XX wieku. W sterowaniu optymalnym określa karę za nieosiągnięcie pożądanej wartości, natomiast w zarządzaniu ryzykiem finansowym odwzorowuje stratę pieniężną.

Odgrywa szczególną rolę w uczeniu maszynowym, w modelach sztucznej inteligencji.

Funkcja straty w optymalizacji i uczeniu maszynowym

Funkcja straty (ang. loss function) to matematyczna miara błędu modelu uczonego maszynowo. Określa, jak bardzo przewidywania modelu różnią się od wartości rzeczywistych i stanowi podstawowy element procesu optymalizacji. Celem uczenia jest minimalizacja wartości funkcji straty. Funkcja straty porównuje wartości prawdziwe

y=[y_{1},_{2},\dots ,y_{n}]

oraz wartości przewidywane przez model

[{\hat {y}}=[{\hat {y_{1}}},{\hat {y_{2}}},\dots ,{\hat {y_{n}}}]

które zależą od pewnej liczby parametrów

\theta =[\theta _{1},\theta _{2},\dots ,\theta _{m}]

stosowanych w modelu. W optymalizacji dąży się do znalezienia wartości parametrów $\theta$ minimalizujących funkcję straty.

Popularne funkcje straty

Regresja

(1) Błąd średni kwadratowy (ang. mean squared error - MSE) - funkcja najczęściej stosowana w regresji:

$\mathrm {MSE} ({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\hat {y}}_{i})^{2}$

(2) Średni błąd bezwzględny (ang. mean absolute error - MAE) - funkcja odporniejsza na wartości odstające od pozostałych danych

$\mathrm {MAE} ({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}|y_{i}-{\hat {y}}_{i}|$

Klasyfikacja

Entropia krzyżowa - stosowana w klasyfikacji binarnej; dla wielu klas mamy

$L({\hat {y}},y)=-\sum _{i=1}^{n}y_{i}\ln({\hat {y}}_{i})$

Funkcja straty 0-1 / zniekształcenie Hamminga

W statystyce i teorii decyzji często używa się funkcji straty 0-1

L_{i}({\hat {y_{i}}},y_{i})={\begin{cases}0&{\text{gdy }}y_{i}={\hat {y_{i}}}\\1&{\text{gdy }}y_{i}\neq {\hat {y_{i}}}\end{cases}}

W teorii informacji ta funkcja straty znana jest pod nazwą zniekształcenia Hamminga. Funkcja ta mierzy wielkość zniekształceń transmisji danych dyskretnych, gdzie błędy polegają na zamianie jednych symboli na inne.

Dla ciągu symboli $y$ i jego rekonstrukcji ${\hat {y}}$ (np. podczas transmisji z serwera do komputera) całkowite zniekształcenie definiuje się funkcją straty, która mierzy odsetek błędnie odtworzonych symboli:

L({\hat {y}},y)={\frac {1}{n}}\sum _{i=1}^{n}L_{i}(y_{i},{\hat {y}}_{i})

Przykład

Dla sygnału nadawanego $y=(0,1,1,0,1)$ oraz sygnału odtworzonego ${\hat {y}}=(0,0,1,0,1)$ różniących się w drugiej pozycji otrzymujemy

L(y,{\hat {y}})={\tfrac {1}{5}}

Zastosowania

analiza błędów przy kodowaniu symboli
kodowanie źródła z dopuszczalnym zniekształceniem,
modele transmisji sekwencji dyskretnych,
teoria szybkość–zniekształcenia (rate–distortion theory).

Funkcja straty w programowaniu liniowym

W zadaniach programowania liniowego funkcja straty jest funkcją liniową; celem programowania jest znalezienie minimum tej funkcji; jeśli funkcja straty jest właściwie wybrana, to znalezienie jej minimum oznacza znalezienie wartości parametrów, które dają optymalne rozwiązanie problemu. Dla zdefiniowanego zadania programowania liniowego:

X={x\in R^{n}:Ax=b,x>0}

\min[z=<c,x>]

Jeżeli problem optymalizacyjny polega na znalezieniu maksymalnej wartości pewnej funkcji, to funkcję ta nazywa się funkcją celu. Funkcję straty / celu można poddać przekształceniom:

zadanie maksymalizacji można zastąpić równoważnym zadaniem minimalizacji poprzez zamianę znaku we współczynniku $\max(c,x)=-\min(-c,x).$
składniki stałe niezależne od x można pominąć
zmienne nieustalonego znaku można zastąpić sumą dwóch zmiennych o przeciwstawnych znakach $x_{j}=x_{j}^{+}+x_{j}^{-}$
ograniczenia nierównościowe $(a_{i},x)\leqslant b_{i}$ można sprowadzić do równań poprzez dodanie dopełniających zmiennych $<a_{i},x>+x_{n+1}=b_{i}$

Zobacz też

Bibliografia

PawełP. Cichosz PawełP., Systemy uczące się, Warszawa: WNT, 2000, ISBN 83-204-2544-1, OCLC 749595834 .
Mitchell T., Machine learning, McGraw-Hill Companies, Inc., 1997
Bolc L., Zaremba P., Wprowadzenie do uczenia się maszyn, Akademicka Oficyna Wydawnicza, 1993
Richard S. Sutton, Andrew G. Barto: Reinforcement Learning. The MIT Press, 1998. ISBN 0-262-19398-1. (ang.).

Linki zewnętrzne

Włodzisław Duch, notatki do wykładów wstępnych, według książki „Fascynujący świat programów komputerowych”. fizyka.umk.pl. [zarchiwizowane z tego adresu (2007-05-14)].

Paradygmaty	uczenie nadzorowane uczenie nienadzorowane uczenie przez wzmacnianie uczenie samonadzorowane
Zagadnienia	inferencja gramatyki inżynieria cech klasteryzacja klasyfikacja regresja redukcja wymiaru uczenie multimodalne uczenie (się) cech wykrywanie anomalii
Uczenie nadzorowane (Klasyfikacja, Regresja)	drzewa klasyfikacyjne uczenie zespołowe agregacja las losowy k najbliższych sąsiadów regresja liniowa naiwny klasyfikator bayesowski sieć neuronowa regresja logistyczna perceptron maszyna wektorów nośnych
Klasteryzacja	grupowanie hierarchiczne algorytm centroidów DBSCAN inferencja gramatyki
Redukcja wymiaru	analiza czynnikowa korelacja kanoniczna liniowa analiza dyskryminacyjna analiza głównych składowych
Sieć neuronowa	autoenkoder uczenie głębokie jednokierunkowa sieć neuronowa model dyfuzyjny rekurencyjna sieć neuronowa LSTM sieć generatywna GAN sieć Kohonena konwolucyjna sieć neuronowa transformer