Regularització de matrius

En el camp de la teoria de l'aprenentatge estadístic, la regularització matricial generalitza les nocions de regularització vectorial a casos on l'objecte a aprendre és una matriu. El propòsit de la regularització és imposar condicions, per exemple, dispersió o suavitat, que puguin produir funcions predictives estables. Per exemple, en el marc vectorial més comú, la regularització de Tikhonov optimitza sobre $$\min _{x}\left\|Ax-y\right\|^{2}+\lambda \left\|x\right\|^{2}$$ per trobar un vector $x$ que és una solució estable al problema de regressió. Quan el sistema es descriu mitjançant una matriu en lloc d'un vector, aquest problema es pot escriure com $$\min _{X}\left\|AX-Y\right\|^{2}+\lambda \left\|X\right\|^{2},$$ on la norma vectorial que imposa una penalització de regularització a $x$ s'ha estès a una norma matricial sobre $X$.

La regularització matricial té aplicacions en la compleció de matrius, la regressió multivariant i l'aprenentatge multitasca. Les idees de selecció de característiques i grups també es poden estendre a matrius, i es poden generalitzar al cas no paramètric de l'aprenentatge de nuclis múltiples.

Aplicacions generals

Completament de la matriu

En el problema de la compleció de matrius, la matriu $X_{i}^{t}$ pren la forma $$X_{i}^{t}=e_{t}\otimes e_{i}',$$ on $(e_{t})_{t}$ i $(e_{i}')_{i}$ són la base canònica en $\mathbb {R} ^{T}$ i $\mathbb {R} ^{D}$ . En aquest cas, el paper del producte intern de Frobenius és seleccionar elements individuals $w_{i}^{t}$ de la matriu $W$ . Així, la sortida $y$ és una mostra d'entrades de la matriu $W$ .

Regressió multivariant

Els models utilitzats en la regressió multivariant estan parametritzats per una matriu de coeficients. En el producte intern de Frobenius anterior, cada matriu $X$ és $$X_{i}^{t}=e_{t}\otimes x_{i}$$ de manera que la sortida del producte intern sigui el producte escalar d'una fila de l'entrada amb una columna de la matriu de coeficients. La forma coneguda d'aquests models és

$$Y=XW+b$$Aprenentatge multitasca

La configuració per a l'aprenentatge multitasca és gairebé la mateixa que la configuració per a la regressió multivariant. La principal diferència és que les variables d'entrada també s'indexen per tasca (columnes de $Y$). La representació amb el producte intern de Frobenius és llavors $$X_{i}^{t}=e_{t}\otimes x_{i}^{t}.$$El paper de la regularització matricial en aquest context pot ser el mateix que en la regressió multivariant, però les normes matricials també es poden utilitzar per acoplar problemes d'aprenentatge entre tasques. En particular, cal tenir en compte que per al problema d'optimització$$\min _{W}\left\|XW-Y\right\|_{2}^{2}+\lambda \left\|W\right\|_{2}^{2}$$ les solucions corresponents a cada columna de $Y$ estan desacoblats. És a dir, es pot trobar la mateixa solució resolent el problema conjunt o resolent un problema de regressió aïllat per a cada columna. Els problemes es poden acoblar afegint una penalització de regularització addicional a la covariància de les solucions $$\min _{W,\Omega }\left\|XW-Y\right\|_{2}^{2}+\lambda _{1}\left\|W\right\|_{2}^{2}+\lambda _{2}\operatorname {Tr} \left(W^{T}\Omega ^{-1}W\right)$$ on $\Omega$ modela la relació entre tasques. Aquest esquema es pot utilitzar tant per imposar la similitud de solucions entre tasques com per aprendre l'estructura específica de la similitud de tasques alternant entre optimitzacions de $W$ i $\Omega$ Quan se sap que la relació entre tasques es troba en un graf, la matriu laplaciana del graf es pot utilitzar per acoplar els problemes d'aprenentatge.

Regularització espectral

La regularització mitjançant filtratge espectral s'ha utilitzat per trobar solucions estables a problemes com els que s'han comentat anteriorment, abordant inversions matricials mal plantejades (vegeu, per exemple, la funció de filtre per a la regularització de Tikhonov). En molts casos, la funció de regularització actua sobre l'entrada (o nucli) per assegurar una inversa limitada eliminant valors singulars petits, però també pot ser útil tenir normes espectrals que actuïn sobre la matriu que s'ha d'aprendre.

Hi ha diverses normes matricials que actuen sobre els valors singulars de la matriu. Exemples freqüentment utilitzats inclouen les normes p de Schatten, amb p = 1 o 2. Per exemple, la regularització de matrius amb una norma de Schatten 1, també anomenada norma nuclear, es pot utilitzar per imposar la dispersió en l'espectre d'una matriu. Això s'ha utilitzat en el context de la compleció de matrius quan es creu que la matriu en qüestió té un rang restringit. En aquest cas, el problema d'optimització esdevé: $$\min \left\|W\right\|_{*}~~{\text{ subject to }}~~W_{i,j}=Y_{ij}.$$La regularització espectral també s'utilitza per aplicar una matriu de coeficients de rang reduïts en la regressió multivariant. En aquest entorn, es pot trobar una matriu de coeficients de rang reduït mantenint només la part superior

$n$ valors singulars, però això es pot ampliar per mantenir qualsevol conjunt reduït de valors singulars i vectors.

Esparsitat estructurada

L'optimització dispersa s'ha convertit en el focus de molta recerca com a manera de trobar solucions que depenen d'un petit nombre de variables (vegeu, per exemple, el mètode Lasso). En principi, la dispersió a nivell d'entrada es pot aplicar penalitzant l'entrada $\ell ^{0}$ -norma de la matriu, però la $\ell ^{0}$ -norma no és convexa. A la pràctica, això es pot implementar mitjançant una relaxació convexa a la $\ell ^{1}$ -norma. Mentre que la regularització d'entrada amb un $\ell ^{1}$ -norm trobarà solucions amb un petit nombre d'elements diferents de zero, aplicant una $\ell ^{1}$ La norma a diferents grups de variables pot imposar una estructura en la dispersió de solucions.

L'exemple més senzill de dispersió estructurada utilitza el $\ell _{p,q}$ norma amb $p=2$ i $q=1$ : $$\left\|W\right\|_{2,1}=\sum _{i}\left\|w_{i}\right\|_{2}.$$Per exemple, la norma $\ell _{2,1}$ s'utilitza en l'aprenentatge multitasca per agrupar característiques entre tasques, de manera que tots els elements d'una fila determinada de la matriu de coeficients es puguin forçar a zero com a grup. L'efecte d'agrupació s'aconsegueix prenent la norma $\ell ^{2}$ de cada fila, i després prenent la penalització total com la suma d'aquestes normes per fila. Aquesta regularització dona com a resultat files que tendeixen a ser totes zeros o denses. El mateix tipus de regularització es pot utilitzar per imposar la dispersió per columna prenent el $\ell ^{2}$ -normes de cada columna.

Més generalmentla norma $\ell _{2,1}$ es pot aplicar a grups arbitraris de variables: $$R(W)=\lambda \sum _{g}^{G}{\sqrt {\sum _{j}^{|G_{g}|}\left|w_{g}^{j}\right|^{2}}}=\lambda \sum _{g}^{G}\left\|w_{g}\right\|_{g}$$ on l'índex $g$ és a través de grups de variables, i $|G_{g}|$ indica la cardinalitat del grup $g$.

Els algoritmes per resoldre aquests problemes de dispersió de grups amplien els mètodes Lasso i group Lasso més coneguts permetent grups superposats, per exemple, i s'han implementat mitjançant mètodes de matching pursuit: i de gradient proximal. Escrivint el gradient proximal respecte a un coeficient donat, $w_{g}^{i}$, es pot veure que aquesta norma imposa un llindar suau per a cada grup $$\operatorname {prox} _{\lambda ,R_{g}}\left(w_{g}\right)^{i}=\left(w_{g}^{i}-\lambda {\frac {w_{g}^{i}}{\left\|w_{g}\right\|_{g}}}\right)\mathbf {1} _{\|w_{g}\|_{g}\geq \lambda }.$$ on $\mathbf {1} _{\|w_{g}\|_{g}\geq \lambda }$ és la funció indicadora per a les normes de grup $\geq \lambda$.

Així, utilitzant $\ell _{2,1}$ normes és senzill aplicar l'estructura en la dispersió d'una matriu, ja sigui per files, per columnes o en blocs arbitraris. Si es fan complir normes de grup en blocs en regressió multivariant o multitasca, per exemple, és possible trobar grups de variables d'entrada i sortida, de manera que els subconjunts definits de variables de sortida (columnes de la matriu $Y$ ) dependrà del mateix conjunt dispers de variables d'entrada.

Selecció múltiple de nuclis

Les idees de dispersió estructurada i selecció de característiques es poden estendre al cas no paramètric de l'aprenentatge de nuclis múltiples. Això pot ser útil quan hi ha diversos tipus de dades d'entrada (color i textura, per exemple) amb diferents nuclis apropiats per a cadascun, o quan es desconeix el nucli apropiat. Si hi ha dos nuclis, per exemple, amb mapes de característiques $A$ i $B$ que es troben en espais de Hilbert de nucli reproductor corresponents ${\mathcal {H_{A}}},{\mathcal {H_{B}}}$, després un espai més gran, ${\mathcal {H_{D}}}$, es pot crear com la suma de dos espais: $${\mathcal {H_{D}}}:f=h+h';h\in {\mathcal {H_{A}}},h'\in {\mathcal {H_{B}}}$$ assumint independència lineal en $A$ i $B$. En aquest cas, el $\ell _{2,1}$ -norma és de nou la suma de normes: $$\left\|f\right\|_{{\mathcal {H_{D}}},1}=\left\|h\right\|_{\mathcal {H_{A}}}+\left\|h'\right\|_{\mathcal {H_{B}}}$$

Així, escollint una funció de regularització matricial com a aquest tipus de norma, és possible trobar una solució que sigui dispersa pel que fa als nuclis utilitzats, però densa en el coeficient de cada nucli utilitzat. L'aprenentatge de nuclis múltiples també es pot utilitzar com a forma de selecció de variables no lineals o com a tècnica d'agregació de models (per exemple, prenent la suma de normes quadrades i relaxant les restriccions de dispersió). Per exemple, cada nucli es pot considerar el nucli gaussià amb una amplada diferent.