Regularisering (matematik)

Regularisering i statistik , maskinlæring , omvendt problemteori er en metode til at tilføje nogle yderligere begrænsninger til en tilstand for at løse et dårligt stillet problem eller forhindre overfitting . Disse oplysninger kommer ofte i form af en straf for kompleksiteten af modellen. For eksempel kan disse være begrænsninger på glatheden af den resulterende funktion eller begrænsninger på vektorrumsnormen .

Fra et Bayesiansk synspunkt svarer mange regulariseringsmetoder til at tilføje nogle tidligere distributioner til modelparametrene.

Nogle former for regularisering:

-regularisering ( eng. lasso regression ), eller regularisering gennem Manhattan-distancen : $L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - regularization , eller Tikhonov regularization (i den engelske litteratur - ridge regression eller Tikhonov regularization ), for integrale ligninger, giver dig mulighed for at balancere mellem dataoverholdelse og en lille løsningsnorm: $L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

Overtilpasning viser sig i de fleste tilfælde ved, at de resulterende polynomier har for store koefficienter. Derfor er det nødvendigt at tilføje en straf for for store koefficienter til den objektive funktion .

Der er ingen løsning til multi-kriterie optimering eller optimering, hvor domænet af den objektive funktion er et rum, hvor der ikke er nogen lineær rækkefølge , eller det er svært at introducere det. Næsten altid er der punkter i domænet af den funktion, der optimeres, og som opfylder begrænsningerne, men værdierne ved punkterne er uforlignelige. For at finde alle punkter på Pareto-kurven skal du bruge skalarisering [1] . I optimering er regularisering en generel skalariseringsteknik for et to-kriterie optimeringsproblem [2] . Ved at variere lambda-parameteren - elementet, der skal være større end nul i den dobbelte kegle, som rækkefølgen er defineret for - kan du få forskellige punkter på Pareto-kurven .

Litteratur

Boyd S., Vandenberghe L. Convex Optimization . - Storbritannien: Cambridge University Press, 2004. - 716 s. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG