K-nærmeste nabo metode

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 26. september 2019; checks kræver 5 redigeringer .

Algoritmen til nærmeste naboer $k$ ( k-NN) er en metrisk algoritme til automatisk objektklassificering eller regression .

I tilfælde af brug af metoden til klassificering tildeles objektet den klasse, der er den mest almindelige blandt naboerne til dette element, hvis klasser allerede er kendte. I tilfælde af brug af metoden til regression tildeles objektet gennemsnitsværdien af objekterne tættest på det, hvis værdier allerede er kendte. $k$ $k$

Algoritmen kan anvendes på prøver med et stort antal attributter (flerdimensionelle). For at gøre dette, før du anvender, skal du definere afstandsfunktionen ; den klassiske version af en sådan funktion er den euklidiske metrik [1] [2] .

Normalisering

Forskellige attributter kan have forskellige intervaller af repræsenterede værdier i prøven (for eksempel er attribut A repræsenteret i intervallet fra 0,1 til 0,5, og attribut B er repræsenteret i intervallet fra 1000 til 5000), derefter er afstandsværdierne kan være meget afhængig af attributter med større intervaller. Derfor er dataene normalt underlagt normalisering. I klyngeanalyse er der to hovedmåder at normalisere data på: minimax normalisering og Z-normalisering.

Minimax normalisering udføres som følger:

x'=(x-\min[X])/(\max[X]-\min[X])

i dette tilfælde vil alle værdier ligge i området fra 0 til 1; diskrete binære værdier er defineret som 0 og 1.

Z-normalisering:

x'=(xM[X])/\sigma[X]

hvor er standardafvigelsen ; i dette tilfælde vil de fleste af værdierne falde inden for området . $\sigma$ $(-3\sigma ;3\sigma )$

Fremhævning af væsentlige attributter

Nogle væsentlige attributter kan være vigtigere end andre, så en vis vægt kan tildeles hver attribut (f.eks. beregnet ved hjælp af en testprøve og variansfejloptimering). Således vil hver attribut blive tildelt en vægt , så værdien af attributten falder inden for området (for normaliserede værdier ved brug af minimax-metoden). For eksempel, hvis en attribut tildeles en vægt på 2,7, vil dens normaliserede vægtede værdi ligge i området $k$ $z_{k}$ $[0;z_{k}\max(k)]$ $[0;2,7]$

Vægtet måde

Med en vægtet metode tages der ikke kun hensyn til antallet af bestemte klasser, der faldt i området, men også deres afstand fra den nye værdi.

For hver klasse bestemmes en nærhedsscore: $j$

Q_{j}=\sum _{{i=1}}^{n}{\frac {1}{d(x,a_{i})^{2}}}

hvor er afstanden fra den nye værdi til objektet . $d(x,a_{i})$ $x$ ${\displaystyle a_{i))$

Hvilken klasse har en højere nærhedsværdi, den klasse tildeles det nye objekt.

Ved hjælp af metoden kan du beregne værdien af en af attributterne for det klassificerede objekt baseret på afstandene fra objekterne, der faldt ind i området og de tilsvarende værdier af den samme attribut for objekterne:

x_{k}={\frac {\sum _{{i=1}}^{n}{k_{i}d(x,a_{i})^{2}}}{\sum _{{i =1}}^{n}{d(x,a_{i})^{2}}}}

hvor er det -th objekt, der faldt ind i området, er værdien af attributten for det givne objekt , er det nye objekt og er -th attribut for det nye objekt. $a_{i}$ $jeg$ $k_i$ $k$ $a_{i}$ $x$ $x_k$ $k$

Links

↑ S. Madeh Piryonesi, Tamer E. El-Diraby. Rolle af dataanalyse i Infrastructure Asset Management: Overvindelse af datastørrelses- og kvalitetsproblemer // Journal of Transportation Engineering, del B: Pavements. – 2020-06. — Bd. 146 , udg. 2 . — S. 04020022 . — ISSN 2573-5438 2573-5438, 2573-5438 . - doi : 10.1061/JPEODX.0000175 . Arkiveret 12. april 2020.
↑ Hastie, Trevor. Elementerne i statistisk læring: data mining, inferens og forudsigelse: med 200 fuldfarveillustrationer . - New York: Springer, 2001. - xvi, 533 sider s. - ISBN 0-387-95284-5 , 978-0-387-95284-0. Arkiveret 9. august 2020 på Wayback Machine

kNN og Potential Energy (applet), EM Mirkes og University of Leicester. Appletten giver dig mulighed for at sammenligne to klassificeringsmetoder.
Daniel T. Larose, Discovering Knowledge in Data: An Introduction to Data Mining

Machine learning og data mining
Opgaver	Klassificeringsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG