Lineær diskriminationsanalyse

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 10. januar 2022; verifikation kræver 1 redigering .

Lineær diskriminantanalyse ( LDA , eng. Linear Discriminant Analysis , LDA ), normal diskriminantanalyse ( eng. Normal Discriminant Analysis , NDA) eller diskriminantfunktionsanalyse ( eng. Discriminant Function Analysis ) er en generalisering af Fishers lineære diskriminant , en metode der bruges i statistik , mønstergenkendelse og maskinlæring for at søge efter en lineær kombination af funktionerA, der beskriver eller adskiller to eller flere klasser eller begivenheder. Den resulterende kombination kan bruges som en lineær klassifikator eller mere almindeligt til dimensionsreduktion før klassificering .

LDA er tæt forbundet med variansanalyse ( analyse Of Variance =ANOVA) og regressionsanalyse , som også forsøger at udtrykke én afhængig variabel som en lineær kombination af andre funktioner eller målinger [1] [2] . Imidlertid bruger variansanalyse kvalitative uafhængige variabler og en kontinuert afhængig variabel , mens diskriminant analyse har kontinuerlige uafhængige variable og en kvalitativ afhængig variabel ( dvs. klasselabel) [3] . Logistisk regression og probit-regression minder mere om LDA end variansanalyse, da de også forklarer en kvalitativ variabel i form af kontinuerlige forklarende variable. Disse andre metoder foretrækkes i applikationer, hvor der ikke er grund til at antage, at de uafhængige variable er normalfordelte, hvilket er den grundlæggende antagelse for LDA-metoden.

LDA er også tæt forbundet med Principal Component Analysis ( PCA) og faktoranalyse, idet de leder efter lineære kombinationer af variable, der bedst forklarer dataene [ 4] . LDA forsøger eksplicit at modellere forskellen mellem dataklasser. PCA, på den anden side, tager ikke højde for nogen forskel i klasser, og faktoranalyse bygger kombinationer af funktioner baseret på forskelle frem for ligheder. Diskriminantanalyse adskiller sig også fra faktoranalyse ved, at det ikke er en selvstændig teknik – for at den skal virke, skal der skelnes mellem uafhængige variable og afhængige variable (sidstnævnte kaldes også kriterievariable).

LDA fungerer, når målingerne foretaget på de uafhængige variabler for hver observation er kontinuerlige. Når man beskæftiger sig med kvalitative uafhængige variabler, er den tilsvarende teknik diskriminant korrespondanceanalyse [5] [6] .

Diskriminantanalyse bruges, når grupperne er kendt a priori (i modsætning til klyngeanalyse ). Hvert tilfælde skal have en værdi i et eller flere mål for kvantitativ forudsigelse og en værdi i gruppemålet [7] . Enkelt sagt er diskriminantfunktionsanalyse en klassifikation, der opdeler objekter i grupper, klasser eller kategorier af en eller anden type.

Historie

Den oprindelige dikotomiske diskriminantanalyse blev udviklet af Sir Ronald Fisher i 1936 [8] . Det adskiller sig fra ANOVA eller multivariat ANOVA , som bruges til at forudsige en (ANOVA) eller flere (multivariat ANOVA) kontinuerlige afhængige variable fra en eller flere kvalitative uafhængige variable. Diskriminerende funktionsanalyse er nyttig til at bestemme, om et sæt variabler er effektive til at forudsige kategorimedlemskab [9] .

LDA for to klasser

Overvej et sæt observationer (også kaldet funktioner, attributter, variabler eller dimensioner) for hver forekomst af et objekt eller en hændelse med en kendt klasse . Dette sæt prøver kaldes træningssættet . Klassificeringens opgave er så at finde en god prædiktor for klassen af enhver repræsentant for den samme fordeling (ikke nødvendigvis fra træningssættet) kun givet observation [10] . ${\vec {x))$ $y$ $y$ $\vec x$

LDA nærmer sig problemet med den antagelse, at de betingede sandsynlighedsfordelinger og er normalfordelte med middel- og kovariansparametre og hhv. Under disse antagelser forudsiger den Bayesianske optimale løsning, at et punkt tilhører den anden klasse, hvis sandsynlighedsforholdet overstiger en eller anden (tærskel)værdi T, således at: $p({\vec {x}}|y=0)$ $p({\vec {x}}|y=1)$ $\left({\vec {\mu}}_{0},\Sigma _{0}\right)$ $\left({\vec {\mu}}_{1},\Sigma _{1}\right)$

({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{ \vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T} \Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T

Uden yderligere antagelser kaldes den klassifikator QDA .

I stedet gør LDA den yderligere simplificerende antagelse , at den er homoskedastisk ( det vil sige, at kovariansklasserne er identiske, således at ), og at kovarianserne har fuld rang. I dette tilfælde er flere medlemmer udelukket: $\Sigma _{0}=\Sigma _{1}=\Sigma$

{\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1} ^{-1}{\vec {x}}

{\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}=({\vec {\mu}}_ {i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}

, da det er hermitisk , og beslutningskriteriet beskrevet ovenfor bliver tærskelværdien for det skalære produkt

{\displaystyle \Sigma _{i))

{\vec {w}}\cdot {\vec {x}}>c

for en eller anden tærskelkonstant c , hvor

{\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu}}_{0})

c={\frac {1}{2}}(T-{{\vec {\mu }}_{0}}^{T}\Sigma _{0}^{-1}{{\ vec {\mu }}_{0}}+{{\vec {\mu }}_{1}}^{T}\Sigma _{1}^{-1}{{\vec {\mu }} _{en}})

Det betyder, at kriteriet for at komme ind i en klasse kun er en funktion af denne lineære kombination af kendte observationer. ${\vec {x))$ $y$

Det er ofte nyttigt at se denne konklusion i form af geometri: Kriteriet for, at et input skal være indeholdt i en klasse , er en funktion af projektionen af et punkt i flerdimensionelt rum på en vektor (vi betragter kun vektorens retning). Med andre ord hører en observation til , hvis den tilsvarende er placeret på en bestemt side af hyperplanet vinkelret på . Flyets position bestemmes af tærskelværdien c. ${\vec {x))$ $y$ ${\vec {x))$ ${\vec {w))$ $y$ ${\vec {x))$ ${\vec {w))$

Antagelser

Antagelserne for diskriminantanalyse er de samme som for multivariat variansanalyse. Analysen er meget følsom over for outliers og størrelsen af den mindste gruppe bør være større end antallet af prædiktorvariable (uafhængige) [7] .

Multivariat normalitet : De uafhængige variable er normale for et hvilket som helst niveau af grupperingsvariablen [9] [7] .
Ensartethed af varians/kovarians ( homoskedasticitet ): Varianserne blandt gruppevariablerne er de samme på tværs af alle prædiktorniveauer. Dette kan verificeres ved hjælp af Box's M-statistik [9] . Det foreslås dog, at lineær diskriminantanalyse anvendes, når kovarianserne er ens, og når kovarianserne ikke er ens, kan kvadratisk diskriminantanalyse anvendes [7] .
Multikolinearitet : Forudsigelseskraften kan falde, efterhånden som korrelationen mellem prædiktorvariable (uafhængige) stiger [7] .
Uafhængighed : Elementer antages at være tilfældigt fordelt, og scoren på en variabel for et element er uafhængig af scoren på en anden variabel [9] [7] .

Diskriminantanalyse antages at være relativt stabil med hensyn til små overtrædelser af disse antagelser [11] . Det har vist sig, at diskriminantanalyse kan forblive plausibel, når der anvendes dikotome stokastiske variable (når multivariat normalitet ofte krænkes) [12] .

Diskriminerende funktioner

Diskriminerende analyse fungerer ved at skabe en eller flere lineære kombinationer af prædiktorer, der producerer en ny latent variabel for hver funktion. Disse træk kaldes diskriminerende træk . Antallet af mulige træk er enten Ng -1, hvor Ng = antal grupper, eller p (antal prædiktorer), alt efter hvad der er mindst. Den første funktion, der oprettes, maksimerer forskellen mellem grupperne for den funktion. Den anden funktion maksimerer forskellen i forhold til denne funktion, men må ikke korrelere med den forrige funktion. Processen fortsætter med oprettelsen af en række funktioner med det krav, at den nye funktion ikke korrelerer med alle de tidligere.

Givet en gruppe med stikprøverumssæt , er der en diskriminantregel sådan, at hvis , så . Diskriminerende analyse finder derefter "gode" områder af sættene for at minimere klassifikationsfejl, hvilket resulterer i en høj klassifikationsprocent [13] . $j$ ${\displaystyle \mathbb {R} _{j))$ ${\displaystyle x\in \mathbb {R} _{j))$ $x\in j$ ${\displaystyle \mathbb {R} _{j))$

Hver funktion efterfølges af en diskriminant score for at bestemme, hvor godt den forudsiger gruppemedlemskab.

Strukturelle korrelationskoefficienter: Korrelationen mellem hver prædiktor og diskriminant-scoren for hver funktion. Dette er en fuldstændig sammenhæng [14] .
Normaliserede koefficienter: Bidraget fra hver prædiktor til hver funktion, så dette er en delvis korrelation . Viser den relative betydning af hver prædiktor som et bidrag til gruppemedlemskab for hver funktion.
Funktioner fra gruppe centroider: Gennemsnitlig diskriminant score for hver variabel for hver funktion. Jo længere fra hinanden midlerne er, jo mindre vil klassifikationsfejlen være.

Diskriminerende regler

Maksimal sandsynlighed metode : Tildeler x til gruppen, der maksimerer (gruppe) befolkningstætheden [15] .
Bayes diskriminantregel: Tildeler x til gruppen maksimerende , hvor repræsenterer den forudgående sandsynlighed for klassificeringen og repræsenterer befolkningstætheden [15] . $\pi _{i}f_{i}(x)$ $\pi _{i}$ $rette op)$
Fishers lineære diskriminantregel: Maksimerer forholdet mellem SS mellem og SS inde og finder en lineær kombination af prædiktorer for gruppeforudsigelse [15] .

Egenværdier

Egenværdien i diskriminantanalyse er egenværdien for hver funktion[ Hvad er en egenværdi for en funktion? ] . Den viser, hvordan funktionen adskiller grupperne. Jo større egenværdi, jo bedre funktionsandele [7] . Her skal man dog være forsigtig, da egenværdier ikke har nogen øvre grænse [9] [7] . Egenværdien kan opfattes som forholdet mellem SS mellem og SS inde som i ANOVA, når den afhængige variabel er diskriminantfunktionen og grupperne er niveau IV [9] . Det betyder, at den største egenværdi er knyttet til den første funktion, den næststørste er knyttet til den anden, og så videre.

Effektstørrelse

Nogle foreslår at bruge egenværdier som et mål for effektstørrelse , men dette er generelt ikke understøttet [9] . I stedet er det at foretrække at bruge kanonisk korrelation som et mål for effekten . Det ligner egenværdien, men er kvadratroden af forholdet SS mellem og SS total . Det er lig med sammenhængen mellem grupper og funktion [9] .

Et andet populært mål for effektstørrelse er procentvis varians .[ klargør ] for hver funktion. Det kan beregnes ved hjælp af formlen: , hvor er egenværdien for funktionen, og er summen af alle egenværdier. Værdien fortæller os, hvor nøjagtig forudsigelsen givet af en bestemt funktion er sammenlignet med andre funktioner [9] . $(\lambda _{x}/\mathrm {\Sigma } \lambda _{i}'')\ gange 100$ $\lambda _{x}$ ${\displaystyle \mathrm {\Sigma } \lambda _{i))$

Procentdelen af korrekt klassificering kan analyseres som en effektstørrelse [9] .

Kanonisk diskriminantanalyse for k klasser

Kanonisk diskriminantanalyse ( CDA ) finder akser ( k − 1 kanoniske koordinater , hvor k er antallet af klasser), der bedst adskiller kategorier . Disse lineære funktioner korrelerer ikke og bestemmer som et resultat det optimale k − 1 dimensionelle rum gennem en n -dimensionel datasky, der bedst adskiller k grupperne. Se " LDA med flere klasser " nedenfor.

Fishers lineære diskriminant

Begreberne Fishers lineære diskriminant og LDA bruges ofte i flæng, selvom Fishers originale artikel [1] faktisk beskriver en lidt anderledes diskriminant, der ikke gør de samme antagelser, som LDA gør, såsom normal klassefordeling eller lige klasse kovarians .

Antag, at to klasser af observationer har middelværdier og kovarianser . Så vil den lineære kombination af funktioner have midler og varianser for . Fisher definerede adskillelsen mellem disse to fordelinger som forholdet mellem variansen mellem klasser og variansen inden for klasser: ${\vec {\mu }}_{0},{\vec {\mu}}_{1}$ $\Sigma _{0},\Sigma _{1}$ ${\vec {w}}\cdot {\vec {x}}$ ${\vec {w}}\cdot {\vec {\mu }}_{i}$ ${\vec {w}}^{T}\Sigma _{i}{\vec {w}}$ $i=0,1$

S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu}}_{1}-{\vec {w}}\cdot {\vec {\mu}}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={ \frac {({\vec {w}}\cdot ({\vec {\mu}}_{1}-{\vec {\mu}}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}

Dette mål er på en måde et mål for signal-til-støj-forholdet for klassemærkning. Det kan vises, at den maksimale adskillelse vil være hvornår

{\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec { \mu }}_{0})

Hvis LDA-antagelserne holder, svarer ovenstående lighed til LDA.

Bemærk, at vektoren er normalen for diskriminanthyperplanet . Som et eksempel, i et todimensionelt problem er den linje, der bedst adskiller de to grupper, vinkelret på . $\vec w$ $\vec w$

Generelt projiceres de datapunkter, der deler, på . Den tærskelværdi, der bedst adskiller dataene, vælges derefter baseret på en univariat fordeling. Der er ingen generel regel for tærskelvalg. Men hvis projektionerne af punkter fra begge klasser viser nogenlunde samme fordeling, er et hyperplan mellem projektionerne af de to midler, og , et godt valg . I dette tilfælde kan parameteren c i tærskeltilstanden findes eksplicit: $\vec w$ ${\vec {w}}\cdot {\vec {\mu }}_{0}$ ${\vec {w}}\cdot {\vec {\mu }}_{1}$ ${\vec {w}}\cdot {\vec {x}}>c$

c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu}}_{1} )={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu}}_{1 }-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu}}_{0 }

Otsu-metoden er relateret til Fishers lineære diskriminant og blev skabt til at binarisere histogrammet af pixels i et monokromt billede ved optimalt at vælge en sort/hvid-tærskel, der minimerer intra-klasse-varianser og maksimerer inter-klasse-varianser.

LDA med flere klasser

I det tilfælde, hvor der er mere end to klasser, kan analysen, der bruges til at opnå Fisher-diskriminanten, udvides til at opnå et underrum , der indeholder alle variationer af klasserne [14] [16] . Denne generalisering skyldes K. R. Rao [17] . Antag, at hver af C-klasserne har en middelværdi og den samme kovarians . Derefter kan klassevariansspredningen defineres som stikprøvekovariansen af klassemiddelværdierne ${\displaystyle \mu _{i))$ $\Sigma$

\Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i} -\mu )^{T}

hvor er gennemsnittet af gennemsnittet for klasserne. Klasseadskilleren i retningen i dette tilfælde vil være givet af værdien $\mu$ ${\vec {w))$

S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}({\vec {w}}^{T}\Sigma {\ vec{w}}}}

Det betyder, at når er en egenvektor , vil værdien til forgrening være lig med den tilsvarende egenværdi . ${\vec {w))$ ${\displaystyle \Sigma ^{-1}\Sigma _{b))$

Hvis den er diagonaliserbar, vil variansen mellem funktioner være indeholdt i underrummet spændt over af egenvektorerne svarende til de C − 1 største egenværdier (da rangordenen højst er C − 1). Disse egenvektorer bruges hovedsageligt i funktionsvalg, som i PCA. Egenvektorerne svarende til mindre egenværdier er meget følsomme over for det nøjagtige valg af træningsdata, og det er ofte nødvendigt at anvende regularisering som beskrevet i næste afsnit. ${\displaystyle \Sigma ^{-1}\Sigma _{b))$ ${\displaystyle \Sigma _{b))$

Hvis klassificering er påkrævet, er der mange alternative tilgange, der kan bruges i stedet for dimensionalitetsreduktion . For eksempel kan klasserne opdeles, og standard Fisher- eller LDA-diskriminanten kan bruges til at klassificere hver del. Et almindeligt eksempel på denne tilgang er "en mod resten", når point fra en klasse passer ind i en gruppe, og alt andet passer ind i en anden gruppe, så anvendes LDA. Dette giver C-klassifikatorer, hvis resultater kombineres. En anden almindelig metode er parvis klassifikation, hvor der oprettes en ny klassifikator for hvert par af klasser (hvilket giver i alt C ( C − 1)/2 klassifikatorer), og de enkelte klassifikatorer kombineres til den endelige klassifikation.

Inkrementel LDA-algoritme

En typisk implementering af LDA-teknikken kræver, at alle prøver er tilgængelige på én gang. Der er dog situationer, hvor hele datasættet ikke er tilgængeligt, og inputtet modtages som en strøm. I dette tilfælde er det ønskeligt at kunne opdatere de beregnede LDA-funktioner ved at se på nye prøver uden at køre hele algoritmen på det fulde datasæt for at udtrække LDA-funktioner . For eksempel, i mange realtidsapplikationer, såsom mobil robotteknologi eller ansigtsgenkendelse, er det vigtigt at opdatere de udtrukne LDA-funktioner, så snart en ny observation bliver tilgængelig. En LDA-funktionsekstraktionsteknik, der kan opdatere LDA-funktioner blot ved at behandle nye prøver, kaldes den inkrementelle LDA-algoritme , og denne idé er blevet intensivt undersøgt i løbet af de sidste to årtier [18] . Catterjee og Roychaudhary foreslog en inkrementel selvorganiserende LDA-algoritme til opdatering af LDA-funktioner [19] . I et andet papir foreslog Demir og Ozmehmet online lokale læringsalgoritmer til at opdatere LDA-funktioner trinvist ved hjælp af fejlkorrektion og Hebbs læringsregler [20] . For nylig udviklede Aliyari, Rujic og Moghaddam en hurtig inkrementel algoritme til opdatering af LDA-funktioner ved at observere nye prøver [18] .

Praktisk anvendelse

I praksis er klassemidler og kovarianser ukendte. De kan dog evalueres ud fra træningssættet. Enten den maksimale sandsynlighedsmetode eller den bageste maksimale estimeringsmetode kan bruges i stedet for den nøjagtige værdi i begge ligheder. Selvom kovariansestimaterne kan betragtes som optimale i en eller anden forstand, betyder dette ikke, at den diskriminant, der opnås ved at substituere disse værdier, er optimal på nogen måde, selvom antagelsen om en normal klassefordeling er korrekt.

En anden vanskelighed ved at anvende LDA og Fishers diskriminantmetode på reelle data opstår, når antallet af målinger i hver prøve (det vil sige dimensionen af hver datavektor) når antallet af prøver i hver klasse [4] . I dette tilfælde har kovariansestimaterne ikke fuld rang og kan ikke inverteres. Der er flere måder omkring dette. En måde er at bruge en pseudo-invers matrix i stedet for den sædvanlige inverse i ovenstående formler. Imidlertid kan bedre numerisk stabilitet opnås ved at projicere problemet ind i underrummet spændt af [21] . En anden strategi til at håndtere små stikprøvestørrelser er at bruge et komprimerende estimat kovariansmatricen, som matematisk kan repræsenteres som ${\displaystyle \Sigma _{b))$

\Sigma =(1-\lambda )\Sigma +\lambda E\,

hvor er identitetsmatrixen og er kompressionsintensiteten eller regulariseringsparameteren . Dette fører til begrebet regulær diskriminantanalyse [22] eller diskriminantanalyse med kontraktion [23] . $E$ $\lambda$

Også i mange praktiske tilfælde er lineære diskriminanter ikke egnede. LDA og Fishers diskriminant kan udvides til brug i ikke-lineær klassificering ved hjælp af et kernetrick . Her er de oprindelige observationer effektivt kortlagt til et højere dimensionelt ikke-lineært rum. En lineær klassifikation i dette ikke-lineære rum svarer så til en ikke-lineær klassifikation i det oprindelige rum. Det mest almindeligt anvendte eksempel på denne tilgang er Fishers nukleare diskriminant .

LDA kan generaliseres til multidiskriminerende analyse , hvor c bliver en kvalitativ variabel med N mulige tilstande i stedet for to. Tilsvarende, hvis fordelingstæthederne for klasserne er normale og har den samme kovarians, er tilstrækkelig statistik for værdierne af de N projektioner, som er underrummet spændt over af N - midlerne affint projekteret af den inverse kovariansmatrix. Disse fremskrivninger kan findes ved at løse det generaliserede egenværdiproblem , hvor tælleren er kovariansmatrixen dannet ved at behandle middelværdierne som prøver, og nævneren er den fælles kovariansmatrix. Se " LDA med flere klasser " ovenfor. $p({\vec {x}}\mid c=i)$ $P(c\mid {\vec {x)))$

Ansøgninger

Ud over eksemplerne nedenfor, har LDA applikationer inden for positionering og produktstyring .

Konkursprognose

Ved at forudsige konkurs baseret på regnskabskurser og andre finansielle variabler var lineær diskriminantanalyse den første statistiske metode, der blev brugt til systematisk at forklare, hvilke virksomheder der vil fejle eller overleve. På trods af begrænsninger, herunder den velkendte ukorrekthed af LDA-normalfordelingsantagelsen for regnskabsmæssige satser , forbliver Edward Altmans 1968-model den førende model i praktiske anvendelser.

Ansigtsgenkendelse

I et computeriseret ansigtsgenkendelsessystem er hvert ansigt repræsenteret af et stort antal pixelværdier. Lineær diskriminantanalyse anvendes her hovedsageligt for at reducere antallet af funktioner til et mere overskueligt antal, før man forsøger at klassificere. Hver af de nye dimensioner er en lineær kombination af pixelværdier, der danner et mønster. Lineære kombinationer opnået ved hjælp af Fishers lineære diskriminant kaldes Fisher faces , mens kombinationer opnået ved hjælp af principal komponent analyse kaldes egenfaces [24] .

Marketing

I markedsføring er diskriminantanalyse ofte blevet brugt til at bestemme de faktorer, der adskiller forskellige typer brugere og/eller produkter baseret på undersøgelser eller andre former for dataindsamling. I dag bruges logistisk regression eller andre metoder normalt til disse formål. Brugen af diskriminantanalyse i markedsføring kan beskrives som følgende trin:

Vi formulerer problemstillingen og indsamler data. Vi definerer de træk af forbrugerejendomme, som forbrugerne bruger til at evaluere i denne kategori. Vi bruger en kvantitativ marketingsforskningsteknik ( såsom en undersøgelse ) til at indsamle data fra et udvalg af potentielle forbrugere vedrørende deres vurdering af alle egenskaber ved et produkt. Dataindsamlingsfasen udføres normalt af fagfolk inden for marketingsforskning. Sociale undersøgelsesspørgsmål beder respondenterne om at vurdere et produkt på en skala fra 1 til 5 (eller 1 til 7 eller 1 til 10) på et sæt indikatorer valgt af forskerne. Vælg mellem fem til tyve indikatorer. De kan omfatte egenskaber såsom brugervenlighed, vægt, nøjagtighed, holdbarhed, farveområde, pris eller størrelse. De valgte indikatorer vil variere afhængigt af det produkt, der undersøges. De samme spørgsmål stilles om alle produkter under undersøgelse. Data for produkter kodes og indtastes i statistiske programmer som R , SPSS eller SAS . (Dette trin er det samme som trin i faktoranalyse).
Vi evaluerer koefficienterne for diskriminantfunktionen og bestemmer den statistiske signifikans og validitet. Vi vælger den passende metode til diskriminantanalyse. Den direkte metode anvender diskriminantfunktionsevaluering, således at alle prædiktorer evalueres samtidigt. Den trinvise metode introducerer prædiktorer sekventielt. To-gruppemetoden skal bruges, når den afhængige variabel har to kategorier eller tilstande. Den multivariate diskriminantmetode bruges, når den afhængige variabel har tre eller flere kategoriske tilstande. Til signifikanstestning kan du bruge Wilks' lambda i SPSS eller "F stat" i SAS. Den mest almindelige metode til test af validitet er at opdele prøven i en evaluerings- eller analyseprøve og en validerings- eller udsættelsesprøve. Evalueringsprøven bruges til at konstruere diskriminantfunktionen. Testprøven bruges til at bygge en klassifikationsmatrix, der indeholder antallet af korrekt klassificerede og forkert klassificerede tilfælde. Procentdelen af tilfælde, der er klassificeret korrekt, kaldes hitraten .
Vi plotter resultatet på en todimensionel graf, bestemmer dimensionerne og fortolker resultatet. Det statistiske program hjælper med at vise resultaterne. Grafen viser hvert produkt (normalt i 2D-rum). Afstanden mellem produkter viser, hvor forskellige de er. Dimensioner skal markeres af forskeren. Dette kræver en subjektiv beslutning, og de er ofte meget kontroversielle. Se Opbygning af et perceptuelt kort .

Biomedicinsk forskning

Den vigtigste anvendelse af diskriminantanalyse i medicin er vurderingen af sværhedsgraden af patientens tilstand og prognosen for sygdomsforløbet. For eksempel er patienter under retrospektiv analyse opdelt i grupper efter sygdommens sværhedsgrad - milde, moderate og svære former. Resultaterne af kliniske analyser og laboratorieanalyser undersøges derefter for at finde variabler, der er tilstrækkeligt forskellige i undersøgelsesgrupperne. Ud fra disse variable opbygges diskriminantfunktioner, der hjælper til objektivt at klassificere sygdomsforløbet hos patienter i fremtiden, hvad enten det bliver mildt, moderat eller alvorligt.

I biologien bruges lignende principper til at klassificere og definere grupper af forskellige biologiske objekter, for eksempel til at bestemme fagtypen af Salmonella enteritis, baseret på Fourier-transformationen af det infrarøde spektrum [25] , for at bestemme kilden til Escherichia coli ved at studere dens virulensfaktorer [26] osv.

Geovidenskab

Denne metode kan bruges til at adskille zoner med hydrotermisk ændring. For eksempel, når forskellige data fra forskellige zoner er tilgængelige, kan diskriminantanalyse finde mønstre i dataene og klassificere dem effektivt [27] .

Sammenligning med logistisk regression

Diskriminativ funktionel analyse minder meget om logistisk regression , og begge metoder kan bruges til at besvare nogle spørgsmål fra forskere [9] . Logistisk regression har ikke så mange antagelser som diskriminantanalyse. Men hvis antagelserne om diskriminantanalyse er opfyldt, er den mere kraftfuld end logistisk regression [28] . I modsætning til logistisk regression kan diskriminantanalyse bruges til små stikprøvestørrelser. Det har vist sig, at når prøvestørrelserne er de samme, og der er homogenitet af varians/kovarians, er diskriminantanalyse mere nøjagtig [7] . I lyset af alt dette vælges logistisk regression oftere, fordi de diskriminerende analyseantagelser sjældent er opfyldt [8] [7] .

Se også

data mining
Træning i beslutningstræ
Faktoranalyse
Fisher Nuclear Diskriminant Analyse
Logit (til logistisk regression )
Multidiskriminerende analyse
Multidimensionel skalering
Mønster genkendelse
perceptron
Kvadratisk klassificering
Statistisk klassifikation

Noter

↑ 12 Fisher , 1936 , s. 179-188.
↑ McLachlan, 2004 .
↑ Wetcher-Hendricks, 2011 , s. 288.
↑ 1 2 Martinez, Kak, 2001 , s. 228-233.
↑ Abdi, 2007 , s. 270-275.
↑ Perriere, Thioulouse, 2003 , s. 99-105.
↑ 1 2 3 4 5 6 7 8 9 10 ÇOKLUK, BÜYÜKÖZTÜRK, 2008 , s. 73-92.
↑ 1 2 Cohen, Cohen, West, Aiken, 2003 .
↑ 1 2 3 4 5 6 7 8 9 10 11 Green, Salkind, Akey, 2008 .
↑ Venables, Ripley, 2002 , s. 338.
↑ Lachenbruch, 1975 .
↑ Klecka, 1980 .
↑ Hardle, Simar, 2007 , s. 289-303.
↑ 12 Garson , 2012 .
↑ 1 2 3 Hardle, Simar, 2007 , s. 289-303.
↑ Arkiveret kopi (downlink) . Hentet 4. marts 2008. Arkiveret fra originalen 12. marts 2008. (ubestemt) .
↑ Rao, 1948 , s. 159-203.
↑ 1 2 Ghassabeh, Rudzicz, Moghaddam, 2015 , s. 1999-2012
↑ Chatterjee, Roychowdhury, 1997 , s. 663-678.
↑ Demir, Ozmehmet, 2005 , s. 421-431.
↑ Yu, Yang, 2001 , s. 2067-2069.
↑ Friedman, 1989 , s. 165-17.
↑ Ahdesmäki, Strimmer, 2010 , s. 503-519.
↑ Udtrykket Eigenfaces bruges til at henvise til egenvektorer og egenværdier , der bruges i ansigtsgenkendelse af principal-komponentmetoden .
↑ Preisner, Guiomar, Machado, Menezes, Lopes, 2010 , s. 3538-3544.
↑ David, Lynne, Han, Foley, 2010 , s. 7509-7513.
↑ Tahmasebi, Hezarkani, Mortazavi, 2010 , s. 564-576.
↑ Hastie, Tibshirani, Friedman, 2009 , s. 128.

Litteratur

Hardle W., Simar L. Applied Multivariate Statistical Analysis. - Berlin Heidelberg: Springer, 2007. - ISBN 3-540-03079-4 .
Lachenbruch PA Diskriminantanalyse . - Macmillan Pub. Co., 1975. - ISBN 978-0-02-848250-7 .
William R. Klecka. diskriminant analyse. - Thousand Oaks, CA: Sage Publications, 1980. - (Quantitative Applications in the Social Sciences Series).
- Oversættelse i samlingen af J.-O. Kim, C.W. Muller, W.R. Klekka, M.S. Oldenderfer, R.K. Blashfield. Faktor-, diskriminant- og klyngeanalyse / Red. ER. Enyukov. - M . : "Finans og statistik", 1989. - S. 78-137. — ISBN 5-279-00247-X .
Jacob Cohen, Patricia Cohen, Stephen G. West, Leona S. Aiken. Anvendt multipel regression/korrelationsanalyse for adfærdsvidenskaberne. - 3. udgave - Mahwah, New Jersey, London: Lawrence Erlbaum Associates, Publishers, 2003. - ISBN 0-8058-2223.
Hardle W., Simar L. Applied Multivariate Statistical Analysis. — 2. - Berlin Heidelberg: Springer, 2007. - ISBN 9783540722434 .
Abdi H. Diskriminerende korrespondanceanalyse // Encyclopedia of Measurement and Statistic / NJ Salkind. - Thousand Oaks (CA): Sage, 2007.
Perriere G., Thioulouse J. Brug af korrespondancediskriminerende analyse til at forudsige den subcellulære placering af bakterielle proteiner // Computermetoder og -programmer i biomedicin. - 2003. - T. 70 . - doi : 10.1016/s0169-2607(02)00011-1 .
Fisher R. A. Brugen af flere målinger i taksonomiske problemer // Annals of Eugenics . - 1936. - T. 7 , Nr. 2 . - doi : 10.1111/j.1469-1809.1936.tb02137.x .
McLachlan GJ Diskriminantanalyse og statistisk mønstergenkendelse. - Wiley Interscience, 2004. - ISBN 0-471-69115-1 .
Debra Wetcher-Hendricks. Analyse af kvantitative data: en introduktion til samfundsforskere. - Hoboken, NJ: Wiley, 2011. - ISBN 978-0-470-52683-5 .
Garson GD Diskriminerende funktionsanalyse. - Asheboro, USA: Statistical Publishing Associates, 2012. - (Blue Book Series).
Tahmasebi P., Hezarkani A., Mortazavi M. Anvendelse af diskriminantanalyse til ændringsadskillelse; sungun kobberforekomst, Østaserbajdsjan, Iran. Australsk // Journal of Basic and Applied Sciences. - 2010. - T. 6 , no. 4 .
Trevor Hastie, Robert Tibshirani, Jerome Friedman. Elementerne i statistisk læring. Data mining, inferens og forudsigelse. - sekund. - Springer, 2009. - ISBN 0387848576 .
BÖKEOĞLU ÇOKLUK Ö, BÜYÜKÖZTÜRK Ş. Diskriminerende funktionsanalyse: Koncept og anvendelse // Eğitim araştırmaları dergisi. - 2008. - Udgave. 33 .
Green SB, Salkind NJ, Akey TM Brug af SPSS til Windows og Macintosh: Analyse og forståelse af data. — New Jersey: Prentice Hall, 2008.
Martinez AM, Hvordan AC PCA versus LDA // IEEE-transaktioner på mønsteranalyse og maskinintelligens . - 2001. - T. 23 , no. 2 . — S. 228–233 . - doi : 10.1109/34.908974 .
Yu H., Yang J. En direkte LDA-algoritme til højdimensionelle data — med applikation til ansigtsgenkendelse // Mønstergenkendelse. - 2001. - T. 34 , no. 10 . - doi : 10.1016/s0031-3203(00)00162-x .
Friedman JH Regularized Discriminant Analysis // Journal of the American Statistical Association . - American Statistical Association, 1989. - V. 84 , no. 405 . - doi : 10.2307/2289860 . — .
Ahdesmäki M., Strimmer K. Funktionsudvælgelse i omics-forudsigelsesproblemer ved hjælp af kattescore og falsk non-discovery rate control // Annals of Applied Statistics. - 2010. - T. 4 , no. 1 . — S. 503–519 . - doi : 10.1214/09-aoas277 . - arXiv : 0903.2003 .
Preisner O., Guiomar R., Machado J., Menezes JC, Lopes JA Anvendelse af Fourier-transformation infrarød spektroskopi og kemometri til differentiering af Salmonella enterica serovar Enteritidis fagtyper // Appl Environ Microbiol. - 2010. - T. 76 , no. 11 . - doi : 10.1128/aem.01589-09 .
David DE, Lynne AM, Han J., Foley SL Evaluering af virulensfaktorprofilering i karakteriseringen af veterinære Escherichia coli-isolater // Appl Environ Microbiol. - 2010. - T. 76 , no. 22 . - doi : 10.1128/aem.00726-10 .
Youness Aliyari Ghassabeh, Frank Rudzicz, Hamid Abrishami Moghaddam. Hurtig inkrementel LDA-funktionsudtrækning // Mønstergenkendelse. - 2015. - Juni ( bd. 48 , hæfte 6 ). - doi : 10.1016/j.patcog.2014.12.012 .
Chatterjee C., Roychowdhury VP om selvorganiserende algoritmer og netværk til klasseseparabilitetsfunktioner // IEEE-transaktioner på neurale netværk. - 1997. - Maj ( bind 8 , hæfte 3 ). — ISSN 1045-9227 . - doi : 10.1109/72.572105 .
Demir GK, Ozmehmet K. Online lokale læringsalgoritmer til lineær diskriminantanalyse // Mønstergenkendelse. Lett.. - 2005. - Marts ( bd. 26 , hæfte 4 ). — ISSN 0167-8655 . - doi : 10.1016/j.patrec.2004.08.005 .
Rao R.C. Anvendelsen af flere målinger i problemer med biologisk klassificering // Journal of the Royal Statistical Society, Series B. - 1948. - V. 10 , no. 2 . — .
Venables WN, Ripley BD Moderne anvendt statistik med S. - 4. - Springer Verlag, 2002. - ISBN 0-387-95457-0 .

Læsning for yderligere læsning

Duda RO, Hart PE, Stork DH Mønsterklassifikation. — 2. - Wiley Interscience, 2000. - ISBN 0-471-05669-3 .
Hilbe JM Logistiske Regressionsmodeller. - Chapman & Hall/CRC Press, 2009. - ISBN 978-1-4200-7575-5 .
Mika S. Fisher Diskriminantanalyse med kerner // IEEE-konference om neurale netværk til signalbehandling IX. - 1999. - S. 41-48 . - doi : 10.1109/NNSP.1999.788121 .
H. Richard McFarland, St. P. Richards Donald. Præcise fejlklassificeringssandsynligheder for plug-in normale kvadratiske diskriminerende funktioner. I. The Equal-Means Case // Journal of Multivariate Analysis. - 2001. - T. 77 , no. 1 . — S. 21–53 . - doi : 10.1006/jmva.2000.1924 .
H. Richard McFarland, St. P. Richards Donald. Præcise fejlklassificeringssandsynligheder for plug-in normale kvadratiske diskriminerende funktioner. II. The Heterogeneous Case // Journal of Multivariate Analysis. - 2002. - T. 82 , no. 2 . — S. 299–330 . - doi : 10.1006/jmva.2001.2034 .

Links

Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diskriminerende korrelationsanalyse: Real-Time Feature Level Fusion for Multimodal Biometric Recognition // IEEE-transaktioner om informationsforensik og sikkerhed. - 2016. - T. 11 , no. 9 . — S. 1984–1996 . - doi : 10.1109/TIFS.2016.2569061 .
ALGLIB indeholder open source LDA-implementering i C# / C++ / Pascal / VBA.
Psychometrica.de (utilgængeligt link) open source LDA implementering i Java
LDA tutorial ved hjælp af MS Excel
biomedicinsk statistik. Diskriminerende analyse
StatQuest: Linear Discriminant Analysis (LDA) tydeligt forklaret på YouTube
Kursusnotater, Diskriminerende funktionsanalyse af G. David Garson, NC State University
Diskriminerende analyse tutorial i Microsoft Excel af Kardi Teknomo
Kursusnotater, Diskriminerende funktionsanalyse af David W. Stockburger, Missouri State University Arkiveret 3. marts 2016 på Wayback Machine
Diskriminerende funktionsanalyse (DA) af John Poulsen og Aaron French, San Francisco State University

Machine learning og data mining
Opgaver	Klassifikationsproblem Læring uden lærer Lærerassisteret læring Regressions analyse AutoML Foreningens regler Feature Extraction Træning af træk Ranking træning Grammatisk afledning Online læring
At lære med en lærer	k-nærmeste nabo metode Naiv Bayes Classifier beslutningstræ Support vektor maskine Lineær regression Logistisk regression perceptron Ensembler af modeller Bagning boostning tilfældig skov Relevant vektormetode
klyngeanalyse	k-betyder metode Fuzzy klyngemetode Hierarkisk klyngedannelse EM algoritme BIRKE HELBREDE DBSCAN OPTIK Middel-forskydning
Dimensionalitetsreduktion	Faktoranalyse Hovedkomponentmetode CCA ICA LDA Ikke-negativ matrixudvidelse t-SNE
Strukturel prognose	Graf probabilistisk model Bayesiansk netværk Skjult Markov-model CRF
Anomali detektion	k-nærmeste nabo metode Lokalt emissionsniveau
Grafer sandsynlighedsmodeller	Bayesiansk netværk Markov netværk Skjult Markov-model
Neurale netværk	Begrænset Boltzmann-maskine selvorganiserende kort Aktiveringsfunktion Sigmoid softmax Radial basisfunktion Rygformeringsmetode Dyb læring Flerlagsperceptron Tilbagevendende neurale netværk lang korttidshukommelse Kontrolleret tilbagevendende blokering Konvolutionelt neuralt netværk U-Net Autoencoder
Forstærkende læring	Markov proces Bellmans ligning Grådig algoritme Q-læring SARSA Temporal forskel (TD)
Teori	Vapnik-Chervonenkis teori Bias-Dispersion Dilemma Beregningsmæssig læringsteori Empirisk risikominimering Occams læring PAC læring Statistisk læringsteori
Tidsskrifter og konferencer	NeurIPS ICML ML JMLR ArXiv:cs.LG