Skala-invariant funktionstransformation

Scale- invariant feature transform ( SIFT ) er en funktionsdetektionsalgoritme i computervision til detektering og beskrivelse af lokale funktioner i billeder . Algoritmen blev patenteret i Canada af University of British Columbia [1] og udgivet af David Lowe i 1999 [2] . Applikationer omfatter objektgenkendelse robotkortlægning og -navigation, billedsammensætning 3D - modellering , , sporing , identifikation af vilde dyr og positionssporing .

Først uddrages nøglepunkter for objekter i SIFT fra et sæt referencebilleder [2] og gemmes i databasen. Et objekt genkendes i et nyt billede ved at sammenligne hvert træk fra det nye billede med træk fra databasen og finde kandidattræk baseret på den euklidiske afstand mellem trækvektorer. Fra det fulde sæt af matches i det nye billede vælges undersæt af nøglepunkter, der bedst matcher objektet med hensyn til dets placering, skala og orientering. Det er hurtigt at bestemme passende funktionsblokke med en effektiv hash-tabelimplementering af den generaliserede Hough-transformation . Hver blok med 3 eller flere funktioner, der er i overensstemmelse med objektet og dets position, er underlagt yderligere detaljeret verifikation af modellens pasform, og afvigelser kasseres. Til sidst beregnes sandsynligheden for, at et bestemt sæt træk indikerer tilstedeværelsen af et objekt, hvilket giver information om nøjagtigheden af matchningen og antallet af mulige misses. Objekter, der består alle disse tests, kan med høj grad af sikkerhed betragtes som korrekte [3] .

Oversigt

For ethvert objekt i et billede kan trækpunkter udtrækkes for at give en "funktionsbeskrivelse" af objektet. Denne beskrivelse opnået fra træningsbilledet kan derefter bruges til at identificere objektet, når man forsøger at lokalisere objektet i et testbillede, der indeholder mange andre objekter. For pålidelig genkendelse er det vigtigt, at de funktioner, der er udtrukket fra træningsbilledet, kan detekteres selv med ændringer i billedskala, støj og belysning. Sådanne prikker ligger normalt i områder med høj kontrast, såsom kanterne på objekter.

En anden vigtig egenskab ved disse funktioner er, at de relative positioner mellem dem ikke bør ændre sig fra det ene billede til det næste. For eksempel, hvis kun de fire hjørner af en dør blev brugt som tegn, ville de fungere uanset dørens placering. Men hvis dørkarmpunkterne også blev brugt, kunne genkendelsen mislykkes, fordi døren kunne være åben eller lukket. Ligeledes fungerer funktioner placeret på leddelte eller fleksible objekter generelt ikke, hvis der sker en ændring i intern geometri mellem to billeder i behandlingssættet. Men i praksis detekterer og bruger SIFT et meget større antal billedfunktioner, hvilket reducerer bidraget fra hver fejl forårsaget af disse lokale ændringer til den samlede fejl for alle funktionsmatchningsfejl.

SIFT [1] kan pålideligt vælge objekter selv i nærvær af støj og delvis overlapning, da SIFT-funktionsbeskrivelsen er invariant i forhold til proportional skalering , orientering , lysændringer og er delvist invariant over for affine forvrængninger [2] . Dette afsnit beskriver den originale SIFT-algoritme og nævner adskillige konkurrerende teknikker til rådighed for støjende og overlappende objektgenkendelse.

SIFT-deskriptoren er baseret på billedmålinger i form af receptorfelter [4] [5] [6] [7] , for hvilke lokale skala-invariante referencerammer [8] [9] etableres ved at vælge en lokal skala [10] [11] [9] . En generel teoretisk forklaring af algoritmen er givet i Scholarpedia-projektet om SIFT [12] .

En opgave	Teknik	Fordel
nøgleplacering / skala / rotation	Gaussisk forskel / pyramide af rumskalaer / tildeling af retninger	nøjagtighed, stabilitet, skala og rotationsinvarians
geometrisk forvrængning	sløring/resampling af lokale billedorienteringsplaner	affin invarians
indeksering og matchning	nærmeste nabo / søg "Best Bin First"	Effektivitet / hastighed
Klynge identifikation	Hough transformer stemme	pålidelige positionsmodeller
Modelvalidering/outlier-detektion	Lineære mindste kvadrater	bedre fejltolerance med mindre overensstemmelse
Hypotesegodkendelse	Bayesiansk sandsynlighedsanalyse	pålidelighed

Grundlæggende trin

Detektion af skala-invariante funktioner

Lowes metode til generering af billedtræk konverterer billedet til et stort sæt af funktionsvektorer, som hver er invariant under (parallel) billedoversættelse, skalering og rotation, delvist invariant i forhold til lysændringer og modstandsdygtig over for lokale geometriske forvrængninger. Disse egenskaber har lignende egenskaber som neuroner i den primære visuelle cortex , der koder for grundlæggende form, farve og objektbevægelsesdetektion i primatsyn [13] . Placeringstasterne er defineret som maksimum og minimum af den Gaussiske differensfunktion , der anvendes i på en serie af udjævnede og gengivne billeder. Kandidatpunkter med lav kontrast og punkter langs kanterne kasseres. Lokaliserede nøglepunkter tildeles dominerende orienteringer. Disse trin giver mere stabilitet for nøglepunkter til matchning og genkendelse. SIFT-deskriptorer, der er resistente over for lokale affinitetsovertrædelser, opnås derefter ved at se på pixels omkring nøgleplaceringen ved at sløre og gensample de lokale billedorienteringsplaner.

Funktionsmatchning og indeksering

Indeksering består i at huske SIFT-tasterne og identificere de tilsvarende nøgler fra det nye billede. Lowe brugte en modifikation af en k-dimensionel træalgoritme kaldet best-bin-first (BBF) [14] søgemetoden , som kan identificere den nærmeste nabo med høj sandsynlighed ved kun at bruge et begrænset antal beregninger. BBF-algoritmen bruger en ændret søgerækkefølge for den k-dimensionelle træalgoritme , således at områder i feature-rummet søges i rækkefølge efter deres nærmeste afstand fra den anmodede placering. Denne søgerækkefølge kræver brug af en heap -baseret prioritetskø for effektivt at bestemme søgerækkefølgen. Den bedste kandidat til hvert nøglepunkt findes ved at etablere dens nærmeste nabo i nøglepunktsdatabasen ud fra træningsbillederne. Nærmeste naboer er defineret som nøglepunkterne med den mindste euklidiske afstand fra den givne deskriptorvektor. Sandsynligheden for, at et match er korrekt, kan bestemmes ved at beregne forholdet mellem afstanden fra nærmeste nabo og afstanden til næstnærmeste nabo.

Lav [3] afviste alle kampe, hvor afstandsforholdet er større end 0,8, hvilket eliminerer 90% af ukorrekte kampe, mens mindre end 5% af korrekte kampe kasseres. For yderligere at forbedre ydeevnen stopper algoritmen for bedste-bin-først efter at have tjekket de første 200 nærmeste nabo-kandidater. For en database med 100.000 nøglepunkter giver dette en hastighedsforøgelse i forhold til den nøjagtige søgning efter naboer med 2 størrelsesordener, mens det forkerte valg ikke går ud over 5% af de korrekte matches.

Klyngeidentifikation ved at stemme på Hough-transformationen

Hough-transformationen bruges til at gruppere en robust hypotesemodel for at finde nøgler, der stemmer overens med en bestemt modelposition Hough-transformationen afslører klynger af funktioner med en ensartet fortolkning ved at stemme for hver funktion for alle objektpositioner, der er i overensstemmelse med funktionen. Når der findes klynger af træk med stemmer for den samme position af et objekt, er sandsynligheden for en korrekt fortolkning meget højere end for et enkelt træk. Der oprettes en hash -tabelpost , der indeholder den estimerede position, orientering og skala fra den matchende hypotese. Der søges i en hash-tabel for at identificere alle klynger med mindst 3 elementer i området, og områderne sorteres efter faldende størrelse.

Hvert af SIFT-nøglepunkterne definerer en 2D-placering, skala og orientering, og hvert nøglepunkt i databasen har en indgang med dets parametre relateret til træningsbilledet, hvor det blev fundet. Den analoge transformation som følge af disse 4 parametre er kun en tilnærmelse til det fulde positionsrum med 6 frihedsgrader for 3D-objekter og tager heller ikke højde for eventuelle fleksible deformationer. Således brugte Lowe [3] 30 graders områdestørrelser til orientering for placering, en faktor 2 for skala og en faktor på 0,25 for maksimal projektionsstørrelse af træningsbilledet (ved brug af den forudsagte skala). For SIFT-nøgler, der genereres i stor skala, gives dobbelt vægt sammenlignet med nøgler til en mindre skala. Det betyder, at en større skala er i stand til at bortfiltrere mere sandsynlige naboer for at teste i mindre skala. Det forbedrer også genkendelsesydelsen ved at give mere vægt til en mindre støjende skala. For at undgå problemet med grænseeffekter ved tildeling af et område, ser hvert nøglepunkt på stemmerne for de 2 nærmeste områder i hver retning, hvilket giver i alt 16 værdier for hver hypotese og slører positionsspredningen yderligere.

Mindste kvadraters modelvalidering

Hver etableret klynge er underlagt en verifikationsprocedure, der udfører en mindste kvadraters for de affine transformationsparametre , der er knyttet til billedmodellen. En affin transformation af et modelpunkt [xy] T til et billedpunkt [uv] T kan skrives som følger

{\begin{bmatrix}u\\v\end{bmatrix}}={\begin{bmatrix}m1&m2\\m3&m4\end{bmatrix}}{\begin{bmatrix}x\\y\end{bmatrix ))+{\begin{bmatrix}tx\\ty\end{bmatrix}}

hvor parallel translation er [tx ty] T , og affin rotation, skala og strækning er repræsenteret af parametrene m1, m2, m3 og m4. For at opnå transformationsparametrene kan ligningen omskrives, så alle ukendte er i en kolonnevektor.

{\begin{bmatrix}x&y&0&0&1&0\\0&0&x&y&0&1\\..\\..\end{bmatrix}}{\begin{bmatrix}m1\\m2\\m3\\m4\\tx \\ty\ end{bmatrix}}={\begin{bmatrix}u\\v\\.\\.\end{bmatrix}}

Ligestilling viser et enkelt match, men et hvilket som helst antal matcher kan tilføjes, hvor hver match tilføjer to rækker til den første og sidste matrix. Der skal mindst 3 kampe til for at få en løsning. Vi kan skrive dette lineære system som

A{\hat {\mathbf {x} }}\approx \mathbf {b} ,

hvor A er en kendt matrix (normalt m > n ), x er en ukendt n - dimensionel parametervektor , og b er en kendt m - dimensionel dimensionsvektor. $m\ gange n$

Således er minimeringsvektoren løsningen på normalligningen ${\hat {\mathbf {x} ))$

A^{T}\!A{\hat {\mathbf {x} }}=A^{T}\mathbf {b} .

Løsningen til systemet af lineære ligninger er givet i form af en matrix kaldet den pseudoinverse matrix for A , i formen $(A^{T}A)^{-1}A^{T}$

{\hat {\mathbf {x} }}=(A^{T}\!A)^{-1}A^{T}\mathbf {b} .

hvilket minimerer summen af de kvadrerede afstande af modelplaceringsprojektionerne til de tilsvarende billedplaceringer.

Identifikation af outliers

Outliers kan nu kasseres ved at kontrollere overensstemmelsen mellem funktionen af hvert billede og modellen givet af parameterløsningen. Givet en mindste kvadraters løsning , skal hver match ikke stemme overens med mere end halvdelen af det fejlinterval, der blev brugt til parametrene i Hough-transformationsområderne . Outliers kasseres, mindste kvadraters løsning genberegnes for de resterende punkter, og processen gentages. Hvis der er mindre end 3 point tilbage efter at have kasseret outliers , afvises kampen. Derudover bruges top-down-matchningsfasen til at tilføje andre matchninger, der er i overensstemmelse med positionen af den projekterede model, som kan blive overset af Hough-transformationsregionen på grund af tilnærmelse af lignende transformationer eller andre fejl.

Den endelige beslutning om at acceptere eller afvise hypotesemodellen er baseret på en detaljeret probabilistisk model [15] . Denne metode beregner først det forventede antal fejlmatches for positionsmodellen, givet af modellens størrelse, antallet af funktioner inden for området og nøjagtigheden af tilpasningen. Bayesiansk analyse giver derefter sandsynligheden for, at objektet er til stede baseret på det faktiske antal fundne funktionsmatches. Modellen accepteres, hvis den endelige sandsynlighed for korrekt fortolkning er større end 0,98. Baseret på SIFT-metoden udviklet af Lowe, giver genkendelse af objekter fremragende resultater, undtagen i tilfælde af stor spredning af belysning og med ikke-stive transformationer.

Tegn

Registrering og beskrivelse af lokale billedfunktioner kan hjælpe med genkendelse af objekter. SIFT-funktioner er lokale og er baseret på objektets manifestationer på specifikke enkeltpunkter. De er skalerings- og rotationsinvariante. De er også modstandsdygtige over for ændringer i belysning, støj og små ændringer i synsvinkel. Ud over disse egenskaber er de meget skelnelige, relativt nemme at hente og tillader objektidentifikation med få fejl. De er relativt lette at finde i en (stor) database over lokale funktioner, men funktionernes høje dimensionalitet kan dog forårsage vanskeligheder, så sandsynlige algoritmer såsom k-dimensionelle træer med best-bin-first søgning ( BBF) bruges. Beskrivelse af et objekt ved hjælp af SIFT-funktioner er også stabil med hensyn til delvis overlapning, da selv tre SIFT-funktioner af et objekt er nok til at beregne et objekts sted og position. Genkendelse kan udføres i næsten realtid, i det mindste for små databaser med moderne computerudstyr.

Algoritme

Afslører ekstrema af skalarummet

Vi starter med at identificere punkter, som kaldes nøglepunkter inden for SIFT. Billedet foldes med gaussiske filtre i forskellige skalaer, og derefter beregnes forskellen mellem successive gaussiske slørede billeder. Nøglepunkterne er derefter samplet som den maksimale/minimum forskel af Gaussians , der forekommer på forskellige skalaer. Den Gaussiske forskel er givet af udtrykket $D\left(x,y,\sigma \right)$

D\left(x,y,\sigma \right)=L\left(x,y,k_{i}\sigma \right)-L\left(x,y,k_{j}\sigma \ ret)

, hvor er foldningen af det originale billede med Gaussisk sløring i skala , dvs.

L\left(x,y,k\sigma \right)

I\left(x,y\right)

G\left(x,y,k\sigma \right)

k\sigma

L\left(x,y,k\sigma \right)=G\left(x,y,k\sigma \right)*I\left(x,y\right)

Derfor er billedet af den Gaussiske forskel mellem skalaer og forskellen mellem Gaussiske slørede billeder med skalaer og . For at bestemme ekstremum i skaleringsrummet , i SIFT-algoritmen, bliver billedet først foldet med Gaussisk sløring ved forskellige skalaer. Miniaturebillederne er grupperet efter oktav (en oktav svarer til en fordobling af værdien af ) og værdien er valgt, så vi får et fast antal thumbnails pr. oktav. Derefter beregnes den Gaussiske forskel fra tilstødende Gaussiske slørede billeder i en oktav. $k_{i}\sigma$ $k_{j}\sigma$ $k_{i}\sigma$ $k_{j}\sigma$ $\sigma$ $k_i$

Når billedets Gauss-forskel er opnået, defineres nøglepunkterne som det lokale minimum/maksimum af billedets Gauss-forskel over skabelonerne. Dette gøres ved at sammenligne hver pixel med billedets Gauss-forskel for dens otte naboer i samme skala og ni tilsvarende nabopixel ved hver af de tilstødende skalaer. Hvis pixelværdien er maksimum eller minimum blandt alle de sammenlignede punkter, vælges den som en nøglepunktskandidat.

Dette nøglepunktsdetektionstrin er en variation af en af Lindebergs pletdetektionsmetoder ved at finde ekstrema i skalarummet normaliseret til den Laplaciske skala [10] [11] . Det vil sige bestemmelsen af punkter, der er lokale ekstrema, under hensyntagen til både rumlig position og skala, i det diskrete tilfælde, ved sammenligning med de nærmeste 26 naboer i et diskretiseret volumen i skala rum. Den Gaussiske differensoperator kan ses som en tilnærmelse af Laplacian, med en implicit normalisering i pyramiden , der også indeholder en diskret tilnærmelse af den skalanormaliserede Laplacian [12] . En anden realtidsinkarnation af søgningen efter ekstrema af Laplace-operatørens skala-rum blev præsenteret af Lindeberg og Bretzner, den er baseret på en hybrid pyramide-repræsentation [16] , der blev brugt til computer-menneskelig interaktion til real-time gestusgenkendelse [17] .

Lokalisering af nøglepunkter

Bestemmelsen af ekstrema af skalarummet giver for mange kandidater til nøglepunkter, hvoraf nogle er ustabile. Det næste trin i algoritmen er at udføre en detaljeret nabotilpasning til den nøjagtige placering, skala og hovedkrumningsforhold . Denne information giver dig mulighed for at kassere punkter, der har lav kontrast (og derfor er følsomme over for støj) eller dårligt placeret langs kanten.

Interpolation af nabodata for positionsnøjagtighed

For det første, for hver cue point-kandidat, bruges nærdatainterpolation til nøjagtigt at bestemme positionen. Den indledende tilgang var at bestemme placeringen af hvert nøglepunkt ud fra placeringen og skalaen af nøglepunktskandidaten [2] . Den nye tilgang beregner ekstremumets interpolerede position, hvilket forbedrer pasformen og stabiliteten markant [3] . Interpolationen udføres ved hjælp af den kvadratiske Taylor-udvidelse af funktionen Difference- of -Gaussian skala-space med nøglepunktskandidaten placeret ved origo. Denne Taylor-udvidelse er givet ved ligningen: $D\left(x,y,\sigma \right)$

D({\textbf {x}})=D+{\frac {\partial D^{T}}{\partial {\textbf {x}}}}{\textbf {x}}+{\frac {1}{2}}{\textbf {x}}^{T}{\frac {\partial ^{2}D}{\partial {\textbf {x}}^{2}}}{\textbf { x}}

hvor D og dets afledte beregnes på kandidatpunktet og er forskydningen fra dette punkt. Placeringen af ekstremum bestemmes ved at tage den afledede af denne funktion med hensyn til og lig med nul. Hvis skiftet er større i begge retninger, indikerer dette, at ekstremumet ligger tættere på en anden nøglepunktskandidat. I dette tilfælde ændres nøglepunktskandidaten, og der udføres interpolation for dette punkt. Ellers tilføjes en bias til nøglepunktskandidaten for at opnå et interpoleret estimat af ekstremumplaceringen. En lignende subpixelbestemmelse af placeringen af ekstrema af skalarummet, udviklet af Lindeberg et al., udføres i realtid baseret på hybridpyramider [16] . ${\textbf {x}}=\venstre(x,y,\sigma \right)^{T}$ ${\displaystyle {\hat {\textbf {x))))$ $\textbf{x}$ ${\displaystyle {\hat {\textbf {x))))$ $0,5$

Fjernelse af nøglepunkter med lav kontrast

For at kassere nøglepunkter med lav kontrast beregnes en andenordens Taylor-udvidelse med en bias . Hvis denne værdi er mindre end , kasseres nøglepunktskandidaten. Ellers gemmes det med en placering i begrænset skala , hvor er den oprindelige placering af nøglepunktet. $D({\textbf {x)))$ ${\displaystyle {\hat {\textbf {x))))$ $0.03$ ${\textbf {y}}+{\hat {\textbf {x}}}$ ${\textbf {y))$

Ekskludering af kantbidrag

Den Gaussiske differensfunktion vil have stærke værdier langs kanterne, selvom nøglepunktskandidaten ikke er robust over for lille støj. For at øge stabiliteten bør du derfor udelukke nøglepunkter, der har en dårligt defineret placering, men som har et stort bidrag fra kanterne.

For dårligt definerede Gaussiske differensfunktionstoppe vil den primære krumning over en kant være meget større end den primære krumning langs den. At finde disse hovedkrumninger svarer til at finde egenværdierne af den andenordens hessiske matrix H :

{\textbf {H}}={\begin{bmatrix}D_{xx}&D_{xy}\\D_{xy}&D_{yy}\end{bmatrix}}

Egenværdierne af H er proportionale med hovedkrumningen af matrixen D. Det viser sig, at forholdet mellem to egenværdier, f.eks . den største af dem, a er den mindste, med forholdet , er tilstrækkeligt til SIFT-formål. . Sporet af matricen H , dvs. , giver os summen af de to egenværdier, mens determinanten, dvs. , giver os produktet. Forholdet kan vises til at være , hvilket kun afhænger af forholdet mellem egenværdierne, ikke de enkelte værdier. R er minimum, hvis egenværdierne er ens. Jo højere den absolutte værdi af forskellen mellem to egenværdier er, hvilket svarer til den største absolutte værdi af forskellen mellem de to hovedkrumninger D, desto højere er værdien af R. Det følger heraf, at for nogle tærskelegenværdiforhold , hvis R for nøglepunktskandidaten er større end , så er nøglepunktet dårligt placeret og derfor kasseret. Den nye tilgang bruger [3] . $\alfa$ $\beta$ $r=\alpha /\beta$ $D_{xx}+D_{yy}$ $D_{xx}D_{yy}-D_{xy}^{2}$ ${\text{R}}=\operatørnavn {Tr} ({\textbf {H)))^{2}/\operatørnavn {Det} ({\textbf {H)))$ $(r+1)^{2}/r$ $r_{\text{th))$ $(r_{\text{th}}+1)^{2}/r_{\text{th}}$ $r_{\text{th}}=10$

Dette kantresponsundertrykkelsestrin er at overføre den passende tilgang til Harris-operatøren for hjørnedetektering . Forskellen er, at målet for tærsklen beregnes ud fra den hessiske matrix og ikke ud fra matrixen af andet momenter .

Orienteringsopgave

I dette trin tildeles hvert nøglepunkt en eller flere orienteringer baseret på retningerne af gradienterne i det lokale billede. Dette er et nøgletrin for at opnå rotationsinvarians , da nøglepunktsbeskrivelsen kan repræsenteres med hensyn til denne orientering og derfor bliver rotationsinvariant for billedet.

Først og fremmest tages et gaussisk sløret billede på nøglepunkter med skala , så alle beregninger udføres på en skala-invariant måde. For et skaleret billede er gradientværdien og orienteringen forudberegnet baseret på pixelforskellen . $L\left(x,y,\sigma \right)$ $\sigma$ $L\left(x,y\right)$ $\sigma$ $m\left(x,y\right)$ $\theta \left(x,y\right)$

m\left(x,y\right)={\sqrt {\left(L\left(x+1,y\right)-L\left(x-1,y\right)\right)^ {2}+\left(L\left(x,y+1\right)-L\left(x,y-1\right)\right)^{2}}}

\theta \left(x,y\right)=\mathrm {atan2} \left(L\left(x,y+1\right)-L\left(x,y-1\right),L \venstre(x+1,y\højre)-L\venstre(x-1,y\højre)\højre)

Beregning af størrelsen og retningen for gradienten udføres for hver pixel i nærheden af nøglepunktet i det gaussiske slørede billede L. Der dannes et retningshistogram med 36 områder, der hver dækker 10 grader. Hvert punkt i den omgivende boks føjes til histogramområdet, vægtet af gradientens størrelse og af et Gauss-vægtet cirkulært vindue med , som er 1,5 gange nøglepunktets skala. Toppene i dette histogram svarer til de dominerende retninger. Når histogrammet er udfyldt, tildeles retninger svarende til de højeste toppe og lokale toppe, der er inden for 80 % af de højeste toppe, til nøglepunktet. Hvis der er tildelt flere retninger, oprettes der et ekstra nøglepunkt, der har samme placering og skala som det oprindelige punkt for hver yderligere retning. $\sigma$

Nøglepunktsbeskrivelse

De foregående trin finder placeringen af nøglepunkter på bestemte skalaer og tildeler dem en orientering. Dette giver invarians for punktplacering, skala og rotation. Nu ønsker vi at beregne en vektor af deskriptorer for hvert nøglepunkt, sådan at deskriptoren er meget forskellig og delvist invariant i forhold til andre ændringer såsom belysning, synspunkter og så videre. Dette trin udføres på det billede, der er tættest på nøglepunktets skala.

Først og fremmest oprettes et sæt retningshistogrammer på 4x4 tilstødende pixels med 8 områder i hver. Disse histogrammer beregnes ud fra størrelses- og orienteringsværdierne for elementerne i 16×16-området omkring nøglepunktet, således at hvert histogram indeholder elementer fra en 4×4-underregion af den oprindelige nabolagsregion. Værdierne er yderligere vægtet af en Gaussisk funktion svarende til halvdelen af bredden af deskriptorvinduet. Håndtaget bliver derefter en vektor af alle værdierne af disse histogrammer. Da der er 4×4=16 histogrammer med 8 områder hver, har vektoren 128 elementer. Denne vektor er normaliseret til enhedslængde for at sikre, at den er invariant at affine ændringer i belysningen. For at reducere effekten af ikke-lineær belysning anvendes en tærskel på 0,2, og vektoren normaliseres igen. Tærskelprocessen kan forbedre matchningsresultater, selvom der ikke er nogen ikke-lineære lyseffekter [18] . Tærskelværdien på 0,2 er valgt empirisk og udskiftning af en fast tærskel med en målrettet beregnet kan forbedre sammenligningsresultaterne [18] . $\sigma$

Selvom deskriptordimensionen (dvs. 128) virker høj, fungerer mindre deskriptorer ikke så godt [3] , og beregningsomkostningerne forbliver lave, fordi den omtrentlige BBF-metode bruges til at finde den nærmeste nabo (se nedenfor). Længere deskriptorer ville give bedre resultater, men ikke meget, og der er fare for øget følsomhed over for forvrængning og aliasing. Det er også blevet vist, at funktionsmatchningsnøjagtigheden er større end 50 % for synsvinkelændringer op til 50 grader. Derfor er SIFT-deskriptorer invariante over for små affine ændringer. For at teste skelneevnen af SIFT-deskriptorer måles matchnøjagtigheden også med hensyn til et forskelligt antal nøglepunkter i testdatabasen, og det har vist sig, at matchnøjagtigheden kun falder lidt for store databaser, hvilket indikerer, at SIFT-funktioner er meget skelnelige .

Sammenligning af SIFT-funktioner med andre lokale funktioner

Der er blevet udført intensiv forskning for at evaluere effektiviteten af forskellige lokale deskriptorer, herunder SIFT [19] . De vigtigste resultater er vist nedenfor:

SIFT og (svarende til SIFT) GLOH funktioner ( Gradient Location and Orientation Histogram ) viser den højeste matchningsnøjagtighed for en affin transformation på 50 grader . Ud over denne grænse bliver konverteringsresultaterne upålidelige.
Distinkthed af deskriptorer måles ved at summere egenværdierne af deskriptorerne opnået ved hovedkomponentmetoden for deskriptorer normaliseret ved varians. Dette svarer til mængden af varians, der svarer til forskellige deskriptorer, og derfor deres skelnen. Funktioner PCA-SIFT (Principal Component Method anvendt på SIFT-deskriptorer), GLOH og SIFT giver de højeste værdier.
SIFT-baserede deskriptorer overgår andre moderne lokale deskriptorer for både teksturerede og strukturerede scener, mens de er mere effektive for teksturerede scener.
For 2-2,5x zoom og billedrotation mellem 30 og 45 grader udkonkurrerer SIFT- og SIFT-baserede deskriptorer igen andre moderne lokale deskriptorer for teksturerede og strukturerede scener.
Sløring (fuzziness) påvirker alle lokale deskriptorer, især dem, der er baseret på grænser (kanter), såsom "shape context" algoritmen (shape context ), da kanter forsvinder i tilfælde af stærk sløring af grænser. Men GLOH, PCA-SIFT og SIFT præsterer fortsat bedre end resten. Dette gælder også i tilfælde af belysningsændringer.

De udførte tests tyder stærkt på, at SIFT-baserede deskriptorer er de mest stabile og skelnelige og derfor de mest anbefalede til funktionsmatchning. Men nyligt udviklede funktionsbeskrivelser såsom SURF er ikke blevet undersøgt i disse forsøg.

SURF har vist sig at have effektivitet tæt på SIFT, men samtidig er algoritmen meget hurtigere [20] . Andre undersøgelser har vist, at når hastighed ikke er en kritisk faktor, udkonkurrerer SIFT SURF [21] [22] . Især, når man ser bort fra samplingseffekter, er SIFT-billeddeskriptoren væsentligt bedre end SURF-billedbeskrivelsen. Samtidig består ekstremummet i skalarummet af determinanten af hessian for den simple singulære punktdetektor i SURF af væsentligt bedre singulære punkter sammenlignet med ekstremum i skalarummet for Laplacian, for hvilke algoritmen til bestemmelse af singular point i SIFT udfører en numerisk tilnærmelse [21] .

Billedtilpasningsydelse af SIFT-beskrivelser kan forbedres med hensyn til at opnå højere ydeevne og lavere 1-nøjagtighedsscore[ klargør ] ( engelsk 1-præcisionsscore ) ved at erstatte det skalerbare rumlige ekstremum af den Gaussiske differensoperator i den oprindelige SIFT med ekstremummet af den hessiske determinant i det skalerbare rum, eller ved at overveje en mere generel familie af generaliserede singulære punkter i skalerbar plads [21] .

For nylig er en let modificeret version af deskriptoren blevet foreslået, ved hjælp af et ikke-ensartet histogramgitter, hvilket væsentligt forbedrer kvaliteten [23] . I stedet for at bruge et 4x4-gitter af histogramområder udvides alle områder mod midten af træk. Dette forbedrer deskriptorers modstandsdygtighed over for skalaændringer.

SIFT-Rank-deskriptoren [24] har vist sig at forbedre ydeevnen af standard SIFT-deskriptoren til affin funktionsmatching. SIFT-Rank-deskriptoren genereres fra standard SIFT-deskriptoren ved at tildele hvert område af histogrammet en rang i en sorteret række af områder. Den euklidiske afstand mellem SIFT-Rank-deskriptorer er invariant under vilkårlige monotone ændringer i histogramværdier og er relateret til Spearmans rangkorrelationskoefficienter .

Ansøgninger

Objektgenkendelse ved hjælp af SIFT-funktioner

Hvis det er muligt for et SIFT-system at finde forskellige nøglepunkter, der er invariante i placering, skala og rotation og modstandsdygtige over for affine transformationer (ændringer i skala , rotation , shift og position) og ændringer i belysning, de er nyttige til genkendelse af objekter. Disse trin er angivet nedenfor

Først opnås SIFT-funktioner fra inputbilledet ved hjælp af algoritmen beskrevet ovenfor.
Disse funktioner matches med databasens SIFT-funktioner opnået fra træningsbilleder. Denne funktionsmatchning udføres ved hjælp af den euklidiske nærmeste nabo-tilgang. For at øge stabiliteten kasseres matchning for nøglepunkter, hvor forholdet mellem afstanden til den nærmeste nabo og afstanden til den næstnærmeste nabo er større end 0,8. Dette kasserer mange falske matches, der stammer fra baggrundsinterfererende billeder. Til sidst, for at undgå den dyre søgning, der kræves for at finde den euklidiske nærmeste nabo, bruges en omtrentlig algoritme kaldet "best-bin-first" [14] . Dette er en hurtig metode, der returnerer den nærmeste nabo med stor sandsynlighed og kan fremskynde søgeprocessen med en faktor på 1000, mens det tager 95 % af tiden at finde den nærmeste nabo.
Selvom afstandsforholdstesten beskrevet ovenfor kasserer mange falske overensstemmelser, der opstår fra baggrundsinterfererende billeder, står vi tilbage med kampe, der tilhører andre objekter. Derfor, for at øge pålideligheden af objektidentifikation, ønsker vi at gruppere de funktioner, der hører til det samme objekt, og kassere de matches, der er tilbage efter klyngeprocessen. Dette gøres ved hjælp af Hough-transformationen . Den identificerer funktionsklynger, der stemmer for en eller anden objektposition. Når der findes klynger af træk med stemmer for en eller anden position af objektet, vil sandsynligheden for korrekt fortolkning være meget højere end for et enkelt træk. Hvert nøglepunkt stemmer for et sæt funktionspositioner, hvis de stemmer overens med nøglepunktets placering, skala og orientering. Områder , der akkumulerer mindst 3 stemmer, betragtes som kandidater til objekt-/positionsmatchning.
For hver klyngekandidat opnår vi en mindste kvadraters løsning til de bedste affine projektionsestimater, der relaterer træningsbillederne til inputbilledet. Hvis projektionen af nøglepunktet gennem disse parametre ligger inden for halvdelen af det fejlinterval, der blev brugt til parametrene i Hough-transformationsområderne, bibeholdes nøglepunktkorrespondancen. Hvis der er mindre end 3 point tilbage efter at have kasseret outliers for regionerne, afvises matchningen for objektet. Mindste kvadraters tilpasning gentages, så længe noget kan kasseres. Dette fungerer bedre til flade objektgenkendelse, men ikke til 3D objektgenkendelse, fordi den affine model bliver upålidelig for 3D objekter.
Papiret af Sirmachek og Unsalan [25] foreslår en ny tilgang til at bruge SIFT-deskriptorer til at allokere flere objekter. Den foreslåede metode til registrering af flere objekter blev testet på luft- og satellitbilleder.

SIFT-funktioner kan i princippet anvendes på ethvert problem, hvor billedmatchning er påkrævet. Der kan arbejdes på applikationer såsom genkendelse af specifikke kategorier af objekter i 2D-billeder, rekonstruktion af 3D-objekter, bevægelsessporing og segmentering, robotplacering, panoramabilledsammensætning og epipolær kalibrering . Nogle af disse applikationer diskuteres mere detaljeret nedenfor.

Robottens og kortets placering

Denne applikation [26] bruger et stereo trinokulært system til at estimere 3D-placeringen af et cue point. Nøglepunkter bruges kun, når de vises i alle 3 billeder med konsekvente uoverensstemmelser, hvilket resulterer i meget sjældne frafald. Når robotten bevæger sig, bestemmer den dens placering ved hjælp af funktionsrelationer med det eksisterende 3D-kort og tilføjer derefter trinvist funktioner til kortet, mens den opdaterer 3D-positionen ved hjælp af et Kalman-filter. Dette giver en pålidelig og præcis løsning på problemet med at lokalisere en robot i et ukendt miljø.

Panoramasyning

SIFT-funktionsmatchning kan bruges til billedsammensætning til fuldautomatisk panoramakonstruktion fra ikke-panoramiske rammer. SIFT-funktionerne udtrukket fra inputbillederne matches mod hinanden for at finde k nærmeste naboer i hvert billede. Disse matches bruges derefter til at finde m billedmatchende kandidater for hvert billede. Homografierne mellem par af billeder beregnes derefter ved hjælp af RANSAC ( Random sample consensus ), og en probabilistisk model bruges til verifikation . Da der ikke er nogen begrænsninger på inputbillederne, anvendes en grafsøgning på de tilsluttede billedmatchende komponenter, så hver tilsluttet komponent matcher et panorama. Til sidst, for hver tilsluttet komponent, udføres blokjustering for at løse kameraparametrene, og panoramaet behandles ved hjælp af multi -band blending . På grund af den SIFT-inspirerede tilgang til genkendelse af objekter til panoramasyning er det resulterende system ufølsomt over for billedrækkefølge, orientering, skala og belysning. Indgangsbillederne kan indeholde flere panoramaer og billedstøj (hvoraf nogle måske ikke engang er en del af det sammensatte billede) [27] .

3D-scenemodellering, -genkendelse og -sporing

Denne applikation bruger SIFT-funktioner til 3D-objektgenkendelse og 3D-modellering sammenhæng med augmented reality , hvor de skabte kunstige objekter i en præcis positur overlejres på rigtige billeder. Et SIFT-match er defineret for flere 2D-billeder af en scene eller et objekt taget fra forskellige vinkler. Dette bruges med blokjustering til at bygge en sparsom 3D-model af den pågældende scene og samtidig gendanne kamerapositioner og kalibreringsparametre. Derefter bestemmes det virtuelle objekts position, orientering og størrelse i forhold til rammekoordinaterne for den betragtede model. Til online positionssporing udvindes SIFT-funktioner fra den aktuelle videoramme og matches med allerede beregnede funktioner, hvilket resulterer i et sæt 2D-til-3D-matches. Disse matches bruges derefter til at beregne den aktuelle kameraposition til virtuel projektion og slutbehandling. Reguleringsteknikken bruges til at reducere jitter i den virtuelle projektion [28] . SIFT 3D-udvidelser er også blevet implementeret til at genkende og fremhæve rigtige 3D -objekter [29] [30] .

3D SIFT-lignende deskriptorer til genkendelse af menneskelige handlinger

Udvidelser af SIFT-deskriptoren til 2+1-dimensionelle rumlige tidsdata er blevet undersøgt i forbindelse med genkendelse af menneskelige handlinger i video [29] [31] [32] [33] . Oprettelsen af lokale positionsafhængige histogrammer i 2D SIFT-algoritmen udvides fra 2D til 3D for at beskrive SIFT-funktionerne i rum-tid-domænet. Til anvendelse til genkendelse af menneskelige handlinger i video udføres træningsvideoer enten fra specifikke spatiotemporale punkter eller på et tilfældigt sted, tidspunkt og skala. Rum-tid-regionerne omkring disse enestående punkter beskrives derefter ved hjælp af en 3D SIFT-deskriptor. Disse deskriptorer samles derefter i en " pose med ord " spatiotemporal model . 3D SIFT-beskrivelser, der er udtrukket fra testklip, matches mod disse ord for at klassificere menneskelige handlinger.

Forfatterne hævder, at deres 3D SIFT-deskriptor yder væsentligt bedre end andre tilgange såsom simple 2D SIFT-deskriptorer og gradientværdi [34] .

Analyse af den menneskelige hjerne i 3D magnetisk resonansbilleddannelse

Den funktionsbaserede morfometri ( FBM) teknik [35] [35] bruger ekstrema i forskellen mellem det Gaussiske skaleringsrum MRI'er(resonansbilledermagnetiskeat analysere og klassificere 3DtilFBM modellerer et billede sandsynligt som en collage af uafhængige træk bestemt af billedgeometri og etiketgrupper, såsom sunde genstande og genstande svarende til Alzheimers sygdom. Funktionerne udtrækkes først til individuelle billeder fra en 4D Gaussisk skaleringsforskel, og modelleres derefter med hensyn til deres udseende, geometri og statistik om samtidig forekomst i en gruppe på tværs af flere billeder. FBM er blevet valideret i Alzheimers sygdomsanalyse med et sæt af ~200 volumetrisk billeddannelse (MRI) af den menneskelige hjerne, der automatisk detekterer etablerede indikatorer for Alzheimers sygdom i hjernen og klassificerer ikke-akutte sygdomme i nye billeder med en rate på 80 % [ 35] .

Konkurrerende metoder

Konkurrerende metoder til skala-invariant objektgenkendelse under støj og delvis overlapning er som følger.

RIFT [36] : Rotations -invariant generalisering af SIFT . RIFT-deskriptoren er konstrueret ved hjælp af cirkulære normaliserede skiver opdelt i koncentriske ringe med samme bredde, og inden for hver ring beregnes et histogram af gradientens retning. For at opnå rotationsinvarians måles orienteringen ved hvert punkt i forhold til retningen fra midten.

G-RIF [37] : Generaliseret Robust Invariant Feature er en generel kontekstdeskriptor, der koder kantorientering, kanttæthed og farveinformation i en enkelt nøgle, der kombinerer perceptuel information med rumlig kodning. Objektgenkendelsesskemaet bruger nabokonteksten til at evaluere objektmodeller baseret på afstemning.

"SURF" [38] : Speeded Up Robust Features er højtydende skala- og rotationsinvariante detektorer/deskriptorer, der hævdes at nærme sig eller endda overgå tidligere foreslåede skemaer med hensyn til reproducerbarhed, klarhed og pålidelighed. SURF er afhængig af fuld foldningsbilleder for at reducere beregningstiden og er baseret på styrken af førende eksisterende detektorer og deskriptorer (ved at bruge et hurtigt mål baseret på den hessiske matrix for detektorer og sandsynlighedsfordelingsbaserede deskriptorer). Den beskriver fordelingen af Haar wavelet -reaktionerne blandt enkeltpunktets naboer. Fuld billeder bruges til fremskyndelse, og kun 64-dimensionelle funktionsvektorer bruges til at reducere beregnings- og matchningstid. Indekseringstrinnet er baseret på tegnet for Laplacian , hvilket øger matchningshastigheden og robustheden af deskriptoren.

PCA-SIFT [39] og GLOH [19] er varianter af SIFT. PCA-SIFT-deskriptoren er en vektor af billedgradienter i x- og y-retningerne beregnet i det understøttede område. Gradientområdet er opdelt i 39×39 steder, så vektorens dimension er 3042. Dimensionen reduceres til 36 ved hjælp af hovedkomponenternes metode . Lokationsorienteringsgradienthistogram ( GLOH ) er en udvidelse af SIFT-deskriptoren og blev udviklet for at øge dens robusthed og skelnbarhed. SIFT-deskriptoren beregnes i logaritmiske polære koordinater af et positionsgitter med tre områder i de radiale retninger (radius sat til 6, 11 og 15) og 8 i vinkelretningerne, hvilket resulterer i 17 områder. Det centrale område er ikke opdelt i vinkelretninger. Gradientretningerne er kvantificeret i 16 områder, hvilket resulterer i et histogram med 272 områder. Størrelsen af denne deskriptor er reduceret af principal komponent metoden . Kovariansmatricen for Principal Component Method evalueres på stykker indsamlet fra forskellige billeder. De 128 største egenvektorer bruges til beskrivelsen.

Gauss-SIFT [21] er en ren billeddeskriptor defineret ved at måle alle billeder af den underliggende SIFT-deskriptor med en Gaussisk afledt, snarere end at tilnærme den afledede i en billedpyramide, som det gøres i standard SIFT. Med denne tilgang kan effekten af diskretisering af rum og skala reduceres til et minimum, hvilket potentielt kan resultere i mere nøjagtige billeddeskriptorer. Lindeberg [21] kombinerede sådanne Gauss-SIFT billeddeskriptorer med et sæt af generaliserede entals punktskala rum, inklusive Gauss Laplacian, den Hessiske determinant, fire nye karakteristiske mål for den usignerede og signerede Hessian, samt Harris-Laplace og Shea -Thomas enestående pointer. I en intensiv eksperimentel kørsel på en database med reklametavler indeholdende flere transformationer af 12 reklametavler med hensyn til zoom op til 6x og synsretningen op til en vinkel på 45 grader, blev det vist, at en signifikant stigning i billedbehandlingseffektiviteten (højere effektivitet scores og lavere scores 1 -nøjagtighed) kan opnås ved at erstatte Laplacian af Gaussian af entalspunkterne med determinanten for Hessian af entalspunkterne. Da den singularpunkt Gaussisk forskel antager en numerisk tilnærmelse af Laplacian af singularpunktet Gaussian, viser dette, at det er muligt at øge matchningsydelsen signifikant ved at erstatte singularpunktet Hessian forskel i SIFT med singulære punkt Hessian determinant. Yderligere præstationsgevinster kan opnås yderligere ved at overveje et usigneret hessisk trækstyrkemål eller 0 på anden måde. En numerisk sammenligning mellem Gauss-SIFT-deskriptoren og den tilsvarende Gauss-SURF-deskriptor viste også, at Gauss-SIFT generelt klarer sig væsentligt bedre end Gauss-SURF for et stort antal forskellige singulære punktskala-rumdetektorer. Undersøgelsen viser således, at SIFT-billeddeskriptor-diskretiseringseffektreduktionen er væsentligt bedre end SURF-billeddeskriptoren, dog er funktionspunktdetektoren i SURF, som kan betragtes som en numerisk tilnærmelse til ekstremum i skalarummet af den hessiske determinant, er væsentligt bedre end funktionspunktdetektoren i SIFT. $D_{1}L=\operatørnavn {det} HL-k\,\operatørnavn {trace} ^{2}HL\,{\mbox{if}}\operatørnavn {det} HL-k\,\operatørnavn {trace} ^{2}HL>0$

Wagner og kolleger har udviklet to objektgenkendelsesalgoritmer, der er specielt tilpasset begrænsningerne af eksisterende mobiltelefoner [40] . I modsætning til den klassiske tilgang bruger SIFT Wagner et al. FAST hjørnedetekteringsalgoritmen til funktionsdetektion. Algoritmen indeholder også en offline forberedelsesfase, hvor funktioner oprettes på forskellige zoomniveauer, og en online fase, hvor funktioner kun genereres til et fast zoomniveau på telefonens kamera. Derudover oprettes funktionerne kun fra faste områder på 15×15 pixels, og der oprettes kun en 36-dimensionel SIFT-deskriptor. Tilgangen blev yderligere udvidet ved integration med Scalable Vocabulary Tree [41 ] . Dette muliggør effektiv genkendelse af et stort antal objekter af mobiltelefonen. Fremgangsmåden er primært begrænset af mængden af tilgængelig RAM .

KAZE og A-KAZE (KAZE Features and Kaze Boosted Features) er en ny 2D-funktionsdetektions- og karakteriseringsmetode, der yder bedre end SIFT og SURF. Det har vundet stor popularitet på grund af det faktum, at det distribueres frit og har åbne kildekoder. Algoritmen er heller ikke patenteret. KAZE blev skabt af Pablo F. Alcantarilla, Adrien Bartoli og Andrew J. Davison [42] .

Se også

Konvolutionelt neuralt netværk
Billedsammensætning
Zoom mellemrum
SLAM
Struktur efter sæt billeder

Noter

↑ 12 USA _ Patent 6.711.293 , "Metode og apparat til at identificere skala-invariante træk i et billede og brug af samme til at lokalisere et objekt i et billede", David Lows patent for SIFT-algoritmen, 23. marts 2004
↑ 1 2 3 4 Lowe, 1999 , s. 1150-1157.
↑ 1 2 3 4 5 6 Lowe, 2004 , s. 91-110.
↑ Koenderink, van Doorn, 1987 , s. 383-396.
↑ Koenderink, van Doorn, 1992 , s. 597-605.
↑ Lindeberg:BICY, 2013 , s. 589-635.
↑ Lindeberg:AdvImg, 2013 , s. 1-96.
↑ Lindeberg:PLOS ONE, 2013 .
↑ 12 Lindeberg , 2014 , s. 701-713.
↑ 12 Lindeberg , 1994 .
↑ 1 2 Lindeberg, 1998 , s. 79-116.
↑ 12 Lindeberg , 2012 , s. 10491.
↑ Serre, Kouh, Cadieu, Knoblich, Kreiman, Poggio, 2005 .
↑ 1 2 Beis, Lowe, 1997 , s. 1000-1006.
↑ Lowe, 2001 , s. 682-688.
↑ 1 2 Lindeberg, Bretzner, 2003 , s. 148-163.
↑ Bretzner, Laptev, Lindeberg, 2002 , s. 423-428.
↑ 12 Kirchner , 2016 , s. 291-295.
↑ 1 2 Mikolajczyk, Schmid, 2005 , s. 1615-1630
↑ TU-chemnitz.de (downlink) . Hentet 12. november 2018. Arkiveret fra originalen 22. maj 2011. (ubestemt)
↑ 1 2 3 4 5 Lindeberg, 2015 , s. 3-36.
↑ Oyallon, Rabin, 2015 .
↑ Cui, Hasler, Thormaehlen, Seidel, 2009 .
↑ Toews, Wells III, 2009 , s. 172-177.
↑ Sirmacek, Unsalan, 2009 , s. 1156-1167.
↑ Se, Lowe, Little, 2001 , s. 2051.
↑ Brown, Lowe, 2003 , s. 1218-1225.
↑ Gordon, Lowe, 2006 , s. 67-82.
↑ 1 2 Flitton, Breckon, 2010 , s. 11.1-12.
↑ Flitton, Breckon, Megherbi, 2013 .
↑ Laptev, Lindeberg, 2004 , s. 91-103.
↑ Laptev, Caputo, Schuldt, Lindeberg, 2007 , s. 207-229.
↑ Scovanner, Ali, Shah, 2007 , s. 357-360.
↑ Niebles, Wang, Li, 2006 , s. 1156-1167.
↑ 1 2 3 Toews, Wells III, Collins, Arbel, 2010 , s. 2318-2327.
↑ Lazebnik, Schmid, Ponce, 2004 .
↑ Kim, Yoon, Kweon, 2006 .
↑ Bay, Tuytelaars, van Gool, 2006 .
↑ Ke, Sukthankar, 2004 .
↑ Wagner, Reitmayr, Mulloni, Drummond, Schmalstieg, 2008 .
↑ Henze, Schinke, Boll, 2009 .
↑ KAZE funktioner . Hentet 12. november 2018. Arkiveret fra originalen 3. november 2018. (ubestemt)

Litteratur

David G. Lowe. Objektgenkendelse fra lokale skala-invariante funktioner // Proceedings of the International Conference on Computer Vision . - 1999. - T. 2. - S. 1150-1157. - doi : 10.1109/ICCV.1999.790410 .
David G. Lowe. Karakteristiske billedtræk fra skala-invariante nøglepunkter // International Journal of Computer Vision. - 2004. - T. 60 , no. 2 . - S. 91-110 . - doi : 10.1023/B:VISI.0000029664.99615.94 .
Serre T., Kouh M., Cadieu C., Knoblich U., Kreiman G., Poggio T. A Theory of Object Recognition: Computations and Circuits in the Feedforward Path of the Ventral Stream in Primate Visual Cortex // Computer Science and Artificial Intelligence Laboratory Technical Report, 19. december 2005. - MIT-CSAIL-TR-2005-082, 2005.
Beis J., David G. Lowe. Formindeksering ved hjælp af omtrentlig søgning efter nærmeste nabo i højdimensionelle rum // Conference on Computer Vision and Pattern Recognition, Puerto Rico: sn . - 1997. - S. 1000-1006. - doi : 10.1109/CVPR.1997.609451 .
David G. Lowe. Lokal feature view clustering til 3D objektgenkendelse // IEEE Conference on Computer Vision and Pattern Recognition. - Kauai, Hawaii, 2001. - S. 682-688.
Lazebnik S., Schmid C., Ponce J. Semi-Local Affine Parts for Object Recognition // Proceedings of the British Machine Vision Conference . – 2004.
Sungho Kim, Kuk-Jin Yoon, In So Kweon. Objektgenkendelse ved hjælp af en generaliseret robust invariant funktion og gestaltens lov om nærhed og lighed // Workshop om computersyn og mønstergenkendelse (CVPRW'06). – 2006.
Bay H., Tuytelaars T., van Gool L. SURF: Speeded Up Robust Features // Proceedings of the Ninth European Conference on Computer Vision . – 2006.
Ke Y., Sukthankar R. PCA-SIFT: En mere karakteristisk repræsentation for lokale billedbeskrivelser // Computer Vision and Pattern Recognition . – 2004.
Mikolajczyk K., Schmid C. En præstationsevaluering af lokale deskriptorer // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2005. - T. 27 , no. 10 . - S. 1615-1630 . - doi : 10.1109/TPAMI.2005.188 . — PMID 16237996 .
Wagner D., Reitmayr G., Mulloni A., Drummond T., Schmalstieg D. Posesporing fra naturlige træk på mobiltelefoner // Proceedings of the International Symposium on Mixed and Augmented Reality . - 2008. Arkiveret 12. juni 2009 på Wayback Machine
Henze N., Schinke T., Boll S. Hvad er det? Objektgenkendelse fra naturlige funktioner på en mobiltelefon // Proceedings of the Workshop on Mobile Interaction with the Real World . – 2009.
Tony Lindeberg. Funktionsdetektion med automatisk skalavalg // International Journal of Computer Vision. - 1998. - T. 30 , no. 2 . - S. 79-116 . - doi : 10.1023/A:1008045108935 .
Tony Lindeberg. Skala invariant feature transform // Scholarpedia. - 2012. - Vol. 7 , nr. 5 . - S. 10491 . doi : 10.4249 /scholarpedia.10491 .
Tony Lindeberg, Lars Bretzner. Skalavalg i realtid i hybrid multi-skala repræsentationer // Proc. Scale-Space'03, Springer Lecture Notes in Computer Science. - 2003. - T. 2695 . - S. 148-163 . - ISBN 978-3-540-40368-5 . - doi : 10.1007/3-540-44935-3_11 .
Edouard Oyallon, Julien Rabin. En analyse og implementering af SURF-metoden og dens sammenligning med SIFT // Image Processing On Line. – 2015.
Cui Y., Hasler N., Thormaehlen T., Seidel H.-P. Skala-invariant funktionstransformation med uregelmæssig orientering Histogram Binning // Proceedings of the International Conference on Image Analysis and Recognition (ICIAR 2009) . — Halifax, Canada: Springer, 2009. Arkiveret 23. september 2010 på Wayback Machine
Matthew Toews, William M. Wells III. SIFT-Rank: Ordinal Descriptors for Invariant Feature Correspondence // IEEE International Conference on Computer Vision and Pattern Recognition . - 2009. - S. 172-177. - doi : 10.1109/CVPR.2009.5206849 .
Vision-baseret mobil robot lokalisering og kortlægning ved hjælp af skala-invariante funktioner // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA) . - 2001. - T. 2. - S. 2051. - doi : 10.1109/ROBOT.2001.932909 .
Brown M., David G. Lowe. Recognizing Panoramas // Proceedings of the niende IEEE International Conference on Computer Vision . - 2003. - T. 2. - S. 1218-1225. - doi : 10.1109/ICCV.2003.1238630 .
Iryna Gordon, David G. Lowe. Hvad og hvor: 3D-objektgenkendelse med nøjagtig positur // Mod objektgenkendelse på kategoriniveau . — Springer-Verlag, 2006.
Ivan Laptev, Tony Lindeberg. Lokale deskriptorer for rumlig-temporal genkendelse // ECCV'04 Workshop on Spatial Coherence for Visual Motion Analysis, Springer Lecture Notes in Computer Science, bind 3667 . - 2004. - S. 91-103. - doi : 10.1007/11676959_8 .
Ivan Laptev, Barbara Caputo, Christian Schuldt, Tony Lindeberg. Lokale hastighedstilpassede bevægelseshændelser til rumlig-temporal genkendelse // Computer Vision og billedforståelse. - 2007. - T. 108 , no. 3 . - S. 207-229 . - doi : 10.1016/j.cviu.2006.11.023 .
Paul Scovanner, Ali S., Shah M. En 3-dimensionel sigtedeskriptor og dens anvendelse på handlingsgenkendelse // Proceedings of the 15th International Conference on Multimedia. - 2007. - S. 357-360. - doi : 10.1145/1291233.1291311 .
Flitton G., Breckon T. Objektgenkendelse ved hjælp af 3D SIFT i komplekse CT-volumener // Proceedings of the British Machine Vision Conference . - 2010. - S. 11.1-12. - doi : 10.5244/C.24.11 .

Niebles JC, Wang H., Fei-Fei Li. Uovervåget indlæring af menneskelige handlingskategorier ved hjælp af rumlige og tidsmæssige ord // Proceedings of the British Machine Vision Conference (BMVC) . — Edinburgh, 2006. Arkiveret 5. juli 2008 på Wayback Machine
Beril Sirmacek, Cem Unsalan. Byområde og bygningsdetektering ved hjælp af SIFT-nøglepunkter og grafteori // IEEE-transaktioner på geovidenskab og fjernmåling. - 2009. - T. 47 , no. 4 . - S. 1156-1167 . - doi : 10.1109/TGRS.2008.2008440 .

Matthew Toews, William M. Wells III, D. Louis Collins, Tal Arbel. Funktionsbaseret morfometri: Opdagelse af grupperelaterede anatomiske mønstre // NeuroImage. - 2010. - T. 49 , no. 3 . - S. 2318-2327 . - doi : 10.1016/j.neuroimage.2009.10.032 . — PMID 19853047 .
Lindeberg T. Skala-rumteori i computersyn . - Kluwer Academic Publishers, 1994. - ISBN 0-7923-9418-6 .
Jan Koenderink, Ans van Doorn. Repræsentation af lokal geometri i det visuelle system // Biologisk kybernetik. - 1987. - T. 3 . - S. 383-396 .
Jan Koenderink, Ans van Doorn. Generiske nabolagsoperatører // IEEE-transaktioner på mønsteranalyse og maskinintelligens. - 1992. - T. 14. - S. 597-605.
Lindeberg T. Skalavalg // Computer Vision: A Reference Guide / Ikeuchi K.. - Springer, 2014. - S. 701-713.
Lindeberg T. Invarians af visuelle operationer på niveau med receptive felter (engelsk) // PLOS One . - Public Library of Science , 2013. - Vol. 8 , iss. (7): e66990 .
Lindeberg T. En beregningsteori om visuelle receptive felter // Biologisk kybernetik. - 2013. - T. 107 , no. 6 . - S. 589-635 .
Lindeberg T. Generaliseret aksiomatisk skala-rumteori // Advances in Imaging and Electron Physics. - 2013. - T. 178 . - S. 1-96 .
Flitton GT, Breckon TP, Megherbi N. En sammenligning af 3D-interessepunktsbeskrivelser med anvendelse til registrering af lufthavnsbagageobjekter i komplekse CT-billeder // Mønstergenkendelse. - Elsevier, 2013. - doi : 10.1016/j.patcog.2013.02.008 .
Matthew Toews, William M. Wells III, D. Louis Collins, Tal Arbel. Funktionsbaseret morfometri: Opdagelse af grupperelaterede anatomiske mønstre // NeuroImage. - 2010. - T. 49 , no. 3 . - S. 2318-2327 . - doi : 10.1016/j.neuroimage.2009.10.032 . — PMID 19853047 .
Lindeberg T. Billedmatchning ved hjælp af generaliserede skala-rum-interessepunkter // Journal of Mathematical Imaging and Vision. - 2015. - T. 52 . - S. 3-36 .
Matthew R. Kirchner. Automatisk tærskelværdi for SIFT-deskriptorer // Image Processing (ICIP), 2016 IEEE International Conference on. - IEEE, 2016. - S. 291-295.
Lars Bretzner, Ivan Laptev, Tony Lindeberg. Håndbevægelsesgenkendelse ved hjælp af flerskala farvefunktioner, hierarkiske modeller og partikelfiltrering // Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition . - Washington, DC, USA, 2002. - S. 423-428. - ISBN 0-7695-1602-5 . - doi : 10.1109/AFGR.2002.1004190 .