Neural processor
En neural processor ( eng. Neural Processing Unit, NPU eller AI accelerator eng. AI accelerator ) er en specialiseret klasse af mikroprocessorer og coprocessorer (ofte som et specialiseret integreret kredsløb ), der bruges til hardwareacceleration af kunstige neurale netværksalgoritmer , computersyn , stemme genkendelse , maskinlæring og andre metoder til kunstig intelligens [1] .
Beskrivelse
Neurale processorer er relateret til computing og bruges til hardwareacceleration af neurale netværksemulering og digital signalbehandling i realtid . Som regel indeholder neuroprocessoren registre , push-pull -hukommelsesblokke , en switch og en computerenhed, der indeholder en multiplikationsmatrix , dekodere , flip- flops og multipleksere [2] .
På nuværende stadie (fra 2017) kan klassen af neurale processorer omfatte typer chips af forskellig design og specialisering , for eksempel:
- Neuromorfe processorer er bygget på en asynkron klyngearkitektur udviklet ved Cornell University (fundamentalt forskellig fra de von Neumann og Harvard computerarkitekturer, der er brugt i it - industrien i de sidste 70 år). I modsætning til traditionelle computerarkitekturer er logikken i neuromorfe processorer oprindeligt højt specialiseret til skabelse og udvikling af forskellige typer kunstige neurale netværk . Enheden bruger almindelige transistorer , hvorfra computerkernerne er bygget (hver kerne indeholder som regel en opgaveplanlægger, sin egen SRAM -hukommelse og en router til kommunikation med andre kerner), hver af kernerne emulerer arbejdet med flere hundrede neuroner og dermed et integreret kredsløb, der indeholder flere tusinde sådanne kerner, kan algoritmisk genskabe en række af flere hundrede tusinde neuroner og en størrelsesorden flere synapser . Som regel bruges sådanne processorer til dybe maskinlæringsalgoritmer [3] .
- Tensorprocessorer - enheder er som regel coprocessorer styret af den centrale processor , der opererer med tensorer - objekter, der beskriver transformationen af elementer i et lineært rum til et andet og kan repræsenteres som multidimensionelle arrays af tal [4] , som behandles ved hjælp af sådanne softwarebiblioteker , som for eksempel TensorFlow . De er normalt udstyret med deres egen indbyggede RAM og opererer med lav-bit (8-bit) tal og er højt specialiserede til at udføre operationer såsom matrix multiplikation og foldning , der bruges til at emulere foldningsneurale netværk , som bruges til maskine indlæringsproblemer [5] .
- Machine vision-processorer - Ligner på mange måder til tensor-processorer, men de er højt specialiserede til at fremskynde machine vision -algoritmer , der bruger convolutional neural network (CNN) og scale-invariant feature transformation (SIFT) teknikker. De lægger stor vægt på at parallelisere datastrømmen på tværs af flere eksekveringskerner , herunder brugen af scratchpad- modellen. - som i multi-core digitale signalprocessorer , og de, ligesom tensor-processorer, bruges til beregninger med lav nøjagtighed, vedtaget i billedbehandling [6] .
Historie
Ansøgninger
Eksempler
Eksisterende produkter
- Machine vision processorer :
- Tensor processorer :
- Google TPU ( eng. Tensor Processing Unit ) - præsenteret som en accelerator for Google TensorFlow -systemet , som er meget udbredt til foldende neurale netværk. Fokuseret på en stor mængde 8-bit præcisionsaritmetik [5] .
- Huawei Ascend 310 / Ascend 910 er de to første AI-optimerede chips fra Huaweis Ascend-linje [13] .
- Intel Nervana NNP( eng. Neural Network Processor ) er den første kommercielt tilgængelige tensorprocessor designet til at bygge dybe læringsnetværk [14] , Facebook var en partner i deres designproces [15] [16] .
- Qualcomm Cloud AI 100 er en kunstig intelligens-accelerator designet til brug som en del af cloud-platforme, der understøtter PyTorch , Glow , TensorFlow , Keras og ONNX softwarebiblioteker [17] .
- Neuromorfe processorer :
- IBM TrueNorth er en neuromorf processor bygget på princippet om interaktion mellem neuroner snarere end traditionel aritmetik. Pulsfrekvensen repræsenterer intensiteten af signalet. Fra 2016 er der ingen konsensus blandt AI-forskere om dette er den rigtige vej at gå [18] , men nogle resultater er lovende, med store energibesparelser demonstreret for maskinsynsopgaver [19] .
- Adapteva helligtrekonger - designet som en coprocessor, inkluderer en notesblok-hukommelsesmodel netværk på en chip, nærmer sig informationsflow-programmeringsmodellen, som burde være velegnet til mange maskinlæringsproblemer.
- ComBox x64 Movidius PCIe Blade-kort - PCI Express -udvidelseskort med maksimal VPU-densitet Intel Movidius (MyriadX) til at udlede ultrapræcise neurale netværk i datacentret
- CambriconMLU100 er et 64 TFLOPS halvpræcision AI-processor PCI Express -udvidelseskort eller 128 TOPS til INT8-beregninger [20] .
- Cerebras Wafer Scale Engine (WSE, CS-1) - Cerebras 'eksperimentelle superprocessor , indeholder 1,2 billioner transistorer organiseret i 400.000 AI-optimerede computerkerner og 18 GB lokalt distribueret SRAM , alle forbundet med et mesh-netværk med en samlet ydeevne på 100 petabits per sekund . Cerebras chippen er faktisk en supercomputer på en chip, hvor SLAC (Sparse Linear Algebra Cores) computerkerner er fuldt programmerbare og kan optimeres til at arbejde med alle neurale netværk [21] .
- KnuPath - KnuEdge processor, designet til at fungere i talegenkendelsessystemer og andre områder inden for maskinlæring, den bruger LambdaFabric-konnektorteknologien og giver dig mulighed for at kombinere op til 512 tusinde processorer i et enkelt system [22] .
GPU- produkter
- Nvidia Tesla er en serie dedikerede GPGPU - produkter fra Nvidia [23] :
- Nvidia Volta - grafikprocessorer (GPU'er) af Volta-arkitekturen (2017) fra Nvidia (såsom Volta GV100), indeholder op til 640 specielle kerner til tensor-beregning [1] .
- Nvidia Turing - Turing-arkitektur-GPU'er (2018) fra Nvidia (såsom Nvidia TU104), indeholder op til 576 specielle kerner til tensor-beregning [24] .
- Nvidia DGX-1 - en specialiseret server bestående af 2 centrale processorer og 8 Nvidia Volta GV100 GPU'er(5120 tensorkerner) forbundet via den hurtige NVLink- bus [25] . Dedikeret hukommelsesarkitekturdette system er særligt velegnet til at opbygge deep learning netværk [26] [27] .
- AMD Radeon Instinct er et specialiseret AMD GPGPU- kort , der tilbydes som en accelerator til deep learning-opgaver [28] [29] .
AI-acceleratorer i form af interne coprocessorer (AI-hardwareenheder)
Forsknings- og udviklingsprodukter
- Indian Institute of Technology Madrasudvikler en accelerator baseret på impulsneuroner til nye RISC-V arkitektursystemer rettet mod at behandle big data på serversystemer [34] .
- øjenbryn - Udvikling fokuseret på foldede neurale netværk ved hjælp af notebook-hukommelse og netværksarkitektur i krystallen.
- Fujitsu DLUer en Fujitsu multi-blok og multi-core coprocessor, der bruger lavpræcisionsberegninger og er designet til dyb maskinlæring [35] .
- Intel Loihier Intels neuromorfe processor , der kombinerer læring, træning og beslutningstagning i en enkelt chip, hvilket tillader systemet at være autonomt og "smart" uden at være forbundet til skyen . For eksempel, når man træner med MNIST-databasen (Mixed National Institute of Standards and Technology), er Loihi-processoren 1 million gange bedre end andre typiske neurale netværk med spidser [36] .
- Kalray — viste MPPA[37] og rapporterede en stigning i effektiviteten af konvolutionelle neurale netværk sammenlignet med GPU'er .
- SpiNNaker er en massivt parallel computerarkitektur, der kombinerer kernerne i en traditionel ARM-arkitektur med en avanceret netværksramme, der er specialiseret til simulering af store neurale netværk.
- Nul NPU er en udvikling fra Qualcomm , der sigter direkte på at bringe tale- og billedgenkendelsesfunktioner til mobile enheder [38] .
- IVA TPU er en tensorprocessor udviklet af det russiske firma IVA Technologies [39] [40] . I oktober 2020, resultaterne [41] [42] af test af arkitekturen af IVA TPU neurale netværksaccelerator, udført af det internationale konsortium MLPerf (etableret i 2018 af Baidu , Google , Harvard University , Stanford University , University of California, Berkeley ) blev offentliggjort.
Noter
- ↑ 1 2 Populariteten af machine learning påvirker udviklingen af processorarkitektur . servernyheder. (31. august 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ Neuroprocessor, enhed til beregning af mætningsfunktioner, computerenhed og adder . FindPatent.RU. Hentet 17. november 2017. Arkiveret fra originalen 1. december 2017. (Russisk)
- ↑ IBM forsynede LLNL med TrueNorth neuroprocessorer for 1 million dollars . Computerra . (31. marts 2016). Hentet 17. november 2017. Arkiveret fra originalen 19. november 2017. (Russisk)
- ↑ Intel udvikler tensorprocessorer til kunstig intelligens . PC uge /RE. (22. november 2016). Hentet 17. november 2017. Arkiveret fra originalen 1. december 2017. (Russisk)
- ↑ 1 2 Detaljer om Google TPU Tensor Coprocessor . servernyheder. (25. august 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (Russisk)
- ↑ 1 2 Intel annoncerer Movidius Myriad X Vision Processor . 3D Nyheder . (29. august 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (Russisk)
- ↑ Nvidia Drive PX: Skalerbar AI-supercomputer til autonom kørsel . Nvidia . Hentet 17. november 2017. Arkiveret fra originalen 16. juli 2016. (ubestemt) (Engelsk)
- ↑ NVIDIA afslører Drive PX Pegasus, næste generations autopilotplatform . 3DNews (10. oktober 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt) (Russisk)
- ↑ Movidius driver verdens mest intelligente drone . Dato for adgang: 15. november 2017. Arkiveret fra originalen 9. august 2016. (ubestemt) (Engelsk)
- ↑ Qualcomm Research bringer maskinlæring i serverklasse til hverdagens enheder . Hentet 15. november 2017. Arkiveret fra originalen 8. august 2016. (ubestemt) (Engelsk)
- ↑ Design af et maskinsynssystem til ukrudtsbekæmpelse (utilgængeligt link) . Hentet 15. november 2017. Arkiveret fra originalen 23. juni 2010. (ubestemt) (Engelsk)
- ↑ Udviklingen af EyeQ . Hentet 18. november 2017. Arkiveret fra originalen 7. december 2017. (ubestemt)
- ↑ Huawei skabte verdens første AI-processorer, efter Elbrus-udvikleres vej , CNews (23. oktober 2018). Arkiveret fra originalen den 23. oktober 2018. Hentet 24. oktober 2018.
- ↑ Inden årets udgang vil Intel frigive "branchens første chip til behandling af neurale netværk" - Intel Nervana Neural Network Processor . iXBT.com (18. oktober 2017). Hentet 21. november 2017. Arkiveret fra originalen 15. november 2017. (Russisk)
- ↑ Intel afslører specialbygget neural netværksprocessor til dyb læring , Tech Report (17. oktober 2017). Arkiveret fra originalen den 24. november 2017. Hentet 17. november 2017.
- ↑ Intel Nervana Neural Network Processors (NNP) Omdefiner AI Silicon (17. oktober 2017). Arkiveret fra originalen den 20. oktober 2017. Hentet 17. november 2017.
- ↑ Qualcomm introducerede Cloud AI 100 kunstig intelligens-accelerator , Servernews.ru (10. april 2019). Arkiveret fra originalen den 10. april 2019. Hentet 16. april 2019.
- ↑ Jan LeKun på IBM TrueNorth . Hentet 15. november 2017. Arkiveret fra originalen 5. juli 2015. (ubestemt) (Engelsk)
- ↑ IBM åbner en ny æra med neuromorfisk databehandling . - "TrueNorth er utroligt effektiv: Chippen bruger kun 72 milliwatt ved maksimal belastning, hvilket svarer til omkring 400 milliarder synaptiske operationer pr. sekund pr. watt - eller omkring 176.000 gange mere effektiv end en moderne CPU, der kører den samme hjernelignende arbejdsbelastning, eller 769 gange mere effektiv end andre state-of-the-art neuromorfe tilgange". Hentet 15. november 2017. Arkiveret fra originalen 9. juli 2016. (ubestemt) (Engelsk)
- ↑ Det kinesiske firma Cambricon udvikler AI-chips til datacentre. (utilgængeligt link) . Hentet 15. juni 2018. Arkiveret fra originalen 16. juni 2018. (ubestemt)
- ↑ Cerebras er en AI-processor af utrolig størrelse og kraft . 3D Nyheder . (20. august 2019). Hentet 21. august 2019. Arkiveret fra originalen 20. august 2019. (ubestemt)
- ↑ KnuPath er en neuromorf processor af militær kvalitet . 3D Nyheder . (9. juni 2016). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ Computex: Nvidia-chefen ser ingen trussel i Googles tensorprocessor . " Åbne systemer ". (1. juni 2016). Hentet 17. november 2017. Arkiveret fra originalen 1. december 2017. (ubestemt)
- ↑ Hvad vil den nye NVIDIA Turing-arkitektur bringe til markedet? . 3D Nyheder. (14.08.2018). Hentet 17. august 2018. Arkiveret fra originalen 23. marts 2019. (ubestemt)
- ↑ NVIDIA Volta-æraen begyndte med Tesla V100-acceleratoren . servernyheder. (11. maj 2017). Hentet 17. november 2017. Arkiveret fra originalen 1. december 2017. (ubestemt)
- ↑ GTC Europe 2017: NVIDIA TensorRT 3-bibliotek fremskynder neurale netværk 18 gange sammenlignet med en universel løsning . servernyheder. (12. oktober 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ Ny russisk supercomputer designet til at træne neurale netværk . servernyheder. (1. september 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ AMD annoncerer Radeon Instinct: GPU Accelerators for Deep Learning, kommer i 2017 , Anandtech (12. december 2016). Arkiveret fra originalen den 12. december 2016. Hentet 12. december 2016.
- ↑ Radeon Instinct Machine Learning GPU'er inkluderer Vega, Preview Performance , PC Per (12. december 2016). Arkiveret fra originalen den 11. august 2017. Hentet 12. december 2016.
- ↑ Huawei løfter sløret for fremtiden for mobil AI ved IFA 2017. . Hentet 15. juni 2018. Arkiveret fra originalen 16. juni 2018. (ubestemt)
- ↑ CEVA NeuPro. En familie af AI-processorer til dyb læring på kanten. . Hentet 15. juni 2018. Arkiveret fra originalen 16. juni 2018. (ubestemt)
- ↑ iPhone X's nye neurale motor er et eksempel på Apples tilgang til kunstig intelligens , The Verge (13. september 2017). Arkiveret fra originalen den 15. september 2017. Hentet 17. november 2017.
- ↑ Imagination afslører nye PowerVR 2NX AI-acceleratorer , 3DNews (8. juni 2018). Arkiveret fra originalen den 16. juni 2018. Hentet 15. juni 2018.
- ↑ Indien forbereder RISC-V-processorer - Shakti målretter mod servere, IoT, analyser (downlink) . - "Shakti-projektet omfatter nu planer for mindst seks mikroprocessordesigns samt tilhørende stoffer og en acceleratorchip." Hentet 15. november 2017. Arkiveret fra originalen 3. juli 2017. (ubestemt) (Engelsk)
- ↑ Fujitsu udvikler tilpasset processor til AI-systemer . servernyheder. (24. juli 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ Intel afslører Loihi neuromorfisk processor . 3D Nyheder . (26. september 2017). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ Kalray MPPA . Hentet 15. november 2017. Arkiveret fra originalen 23. april 2016. (ubestemt) (Engelsk)
- ↑ Qualcomm viste Zeroth neuroprocessoren . Logmag.net (16. oktober 2013). Hentet 17. november 2017. Arkiveret fra originalen 17. november 2017. (ubestemt)
- ↑ indlejret verden. IVA TPU – DNN-inferensaccelerator // NeuroMatrix Architecture for Neural Network Applications | indlejret verden . www.embedded-world.de _ Hentet 30. november 2020. Arkiveret fra originalen 21. januar 2021.
- ↑ En original processorarkitektur er blevet skabt i Rusland, der kan presse NVidia ud . cnews.ru . Hentet 30. november 2020. Arkiveret fra originalen 25. november 2020. (ubestemt)
- ↑ Inferensresultater . _ MLPerf . Hentet 30. november 2020. Arkiveret fra originalen 28. november 2020.
- ↑ Sally Ward-Foxton. Benchmark for maskinlæring udvider understøttelse af edge, datacenter- arbejdsbelastninger ? . Embedded.com (3. november 2020). Hentet 30. november 2020. Arkiveret fra originalen 25. november 2020. (ubestemt)
Links