InfiniBand

Den aktuelle version af siden er endnu ikke blevet gennemgået af erfarne bidragydere og kan afvige væsentligt fra den version , der blev gennemgået den 10. juli 2019; checks kræver 13 redigeringer .

Infiniband (nogle gange forkortet IB ) er et højhastigheds- switched computernetværk, der bruges i højtydende computing, som har meget høj båndbredde og lav latenstid. Bruges også til interne forbindelser i nogle computersystemer. Fra 2014 var Infiniband det mest populære netværk for supercomputere . Infiniband - controllere ( værtsbusadapter ) og netværksswitches er fremstillet af Mellanox og Intel . Da Infiniband blev oprettet, var der indbygget skalerbarhed i det, bruger netværket en netværkstopologi baseret på switches ( Switched fabric ).

Som et kommunikationsnetværk for klynger konkurrerer Infiniband med Ethernet -standardgruppen og proprietære teknologier [1] såsom Cray og IBM. Når man bygger computernetværk, konkurrerer IB med Gigabit Ethernet , 10 Gigabit Ethernet og 40/100 Gigabit Ethernet . IB bruges også til at forbinde DAS- informationslagringsenheder . [2] Udviklingen og standardiseringen af ​​Infiniband-teknologier varetages af InfiniBand Trade Association[3] .

Kort beskrivelse

Som mange moderne busser , såsom PCI Express , SATA , USB 3.0 , bruger Infiniband differentielle par til at bære serielle signaler. De to par udgør tilsammen én grundlæggende tovejs seriel bus ( eng.  lane ), betegnet 1x. Basishastigheden er 2,5 Gbps i hver retning. Infiniband- porte består af en enkelt bus eller aggregerede grupper af 4x eller 12x grundlæggende tovejsbusser. De mest brugte porte er 4x [4] .

For havne er der flere former for dataoverførsel på busser. Tidligere tilstande brugte 8B/10B [5] -kodning til at balancere signalet (hver 8. bit data overføres over bussen som 10 bit) med 20 % overhead:

• Single Data Rate (SDR, 1999) - drift med en basishastighed på 2,5 Gb/s, effektiv hastighed (inklusive kodningsomkostninger) 2 Gb/s pr. bus
• Dobbelt datahastighed (DDR, 2004) - bithastigheden er lig med to gange basen (5 Gb/s, effektiv 4 Gb/s). 4x port har en fysisk hastighed på 20 Gbps og effektive 16 Gbps
• Quad Data Rate (QDR, 2008) - henholdsvis firdoblet (grundlæggende 10 Gb/s), effektiv til 4x 32 Gb/s porte.

Fra FDR-10-tilstand bruges meget mere økonomisk 64B/66B -kodning :

• Fjorten Data Rate 10 (FDR-10) - effektiv hastighed pr. 1x bus lidt over 10 Gb/s, for 4x 40 Gb/s porte
• Fourteen Data Rate (FDR, 2011) - base 1x bushastighed 14,0625 Gbps [6] , 4x port giver omkring 56 Gbps
• Enhanced Data Rate (EDR) - 1x hastighed 25,78125 Gbps, 4x - omkring 100 Gbps

Hovedformålet med Infiniband er inter-serverforbindelser, herunder til at organisere RDMA ( Remote Direct Memory Access ).

Ydeevne

Generation:	SDR	DDR	QDR	FDR-10	FDR	EDR	HDR	NDR
Effektiv gennemstrømning, Gbps, pr. 1x bus [7]	2	fire	otte	ti	fjorten	25	halvtreds	100
Effektive hastigheder til 4x og 12x busser, Gbps	8, 24	16, 48	32, 96	41,25, 123,75	54,54, 163,64	100, 300	200, 600	400, 1200
Kodning (bit)	8/10	8/10	8/10	64/66	64/66	64/66	64/66	64/66
Typiske forsinkelser, µs [8] [9]	5	2.5	1.3	0,7	0,7	0,5
År for optræden [10]	2001, 2003	2005	2007		2011	2014 [7]	~2017 [7]	senere 2020

Topologi og forbindelser

InfiniBand bruger et switchet medie med punkt-til-punkt-forbindelser, i modsætning til tidlige Ethernet-netværk, der brugte et delt medie og i første omgang en busforbindelse. Alle transmissioner begynder og slutter ved kanaladapteren. Hver computernode indeholder en HCA -adapter (værtskanaladapter) forbundet til processoren via PCI Express -grænsefladen (tidligere via PCI-X ). Data og kontroloplysninger sendes mellem adaptere, inklusive dem, der er nødvendige for at implementere QoS .

For perifere enheder var det meningen, at man skulle bruge TCA-adaptere (target channel adapter), men de har ikke vundet distribution, og sådanne perifere enheder er skabt på basis af standard bundkort [11] .

HCA-adaptere har normalt en eller to 4x-porte, som kan tilsluttes enten til de samme HCA- og TCA-porte eller til switche (switches). Switches kan organiseres i netværk med fedttrætopologier ( Fat Tree ), Close Network , sjældnere - multidimensional torus, dobbeltstjerne og i forskellige hybridkombinationer [5] [12] .

Infiniband 4x-porte og kabler kommer i følgende formfaktorer:

• CX4 (SFF-8470, f.eks. Fujitsu MicroGiGaCN), kun op til DDR-hastigheder (nogle gange op til QDR)
• QSFP (SFF-8435, SFF-8436, 40 Gbps)
• QSFP+ (QSFP14, SFF-8685, 56 Gbps)
• zQSFP+ (QSFP28, SFF-8665, 100 Gbps).

Sjældnere 12x-porte kommer i formfaktorer:

• 12x MicroGiGaCN (Fujitsu FCN-260C024) [5]
• CXP [13]

For at sikre maksimal gennemstrømning blev der besluttet at begrænse den tilladte længde af InfiniBand-kablet til 10 meter (kun aktivt kabel).

Infiniband kabler fås i forskellige designs:

• Passive elektriske kabler (kobbertrådede ledninger), normalt i meterenheder, nogle gange op til 30 m. For længere kabler er lavere hastigheder tilgængelige (7 m for QDR)
• Aktive elektriske kabler (samme, men med forstærkere, giver dig mulighed for en smule at øge den maksimale kabellængde for en given hastighed)
• Aktive optiske kabler med et integreret fiberoptisk kabel med en længde fra enheder til tiere og hundreder af meter.
• Aktive optiske moduler med MTP/MTO optisk stik til tilslutning af OM3/OM4 (8 fibre) eller SR4 eller LC/LC fiberoptiske kabler

Når der bruges universelle Infiniband/Ethernet-adaptere i en Ethernet-infrastruktur, kan der også bruges adaptere til SFP+-porte.

Infiniband-signaler kan rejse adskillige tommer på tværs af printkort, herunder gennem interne stik med passende frekvensrespons, så længe alle par i en port er næsten lige lange.

Protokoller og API'er

På datalinkniveau transmitterer InfiniBand data i form af pakker på op til 4 KB (kilobyte) lange, som efter kombination danner en besked. Nogle enheder understøtter en mindre maksimal pakkestørrelse, såsom 2 KB. Meddelelsestyper:

• hukommelsesadgang - læs eller skriv til modtagerens hukommelse (RDMA).
• kanaloperationer for videresendelse af meddelelser (afsenderen sender en meddelelse med data, modtageren modtager den i en forudtildelt buffer)
• transaktionsdrift
• transmission til flere modtagere (multicast, understøttes ikke af alle switches)
• atomisk drift til fjernværtshukommelse (atomisk addition og sammenlign-med-udveksling for 64-bit heltal)

Infiniband-meddelelser er opdelt i tjenester afhængigt af leveringsgarantier og behovet for at initialisere forbindelsen før udvekslingen:

• Reliable Connected (RC) - pålidelig levering, initialisering af forbindelsen mellem modtager og afsender er påkrævet
• Unreliable Connected (UC) - upålidelig levering, initialisering påkrævet
• Reliable Datagram (RD) er en valgfri tjeneste, der sjældent implementeres. Pålidelig levering uden initialisering
• Upålidelig datagram (UD) - upålidelig levering, kræver ikke initialisering
• Senere blev XRC-tjenesten [14] introduceret , der kombinerede nogle af egenskaberne ved RC og RD

Infiniband giver dig mulighed for at bruge princippet om RDMA ( engelsk  Remote Direct Memory Access  - remote direct memory access), hvor dataoverførsel fra hukommelsen på en fjerncomputer til rekvirentens lokale hukommelse udføres direkte af netværkscontrolleren, mens deltagelse af CPU'en i den eksterne node er udelukket. RDMA gør det muligt at overføre data uden yderligere buffering og kræver ikke aktiv drift af operativsystemet, bibliotekerne eller applikationen på den node, hvis hukommelse der tilgås.

Infiniband kan bruges med to generiske API'er på lavt niveau, der blev udviklet fra U-Net (Cornell, midten af ​​1990'erne) og VIA ( Virtual Interface Architecture , slutningen af ​​1990'erne) [15] :

• Infiniband verber ( IB verbs , OFED verbs ) - API standardisering fra Open Fabrics Alliance
• uDAPL (fra engelsk  User Direct Access Programming Library , også kDAPL, kernel DAPL) er en API-standard for en abstrakt direkte adgangstransport ( Engelsk  Direct Access Transport , DAT) fra DAT Collaborative .

Ved hjælp af verber eller uDAPL kan programmeringsgrænseflader og protokoller på højt niveau implementeres, især:

• MPI ( Message Passing Interface ) er en populær standard for meddelelsesoverførsel i computerklynger. Der er mange MPI-implementeringer, der understøtter Infiniband-netværk.
• SHMEM , GASnet og andre populære RDMA-grænseflader
• IPoIB (IP over Infiniband) er en gruppe af protokoller, der beskriver transmissionen af ​​IP-pakker over Infiniband [16] :
  • RFC 4390 "Dynamic Host Configuration Protocol (DHCP) over InfiniBand"
  • RFC 4391 "Transmission af IP over InfiniBand (IPoIB)"
  • RFC 4392 "IP over InfiniBand (IPoIB) Architecture"
• SRP ( SCSI RDMA Protocol ) er en  dataudvekslingsprotokol mellem SCSI -enheder, der bruger RDMA [16] . Defineret i ANSI INCITS 365-2002.
• DDP ( Direct Data Placement ): RFC  4296 er en arkitektur til implementering af Direct Data Placement (DDP) og Remote Direct Memory Access (RDMA) på internetnetværk.
• SDP ( Socket Direct Protocol ) er en  protokol til etablering af virtuelle forbindelser og dataudveksling mellem sockets over Infiniband [16] , dataoverførsel bruger ikke styresystemets TCP-stack, men bruger IP-adresser og kan bruge IPoIB til at løse dem.
• iSER ( iSCSI  Extensions for RDMA ) er en IETF-standard til tilpasning af iSCSI til RDMA-netværk [5]

Historie

InfiniBand blev født i 1999 fra fusionen af ​​to konkurrerende projekter: Future I/O og Next Generation I/O. På samme tid blev InfiniBand Trade Association dannet , som omfattede Compaq , Dell , Hewlett-Packard , IBM , Intel , Microsoft og Sun. [17]

Version 1.0 af InfiniBand-specifikationen, InfiniBand Architecture Specification, blev udgivet i 2000. I starten var det meningen, at IB samtidig kunne blive en erstatning for den langsomme PCI-bus til I/O, Ethernet-netværk, specialiserede cluster-netværk og Fibre Channel . [18] [19]

Infiniband udstyr blev lavet af: Qlogic , Mellanox , Voltaire , Topspin .

Hoveddatoer:

• 2001: Mellanox begyndte at sende 10 Gb/s (4x SDR) InfiniBridge-enheder og sendte over 10.000 InfiniBand-porte. [tyve]
• 2002: Intel annoncerede, at man i stedet for at levere IB-chips ville udvikle PCI Express-bussen . Microsoft afsluttede støtten til projektet ved at skifte til Ethernet-udvidelsen. Sun og Hitachi fortsatte med at støtte IB. [21]
• 2004: IB begynder at blive brugt som et klyngenetværk, der tilbyder lavere latenstid end Ethernet-netværk. [18] OpenFabrics Alliance er ved at udvikle en standardiseret InfiniBand-softwarestak til Linux. Året efter får Linux-kernen IB-understøttelse. [22]
• 2005: IB bruges som et lagernetværk. [23]
• 2005: Topspin blev opkøbt af Cisco .
• 2009: Blandt verdens Top500 supercomputere blev Gigabit Ethernet brugt i 259 og InfiniBand i 181 klynger. [24]
• 2010: Infinibands markedsledere Mellanox og Voltaire fusionerer [25] [26] . Udover dem er der endnu en producent af IB-enheder, QLogic , som dog producerer flere Fibre Channel-enheder. Oracle foretager en stor investering i Mellanox.
• 2011: FDR-switche og adaptere annonceres på den internationale supercomputing-konference . [27]
• 2012: Intel køber QLogic-teknologier relateret til InfiniBand. [28] [29] [30]
• 2019: NVIDIA køber Mellanox og bliver eksklusiv leverandør af InfiniBand-baserede løsninger [31] [32]

Se også

• RoCE
• iWARP
• RapidIO
• Omni-Path
• Angara

Noter

1. ↑ Vance, Ashlee China Wrests Supercomputer Titel fra USA . New York Times (28. oktober 2010). Hentet 28. september 2017. Arkiveret fra originalen 27. september 2017. (ubestemt)
2. ↑ Opbevaringsapparat | SFA12KX | DDN (utilgængeligt link) . Dato for adgang: 17. januar 2015. Arkiveret fra originalen 7. juli 2017. (ubestemt) 
3. ↑ InfiniBand Trade Association . Hentet 28. november 2006. Arkiveret fra originalen 7. februar 2006. (ubestemt)
4. ↑ HPC-AI Advisory Council - Et fællesskabsindsatsstøttecenter for HPC-slutbrugere . Dato for adgang: 17. januar 2015. Arkiveret fra originalen 24. september 2015. (ubestemt)
5. ↑ 1 2 3 4 http://www.snia.org/sites/default/education/tutorials/2008/spring/networking/Goldenberg-D_InfiniBand_Technology_Overview.pdf Arkiveret 24. september 2015 på Wayback Machine 2008
6. ↑ FDR InfiniBand-faktaark . Hentet 17. januar 2015. Arkiveret fra originalen 26. august 2016. (ubestemt)
7. ↑ 1 2 3 InfiniBand Roadmap: IBTA - InfiniBand Trade Association (link ikke tilgængeligt) . Dato for adgang: 17. januar 2015. Arkiveret fra originalen 29. september 2011. (ubestemt) 
8. ↑ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf Arkiveret 19. august 2019 på Wayback Machine // Mellanox, 2014
9. ↑ InfiniBand Too Quick For Ethernet To Kill Arkiveret 8. december 2015 på Wayback Machine / The Next Platform, Timothy Prickett Morgan, 2015-04
10. ↑ Panda, Dhabaleswar K. Netværkshastighedsacceleration med IB og HSE . Design af cloud- og gridcomputersystemer med InfiniBand og High-Speed ​​​​Ethernet 23. Newport Beach, CA, USA: CCGrid 2011 (2011). Hentet 13. september 2014. Arkiveret fra originalen 13. juni 2020. (ubestemt)
11. ↑ Introduktion til InfiniBand for slutbrugere Arkiveret 26. september 2014 på Wayback Machine "Konceptet med en TCA er ikke udbredt i dag; i stedet er de fleste I/O-enheder implementeret ved hjælp af standard serverbundkort"
12. ↑ HPC-AI Advisory Council - Et fællesskabsindsatsstøttecenter for HPC-slutbrugere . Dato for adgang: 17. januar 2015. Arkiveret fra originalen 24. september 2015. (ubestemt)
13. ↑ Bilag A6: 120 Gb/s 12x Small Form-factor Pluggable (CXP) Arkiveret 9. januar 2014 på Wayback Machine // Supplement til InfiniBand Architecture Specification Volume 2 Release 1.2.1, 2009
14. ↑ HPC-AI Advisory Council - Et fællesskabsindsatsstøttecenter for HPC-slutbrugere . Dato for adgang: 17. januar 2015. Arkiveret fra originalen 24. september 2015. (ubestemt)
15. ↑ Ron Brightwell, Keith Underwood. Kapitel 6 Netværksprogrammeringsgrænseflader til højtydende databehandling; 6.3 Netværksprogrammeringsgrænseflader på lavt niveau // At opnå højtydende kommunikation: En vertikal tilgang / Ada Gavrilovska. - Boca Raton (Florida) : CRC Press, 2009. - S. 152. - 416 s. — ISBN 9781420093131 . Arkiveret 27. december 2014 på Wayback Machine
16. ↑ 1 2 3 Appendiks A InfiniBand Concepts Arkiveret 1. august 2014 på Wayback Machine // Cisco SFS Product Family Element Manager User Guide.
17. ↑ Pentakalos, Odysseas An Introduction to the InfiniBand Architecture . O'Reilly . Hentet 28. juli 2014. Arkiveret fra originalen 9. august 2014. (ubestemt)
18. ↑ 1 2 Kim, Ted Kort historie om InfiniBand: Hype to Pragmatism (link utilgængeligt) . Oracle. Hentet 28. juli 2014. Arkiveret fra originalen 8. august 2014. (ubestemt) 
19. ↑ Forstå PCI Bus, PCI-Express og InfiniBand Architecture Arkiveret 24. juli 2015 på Wayback Machine // Mellanox Whitepaper, 2006: "Så mange medlemmer af IBTA og IBTA selv promoverede InfiniBand som en erstatning for PCI."
20. ↑ Tidslinje . Mellanox Technologies. Hentet 28. juli 2014. Arkiveret fra originalen 29. november 2019. (ubestemt)
21. ↑ Sun bekræfter forpligtelse til InfiniBand . Registeret . Dato for adgang: 28. juli 2014. Arkiveret fra originalen 4. marts 2016. (ubestemt)
22. ↑ Linux Kernel 2.6.11 understøtter InfiniBand . Hentet 29. juli 2014. Arkiveret fra originalen 21. oktober 2020. (ubestemt)
23. ↑ Er InfiniBand klar til et comeback? , Infostor bind 10(2) , < http://www.infostor.com/index/articles/display/248655/articles/infostor/volume-10/issue-2/news-analysis-trends/news-analysis- trends/is-infiniband-poised-for-a-comeback.html > Arkiveret 25. november 2020 på Wayback Machine 
24. ↑ Lawson, Stephen To rivaliserende supercomputere vinder topplaceringen (linket er ikke tilgængeligt) . COMPUTERVERDEN. Hentet 29. juli 2014. Arkiveret fra originalen 10. januar 2017. (ubestemt) 
25. ↑ Mellanox Technologies Arkiveret 3. december 2010 på Wayback Machine .
26. ↑ Raffo, Dave Største InfiniBand-leverandører fusionerer; øjekonvergerede netværk (utilgængeligt link) . Hentet 29. juli 2014. Arkiveret fra originalen 1. juli 2017. (ubestemt) 
27. ↑ Mellanox-demoer, opgraderet version af Infiniband , CIO (20. juni 2011). Arkiveret fra originalen den 7. januar 2014. Hentet 1. august 2011.
28. ↑ Intel køber QLogics InfiniBand-aktiver for $125 millioner Arkiveret 25. august 2012 på Wayback Machine . // ZDN.
29. ↑ Intel snapper op InfiniBand-teknologi, produktlinje fra QLogic , HPCwire  (23. januar 2012). Arkiveret fra originalen den 27. januar 2012. Hentet 27. januar 2012.
30. ↑ Mellanox trækker sig fra Intels InfiniBand-køb Arkiveret 27. april 2018 på Wayback Machine // The Reg 26. Jan 2012
31. ↑ Nvidia, på trods af Intel, absorberede verdens eneste producent af InfiniBand-løsninger - CNews . Hentet 12. marts 2019. Arkiveret fra originalen 15. marts 2019. (ubestemt)
32. ↑ NVIDIA køber Mellanox for 6,9 milliarder dollars | NVIDIA Newsroom . Hentet 12. marts 2019. Arkiveret fra originalen 11. marts 2019. (ubestemt)

Litteratur

• Tom Shanley, Infiniband Network Architecture, Addison-Wesley, 2000, ISBN 0-201-726823 , ISBN 0-201-726823zz (fejl)
• GREGORY F. PFISTER, Kapitel 42: En introduktion til InfiniBand-arkitekturen // Højtydende masselagring og parallel I/O: teknologier og applikationer - Wiley, 2002, ISBN 978-0-471-20809-9 , sider 617-632.

Links

• InfiniBand Architecture Overview // Mellanox, 2009 (slides)
• Anmeldelse af InfiniBand Arkiveret 8. maj 2006 på Wayback Machine // ICA nr. 3, 2002
• Annonce: FDR InfiniBand - Next Generation Protocol // PC Week Review: HPC Systems, februar 2012

Computerbusser og interfaces
Basale koncepter	Adressebus Data bus Kontrol bus Båndbredder
Processorer	BSB FSB DMI HyperTransport QPI
Indre	S-100 AGP EISA ER EN LPC MBus MCA NVLink NuBus PCI PCIe PCI-X Q bus SBus SMBus VLB XT bus Zorro II Zorro III
bærbare computere	ekspres kort MXM PC kort
Kører	ST-506 ESDI VED EN eSATA fiberkanal hippie NVMe SAS SATA SCSI SATA Express
Periferi	1 ledning adb I²C IEEE 1284 (LPT) IEEE 1394 (FireWire) PS/2 UART ( RS-232 , RS-485 ) SPI USB spilport
Udstyrsstyring	IEEE-488 VXI FASTBUS CAMAC Seriel CAMAC SpaceWire
Universel	Multibus fremtidige bus InfiniBand Omni-Path QuickRing SCI RapidIO VMEbus Thunderbolt (Light Peak) IEEE 1355 Angara
Video interfaces	VGA DVI display port HDMI lyn USB4
Indlejrede systemer	multidrop bus Ønskeben AMBA