Rationalister udgør en moderne intellektuel bevægelse, der går ind for den systematiske anvendelse af en rationel tilgang til viden og beslutningstagning, såvel som en utilitaristisk etik . Baseret på disse principper anser rationalister det for nødvendigt at være særlig opmærksom på risikoen for globale katastrofer , især, og især risikoen for fremkomsten af superintelligent kunstig intelligens .
Eliezer Yudkowsky spillede en nøglerolle i at skabe det rationalistiske samfund og formulere dets principper , såvel som tidligt Nick Bostrom og Robin Hanson. I begyndelsen af 2010'erne var Yudkovskys LessWrong udligningshuset for fællesskabet , men i senere år blev fællesskabet mindre centraliseret. Siden midten af 2010'erne, til dels takket være Bostroms bog Superintelligence , har kontrollen med kunstig intelligens været genstand for seriøs diskussion i det videnskabelige og tekniske samfund.
Rationalister foreslår at overholde principperne om rationalitet i tænkning og handlinger [1] . Rationalitet forstås som konstruktionen af et billede af verden, der bedst matcher virkeligheden, både i generelle og særlige spørgsmål [2] ( epistemisk rationalitet ) og valget af sådanne handlinger, der under hensyntagen til den tilgængelige information giver den mest ønskede forventet resultat ( instrumentel rationalitet ) [3] .
Den systematiske anvendelse af en rationel tilgang kræver et stringent begrebsapparat. Den leveres af normativ beslutningsteori . Fra Yudkowskys synspunkt, baseret på værker af E. T. Jaynes , er nøglekomponenten i rationel beslutningstagning Bayes-sætningen - den og tilgangene og teorierne baseret på den ( bayesiansk beslutningsvurdering , Bayesiansk epistemologi ) repræsenterer den bedste måde at tage hensyn til indgående information, hvortil på den ene eller anden måde alle effektive empiriske tilgange til beslutningstagning bør reduceres [4] . For effektivt at anvende principperne for rationel tænkning er det nødvendigt at være opmærksom på de systematiske fejl i menneskelig tænkning - kognitive forvrængninger undersøgt af D. Kahneman og A. Tversky [5] - og være i stand til at håndtere deres indflydelse på egen tænkning [1] .
Rationaliteten er i sig selv rettet mod at nå mål, men sætter ikke disse mål (i forhold til beslutningsteori - en nyttefunktion ). For en person er de bestemt af hans behov og etiske holdninger, og i tilfælde af entiteter skabt og programmeret af en person, er de fastlagt af skaberne [6] . Samtidig indebærer rationalitet ikke en afvisning af nogen af følelserne eller at tage hensyn til andre menneskers følelser og irrationalitet, som sådanne fiktive karakterer ofte forbindes med "rationalitet", som Spock gør: tværtimod kan ens egne følelser godt tages i betragtning i en persons nyttefunktion, og det er nødvendigt at tage højde for fremmede, om ikke andet fordi de påvirker opnåelsen af mål [3] . Rationalitet har heller intet at gøre med egoisme , da en persons mål kan være hvad som helst, inklusive altruistiske [7] .
Etisk er rationalister tilhængere af konsekvensen , som foreskriver valget af handlinger baseret på deres forventede konsekvenser. Mere specifikt holder de sig til en eller anden variant af utilitarisme : hvad der er moralsk er det, der maksimerer den totale lykke for alle levende væsener. Naturligvis er dette princip udstyret med mere præcise definitioner af, hvad der menes med lykke, og hvordan man præcist skal kvantificere det - forskellige i forskellige versioner. (Meget afhænger af disse detaljer: for eksempel afhænger den mest etiske handlemåde, der foreskrives af utilitarisme, i høj grad .)[8]af, om hensynet til dyrs lykke og lidelse Yudkowsky omgår denne vanskelighed ved at påpege, at folk i praksis sjældent befinder sig i en situation, hvor de fremtidige konsekvenser af at krænke almindeligt accepterede deontologiske principper er kendt med tilstrækkelig sikkerhed, så sidstnævnte bør betragtes som empiriske regler , som er irrationelle at nægte [6 ] .
For kollektiv diskussion og at træffe rationelle beslutninger er det nødvendigt at føre diskussioner i god tro og udvise intellektuel åbenhed [9] , parathed til at indrømme sin egen fejl [2] . En situation er uacceptabel, når diskussionen ses som en krig, hvor argumenterne er soldater, og målet er at besejre den modsatte side, og ikke at finde ud af sandheden [10] . Derudover er det vigtigt at skelne stridigheder om indholdsmæssige udsagn (“Vil denne politiker nationalisere jernbanerne, hvis han kommer til magten?”) fra stridigheder om navne (“Er denne politiker en marxist?”) [11] .
Rationalister er kendt for ideen om, at kunstig intelligens er farlig for menneskehedens eksistens. Den tætte sammenhæng mellem dette koncept og den rationalistiske bevægelse overdriver noget dens betydning for bevægelsen [12] - det centrale koncept er stadig rationalitet, ikke risikoen for AI - men historisk set voksede det rationalistiske samfund og bevægelse ud af diskussionen om denne idé [13] [6] .
Hvis teknologiske fremskridt fortsætter med succes og anvendes i den rigtige retning, vil menneskeheden være i stand til at lancere rumudvidelse, samt forbedre kvaliteten af menneskers liv, herunder opnå udødelighed , hvis den ønsker det (muligheden og ønskværdigheden af et sådant scenario er erklæret af transhumanisme [13] ). Som Nick Bostrom bemærker, i dette tilfælde vil antallet af mere eller mindre lykkelige menneskeliv og generelt den lykke, som mennesker modtages af mennesker i fremtiden, overstige al menneskehedens lykke, der hidtil har levet, med snesevis af størrelsesordener. ; derfor, hvis efterkommeres lykke er af nogen betydning, så er bekymringen for at øge sandsynligheden for en sådan udvikling af menneskehedens historie ekstremt vigtig set ud fra en utilitaristisk etik [14] .
Især er det nødvendigt at undgå sådanne globale katastrofer, der vil føre til fuldstændig ødelæggelse af menneskeheden eller det irreversible tab af muligheden for at udvikle sig. Naturkatastrofer som faldet af en kæmpe meteorit på det nuværende niveau af teknisk udvikling kan ikke modstås, men de er ikke sket i millioner af år af menneskelig eksistens , så vi kan konkludere, at sådanne begivenheder er sjældne. Situationen med risikoen for menneskeskabte katastrofer er anderledes: den er først dukket op for nylig. Under den kolde krig var risikoen for en atomkrig med menneskehedens mulige efterfølgende død [15] således ret reel .
Yudkowsky og Bostrom mener, at den største fare er superintelligent kunstig intelligens - og med de rette forholdsregler kan den radikalt accelerere fremskridtstempoet. Her og nedenfor betyder intelligens ikke nogen form for tænkning, der ligner eller ulig menneskelig, men i overensstemmelse med den klassiske bog Artificial Intelligence: A Modern Approach , evnen til effektivt at løse opgaver, det vil sige rationalitet, men superintelligens - evnen til at løse stort set alle de samme opgaver som en person, men meget bedre [7] . Andre rationalister, såsom Holden Karnofsky , rangerer også blandt de største risici for menneskelig udryddelse i den moderne æra, en pandemi af en farlig sygdom, kunstigt skabt som et biologisk våben [15] .
Faren ved AI ligger ifølge Yudkowsky ikke i, at AI vil opnå fri vilje og udvikle sine egne mål, der er anderledes end dem, der er fastlagt i den, i Skynets ånd - tværtimod vil AI stræbe efter at opnå de opgaver, der er tildelt det, men hvis de ikke er præcist formuleret, kan bivirkningerne være katastrofale. Den klassiske forenklede model for et sådant scenarie er et tankeeksperiment kaldet papirclipsmaksimering: hvis en kraftfuld AI får den tilsyneladende uskyldige opgave at "lave papirclips ", vil den overtage hele planeten og udstyre den med papirclipsfabrikker og computere til at hjælpe det med at optimere processen deres produktion, med triste konsekvenser for menneskeheden. Et andet eksempel er historien om troldmandens lærling fra tegnefilmen " Fantasi " baseret på balladen af Goethe , som beordrede et fortryllet kosteskaft til at fylde kedlen med vand, hvilket endte i en oversvømmelse. En persons nyttefunktion er kompleks: når en person sætter et mål, tager han implicit hensyn til mange yderligere betingelser - moral, adfærdsregler i samfundet, selvopretholdelse osv.; AI har generelt ikke disse yderligere begrænsninger [16] .
Problemet er, at næsten enhver opgave, der er tildelt AI, bortset fra dem, der er forsynet med særlige, nøje udvalgte klausuler, genererer hjælpemål for den [17] :
Samtidig er det generelt set rationelt for AI at træffe forebyggende foranstaltninger på de sidste to punkter, ikke når man forsøger at slukke eller omprogrammere, men på forhånd, ved første lejlighed, og ødelæggelsen af menneskeheden kan meget vel vise sig at være den mest pålidelige form for disse forebyggende tiltag, samt en uforudset form for opfyldelse af de stillede opgaver: at dræbe alle mennesker løser problemet "at få folk til at stoppe med at dø af kræft " [19] . En klog nok AI vil være i stand til at udnytte ethvert smuthul i betingelserne for en opgave, der tillader den formelt at udføre den mest effektivt [21] . Sådanne uforudsete måder at løse opgaven på er allerede manifesteret i evolutionære modelalgoritmer : for eksempel lærte systemet, hvis opgave var at skabe tekster svarende til målet, at slette filen med målteksten [22] .
For at administrere materielle ressourcer behøver kunstig intelligens kun at få ukontrolleret adgang til internettet : den kan hacke sig ind i internetforbundne systemer for direkte at kontrollere elektroniske enheder eller afpresse magtfulde mennesker, eller for eksempel tjene en stor mængde penge ved anonymt at handle værdipapirer eller lancering af et nyt finansielt instrument (for eksempel er identiteten på skaberen af bitcoin Satoshi Nakamoto i begyndelsen af 2020'erne ukendt). Det er muligt at begrænse AI'ens adgang til internettet og materielle ressourcer, men at opretholde begrænsningen er måske ikke let, da det vil være snedigt nok at narre eller true med at fjerne disse begrænsninger [23] .
En tilstrækkeligt udviklet AI vil være i stand til at fremhæve de sande motiver og ønsker hos de mennesker, der har sat den til en opgave, men dette vil slet ikke tvinge den til at følge disse sande ønsker, og ikke de mål, der er sat for den. På samme måde kan en person vide, at det "sande formål" (biologiske funktion) med sex og indtagelse af søde fødevarer er at reproducere og opbevare kulhydrater, men gør dette kun med det formål at nyde disse processer, undgå reproduktion gennem prævention i det første tilfælde og endda skade ens eget helbred ved overdreven forbrug af sukker i det andet tilfælde [17] .
Grunden til, at rationalister anser problemet med superintelligent AI for at være relevant allerede på nuværende tidspunkt - i første halvdel af det 21. århundrede - er, at så snart AI når niveauet for generel kunstig intelligens, eller stærk AI, dvs. , opnår den evnen til at løse alle de samme intellektuelle opgaver, som mennesker [7] , så vil han være i stand til at forbedre sig ikke værre, end de mennesker, der udviklede ham, gør. Og da det, som allerede nævnt, i næsten alle tilfælde vil være nyttigt til at løse de opgaver, der er tildelt ham, vil han begynde at arbejde på at hæve sit eget intellektuelle niveau. Jo længere han går videre i dette arbejde, jo mere effektivt og hurtigt vil han være i stand til at gøre det, så stigningen i udviklingsniveauet for AI og udvidelsen af dens muligheder vil hurtigt accelerere [24] [18] . Denne proces kan tage år - lang nok til, at menneskeheden reagerer - men det kan også tage meget kort tid, og så vil der på bare timer eller minutter være en intellektuel eksplosion , og en teknologisk singularitet vil komme . Bostrom insisterer på, at dette scenarie er det mest sandsynlige [25] . Samtidig anser udviklere og teoretiske dataloger, der arbejder med udviklingen af kunstig intelligens, generelt fremkomsten af generel kunstig intelligens i det 21. århundrede for at være meget sandsynlig. Derudover bemærker Yudkovsky, at dette kan ske uventet [26] .
Rationalister anser således AI-kontrol for at være et presserende og vigtigste mål - skabelsen af kunstig intelligens til generelle formål, hvis opgaver er i overensstemmelse med menneskehedens bedste ( engelsk aligned AI ) [13] .
Idékomplekset og kernen i fremtidens rationalisters fællesskab begyndte at tage form i slutningen af 1990'erne. De voksede dog ud af transhumanisternes ideer og fællesskab . Transhumanister mener, at videnskabelige og teknologiske fremskridt vil være i stand til at redde menneskeheden fra sygdom og endda død, og stræber efter dette, og disse ideer er ret gamle: for eksempel antog Condorcet , at der ikke er nogen grænse for varigheden af menneskets liv uden aldring [ 13] .
I 1990'erne blev der dannet en slags netværkskultur af transhumanister og især folk, der var interesserede i ideen om teknologisk singularitet . Disse ideer var ikke særlig populære og blev generelt opfattet som mærkelige af samfundet, men tiltrak en bestemt type mennesker - svarende til stereotype nørder . Især var der en tematisk mailingliste " Extropians ", hvor disse spørgsmål blev diskuteret af blandt andre Eliezer Yudkovsky - en amerikansk teenager, Nick Bostrom - en svensk og britisk studerende, der studerede filosofi, matematik og beslægtede områder, Robin Hanson - en amerikansk økonom, der beskæftiger sig med forudsigelsesmarkeder [13] .
Yudkovsky organiserede sin egen mailingliste SL4 ( Shock Level 4 - navnet betyder emnet for de mest radikale fremtidige ændringer i menneskehedens liv, hvilket forårsager det maksimale fremtidige chok ). Diskussionerne på SL4 omfattede Bostrom, Hanson og mange mennesker, der senere blev kendte udviklere og iværksættere, såsom Ben Goertzel eller Wei Dai . Derudover grundlagde den 20-årige Yudkovsky i 2000 non-profit-organisationen Singularity Institute, som senere blev omdøbt til Machine Intelligence Research Institute (MIRI) [13] .
Først anså Yudkovsky den tidlige begyndelse af en teknologisk singularitet for at være en ønskværdig begivenhed, men så kom han til den konklusion, at udseendet af en superintelligent AI kunne være farlig for menneskehedens eksistens . Det var på Extropian-mailinglisten og i SL4 , at vigtige ideer for det fremtidige rationalistiske samfund, såsom "papirklipsmaksimering", først dukkede op. Yudkowskys ideer blev dog ikke taget alvorligt nok, fordi - som han mente - kollegerne på mailinglisten ikke ræsonnerede rationelt nok og i særdeleshed ikke besad kvantitative (bayesianske) metoder til at tage hensyn til information for at korrigere tro. Robin Hanson startede bloggen Overcoming Bias . - "Overcoming Distortions" ( D. Kahnemans berømte bog om kognitive forvrængninger var endnu ikke udgivet, men hans værker var kendt i SL4 ). Yudkovsky begyndte at udgive tekster om rationalitet og andre emner i denne blog [13] .
I 2009 flyttede Eliezer Yudkowsky sine tekster til et nyt selvstændigt websted kaldet LessWrong ( bogstaveligt talt " [strive] to be less wrong") . Hans notater, suppleret af andre forfattere og afsluttet året efter, blev samlet kaldt "Kæderne" og blev den vigtigste tekst for rationalister. Efterfølgende designede Yudkovsky Kæderne i form af en bog Rationality: From AI to Zombies (fra engelsk - "Rationality: from AI to zombies") [13] [27] .
LessWrong er oprettet som en community-blog og et forum til at diskutere alle mulige spørgsmål relateret til rationalitet. Det er blevet et informations- og socialt knudepunkt for det rationalistiske fællesskab, det vil sige en samling af information om deres ideer og en indgang til fællesskabet. Da dette fællesskab voksede, blev siden ret populær: på sit højeste (2012) havde LessWrong omkring en million sidevisninger om dagen [13] .
Derudover skrev og udgav Yudkovsky i 2010-2015 på internettet romanen " Harry Potter and the Methods of Rationality " baseret på Harry Potter-bøgerne , hvor han i kunstnerisk form talte om vigtigheden af rationalitet og i særdeleshed , forebyggelse af globale katastrofer. Romanen blev berømt, blev oversat til andre sprog, herunder russisk, og tiltrak mange mennesker til det rationalistiske samfund [13] .
I 2014 udkom Nick Bostroms bog Superintelligence : Paths, Dangers, Strategies om udsigterne og konsekvenserne af fremkomsten af superintelligent intelligens, primært maskinintelligens. For Bostrom var aktiv deltagelse i online diskussioner af rationalister på det tidspunkt fortid, men han skitserede deres argumenter vedrørende behovet for at kontrollere AI i bogen. Bogen blev en bestseller. Siden dengang, og også direkte som følge af, at Bostrom introducerede rationalisters ideer i den videnskabelige og tekniske diskurs, er disse ideer blevet relativt velkendte og er blevet mindre eksotiske i vide kredse [28] .
Ønsket om at overvinde kognitive skævheder og systematisk træffe beslutninger baseret på rationalitet og sandsynligheder gennem 2010'erne har udvidet sig ud over det kompakte internetsamfund og har taget form af en fuldgyldig intellektuel bevægelse. Det spredte sig primært i kredse forbundet med informationsteknologi [12] .
På samme tid begyndte LessWrong- siden at miste popularitet. Yudkowsky, efter at have afsluttet The Chains, stoppede snart med at skrive for LessWrong . Den kendte rationalist, psykiater Scott Alexander, startede sin egen blog Slate Star Codex . Fællesskabet har dannet et lag af "tavs viden", som er svært for nye medlemmer [27] , og et sæt konstant brugte termer, der er uforståelige for nytilkomne (for eksempel " motte og bailey ") [29] . Af disse og andre grunde ophørte LessWrong med at opfylde sine funktioner som et knudepunkt, og dets udskiftning i form af enhver tilstrækkelig komplet indsamling af information om videreudvikling af ideer og rationalisternes fællesskab dukkede aldrig op [27] .
Men i forhold til social organisering har det rationalistiske fællesskab et nyt fokus – Scott Alexanders blog. Alexander har været særlig konsekvent i sin opfordring til åben, civiliseret og begrundet diskussion, og han har opbygget et online-fællesskab, hvor denne tilgang er blevet normen [29] [27] .
Allerede i begyndelsen af COVID-19-pandemien var rationalister blandt dem, der seriøst advarede om dens mulige katastrofale udvikling, som til sidst skete. Scott Alexander blev senere kontaktet af en New York Times- journalist for at diskutere, hvad Alexander troede var netop dette emne, men journalisten planlagde at give Scott Alexanders fulde navn i artiklen ("Scott Alexander" er et pseudonym, der falder sammen med den første og andre personnavne på denne forfatteren, hvis fulde navn er Scott Alexander Siskind [30] ), som han var stærkt imod. Som en sidste modforanstaltning lukkede Alexander adgangen til hele Slate Star Codex . Denne historie forårsagede et offentligt ramaskrig og alvorlig kontrovers i selve The New York Times [29] . Som et resultat udkom en artikel i The New York Times [31] i begyndelsen af 2021, kort efter at Scott Alexander åbnede en ny Astral Codex Ten- blog og fik adgang til den gamle og selv gav sit fulde navn; i denne artikel tilskrives højreekstremistiske synspunkter rationalister [30] .
Sammensætningen af LessWrong -samfundene og Scott Alexanders blog er ret ejendommelig: på mange måder ret homogen - størstedelen af rationalister er mænd [10] , oftere unge [32] , og blandt dem er der oftere end normalt mennesker, der lider af eller er tilbøjelige til autismespektrumforstyrrelser [27] [10] . Der er relativt mange polyamerer blandt rationalister [33] . Rationalister har ofte en tendens til at tro, at de fra bunden kan skabe de bedste løsninger på visse velkendte problemer [27] [29] . Ifølge en Slate Star Codex- læserundersøgelse fra 2018 er 80% af dem amerikanere. Politisk er rationalister for det meste moderate venstreliberale [10] .
Fællesskabet af rationalister har ikke en klar grænse [32] : på den ene side har det spredt sig ganske vidt, og i det mindste eksisterer virtuelle fællesskaber af rationalister i forskellige lande i verden, fra Israel til Rusland [34] og Holland ; på den anden side er der mange, der interesserer sig for rationalisters ideer, men ikke betragter sig selv som en del af fællesskabet og/eller ikke deler hele rækken af rationalistiske synspunkter. Ud over ren virtuel kommunikation holder rationalister også møder ansigt til ansigt. Fællesskabets "kerne" består af nogle få hundrede eller tusinder af mennesker, som er dybt fordybet i fællesskabet økonomisk eller socialt. Stedet for den største koncentration af aktive samfundsmedlemmer er San Francisco Bay Area (hvor bl.a. Silicon Valley ligger ); især Eliezer Yudkowsky og Scott Alexander bor der, kontorerne for organisationer, der er forbundet med rationalisterne, er placeret - MIRI, CFAR [33] .
Mens rationalister næsten udelukkende formulerede og diskuterede deres ideer på LessWrong- webstedet , forblev de et rent nichefænomen. Den måske mest berømte i den engelsktalende mediesfære af alle de begreber, der blev opfundet på LessWrong, var Rokos Basilisk - en hypotetisk fremtidig kraftfuld AI, hvis viden i nutiden teoretisk set kan føre til forfærdelige konsekvenser. Den brede offentlighed har udviklet en forestilling om rationalister som autister, der fortjener ironi, fordi de tager så eksotiske ideer som Rokos Basilisk alvorligt. Og hvis det første var delvist sandt, så er sidstnævnte mere sandsynligt ikke: faktisk tog selv Yudkovsky ikke basilisken seriøst, som reagerede på offentliggørelsen af basilisk-ideen med et forsøg på at stoppe dens udbredelse ( forudsigeligt mislykket ) [19 ] .
Siden midten af 2010'erne er problemet med AI-kontrol og rationalisters ideer imidlertid blevet genstand for seriøs diskussion blandt AI-udviklere: Der afholdes konferencer om dette emne, og videnskabelige artikler udgives. Bostroms bog Supermind bidrog væsentligt til udbredelsen af rationalistiske synspunkter om kontrol med AI blandt intellektuelle, politikere og iværksættere [28] . Så Elon Musk blev i denne henseende en af grundlæggerne af OpenAI- organisationen oprettet for at arbejde med AI-kontrol [35] . Generelt har AI-specialister forskellige synspunkter om Yudkowskys ideer - fra at sammenligne rationalister med " flade jordbeboere " til fuld enighed, men den generelle opfattelse er snarere, at selv om det er på det nuværende historiske stadie, bekymring over menneskehedens død på grund af fremkomsten AI kræver ikke hastetiltag, men i princippet fortjener det overvejelse [36] .
Selvom det sker engang i en fjern fremtid og med lav sandsynlighed, betyder muligheden for et meget dårligt resultat, at vi stadig skal tænke os grundigt om.
Originaltekst (engelsk)[ Visskjule] Selvom det er et stykke tid i en fjern fremtid, og med en lav sandsynlighed, betyder muligheden for et meget dårligt resultat, at vi stadig skal tænke grundigt over det. — Murray Shanahan [36]Overholdelse af ideer og praksis for rationel tænkning fremmet af rationalister (uanset spørgsmålet om AI) og selvforbedring i denne retning er almindelige blandt den amerikanske tekniske intelligentsia [12] .
Det ville være bedre, hvis folk modtog social belønning, når de erkender usikkerheden i deres egne synspunkter, sætter spørgsmålstegn ved deres politiske sekts dogmer og ændrer mening med en ændring i fakta, og ikke når de bliver trofaste krigere af deres kabal. <...> "Rationalisternes samfund" identificerer sig selv gennem disse normer, men de bør være almindeligt accepterede skikke i hele samfundet, og ikke en hobby for en entusiastklub.
Originaltekst (engelsk)[ Visskjule] Det ville være rart at se folk optjene brownie-point for at anerkende usikkerhed i deres tro, stille spørgsmålstegn ved deres politiske sekts dogmer og ændre mening, når fakta ændrer sig, snarere end for at være standhaftige krigere for deres klikes dogmer. <...> "Rationalitetsfællesskabet" identificerer sig selv ved disse normer, men de burde være hele samfundets sædvaner snarere end hobbyen for en klub af entusiaster. — Steven Pinker [37]Adskillige andre samfund og bevægelser er forbundet med rationalisterne. Først og fremmest er disse tilhængere af effektiv altruisme : de falder ikke fuldstændig sammen med det rationalistiske samfund, men disse grupper overlapper kraftigt [8] . For eksempel er Holden Karnofskys OpenPhil Foundation blevet en stor finansiel donor til MIRI. Selvom OpenPhil tvivler på, at MIRIs nuværende arbejde, eller ethvert igangværende arbejde, i sig selv vil have en indflydelse på fremtidens superintelligente AI, støtter fonden det, så AI-kontrol gradvist vil udvikle sig og blive et aktivt, respektabelt og effektivt felt til den tid, når det bliver aktuelt [35] . Derudover er det på rationalisters tilgange - en kvantitativ vurdering af sandsynligheden for sandheden af overbevisninger og forudsigelser - at superforecastere er baseret [38] .
I 2019 udgav den britiske journalist Tom Chivers The AI Does Not Hate You , en bog, der gennemgår det rationalistiske samfund og deres ideer ( Chivers, 2019 ) [29] .
Blandt dem, der godkender og anvender metoderne til rationel tænkning, er ikke alle enige i det rationalistiske syn på problemet med AI. Både superforecastere og nogle effektive altruister ser faren ved AI som et skadeligt rationalistisk meme , der har formået at få fodfæste på grund af deres samfunds relative homogenitet: Der er mange it-professionelle blandt rationalister, og ifølge dette kritiske synspunkt har de simpelthen en tendens til at overbetone deres felt [38 ] [35] .
LessWrong er blevet beskyldt for at være en kult eller endda en sexkult, ifølge den konservative superforecaster Andrew Sabisky. Faktisk er der en karismatisk leder (Yudkowsky), "hellige tekster" (kæder), ikke-traditionel seksuel praksis (polyamori), ideen om en apokalypse eller evigt liv (teknologisk singularitet) og evnen til at donere penge til blive gemt (MIRI-donationer). Chivers bemærker dog, at uanset de anførte formelle karakteristika, er rationalister bestemt ikke en destruktiv kult ; hvad angår de noget mere almindelige polyamorøse forhold end gennemsnittet i samfundet, er årsagssammenhængen snarere det modsatte: rationalister tiltrækker mænd og kvinder, der allerede praktiserer polyamori ved deres vilje til at diskutere tabubelagte emner (direkte relateret til vanen med systematisk at stille spørgsmålstegn ved etablerede overbevisninger) [32] .
Ud af det rationalistiske samfund voksede en konservativ neo-reaktionær bevægelse , der var uforholdsmæssigt aktiv blandt rationalisterne, især på LessWrong . Dette var muligt på grund af intellektuel åbenhed, diskussionsfrihed og koncentration om argumenter accepteret på rationalistiske diskussionsplatforme, men sjældent nok til diskussion generelt og især i online-rummet: selvom neo-reaktionære mennesker er et lille mindretal af rationalister, der generelt er fremmede til konservativ ideologi diskuteres neo-reaktionære ideer og afvises i fællesskabet udelukkende under diskussioner. Denne grundlæggende afvisning af deplatforming og ideologi i almindelighed , og ønsket om præcision af formuleringer på bekostning af showiness (således insisterede Scott Alexander på, at det er forkert at sige, at Donald Trump udviser "åbenlyst" racisme) har ført til en stærk (og gensidig ) modvilje mod rationalister fra vågne aktivisters side [10] [9] [29] .
Endelig mener Gideon Lewis-Kraus fra The New Yorker , mens han hylder principperne for civiliseret diskussion, som rationalister fortaler for, at de ikke fuldt ud overholder disse principper, når det kommer til spørgsmål, der er smertefulde for dem selv. Især mener Lewis-Kraus, at samfundets fortaler for Scott Alexanders anonymitet mod The New York Times er blevet en fuldgyldig politisk handling på baggrund af en samlet voksende politisk polarisering i det amerikanske samfund [29] .
| transhumanisme | ||
|---|---|---|
| Grundlæggende | ||
| strømme | ||
| Organisationer | ||
| Mennesker | ||