Netflix-prisen

Netflix-prisen  er en åben konkurrence om den bedste algoritme til at forudsige den vurdering, som en seer vil give en film, baseret på tidligere vurderinger fra den seer og andre seere. Konkurrencen var afholdt af Netflix , et stort dvd- udlejningsfirma . Med få undtagelser [1] kunne alle deltage. Hovedpræmien var $1.000.000. For at få det var det nødvendigt at forbedre Netflix-algoritmen med 10%. [2]

Prisen blev givet til BellKors Pragmatic Chaos-hold den 21. september 2009.

Generel information

Netflix er et DVD-udlejningsfirma til $996 millioner (2006) grundlagt i 1997. Kunder bestiller DVD'er online og modtager (og sender tilbage) med posten. Kunder kan bedømme film på en skala fra 1 til 5. Gennem årene har Netflix opbygget en massiv database med over en milliard kundevurderinger [3] af film. Baseret på denne database anbefaler Netflix film, som kunderne sandsynligvis vil nyde. Algoritmen, der forudsiger, hvor meget en klient vil kunne lide en bestemt film, er baseret på lineær regression [3] og kaldes Cinematch.

En triviel algoritme, der tildeler hver film dens gennemsnitlige score, giver en standardafvigelse (RMS) på 1,0540. Cinematch-algoritmen, ved hjælp af de data, der er tilgængelige for deltagerne, giver en RMS på 0,9525 på testsættet, det vil sige, at den er omkring 10 % bedre end den trivielle algoritme. Firmaet vil betale toppræmien til det hold, der kan forbedre resultatet med yderligere 10 %.

Data

Alle deltagere (og generelt alle) kunne downloade følgende 4 filer:

• Træningsdatasættet indeholder 100.480.507 vurderinger, som 480.189 kunder gav til 17.770 film. Hver vurdering er en firling <klientnummer, filmnummer, vurderingsdato, vurdering>. Klient- og filmnumre er heltal, vurdering er et heltal fra 1 til 5 (laveste vurdering 1, højeste 5). [4] Således gav hver kunde i gennemsnit omkring 200 bedømmelser, og hver film fik omkring 5.000. Antallet af vurderinger varierer dog meget: for eksempel fik nogle film kun 3 vurderinger, [5] , og en kunde vurderede flere. end 17 tusind film [6] .
• Det kvalificerende datasæt indeholder 2,8 millioner <bruger, film, vurderingsdato> trillinger. Resultaterne er kun kendt af juryen og vil blive offentliggjort i slutningen af ​​konkurrencen.
• Titler og udgivelsesår for alle 17.770 film.
• Et fragment af uddannelsesdatabasen, fordelt på samme måde som kvalifikationsdataene. Dette uddrag kan f.eks. bruges til at evaluere algoritmer, før de indsendes til webstedet.

Der er ingen kundeoplysninger i databasen.

For at beskytte kundernes privatliv er "nogle af uddannelses- og kvalifikationsdataene bevidst forkert repræsenteret på en eller flere af følgende måder: sletning af karakterer; indsættelse af alternative skøn og datoer; dato ændring. [2]

Hver deltager skal indsende en fil med scoreforudsigelser fra det kvalificerende datasæt. Forudsigelser kan også være reelle. Som svar rapporteres standardafvigelsen (RMS) af forudsigelserne, afrundet til 4. decimal. Listen over CKO over de bedste deltagere er også lagt på hjemmesiden. Selve forudsigelserne holdes hemmelige.

En deltager kan ikke sende forudsigelser mere end én gang om dagen. Det bedste sæt forudsigelser fra hver deltager tages i betragtning.

For at forhindre deltageren i at bruge RMSD til at gætte karaktererne, er det kvalificerende datasæt opdelt i to. Deltagerne får udleveret resultaterne af en af ​​halvdelene, kaldet quizsættet, men for at modtage en præmie (enhver), tages der hensyn til resultaterne fra den anden halvdel, testsættet. Deltagerne ved ikke, hvilken af ​​posterne, der hører til hvilken halvdel.

Der har været uenighed om valget af metrik. Hjælper det virkelig brugerne at reducere fejl med 10 %? Ifølge en af ​​deltagerne i konkurrencen vil en forbedring af fejlen selv med 0,01 ændre listen over 10 anbefalede film markant. [7] .

Præmier

Cinematch, der kun bruger de data, der er tilgængelige for deltagerne, opnår et SD på 0,9514 på quizsættet og 0,9525 på testsættet. Dette er omkring 10 % bedre end den trivielle algoritme, der giver hver film sin gennemsnitlige vurdering. For at få hovedpræmien på $1 million skal du forbedre RMS'en med yderligere 10% og få 0,8572 på testsættet. (Denne forbedring svarer til en SD på 0,8563 på quizsættet.)

Indtil toppræmien er vundet, vil topholdet blive tildelt en fremskridtspræmie på $50.000 hvert år. Men for at modtage denne præmie skal holdet forbedre RMS med mindst 1 % i forhold til den tidligere præmievinder (i det første år - sammenlignet med Cinematch).

For at modtage en præmie skal holdet levere kildekoden til algoritmen, dens beskrivelse og en ikke-eksklusiv licens til at bruge dens algoritme til Netflix inden for en uge. Kildekode og beskrivelse kontrolleres. Netflix udgiver beskrivelsen, men ikke kildekoden. Selve forudsigelserne forbliver også hemmelige. Holdet kan afvise præmien for at holde deres algoritme hemmelig. Så går præmien til det næste hold, hvis deres RMS er god nok.

Efter at et af holdene formår at forbedre RMS med 10 % eller mere, giver juryen alle deltagere yderligere 30 dage til at sende deres resultater. Det hold, der indsendte det bedste sæt forudsigelser, bliver derefter bedt om en beskrivelse af algoritmen, kildekoden og en ikke-eksklusiv licens, og hvis det lykkes, erklæres holdet som vinder og modtager hovedpræmien. Hermed afsluttes konkurrencen.

Historie og resultater

Konkurrencen startede den 2. oktober 2006 . Allerede den 8. oktober overgik WXYZConsulting-holdet resultaterne fra Cinematch. [8] Den 15. oktober var der allerede 3 virksomheder med bedre resultater end Cinematch. En af dem overgik Cinematch med 1,06 %, nok til at vinde fremskridtsprisen. [9] I juni 2007 havde over 20.000 hold fra over 150 lande tilmeldt sig til at konkurrere. 2000 hold sendte 13 tusind sæt forudsigelser.

I det første år af konkurrencen var lederne af løbet følgende hold:

• Gravity, en gruppe på 4 videnskabsmænd fra Budapest University of Technology .
• ML@UToronto A, et hold fra University of Toronto ledet af Prof. Geoffrey Hinton .
• en anonym kommando, der kalder sig selv ICMLsubmission
• BellKor, en gruppe videnskabsmænd fra AT&T

2007

Den 12. august 2007 var mange deltagere samlet til konferencen "KDD Cup og Workshop 2007". [10] i San Jose , Californien . På konferencen præsenterede alle fire ledende grupper deres teknikker.

Den 2. september 2007 var deltagerne 30 dage fra at blive tildelt 2007 Fremskridtsprisen. I begyndelsen af ​​denne periode havde BellKor det bedste resultat med sin RMSD på 0,8728 (en forbedring på 8,26%), efterfulgt af Dinosaur Planet (RMS=0,8769; en forbedring på 7,83%) og Gravity (RMS=0,8785; en forbedring på 8,26% 7,66%. I den sidste time før prisen blev uddelt tog KorBell førstepladsen. Som det viste sig, er dette et andet navn for BellKor-teamet.

Den 13. november 2007 blev KorBell annonceret som vinderen af ​​$50.000 Progress Award. [11] med SD 0,8712 (forbedring med 8,43%). Holdet bestod af tre AT&T -forskere : Yehuda Koren, Robert Bell og Chris Volinsky. [12] Som krævet af reglerne offentliggjorde de en beskrivelse af deres algoritme. [13]

2008

BellCor er gået sammen med BigChaos. Det kombinerede BellKor i BigChaos-team opnåede en forbedring på 9,44% (RMS=0,8616) og modtog en fremskridtspris. [14] Teammedlemmer offentliggjorde en beskrivelse af den anvendte algoritme. [15] [16]

2009

Den 26. juni opnåede BellKors Pragmatic Chaos, dannet ved sammenlægningen af ​​BellKor i BigChaos og Pragmatic Theory, en forbedring på 10,05% (RMS=0,8558) i forhold til Cinematch [17] , og dermed rykkede konkurrencen ind i slutfasen. Fra det tidspunkt havde alle deltagere 30 dage til at indsende deres endelige beslutninger.

Den 25. juli, dagen før afslutningen af ​​konkurrencen, udkonkurrerede The Ensemble, dannet ved sammenlægningen af ​​Grand Prize Team og Opera Solutions og Vandelay United, BellKors Pragmatic Chaos og opnåede en forbedring på 10,09 % (RMS=0,8554). [atten]

Den 26. juli 2009 kl. 18:42:37 UTC blev beslutninger lukket. På dette tidspunkt så toppen af ​​resultattavlen således ud: [19]

Ifølge oplysninger fra holdmedlemmer på konkurrenceforummet [20] og den østrigske avis "Kurier" [21] , på den hemmelige halvdel af dataene, var BellKor-holdets algoritme overlegen i forhold til The Ensembles algoritme, så det var forventede, at vinderen ville blive officielt anerkendt som BellKors pragmatiske team.

Ifølge reglerne skulle vinderholdets deltagere give Netflix beskrivelser af de anvendte algoritmer og kildekoden, og først derefter annoncerede Netflix officielt vinderen af ​​konkurrencen. Det viste sig virkelig at være BellKors Pragmatic Chaos-hold. Den officielle offentliggørelse af resultaterne og prisuddelingen fandt sted den 21. september 2009. Samme dag blev hemmelige partiturer frigivet. [22]

Som det viste sig, forbedrede begge hold deres resultater med 10,06 % i den hemmelige halvdel af dataene, men BellKors Pragmatic Chaos-hold sendte deres resultater 20 minutter tidligere (se tabel).

Noter

1. ↑ De, der er tilknyttet firmaet (nuværende og tidligere ansatte, agenter, entreprenører, nære slægtninge til de anførte osv.), indbyggere i Iran , Cuba , Myanmar , Nordkorea , Syrien og Sudan , har forbud mod at deltage i konkurrencen . Derudover forbeholder Netflix sig retten til at diskvalificere enhver deltager. https://www.netflixprize.com/assets/rules.pdf Arkiveret 10. maj 2020 på Wayback Machine
2. ↑ 1 2 "The Netflix Prize Rules" . Hentet 21. august 2007. Arkiveret fra originalen 3. marts 2012. (ubestemt)
3. ↑ 1 2 Netflix-prisen: FAQ Arkiveret 21. august 2007.
4. ↑ James Bennett; Stan Lanning (2007-08-12). "Netflix-prisen" (PDF) . Proceedings of KDD Cup and Workshop 2007 . Arkiveret fra originalen (PDF) 2007-09-27 . Hentet 2008-08-25 . Forældet parameter brugt |coauthors=( hjælp ) Arkiveret 27. september 2007 på Wayback Machine
5. ↑ Sigmoid-kurve. "Miss Congeniality" (downlink) . Netflix Prize Forum (8. oktober 2006). Hentet 25. august 2008. Arkiveret fra originalen 3. marts 2012. (ubestemt) 
6. ↑ fantastisk. "En enkelt kunde, der bedømte 17.000 film" (downlink) . Netflix Prize Forum (6. oktober 2006). Hentet 25. august 2008. Arkiveret fra originalen 3. marts 2012. (ubestemt) 
7. ↑ Yehuda Koren. Hvor nyttig er en lavere RMSE? (utilgængeligt link) . Netflix Prize Forum (18. december 2007). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
8. ↑ "Netflix Prize Rankings" (downlink) . Hacking af Netflix (9. oktober 2006). Hentet 21. august 2007. Arkiveret fra originalen 3. marts 2012. (ubestemt) 
9. ↑ "Netflix Prize (jeg prøvede at modstå, men...)" (downlink) . Juho Snellmans weblog (15. oktober 2006). Hentet 21. august 2007. Arkiveret fra originalen 3. marts 2012. (ubestemt) 
10. ↑ KDD Cup and Workshop 2007 (downlink) . Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
11. ↑ Prismester. Netflix Progress Prize 2007 tildelt team KorBell (link ikke tilgængeligt) . Netflix Prize Forum (13. november 2007). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
12. ↑ Fremskridtsprisen på $50.000 uddeles på første årsdagen for Netflix-prisen på $1 million (link ikke tilgængeligt) . Arkiveret fra originalen den 17. december 2007. (ubestemt) 
13. ↑ R. Bell, Y. Koren, C. Volinsky. "BellKor-løsningen til Netflix-prisen" (utilgængeligt link) (2007). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
14. ↑ Prismester. Netflix Progress Prize 2008 til Team BellKor i BigChaos (link ikke tilgængeligt) . Netflix Prize Forum (10. december 2008). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
15. ↑ A. Töscher, M. Jahrer. "The BigChaos-løsning til Netflix-prisen 2008" (utilgængeligt link) (2008). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
16. ↑ R. Bell, Y. Koren, C. Volinsky. "BellKor-løsningen til Netflix-prisen 2008" (utilgængeligt link) (2008). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
17. ↑ BellKor's Pragmatic Chaos (downlink) (26. juni 2009). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
18. ↑ Ensemblet (downlink) (25. juli 2009). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
19. ↑ Netflix-prisen kommer til en buzzer-beater, neglebidende finish (utilgængeligt link) (26. juli 2009). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
20. ↑ Netflix Prize-forumindlæg (downlink) (26. juli 2009). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
21. ↑ Die Eine-Million-Dollar-Formel (utilgængeligt link) (28. juli 2009). Arkiveret fra originalen den 3. marts 2012. (ubestemt) 
22. ↑ UCI Machine Learning Repository: Datasæt . Hentet 22. september 2009. Arkiveret fra originalen 25. september 2009. (ubestemt)

Links

• Officiel side
• Netflix-udfordringen på 1 million dollar. Kate Green interview med Netflix vicepræsident Jim Bennett. Technology Review, 6. oktober 2006.
• Løsninger
  • BellKor-løsningen til Netflix Grand Prize
  • The Big Chaos Solution til Netflix Grand Prize
  • Den pragmatiske teoriløsning til Netflix Grand Prize
• Det officielle datasæt, med alle estimater  , er i øjeblikket ikke tilgængeligt.

Filmografi	Film Serie nuværende genoplivet afsluttet: 2012—2018 , siden 2019 kommende
Tilknyttede virksomheder	Netflix DVD Millarworld Netflix Albuquerque Studios Netflix billeder Netflix Studios Netflix animation StoryBots , Inc. Graumans egyptiske teater Broke and Bones (del) Roald Dahl Story Company Natskolestudie Netflix Pty Ltd Scanline VFX Næste spil (planlagt erhvervelse)
Andet	Netflix-prisen