Nutch

Apache Nutch er en modulær ramme til opbygning af søgemaskiner skrevet i Java og baseret på Lucene , Solr , Tika , Hadoop og Gora teknologier tilpasset til de specifikke internetsøgninger (for eksempel understøttes crawler , linkbase, HTML -parsing og andre formater) . Nutch-arkitekturen giver udviklere mulighed for at skabe plugins til behandling af nyt medieindhold, modtagelse af data gennem ikke-standardkanaler for at danne standardforespørgsler eller organisere en søgeklynge.

Systemet giver værktøjer til at bygge højskala indekseringssystemer, der er abstraheret fra den type lagring, som gør det muligt at bruge sådanne lagringspladser til store mængder data som Apache Accumulo , Apache Avro , Apache Cassandra , Apache HBase og HDFS , samt SQL - databaser og placering af NoSQL -databaser i hukommelsen.

Brug

Baseret på Nutch 2.0, der kører oven på en 34-node Hadoop-klynge, blev Kalooga- søgetjenesten bygget , hvis indeks indeholder mere end en milliard sider [2] .

Søgemaskiner baseret på Nutch:

• Creative Commons Search - lanceret i 2004, Nutch-implementering erstattet i 2006 [3] [4] [5]
• DiscoverEd er en åben pædagogisk ressourcesøgningsprototype udviklet af Creative Commons.
• Krugle
• MozDex
• Wikia Search - lanceret i 2008, lukket i 2009 [6] [7]
• search2.net

Noter

1. ↑ https://nutch.apache.org/index.html#11-october-2019-nutch-24-release
2. ↑ Apache Nutch 2.0 søgemaskine udgivet . Hentet 9. januar 2017. Arkiveret fra originalen 14. juli 2012. (ubestemt)
3. ↑ Vores opdaterede søgning . Creative Commons (3. september 2004). Hentet 9. januar 2017. Arkiveret fra originalen 7. september 2011. (ubestemt)
4. ↑ Creative Commons unikke søgeværktøj er nu integreret i Firefox 1.0 (downlink) . Creative Commons (22. november 2004). Arkiveret fra originalen den 22. juli 2013. (ubestemt) 
5. ↑ Ny CC-søgnings-UI . Creative Commons (2. august 2006). Hentet 9. januar 2017. Arkiveret fra originalen 7. november 2011. (ubestemt)
6. ↑ Hvor kan jeg hente kildekoden til Wikia Search? (utilgængeligt link) . Hentet 9. januar 2017. Arkiveret fra originalen 4. november 2011. (ubestemt) 
7. ↑ Opdatering på Wikia – gør mere af det, der virker . Hentet 9. januar 2017. Arkiveret fra originalen 3. maj 2009. (ubestemt)

Links

• nutch.apache.org - Nutchs officielle hjemmeside
• Officiel wiki
• Building Nutch: Open Source Search（2004）- ACM Queue vol. 2, nr. 2
• Artikel om Nutch（2003）-Search Engine Watch
• Mere artikel om Nutch（2003）- Tech News World
• Officiel Hadoop-projektside