Bouw je eigen zoekmachine met Amazons Alexa-tools

Afgelopen maandag is door Alexa, onderdeel van Amazon, het 'Web Search Platform' geïntroduceerd. Door middel van deze dienst is het mogelijk om custom zoekopdrachten te geven, de gevonden resultaten te bewerken en vervolgens op een webpagina te publiceren of via een webservice aan te bieden aan het grote publiek. Web Search Platform maakt gebruik van de zoekindex van Alexa. Deze index wordt maandelijks bijgewerkt en aangevuld met data van 4 à 5 miljard webpagina's. De ruwe data neemt ruim 200TB aan ruimte in, en was eerder alleen toegankelijk voor Alexa en in een verwerkte vorm via Alexa's zoeksites. Vanaf nu is het echter mogelijk om met behulp van de software eigen zoeksites te ontwikkelen. Als voorbeeld van de mogelijkheden van de tools is door Alexa een fotozoekmachine ontwikkeld die de EXIF-data van foto's doorzoekbaar maakt. Via een ander prototype is het mogelijk om muziek te zoeken op het web door een bepaalde melodie als zoekopdracht mee te geven.

Om te interacteren met de ruwe data in Alexa's Data Store is een API ontwikkeld. Op basis hiervan kunnen applicaties ontwikkeld worden die de data in de index doorzoeken, te verwerken, er berekeningen op los te laten en vervolgens op een bepaalde manier aan de eindgebruiker terug te geven. De gebruikte servers draaien een *nix-variant, hebben 4GB aan intern geheugen en gebruiken een cpu met een snelheid van 3,6GHz. Alexa Web Search Platform wordt niet gratis aangeboden. Er zal een klein bedrag betaald moeten worden voor onder meer gebruikte bandbreedte, een bepaalde hoeveelheid aan opgeslagen data en het aantal gebruikte uren cpu-tijd. Alexa verwacht veel van deze nieuwe dienst en wil op deze manier de beschikbare data op internet verder 'democratiseren'. Het bedrijf vergelijkt zichzelf hierbij graag met Google, dat het zoeken op internet ook in stroomversnelling gebracht heeft.

Reacties (24)

[Verwijderd]

Alexa... dat was toch spyware/adware of vergis ik mij nou...

[PSYch0landeR]

Hoe denk je dat ze aan die database komen

[Tacow]

Alexa was een tijd geleden inderdaad spyware..

Tegenwoordig hebben ze hun leven gebeterd en zijn ze een echt bedrijf geworden die zich bezighoud met zoekfuncties (oftewel, ze zijn concurrent van google geworden)

Ik denk er alleen nog niet aan om iets met hun te maken te hebben.. zolang er nog altijd gevaarlijke software van hun hand rondzwerft op het internet..

[Verwijderd]

Inderdaad, waarom hebben ze hun naam dan niet veranderd? Ik hoef inderdaad ook echt niks van Alexa te hebben, vieze spy/adware.

[Alex)]

Het was deels spyware ja, ik geloof dat er een paginawaarderingsfunctie inzit, die gegevens over de huidige pagina bij hun server(s) ophaalde... soort van Google Toolbar + PageRank.

[alex3305]

Volgens mij was dat alexia, en dat is dacht ik nog steeds spyware.. want Amazon.com + Spyware/Adware kan ik me niet goed voorstellen

[YopY]

Ik moet wel zeggen: De mogelijkheden die dit bied zijn zeer uitgebreid. Ik bedoel, kijk eens naar die muziek database - ik heb daar nooit aan gedacht, en Google voor zover ik weet ook niet. Echter weet ik niet of dit ook veel gebruikt zal worden, maar voor een bepaalde doelgroep kan zoiets wel goed gebruikt worden.

Ik zou graag op de hoogte hiervan blijven, en zien wat voor verschillende zoektechnologieën hierdoor gemaakt kunnen worden. De mogelijkheden zijn in principe eindeloos.

[Ramon]

tis jammer dat het betaald is. Zou leuk zijn als je als niet-prof ontwikkelaar wat aan kon kloten met 100 queries per dag ofzo

Met google kon je er 1000 dacht ik.

[Snikker]

Dat kan wel:

The first 10,000 requests per month are free. Thereafter, requests are charged at a rate of $.00015 each (just 15 cents per thousand requests.). For example, if you make 100,000 requests to the Alexa Web Information Service during a given month, you will be charged $13.50. Your first 10,000 requests are free, while your remaining 90,000 requests are charged at a rate of $.00015 each: .00015 * 90000 = $13.50.

http://www.techcrunch.com...lly-gets-it-opens-up-api/

[Daimanta]

Het is wel ironisch dat Alexa spyware standaard bij windows is inbegrepen. Ik blijf graag af van die gevaarlijke rommel.

[YellowOnline]

Waar haal je dat? Alexa zit helemaal niet standaard in Windows

[Proxy]

http://cert.uni-stuttgart...dev/2003/06/msg00071.html

[djexplo]

Windows XP sp1ers have found a registry key setup by the program "alexa", a subsiduary of amazon (see link below). On the top link, we can see that alexa has been found to send detailed information about users to its servers, which im sure not only breaks microsofts privacy statement, but also breaks laws. The popular anti-spyware program Adaware detects elements of the installation as adware, and this registry key confirms it:

HKEY_LOCAL_MACHINEsoftwaremicrosoftinternet explorerextensions{c95fe080-8f5d-11d2-a20b-00aa003}

[Patrick01]

Dus het zit niet standaard in Win Xp

[LollieStick]

@Patrick01
Ben ik nou dom of is Windows XP SP1 ook gewoon als retail over de toonbank gegaan. Als dit het geval is zat er dus wel degelijk een deel van Alexa in Windows XP. Ik ben het zelf ook regelmatig tegen gekomen dat Ad-Aware het eruit gevist heeft.

Volgens mij heeft MS het er met SP2 uit gesloopt

[Patrick01]

Hoezo wordt Alexa spyware bij windows inbegrepen?
Staat niet in het bericht en ben het in windows niet tegen gekomen.
Je moet het wel even onderbouwen

[Conzales]

Ik zou zeggen. Probeer de WindowsCD-wringer nLite 's uit en kijk welke optie van alexa daar in staat. Er staat ergens bij de tweak-opties een optie om 'alexa' te verwijderen uit de windows-setup. Lijkt me toch een duidelijk geval van ingebouwd.

nLite:
http://nuhi.msfn.org/

[a.prinsen]

Straks krijgen we search engines om de juiste search engine te vinden zodat we daar weer de juiste informatie kunnen vinden!

Hoewel ik dit een goed initiatief vind, begint de informatie bronnen zo ontelbaar te worden dat je het gevoel hebt je in een informatieoerwoud te bevinden.

[Coach4All]

De kracht van tools van Copernic.com en consorten bedoel je?

[Verwijderd]

Alexa toolbar 1 van de meest hardnekkige spyware's die op je computer kan staan. En dan nu concurent van google worden ?

[Verwijderd]

Waarom niet. Spyware verzamelt persoonlijke gegevens en wat doet Google?

[Verwijderd]

google is zoekmachine ? wat bedoel je hiermee te zeggen... ?

[sopsop]

Google is een reclame bedrijf dat zijn reclames publiceert in een zoekmachine die toevallig ook van hun is. Niks mis mee overigens, maar Google doet hetzelfde als Alexa: zo veel mogelijk informatie over gebruikers verzamelen. Alleen alexa deed (doet) dat bij de gebruiker thuis.

[gamepower2005]

Ik zie grote mogelijkheden voor (hobby) cryptoanalyse. Ik heb deze dienst van Alexa nog niet echt bekeken, maar het doorzoeken van zo'n enorme database is de droom van veel programmeurs die met AI-achtige software, encryptie etc. werken.

Als het gratis is ga ik hem zeker gebruiken, en als je ervoor moet betalen, misschien.

Hopelijk vindt Google inspiratie en gaan ze hun..

"Google is only offering the [API] for free at this time. If you would like to see Google develop a commercial service, let us know at [e-mail]."

..ambities een keer waar maken.