Google's geheim: goedkope hardware

Ooit was Altavista de grootste zoekmachine van de wereld. De site die oorspronkelijk door Digital was opgezet om de spierballen van de Alpha processor te tonen werd veel te duur om te onderhouden en was niet in staat om te concurreren met nieuwe zoekmachines zoals Google. Deze laatste daarentegen maakte snel een opmars en is ondertussen de meest gebruikte zoekmachine ter wereld.

Op PC World staat een artikel waarin wordt ingegaan op het geheim achter Google: goedkope hardware. In plaats van gespecialiseerde servers aan te schaffen die de zoekopdrachten afwerken, maakt Google gebruik van 'off-the-shelf hardware'. Het enige nadeel van goedkope PC hardware is de betrouwbaarheid. Dus is de software van de zoekmachine zo geschreven dat deze hiermee rekening houdt. Ook is er een hoge vorm van redundantie in het netwerk van de 10.000 servers ingebouwd waarop Google draait. Hierdoor kunnen er gerust een aantal servers uitvallen zonder dat dit gevolgen heeft voor de zoekmachine.

Reacties (94)

Wat ik me altijd al afgevraagd heb is wie er oorspronkelijk achter google zaten, en hoe het bedrijf winst denkt te maken zonder ook maar enige banner op de site te zetten

zonder ook maar enige banner op de site te zetten

Kijk eens rechts (lichtblauwe blokjes) en boven (groene balk) als je een de zoekresultaten krijgt... Daar moeten bedrijven voor betalen. Dus wél inkomsten...

En slim ook hoor...
JE betaald als bedrijf 6 euro per gebruiker die erop heeft geklikt. je kan zelf een maximum aan aantal euro's geven per dag.. zeg 30 euro per dag = 5x klikken...

Dat is zeker niet waar, ik adverteer ook op Google in je kan precies aangeven wat je wilt betalen per klik (hoe meer je betaald, hoe hoger in de ranglijst). Ik betaal nu gemiddeld 13 cent per klik voor mijn site!

Je kan wel aangeven wat je dag qoute is!

Ik weet niet waar je die 6 euro vandaan haalt, maar dit klopt dus echt niet hoor.

1995
Sergey Brin en Larry Page ontmoeten elkaar op de Stanford University in Palo Alto, Californië. Tegen het einde van het jaar werken zij samen aan de ontwikkeling van een techniek, die aan de basis zal staan van de zoekmachine van Google.

1998
Sergey and Larry, die hun studie op een laag pitje hebben gezet, zamelen $ 1 miljoen aan fondsen in bij vrienden, familie en sponsoren, waarmee ze Google kunnen opstarten. Op 7 september 1998 wordt Google erkend als NV en verhuist met vier werknemers naar hun eerste kantoor, gevestigd in de garage van een vriend in Menlo Park, Californië. Google voert 10.000 zoekopdrachten per dag uit. PC Magazine rekent Google, dat nog steeds een bètaversie is, tot een van de 100 beste websites en zoekmachines van 1998.

1999
Het hoofdkantoor van Google verhuist naar Mountain View, Californië en de bestemmingssite wordt officieel gestart. Het bedrijf voert 3 miljoen zoekopdrachten per dag uit en heeft 39 werknemers. Virgilio, de toonaangevende online portal in Italië, vraagt Google om Google WebSearchÔ-services te leveren. Google wint minder dan vier maanden later een aantal prijzen, waaronder de Technical Excellence Award for Innovation in Web Application Development van PC Magazine, een notering in de lijst 100 Best Web Sites voor 1999 van de tijdschriften Shift en P.O.V. en een notering in de lijst Top Ten Best Cybertech van 1999 van het tijdschrift TIME.

2000
Google start zoekmogelijkheden in 10 niet-Engelstalige versies en wint de prestigieuze Webby-awards voor Best Technical Achievement voor 2000 en de People's Voice Award in de categorie Technical Achievement voor 2000. Google wordt de grootste zoekmachine op het web en heeft een index met meer dan een miljard URL's. Yahoo! vraagt Google als standaardprovider voor zoekresultaten. Google tekent overeenkomsten met vooraanstaande portals en websites in de Verenigde Staten, Europa en Azië. Daarnaast start Google advertentieprogramma's om de groeiende handel in zoekservices aan te vullen en introduceert het bedrijf een aantal uitgebreide zoekfuncties. Tegen het einde van het jaar voert Google meer dan 60 miljoen zoekopdrachten per dag uit.

2001
Vizzavi vraagt Google als zoekmachine voor hun Europese multi-access portal. Dr. Eric Schmidt, Chairman en CEO van Novell en voormalig CTO van Sun Microsystems, treedt in dienst bij Google als Chairman of the Board of Directors. Google is verantwoordelijk voor de zoekservices van Yahoo! Japan, Fujitsu NIFTY en NEC BIGLOBE, de drie beste portals in Japan. Google voert meer dan 100 miljoen zoekopdrachten per dag uit. Google is verantwoordelijk voor 130 portal- en bestemmingssites in 30 landen. Google voegt Yahoo!, Procter & Gamble, IDG.net, Vodafone en Handspring toe aan hun groeiende klantenlijst voor zoekservices. Het advertentieprogramma van Google trekt meer dan 350 Premium Sponsorship-adverteerders en duizenden AdWords-adverteerders aan. Google levert klikfrequenties die vier keer zo hoog zijn als de klikfrequenties van traditionele banneradvertenties.

Google biedt landdomeinen aan in het Verenigd Koninkrijk, Duitsland, Frankrijk, Italië, Zwitserland, Canada, Japan en Korea. Gebruikers kunnen bij Google een interface selecteren in bijna 40 talen. Gebruikers kunnen hun zoekopdrachten ook beperken tot pagina's die zijn geschreven in een van de 26 talen die worden ondersteund door de taalafhankelijke zoekfunctie van Google. De automatische vertaalfunctie van Google vertaalt de gevonden pagina's in de zoekresultaten in een taal die door de gebruiker kan worden opgegeven.

Dr. Eric E. Schmidt wordt benoemd tot nieuwe CEO van Google en de oprichters Larry Page en Sergey Brin worden benoemd tot respectievelijk President Products en President Technology. Zoekpatronen, -trends en verrassingen worden gepubliceerd in de Google Zeitgeist.

2002
Google kondigt aan dat de Google Search Appliance beschikbaar is. De Google Search Appliance is een geïntegreerde hardware-/software-oplossing die de invloed van Google uitbreidt met zakelijke intranetten en webservers. Google verbetert het zelfserviceadvertentiesysteem AdWords™ met een aantal nieuwe functies, waaronder CPC-tarieven (cost per click, kosten per klik).

Google blijft de mondiale mogelijkheden uitbreiden door interfacevertalingen te starten voor Wit-Russisch, Javaans, Occitaans, Thai, Urdu, Klingon, Bihari en Gujarati, waardoor het totaalaantal taalopties voor de interface op 74 komt te staan. Google breidt daarnaast het aantal taalmogelijkheden uit tot 35 met toevoeging van Bulgaars, Catalaans, Kroatisch, Indonesisch, Servisch, Slowaaks en Sloveens.

Google richt zich op software-ontwikkelaars met de Google Web API's-service waarmee programmeurs en onderzoekers software kunnen ontwikkelen die toegang geeft tot miljarden webdocumenten als bron. Google en AOL kondigen een overeenkomst aan voor zoekservices en plaatsing van advertenties op partnersites, om resultaten te bieden aan de 34 miljoen leden en miljoenen bezoekers van AOL.com. Google start Google Labs (http://labs.google.com), waar gebruikers kennis kunnen maken met de nieuwste zoektechnologieën van Google terwijl deze zich nog in het beginstadium van ontwikkeling bevinden. Er worden zeven nieuwe interfacetalen voor Google Werkbalk geïntroduceerd, waaronder Vereenvoudigd en Traditioneel Chinees, Catalaans, Pools, Zweeds, Russisch en Roemeens. Met toevoeging van deze talen is Google Werkbalk nu beschikbaar in 20 interfacetalen. Google opent een kantoor in Parijs als aanvulling op de bestaande internationale kantoren in Londen, Toronto Hamburg en Tokio. De Google-index wordt vergroot tot ongeveer 2,5 miljard webpagina's.

Google brengt het zelfserviceadvertentieprogramma AdWords op de markt en start de service in het Verenigd Koninkrijk, Duitsland, Frankrijk en Japan. Google zet de internationale uitbreiding voort en start de interfacetalen Bosnisch en Singalees (Sri Lanka) en de Ierse site Google.ie, waarop zowel Engels en Gaelic wordt aangeboden. Google start een bètaversie van Froogle, een zoekmachine voor producten, die het makkelijk maakt om een grote verscheidenheid aan producten te vergelijken en te kopen op één plek.

2003
Met meer dan 100.000 adverteerders wordt Google het grootste online advertentieprogramma ter wereld. Google biedt het programma voor inhoudsgericht adverteren aan. Dit programma vergroot het bereik van de adverteerders en maakt webpagina's bruikbaarder door niet-doelgerichte advertenties te vervangen door relevante gesponsorde koppelingen. Daarnaast koopt Google het bedrijf Applied Semantics uit Santa Monica, Californië om de onderliggende technologieën van het programma te versterken. Google tekent een overeenkomst voor zoekopdrachten op het Internet en gesponsorde koppelingen met het Internet-bedrijf Disney. Google breidt het aantal ondersteunde talen uit tot 88 en het aantal internationale domeinen tot 74. Google opent een Europees hoofdkwartier in Dublin, Ierland, om de partners en klanten in Europa, het Midden-Oosten en Afrika van dienst te zijn. Google opent een verkoopkantoor voor de Benelux in Amsterdam dat wordt geleid door Marc Duijndam.


http://www.google.nl/intl/nl/press/timeline.html

So, you were lookin' for the longest post? I found it!

mwaa, copy-pasten kan ik ook.

Is dit een uitdaging?

Heeft een aantal weken terug een zeer uitgebreid artikel over in het Volkskrant Magazine gestaan.

Google is basicly een uit de hand gelopen afstudeerproject van twee slimme jongens.

Volgens mij verdient deze korte versie een complimentje want die lap tekst is wel leuk maar gewoon gekopieerd. Beiden zeggen evenveel IMHO.

Ik zie het al voor me.
Een hele grote ruimte gevuld met 19" racks en dikke vette koeling. Koel TL licht en rijen met lampjes van computers die knipperen.
Daartussen rijden mensen met karretjes (groene stroom) en trekken uitgefikte computers uit hun rack en stoppen er een nieuwe in.
En in de ruimte ernaast staan pallets met nieuwe computers en harde schijven en is iemand bezig om harde schijven te klonen. En staat in een hoek een paar bakken met (gerecycelde) onderdelen die weer naar de metaalhandelaar gaan.

10000 van zulke eenvoudige systemen van bijv 200$ (ze kopen in per palet he) is dus 2M$ en ze doen het werk van 1000 (natte vinger) zware jongens a 50000$ (ook natte vinger werk) en kosten dus 50M$.
Zal wel een verschil in kWh zijn maar voor 48M$ kun je heel veel zoeken.

Er zijn wel degelijk banners op google zijn website, de zogenaamde Search related ads. Verder verdient Google ook wel aardig wat met Adsense.

Maar ik blijf me toch afvragen hoe ze winst maken

Verder leveren ze ook nog eens de zoektechnologie voor andere grote portals (AOL bijvoorbeeld).

Doen ze ook niet gratis hoor..

Daarnaast verkopen ze ook analytische gegevens, ik denk dat dat de grootste inkomstenbron is eigenlijk. Ik denk dat als je naar zeitgeist kijkt dat je wel ziet dat je met zulk soort informatie ook erg veel commerciele dingen kan doen.

daar gaat mijn stelling dat goedkope hardware dure mensen noodzakelijk maakt.

Of zou er toch nog een andere hidden addertje zijn......

Nee hoor, je hebt nog steeds gelijk. In een interview met de oprichters van Google (volkskrant magazine, ergens deze zomer) werd gesteld dat het gros van de Google-werknemers gepromoveerde informatici waren. En zover ik weet zijn die best wel duur.

Schrijven voor 10000 off the shelf servers. Dat zullen dan wel dual nodes zijn, zulke software is enorm moeilijk te schrijven.

Het moet distributed zijn. Toch enorme databases snel aanspreken, zonder dat veel zoekwoorden die veel hits opleveren op bepaalde momenten, dat die dus een fractie van het netwerk alle belasting opleveren.

In principe is zulke distributed software schrijven een van de lastigst mogelike opdrachten.

Space shuttle software is met alle respect toch fundamenteel simpeler. Het is misschien wel meer, maar de complexiteit van de code van dit soort zoekmachines wordt schromelijk onderschat.

Dan komt daarbij dat google vast ook niet een geniale database KAN gebruiken omdat dat op 10000 processors gewoon te duur is.

stel je voor licentie van oracle. Ik gok maar 60000 euro per processor.

Kom je uit op 600 miljoen euro per jaar.

Dat gaat niet.

Space shuttle software is met alle respect toch fundamenteel simpeler

Das ook niet zo moeilijk, aangezien daar 8086-jes inzitten. Daar kun je niet echt complexe en moelijke software voor schrijven

Uhm, OEM waren die Oracle licensies geloof ik 6000-7000 euro per CPU. Dus dat scheelt al een nul in je bedrag.

Ik denk dat dat zeker wel complexe software ware is. Meer in de zin van stabiliteit bedoel ik dan.

Bovendien, als je 10.000 licenties afneemt krijg je vast wel korting.

Of andersom:

Als ik geen korting zou krijgen op 10.000 stuks, zou ik het vast niet afnemen.

Ik als anders pas op Tweakers dat ze 80386-jes zochten bij de NASA... voor spaceshutteles...

Dus ze gebruiken 80386-jes

Ze zochten 8086's voor de space shuttle.

Iemand die hoog opgeleid is, is niet automatisch duur hoor. Ja, als ze voor een ander werken, dan laten ze die zo veel mogelijk bloeden. Maar hoog opgeleide mensen die 'voor zichzelf' aan het werk zijn, verdienen meestal minder dan bijvoorbeeld de vuilnisman die iedere week zijn vuil komt ophalen.

Ook hoog opgeleide mensen hebben idealen hoor. Er zitten genoeg idealisten tussen. Mensen die vinden dat ze beter dood kunnen gaan met de gedachte dat ze iets in de wereld hebben uitgemaakt dan dood gaan met de gedachte dat je de grootste bankrekening ter wereld hebt.

Als je op je sterfbed ligt, is geld wel het laatste waar je aan denkt. En zo niet, dan heb je een triest einde aan je trieste leven.

Kijk, in feite zou je het moeten doen zoals Bill Gates, die heeft nogal wat idealen verwezenlijkt en daar HEEL VEEL geld mee verdiend ook nog . Maar die is ook bij Microsoft begonnen door zijn personeel salaris te betalen en zelf net genoeg achter te houden om van te kunnen leven.

Alleen mensen die voor andere mensen werken vragen meestal een hoog salaris.

Is ook een onzin stelling. Prijs zegt natuurlijk helemaal niets over de beheersbaarheid, of juist het gebrek hieraan

En hardware zegt natuurlijk in princiepe helemaal niks over de software die erop draait. En daar zitten m de kosten in, het plaatsen en vervangen van hardware kan je prima overlaten aan de gemiddelde MBOer, wat zeg ik met een LBOer kom je ook een heel eind ..... en als zelfs dat niet in je budget past kun je altijd nog kijken of je een illegaal kan vinden die voor 20 euro per week slavenarbeid wil verrichten

Dus waar bazeer je je op??

dure mensen != goede mensen

goede mensen zijn dus wel duur

Welnee, er is een veel sterkere relatie tussen leeftijd en/of arbeidsjaren en salaris dan tussen kwaliteit en salaris.

Even duidelijk maken:

Goede mensen zijn (over het algemeen en dat mag ook) duur.

Dure mensen hoeven niet (maar zouden dat wel moeten zijn) goed te zijn.

Dat is niet waar..
Dure mensen zijn overgequalificeerde mensen die in het vak zitten voor de centen.
Goede mensen zijn mensen die iedere dag met plezier aan het werk gaan en dat zelfs voor weinig salaris willen doen.

Hart voor je werk enzo.. weet je wel..

maar goedkope mensen == meestal slechte mensen.

10.000 servers

En wie onderhoudt die dan?

Enkele goede Linux systeem beheerders. Linux heeft relatief weinig menselijke onderhoudsuren nodig.

Het ligt ook heel erg voor de hand om voor goedkope hardware te kiezen. Linux is robuust en goedkope hardware kan zo veel meer aan dan bijvoorbeeld met windows.

Gedeeltelijk kapot geheugen is bijvoorbeeld nog steeds bruikbaar. Mits de systeembeheerder de juiste patch gebruikt natuurlijk. Ik meen dat deze kernelpatch overigens op de universiteit van twente is/wordt ontwikkeld, maar dat weet ik niet zeker.

Edit naar aanleiding van de beoordeling van een ogenschijnlijk door SCO of MicroSoft gesponsorde moderator: Het staat letterlijk in het bericht dat men kiest voor softwarematige oplossingen teneinde op hardware te kunnen bezuinigen. Linux is naar alle waarschijnlijkheid het belangrijkste kostenbesparende aspect daarvan.

Door microsoft wordt altijd gepropageerd dat men moet kiezen voor betere (peperdure en snellere) hardware om hun snelheid- en betrouwbaarheidsproblemen op te lossen. Dat is zo geindoctrineert bij MSCE curcussen en wordt bravelijk gevolgd door de ware MS volgelingen.

Leuk vind ik bewijs uit de praktijk dat het ook anders kan. Google laat zien waar het werkelijk om gaat in innovatieprojecten in de IT: goede software. En goede software is vooral ook de software zonder dat torenhoge prijskaartje en zonder die uiterste houdbaarheidsdatum die men bij monopolist kent.

Door microsoft wordt altijd gepropageerd dat men moet kiezen voor betere (peperdure en snellere) hardware om hun snelheid- en betrouwbaarheidsproblemen op te lossen. Dat is zo geindoctrineert bij MSCE curcussen en wordt bravelijk gevolgd door de ware MS volgelingen.

Ik weet niet wie jij op de MSCE hebt gehad als lesgever, maar die bij ons zei net het omgekeerde: dat performance-verbeteringen nagenoeg uitsluitend via aanpassingen in de software dienen te gebeuren...

Nuja: misschien hebben ze daar een verschillende visie op in België

Tsk, dan heb jij een niet al te beste leraar gehad, zeg... Performance verbeteren door software aanpassingen kost handenvol geld. Een programmeur is daar toch al gauw een paar weken mee bezig, a 70 of meer euro per uur. Een nieuwe server aanschaffen kost een heel stuk minder.

Hoe komt dat? Hardware is heel algemeen en kan in massa geproduceerd worden. Het is veel goedkoper omdat de marges omlaag kunnen, de ontwikkelkosten worden door heel veel mensen gedragen. Software is maatwerk en beperkt inzetbaar/verkoopbaar, de ontwikkelkosten worden door maar heel weinig mensen gedragen. De marges zijn dus vele malenl hoger.

Dat je nog een MCSE leraar nodig hebt om je dit uit te leggen vind ik eigenlijk nogal triest. Dit is gewoon basic economie dat je op de HAVO al leert.

uurloon: €70
geldgrens: €50000

dan heb je ruim 700 uur de tijd (is 11 punt nogwat weken) om het software matig op te lossen.

Ik denk dat jij een wiskunde leraar nodig hebt om dit aan jou te kunnen uitleggen

sterrrker nog.

Als ze op 1 server de software zo herschrijven / aanpassen / aanvullen / whatever.. zodat de hardware zegmaar langer houdbaar is.. dan gebruiken ze dat ook op de andere servers: dus.. die hardware is ook weer langer houdbaar.. bespaar je toch met 1 keer software matigoplossen in een keer een hele bult geld op de lange termijn (= ook basis economie wat je bijv. op de havo krijgt)

Een beetje programmeur kan je zo vertellen dat simpele aanpassingen soms een performance verbetering van een factor 20 of zo kunnen opleveren (dat was m'n laatste, een extra indexje op een tabel, half uurtje werk).

Het is waar dat dat niet in alle gevallen opgaat, maar een beetje schaven om een applicatie optimaal te houden is toch wel verstandig. Als je de know how niet in huis hebt en afhankelijk bent van een externe partij is dat soms geen (goeie) optie, Dan koop je gewoon een nieuwe Sun van 50 KEur om er vervolgens achter te komen dat het eigenlijk nog steeds wel een beetje traag is. Dan kijk je gewoon wat moeilijk en zegt dat de belasting ook wel heel erg hoog is. ;-)

Beide voorbeelden van de laatste 2 maanden uit mijn directe omgeving...

verbeteren door software aanpassingen kost handenvol geld. Een programmeur is daar toch al gauw een paar weken mee bezig, a 70 of meer euro per uur. Een nieuwe server aanschaffen kost een heel stuk minder.

@RetepV:
Het kan ook gewoon over configuratie aanpassingen gaan. Hiermee kun je vaak gemakkelijk performance winst boeken. Het gaat niet altijd over het coden van assembly ofzo.
Bovendien denk ik dus NIET dat een nieuw servertje veel goedkoper is. Niet elke server koop je voor 600 euro bij de Dixons. Het gaat soms over servers van 50K euro of een veelvoud ervan. Dat zijn heel wat programmeer uurtjes! Bovendien is je getal "70 euro per uur" niet echt relevant. Het gaat hier niet over programmeurs die door CMG oid worden uitgezonden, maar over werknemers van het bedrijf Google zelf. Dan gaat het over zo'n 20 euro bruto per uur.

Dat je nog een MCSE leraar nodig hebt om je dit uit te leggen vind ik eigenlijk nogal triest.

LOL servers bij Dixons hehe ik noem die OEM PC's al niet een computers laat staan dat je ze aanziet voor een server

Ach dan kun je altijd nog een starfire 15K aanschaffen of een hp superdome...

Maar idd, sommige optimalisaties leveren zulke hoge winsten op dat je dat met geen mogelijkheid met hardware goed maakt...in principe moet er een goede balans zijn tussen beiden...

@RetepV:

Jij bent zeker nooit verder gekomen dan Hello World als ik je nog moet uitleggen dat software matige verbeteringen makkelijk een factor 1000 in tijd kunnen schelen, bv. met een efficienter zoekalgoritme (binary search vs. linear search, ooit van gehoord?). Met hardware mag je van geluk spreken als je de boel 2x zo snel kunt maken.

Dan heb je een eerlijke docent gehad. Cursisten die ik ken van klanten hebben andere ideeen. (btw: je denk toch niet dat ik zelf zo'n cursus heb gehad)

[Muggezift]
Ik weet niet welke cursus jullie gevolgd hebben maar bij mijn weten is net nog altijd MCSE ....
[/Muggezift]

Scruffy, the janitor

10.000 servers

En wie onderhoudt die dan?

Alles samen maar een paar 100 admins voor 24/24 7/7 meer dan 10000 servers te beheren...

Toen ik dit artikel zag, dacht ik gelijk "duh!".

Natúúrlijk draait Google op goedkope hardware, waarom ook niet? Waarom zou je ook dure Alpha servers neerzetten terwijl je hetzelfde kan bereiken met Xeons, die 3x zo goedkoop zijn?

En dat goedkope hardware minder betrouwbaar is, trek ik toch in twijfel. Wat kan er nou kapot gaan? Schijf kapot? Lekker belangrijk: ouwe eruit, nieuwe erin, klaar. Das met dikke supercomputers zo, en met kleine MKB-servers ook. Geheugentje doorgefikt? server uit, rest van de cluster neemt het over, server terugsturen, volgende dag nieuwe in huis

Ja, jij zegt DUH. En je hebt gelijk hoor. Maar hoeveel van die omhoog gevallen, van de HBO Informatica afkomstige IT-Manager ballen kiezen niet voor de dure merken terwijl dat helemaal niet nodig is.
Het antwoord is simpel. Dat staat interessant...

Weet je zeker dat duurdere hardware ook echt duurder is --> TCO.
Als je namelijk het artikel leest, is Google speciaal geprogrammeerd om met relatief onbetrouwbare hardware samen te werken en te switchen van PC indien nodig. Dat is ook geen probleem met DUIZENDEN servers.
In een bedrijf heb je er over het algemeen niet zoveel en is de software ook wat minder vergevingsgezind (ik kan nu natuurlijk een open deur intrappen ) en dat betekent dat je een dure IT-er aan z'n jasje mag trekken.
Conclusie: heb je een paar servers doe het dan goed en moet je er duizenden hebben, stap dan noodgedwongen over op goedkopere.

waarom dure xeon's als je ook goedkope amd's kan gebruiken, voor zover ik weet zijn xeon's ook vrij duur in gebruik, ik neem aan dat ze dus ook niet een x aantal xeon's hebben geclustered, maar gewoon op allerlei plaatsen een paar servers aan een dikke verbinding hebben hangen.

Wat de wat kan er fout gaan betreft: HD met belangrijke search info oid kan best kapot gaan hoor

lang, lang geleden is hier een topic geweest over google die AMD processoren ging testen voor uitbreiding/vernieuwing van het serverpark (het getal 10.000 werd toen ook reeds genoemd, waardoor ik ditmaal niet verrast was ).
De Pro's voor de AMD waren het lage energieverbruik, wat natuurlijk héél doorslaggevend was in termen van backup-stroomvoorzieningen en koeling van de serverruimten. Misschien dat iemand anders het wel vind, ik iig niet. Dus ik kan ook niet zeggen of eht Athlon MP's of XP's waren...

vraagje, hoe relatief is 'goedkoop'? Ik weet best dat een alpha DUUR is, maar dan ook ontieglijk duur. Maar is een Xeon dan goedkoop? In mijn ogen (net ex-student) is een Xeon best duur...een athlon XP is dan goedkoop (ook weer relatief gezien natuurlijk, ik koop het niet meer omdat het goedkoper is )

De Pro's voor de AMD waren het lage energieverbruik, wat natuurlijk héél doorslaggevend was in termen van backup-stroomvoorzieningen en koeling van de serverruimten. Misschien dat iemand anders het wel vind, ik iig niet. Dus ik kan ook niet zeggen of eht Athlon MP's of XP's waren...

dat ging niet om de Xeon of Athlon CPU's, maar het was de reden die Google opgaf om nog niet over te schakelen op de Itanium CPU van Intel. Ze gingen wachten op de Opteron (toen nog Hammer genoemd) en kijken wat die ging doen, op papier spaarden ze daar al een slordige 2 miljoen mee uit op de stroomrekening ieder jaar.

oh ja: het linkje: Geen Itanium 2 voor Google

Ik lees even de reacties van iedreen. Men vergelijkt Xeon's met AMD's of iets vergelijkbaard. De strekking binnen dit artikel is alleen dat er met wat goedkopere hardware werkt. Ik denk eerder aan een vergelijking tussen Xeon's t.o.v. de A-merk mainframes.

... California-based Google resonates through the more than 10,000 servers used by query searchers worldwide, turning over more than 200 million search queries a day among 4 billion Web documents.

Leuk dat ze met 'goedkope' hardware draaien: wat voor internetverbinding hebben ze? En zijn de servers over de hele wereld geplaatst om zo sneller lokaal te zoeken?

ik neem aan dat die 10.000 servers niet aan een 56k modempje hangen...
ze zullen wel aan een 100/1000 mbit hangen.

100Mbit elk ja, en dat dan weer via routers naar nog dikkere pijpjes.

Het mooie van goedkope hardware is trouwens dat ze (denk ik) ook niet hoeven te gaan zoeken wat er stuk is als een van die kisten het niet meer doet.
Gewoon wegkeilen, image op een nieuwe en die er in prakken. bijna te mooi om waar te wezen he.

@-=bas=-

Behalve dan als de halve wereld via jou servers op zoek is naar dat linkje. Nou weet ik niet hoveel zoekopdrachten er gedaan worden per seconde. Maar Tweakers is daar bv. natuurlijk maar echt peanuts bij hè.

En het zijn best hele lappen met tekst die uitgespuugd moeten worden. Als je dan 200 miljoen zoekopdrachten per dag krijgt, en idere gebruiker vind pas na pagina 3 wat ie vind, dan heb je dus 600 miljoen pagina's met tekst. Mhwaaa, da's toch een hele dikke brok aan data hoor

Google spuugt voornamelijk maar text uit en her en der een enkel plaatje, daarvoor heb je geen krankzinnige internet-aansluiting voor nodig.

@-=bas=-

images.google.com gebruik ik als 'vormgever' toch echt vaak hoor, en dat zijn meer plaatjes dan tekst

Het mooie van goedkope hardware is trouwens dat ze (denk ik) ook niet hoeven te gaan zoeken wat er stuk is als een van die kisten het niet meer doet.
Gewoon wegkeilen, image op een nieuwe en die er in prakken. bijna te mooi om waar te wezen he.
Eeeh dat denk ik dus niet, ook als je rijk bent of als je veel relatief goedkope hardware hebt moet je er wel economisch mee om blijven gaan.

Als je 10.000 servers hebt vallen er per dag (gokje) een stuk of 30 uit (ervan uitgaande dat een gemiddelde cheap server 1x per jaar uitvalt) Als je die allemaal wilt vervangen dan is dat toch prijzig. Als je zoveel servers hebt die uitvallen dan krijg je er wel handigheid in wat er het vaakst kapot gaat/ waar het probleem zit en dan weet je hoe je dat het makkelijkst aanpakt.

Verder vraag ik me af wat de hardware configuratie van die dingen is?
intel/amd/(of iets minder standaard)?
aantal mhz/hoeveelheid geheugen
hoeveelheid opslag, hoe harde schijven aangesloten
of het een 'standaard' moederbord is (met pci/agp sloten etc) of een helemaal uitgeklede versie

Verder vraag ik me af hoe ze alle data verdelen; is het dat de eerste 100 servers het eerste procent van de data hebbben of zijn er gewoon een aantal servers alleen verantwoordelijk voor de data toevoer en andere voor het reken/zoek werk of overschatten wij de hoeveelheid data en heeft elke server alle tekst-based data (2 miljard records -> 2 GB per letter van een site -> url van 30 letters + 200 letters quote levert een hoeeelheid data van 460 GB op)

http://www.internetwk.com/lead/lead060100.htm
levert wat leuke achtergrond info (met name aan het eind van het artikel), helaas wat verouderd, maar toch heel leuk!

De TTL (time to live) van de DNS entries schijnt nog steeds vrij kort te staan; misschien gebruiken ze dit nog steeds als "load balancing" systeem.

In april verscheen een veel uitvoeriger artikel bij IEEE:

http://www.computer.org/micro/mi2003/m2022.pdf

Even belangrijk als de goedkope hardware is de manier waarop ze werken. Als een computer kapot is, dan laten ze 'm rustig staan:
Because of the replication, maintenance on the servers can be taken at a slower pace, where some computers might not even be online for a week or more.
Hierdoor kunnen ze minder beheerders in dienst nemen die gelijkmatiger ingepland worden. Scheelt een hoop in de salarissen.

Volgens mij is dit toch enigzins achterhaald 'nieuws'. Ik weet al veel langer dat Google op 'normale' pc's (en om gelijk een opmerking over een van bovenstaande posts te maken - nee geen xeon, maar gewone 'consumenten processoren afaik...) draait, met Linux als OS.

Echt nieuws kan ik dit bericht dus niet noemen, daarbij komt dat het niet de hard- of software is die een zoekmachine maakt, maar de zoekalgoritmen en het gebruiksgemak.

* De zoekalgoritmen zorgen er, als ze goed zijn, voor dat de gebruiker snel de informatie kan vinden. Als deze algoritmen slecht zijn, dan vindt de zoekmachine de sites niet en gaan gebruikers op zoek naar andere zoeksites...

* De User Interface moet niet volgepropt zijn (of worden) met allerlei extra frutseltjes en features waar de gebruiker niet op zit te wachten. AltaVista is redelijk goed begonnen met haar UI (niet al te veel rommel op de site), maar gaandeweg werd de site steeds voller. - Google heeft ondanks dat men de site steeds verder uitgebreidt heeft qua features, haar UI nog steeds simpel gehouden. En ik hoop dat ze dat blijven doen...

Is het je nog nooit opgevallenn dat het enige plaatje op de Google main site het Google-logo is???

* 786562 Little

Euh... Klingon??? Ondersteunt Google de taal "Klingon"??? Geweldig man!!! Keihard zakendoen, grote successen boeken en toch tijd vrijmaken om Klingon als taal te ondersteunen... werelds!

BTW, http://www.chim.be/google/parodie/officieel.htm

En dan is er nog een reeks niet officiële versie's van Google, vooral in Vlaamse dialecten met www.hoehel.be voorop, is in het West-Vlaams.

De hele lijst: http://www.chim.be/google/parodie/dialect.htm

GOEGEL ni vergete eh maat, in west-vlondere eeft den helft nog ginne computer

http://www.google.nl/linux
http://www.google.nl/bsd
http://www.google.nl/mac

as we dan toch met parodiën bezig zijn

http://www.alltooflat.com/geeky/elgoog/

Meer lol over google: Weapons of mass destruction --> ik doe een gok geeft dit: http://www.coxar.pwp.blueyonder.co.uk/

Haha, idd, http://www.google.com/intl/xx-klingon/

Geweldig

Dat zullen de programmeurs waarschijnlijk na het nuttigen van een aantal biertjes na werktijd in elkaar geflanst hebben

Google's geheim. Veel goedkope servers?

Niet helemaal mee eens! Er zijn twee andere punten die Google zeer sterk maakt!

Vergelijk Google nu is t.o.v. Yahoo. Wat zie je?
Op Yahoo zie ik tegen de honderd links, een logo, buttons in de vorm van een plaatje.

Ja, dat neem ik waar en levert de volgende feiten op!:


1 .Dat betekent wel dat de standaard google page met logo 13.685 bytes aan dataverkeer opleverd, tegen 91.226 bytes de standaard page bij Yahoo (vluchtig bewaard met IE).

Dus voor één request is Google 6,5x minder data kwijt

2. De pagina van google bevat 1 plaatje, die van yahoo bevat 15 plaatjes. De grap bij een server is dat voor elke request voor elk object die server appart wordt aangeroepen en daarvoor een extra proces/thread op de server opstart.

Voor google betekent dat er 2 requests binnen komen voor het één maal ophalen van de pagina (aanroep pagina zelf plus het logo).

Voor yahoo betekent dit dat 16 requests binnen komen voor het één maal ophalen van de pagina (aanroep pagina zelf plus 15 grafische plaatjes).

Dit betekend grofweg in de praktijk dat een Google server 8 * grotere capaciteit heeft dan een gelijkwaardige Yahoo server. @ let op: Ik sluit alle andere omstandigheden als performance database, algoritme en andere omstandigheden bij deze stelling (het gaat me om de requests).

ik moet bekennen dat yahoo het aantal plaatjes beperkt naar een submit (de vervolgpagina's), maar de invloed van die begin pagina zal afhangen hoeveel zoekopdrachten bezoekers uitvoeren. En als 40% naar de startpagina gaat en naar de eerste submit klaar is, dan is de impact enorm.

Er sluipt een klein foutje in je berekening

jij hebt het nu over webservers.
maar 3 kwart of meer van de google servers werkt als webspy of searchengine, niet als webserver