'Google versnelt zoekopdrachten door meer externe datacenters te benutten'

Google heeft tussen oktober 2012 en juli 2013 het aantal locaties binnen de netwerkinfrastructuur voor het afhandelen van zoekopdrachten fors vergroot, zo stellen onderzoekers. De internetgigant zou zo de latency van zijn zoekmachine wereldwijd hebben gereduceerd.

Onderzoekers van de Universiteit van South Carolina zochten naar nieuwe methoden om servers en hun locaties in kaart te kunnen brengen toen duidelijk werd dat Google zijn netwerkinfrastructuur fors aan het uitbreiden was, zo schrijft TechCrunch. Daarbij richtte de zoekgigant zich tussen de onderzochte periode van oktober 2012 tot eind juli 2013 vooral op zijn zoekmachine: het aantal locaties dat gebruikt werd om zoekopdrachten te verwerken steeg van 200 naar meer dan 1400, terwijl ook het aantal isp's waar Google contracten mee heeft gesloten steeg van een kleine honderd naar meer dan 850.

Google heeft vooral de verwerkingscapaciteit vergroot buiten zijn eigen datacenters door gebruik te maken van datacenters van derden. Daarbij zou de internetgigant vooral zijn bestaande infrastructuur, die het benut voor het opslaan van content zoals YouTube-video's en websites, hebben uitgebreid met de mogelijkheid om zoekopdrachten te verwerken.

Door de forse vergroting van de zoekinfrastructuur zou Google vooral in gebieden die relatief ver van zijn eigen datacenters liggen beter willen bedienen. De gebruiker zou sneller zijn zoekresultaat geserveerd krijgen - de onderzoekers denken dat de latency gemiddeld 20 procent lager ligt - terwijl isp's minder kwijt zouden zijn aan dataverkeer. Daarnaast kan Google per saldo meer advertenties serveren.

De onderzoekers zien ook nadelen aan deze implementatie. Zo wordt het beheer van een dergelijk grote infrastructuur complexer en Google heeft mogelijk minder invloed op de datacenters van derden. Google wil zelf niet reageren op de bevindingen van de onderzoekers.

Reacties (29)

[nicemister]

Kunnen we aan de hand van het gifje stellen dat Afrika nog geen interessante markt is voor Google?

[MadEgg]

Of misschien gewoon dat het aantal zoekopdrachten vanuit Afrika nog niet zo hoog is dat ze met een beperkt aantal servers toekunnen...

[tonkie_67]

Als ik zie hoeveel mensen in -bijvoorbeeld- marokko (wat volgens mij toch echt in Afrika ligt) een smartphone hebben, en hoeveel internet-cafes er zijn moet er toch af en toe ook gegoodled worden/
OK: penetratie van internet thuis is aanmerkelijk kleiner dan in Nederland/EU - maar ook dat neemt toe.
Veel mensen hebben echter nooit een landline gehad, en over kabelTV hoef je het helemaal niet te hebben (daar heb je schotels voor: Nador lijkt net Amsterdam Oost met zoveel schotels :-) )
Dus hebben mensen vaak een 'mobiele router': thuis via WiFi internetten via een vast opgestelde GSM router (G3 of zelfs G4 in test areas).en mensen die wel een vaste telefoonlijn hebben kiezen voor DSL. (en dan zijn er nog de diverse locale initiatieven dat het locale internet café wifi verbindingen aanbiedt met richt-antennses die de nodige DBs versterken: tijdens openingsuren van het internet-café deel je wel de speed met alle PCs in het café + alle buren die meedoen aan de 'service': maar als het internet café eindelijk dicht gaat (na 2200 uur of zo) gaat de snelheid enigzins omhoog.

Maar al met al: ondanks de lage penetratie van DSL en Docsis [en ftth sla ik ff over] maakt internet in -in ieder geval- Noord Afrika een snelle opmars, vooral mobiel.
En vergeleken met wat ik daar in de prakijk zie is het aantal Googke DC;s in het continent wel erg lag.
[sorry voor alle typos - mn spellingchecker wil maar niet op NL taal en krijg hem ook niet uitgezet, blijft zichzelf aanzetten-

[12345dan]

Afrika is nu nog niet zo interessant voor Google. Maar later wel. Dat zie je ook. Noord Afrika hoeft geen datacenters omdat Noord Afrika de datacenters van Europa kan benutten. En het zuiden van Afrika heeft een paar servers. Dit komt omdat er in Afrika (nog) niet zoveel servers zijn, dit veranderd wel snel.

[Verwijderd]

Afrika is nu nog niet zo interessant voor Google.

Juist wel! Dat is waar de uitbreiding van de omzet vandaan kan komen. Miljoenen extra klanten. Vandaar ook dat ze met dat ballonnen idee bezig zijn, en ik geloof ook met lage satellieten.

[12345dan]

Ja, daar ben ik volledig met je eens. Met later bedoel ik 1 of 2 jaar. Het zuiden van Afrika is nu al belangrijk voor Google.

Al vraag ik me af hoelang Google Lab die luchtballonnen ondersteund. Die ballonnen kunnen niet eeuwig zweven door de lucht. En lage satellieten zijn een gevaar voor de vliegtuigen (toerisme).

[Freee!!]

En lage satellieten zijn een gevaar voor de vliegtuigen (toerisme).

Hoe stel jij je dat gevaar voor
Vliegtuigen komen niet hoger dan 20 KM (meeste zelfs niet hoger dan 11) en satellieten onder de 100 KM zijn een extreem kort leven beschoren. Sterker, de laagste bruikbare satellietbanen zitten op ongeveer 450 KM hoogte.

[Joris]

Er wordt duidelijk over "satellieten" aan balonnen gepraat. Die hangen op een hoogte van ongeveer 20 km. Nou zou dat ook geen gevaar moeten zijn voor vliegtuigen, maar de gedachtegang is net wat minder idioot dan je doet voorkomen.

[Freee!!]

Die dingen hangen (min of meer) op een vaste plaats en ik stel me zo voor dat daar ook wel een paar stevige transponders aan hangen (elke KM van de kabel) om ze goed zichtbaar te maken voor het vliegverkeer.

[Reactie gewijzigd door Freee!! op 26 juli 2024 04:07]

[mae-t.net]

Belangrijk, omdat daar en in Kenia de snelle verbindingen en datacenters staan. Ook al zou Google het willen, elders is de infrastructuur traag genoeg om met weinig servers te bedienen.

[tonkie_67]

Je hebt nu al lage satellieten (Iridium): welliswaar is dat net een paar jaar te vroeg ontworpen (vlak voor de massieve opkomst van digital) en kan de technologie geen acceptabele internet snelheden bieden: maar als ze nu vanaf scratch een Iridium zouden opzetten zou het vast en zetker volledig op IP gebasseerd zijn.

En ik denk dat het met het aantal ruimte-toeristen nog wel meevalt: in low orbit heb je meer ruimte (zowel horizontal als vertical) om de Virgin Galactics en de LEO;s uit elkaar te houden: in de ultra low (non) orbit tussen de 10.000 en 33000 voet weten ze meestal de diverse B737, B747, A340 en A380's ook redelijk uit lkaar te houden: en zoals gezegd: op een 100-200 km hoogte heb je aanmerkelijk meer ruimte (ipv vertikaal een 10 Km te hebben kanje vertikaal zo'n 200-300 km gebruiken, en ook horizontal is er meer ruimte (de circle is immers groter).
Staat tegenover dat iedereen daar wel heel hard vliegt [anders flicker je direct omlaag] - maar het is over het algemaan vrij goed gereheld wie waar vlieft,
(en ruimte afval is daar ook geen problem meer: de laagste orbits waar de Galactic nu nog vliegt is niet eens een orbit: zonder voortstuwing flicker je daar gewoon uit de lucht en is er zelfs een extreme dunne 'atmosfeer': in ieder geval voldoende om een voertuig zonder motor langzaam af te laten remmen, en dus omlaag te brengen.

[Verwijderd]

Denk het niet, geeft vooral aan dat Afrika voor Google geen prioriteit heeft wbt snelheid, wat niet zo gek is aangezien de infrastructuur daar dat toch niet zou kunnen bijbenen.

[lordfragger]

Het lijkt me logisch dat ze in dichtbevolkte gebieden veel meer capaciteit nodig hebben dan in dunbevolkte (of plaatsen waar het aantal internetverbindingen beperkt is).

In het noorden van Rusland staan volgens die kaart bvb evenmin servers.

[Aikon]

Hoe kom je tot die conclusie dan? In het gifje begint Afrika bjina wit, en op het einde is er toch een redelijk rode rand langs de grotere steden. Denk dat je vooral kan concluderen dat het internetgebruik en -penetratie gewoon niet zo hoog is in Afrika en meer niet.

En dat is al een behoorlijk vergezochte conclusie uit een gifje dat enkel de servers van Google in kaart brengt in een periode van nog geen jaar, niet eens door Google gemaakt.

[JPtjeeNL]

Google voorziet eigenlijk de gehele wereld van informatie. Mooi dat ze nu de latency flink hebben kunnen verlagen. Wat ik alleen jammer vind als Webmaster is dat het verwerken van bijvoorbeeld een nieuwe sitemap vrij lang duurt. Het zou mooi zijn als Google binnen een week of 2 weken bij je website op de stoep zou staan en alles verwerkt zou hebben. Ze zijn vrij snel met nieuwe pagina's, maar met pagina's waarbij de teksten zijn aangepast bijvoorbeeld, kunnen ze een flink aantal weken over doen. Afhankelijk is natuurlijk ook hoe belangrijk je website is voor Google om die up-to-date te houden in hun database. NU.nl bijvoorbeeld, zullen ze wellicht meerdere keren per dag scannen op nieuwe informatie.

[itlee]

als je nieuwe content toegevoegd hebt kan je ook google even vragen om een nieuwe index van je site te doen:

dat kan hier: https://support.google.com/webmasters/answer/1352276

[JPtjeeNL]

Klopt inderdaad, ben ik mee bekend. Alleen als je bijvoorbeeld 500 nieuwe producten in een webshop zet, is dat even een gedoe. Dat zou juist het effect moeten zijn van een sitemap. Men importeert een sitemap en de zoekmachine haalt daar zijn nieuwe links uit.

[graey]

Dan zet je toch eerst 500 nieuwe producten erin, update je je sitemap (als die niet automatisch altijd up-to-date is), en doe je dan een herindexeer-aanvraag?

[erwinb]

Je kan er ook gebruik van maken, SMO is een vak apart, maar...
Als je die 500 in twee weken update, iedere dag een aantal, dan zal google dat meestal waarderen met een hogere pagerank, en dan ook vaker "even komen kijken".

[tonkie_67]

heb je een website met 500 static pages? maw een sitemap waarop je alle producten (1 of enekel per pagina) kan terugvinden?
Hoewel het mogelijk met 500 paginas nog te verhapstikken is: er zijn webshops die de database hebben ontdekt: de site-map is bijkans kaal.leeg want alle product-paginas worden 'on the fly' aangemaakt op basis van de (producten in de) database. Tenzij je een index genereert op basis van je database content heb je dan normal gesproken geen 'sitemap' of 'menustructuur' waar de Google spider in kan rond-crawlen.

Maar het zou wel mooi zijn als de defacro standard van de robots.txt zodanig zou worden aangepast dat je op site-level zou kunnen aangeven of je regelmatige de content ververst en mogelijk zelfs in de robots.txt zou kunnen aangeven welke paginas of zelfs hele 'hoofdstukken; wanneer voor het laatsts ververst zijn: de diverse spiders zouden dan op basis daarvan regelmatiger kunnen indexeren:de robots.txt in de root-cirectory van je webserver wordt immers vaak genoeg bezocht.

Jan

[WokeBroke]

Het is een combinatie van rank en vernieuwing, nu.nl heeft een hoge rank, en google merkt dat er bij elk bezoek wat nieuws is, dus komt ook vaker langs. Maar als bijvoorbeeld je website.nl/contact.php na een jaar niet gewijzigd is kan het lang duren voordat google het indexeert.

Het indexeren van een nieuwe site kan trouwens heel snel gaan, ik heb zelf op de eerste dag van het registeren van een nieuw domein 150 bezoekers via google gehad op de eerste dag, en 250 op de 2de dag.

En google kan natuurlijk moeilijk aan alle sitemap verzoeken voldoen.

[JPtjeeNL]

Inderdaad, dat is ook wat ik doe. Sitemap vernieuwen gaat automatisch maar via de Webmaster Tools pakt Google de sitemap toch (een stuk) sneller op.

Inderdaad, we plaatsen ook wekelijks wel wat (tientallen) producten, maar sommige producten zijn in één grote batch (met een sheet van de leverancier bijvoorbeeld) toch het snelste.

Klopt, daar heb ik zeker geen klagen over. Bij het opgeven van een nieuwe website staat het er meestal binnen een paar dagen in. Het ging mij puur om het regelmatig langskomen.

[Verwijderd]

De onderzoekers zien ook nadelen aan deze implementatie. Zo wordt het beheer van een dergelijk grote infrastructuur complexer en Google heeft mogelijk minder invloed op de datacenters van derden.

Als de implementatie gewoon een uitval van servers kan ondervangen, dan hoeft het beheer van de infrastructuur toch niet buitenproportioneel complex te zijn?

[lost95]

Jawel, als je een verandering wilt doorvoeren aan je severpark, zal het complexer zijn als je die verandering op 1400 locaties door moet voeren in plaats van 200.

[Verwijderd]

Ja maar niet "buitenproportioneel".

Het zal dus in jouw voorbeeld niet meer dan 7x lastiger zijn.
Sterker nog, waarschijnlijk is die factor een stuk voordeliger.

[tonkie_67]

toch kwestie van een batch-filetje notepadden (of beter een bash file in elkaar vim-men)- en ik begrijp dat de 'nieuwe' datacenters veelal 3rd party datacenters zijn waar meneer Google als wat content-dozen had staan om die paar bytes opslag van bijvoorbeeld youtbue en gmail te hosten.
MAW: het zijn geen volstrekt onbekende/lege lokaties voor Google, dus er is al infrastructuur voor network verbindingen (ze draaien niet echt op andermans IP ranges, dus het network zelf wordt al beheerd en ik neem aan dat Google ook wel een geautomatiseerd system heeft om de diverse storage.content servers te beheren.
Ik kom er wellicht nog mee weg om mijn handvol EQL, compellent, DX-systemen en de diverse FluidFS handmatig/individueel te beheren; maar met de storage eisen/omvangg van google zou ik toch graag een bash scriptje hebben om -bijvoobeeld- een firmware update voor de NIC uit te voeren :-)`

[Floor]

Ik verwacht dat de toename van het aantal servers ook te maken heeft met de recente Hummingbird upgrade van de search-engine. Google noemt dat zelf een van de grootste wijzigingen tot nu toe, 90% van de zoekopdrachten zouden hiermee te maken hebben en dat ze andere resultaten krijgen voorgeschoteld.
In het kort, Google probeert beter de intentie van een zoekopdracht te begrijpen. Stel je zoekt altijd op PHP code dan zit je niet te wachten op resulten die te maken hebben met C#. Maar dit kan ook per taalgebied verschillen:
"coche" en "automóvil" betekenen beide "auto" in het Spaans maar "carro" betekend "auto" in Latijns Amerika terwijl het "wagon" in het Spaans betekend.
Dus de context van de zoekopdracht wordt meegenomen in de SERP.
Met name de lange zoekopdrachten worden anders geïnterperteerd. Dit alles kost veel rekenkracht.

[Reactie gewijzigd door Floor op 26 juli 2024 04:07]

[Verwijderd]

Vreemd leeg in en rond India. Zou dat komen door een laag internetgebruik of omdat er sterke concurenten zijn zoals in China en Rusland?

[Verwijderd]

In India hebben ze een redelijk aantal lokale zoekmachines.