WhatsApp verwerkt 54 miljard berichten met oud en nieuw

Chatapplicatie WhatsApp heeft tijdens oud en nieuw vorige week 54 miljard berichten verwerkt. Dat zijn er ongeveer drie keer zoveel als met oud en nieuw het jaar ervoor. Veel mensen gebruiken de chat-app om anderen een gelukkig nieuwjaar te wensen.

Gebruikers verstuurden in totaal 18 miljard berichten, terwijl er 36 miljard berichten ontvangen zijn, zegt WhatsApp. Dat verschil komt door groepsgesprekken; een bericht kan dan één keer worden verstuurd, terwijl het verschillende keren wordt ontvangen. Het aandeel van groepsgesprekken is gestegen. Vorig jaar met oud en nieuw verwerkte WhatsApp 18 miljard berichten, waarvan 11 miljard ontvangen en 7 miljard verstuurd.

Het is onduidelijk wat de toename in Nederland is geweest, maar het aantal berichtjes via sms is sterk gedaald bij alle providers. Het ligt voor de hand dat veel van de gebruikers die voorheen sms'jes verstuurden, nu gebruikmaken van chatapplicaties voor de nieuwjaarswensen.

Met 54 miljard verwerkte berichten is oud en nieuw een recorddag voor WhatsApp. De dienst heeft naar eigen zeggen 400 miljoen actieve gebruikers.

Reacties (88)

54 miljard berichten over 24 tijdzones is dus 2,25 miljard berichten per tijdzone van 1 uur.
Stel dat een bericht gemiddeld 100 karakters lang is.
2,25 miljard berichten per uur * 100 bytes per bericht = 62,5 MB per seconde.
Dat is dus ongeveer de throughput van Whatsapp tijdens de jaarwisseling.

Edit: zinsopbouw
Edit: tijdens piekmomenten kan het getal natuurlijk iets hoger liggen, het gaat om de orde van grootte.
Edit: maar aan de andere kant is de 100 karakters misschien aan de hoge kant, want mensen zullen vaak alleen "gelukkig nieuwjaar" of "happy newyear" sturen, afhankelijk van de taal. Dat is dus misschien een factor 5 korter. Maar, daar komt dan weer overhead bij (inderdaad, DCK).

[Reactie gewijzigd door twop op 7 januari 2014 15:53]

Is het niet net zoals bestanden op je pc, dat de overdracht sneller gaat als 1 bestand 2GB is, dan dat 100000 bestanden samen 2GB zijn? 1 bestand van 2GB gaat sneller door de pijplijn dan 100000 van totaal samen 2GB.

Wellicht. Ik heb het alleen over de throughput, dus de hoeveelheid data die er per seconde wordt verwerkt. Hoe dat precies gebeurt, dat laat ik in het midden.

Maar inderdaad, een hele hoop kleine berichten zal waarschijnlijk meer verwerkingstijd vergen dan 1 bericht van equivalente grootte. Echter, dan gaat latency weer een rol spelen en ik denk niet dat WA daar goed mee om zal gaan.

Is het niet net zoals bestanden op je pc, dat de overdracht sneller gaat als 1 bestand 2GB is, dan dat 100000 bestanden samen 2GB zijn? 1 bestand van 2GB gaat sneller door de pijplijn dan 100000 van totaal samen 2GB.

Aannemende dat de pijplijn niet de bottleneck is, komt dat volgens mij vooral door de traagheid van de harde schijven die opnieuw moet positioneren voor het lezen/schrijven.
Voor TCP/IP protocol maakt het volgens mij niks uit of een pakketje een deel of een hele file bevat.

Leuke bierviltjesberekening, maar hij is wel iets te simpel. Berichten zijn niet 100 bytes lang; WhatsApp gebruikt een custom versie van XMPP, en elk bericht heeft dus enige XML-overhead. Naast het bericht moet ook nog wat andere data worden meegestuurd. En ook worden er heel veel plaatjes en soms video meegestuurd. Bovendien is het te simpel om te denken dat elk karakter één byte is. Daarnaast is het zo dat WhatsApp lang niet alle tijdzones evenveel bedient. WA is vooral heel populair in Europa, en ook behoorlijk in de VS. In Azië zijn andere messagingdiensten populair. Dat zijn maar ~6 tijdzones waar de overgrote meerderheid van het verkeer vandaan komt.

De piekthroughput waar WA mee te maken heeft ligt denk ik eerder rond de 500MB/s is. Het is meer dan een simpele postbode voor tekstberichtjes!

Je vergeet in je optelsom dan nog wel dat mensen ook plaatjes kunnen meesturen, en ik denk dat dat juist op deze momenten ook nog wel populair is.

[Reactie gewijzigd door Vayra op 7 januari 2014 16:30]

SMS is leuk als reserve indien je mobiele verbinding niet werkt. Wat mij betreft hoeft daar niks aan verbeterd te worden. Dat RCS-e waar providers nu mee aan de slag willen is nergens voor nodig; het kost geld (research) en bovendien zijn er al talloze apps waarmee je kunt communiceren. Daarbij bieden veel bundels al "onbeperkt" SMS aan.

Whatsapp is prima; destijds voor een eenmalige vergoeding op m'n iPhone 3G gezet en is na het overstappen op een Galaxy S3 nog steeds onbeperkt geldig zonder abonnementskosten :-)

[Reactie gewijzigd door Titan_Fox op 7 januari 2014 15:01]

SMS is leuk als reserve indien je mobiele verbinding niet werkt. Wat mij betreft hoeft daar niks aan verbeterd te worden. Dat RCS-e waar providers nu mee aan de slag willen is nergens voor nodig; het kost geld (research) en bovendien zijn er al talloze apps waarmee je kunt communiceren. Daarbij bieden veel bundels al "onbeperkt" SMS aan.

Whatsapp is prima; destijds voor een eenmalige vergoeding op m'n iPhone 3G gezet en is na het overstappen op een Galaxy S3 nog steeds onbeperkt geldig zonder abonnementskosten :-)

SMS is idd een prima fallback mogelijkheid voor plekken met lage dekkingsgraad, in het buitenland(geen data nodig) of op festivals (first thing to go is meestal de 3g omdat die masten op die locatie niet gebouwd zijn op 50k mensen).

Ik zit ook niet te wachten op een nieuwe, duur betaalde, berichten service, die al dan niet dezelfde opties biedt als whatsapp en ik zal er, zolang whatsapp niet achteruit gaat in dienstverlening, ook geen gebruik van maken. Whatsapp is de facto al de standaard in Nederland(en ws. veel andere landen, ik ken niemand die wél een smartphone heeft, maar geen whatsapp...en het aantal mensen met dumb nokia's krimpt langzaam doch zeker

heb nog wat vrienden met dumbphones,dus helemaal er van af ben ik niet.

Sinds Snowden zijn ze minder geneigd naar smartphone over te stappen dus voorlopig zit ik er aan vast...

dit jaar oud en nieuw was volgens mij het eerste jaar dat niet alle berichtenservices er uit lagen!
en dat je nog normaal kon bellen

Ik durf zelfs te beweren dat het met komende oud & nieuw beter is om een smsje te sturen, omdat ik de kans groter acht dat de Whatsapp servers de druk niet aankunnen dan dat de mobiele service platgaat door het (waarschijnlijk nog steeds) dalende aantal sms'jes.

Bij WhatsApp zullen ze voor die drukke periodes echt wel schaalbaar servercapaciteit erbij kunnen nemen.

Weet ik niet, Whatsapp runt namelijk nog steeds maar op 1 fysieke server...

Hoe het kan? Geen idee, maar dit is echt zo, ga maar naar de Whatsapp blog.

A few months ago we published a blog post that talked about our servers doing 1 million tcp connections on a single box: http://blog.whatsapp.com/?p=170

Today we have an update for those keeping score at home: we are now able to easily push our systems to over 2 million tcp connections!

Als je dit stukje bedoelt dan even goed lezen, ze praten zelf over serverS.

"on a single box", 1 fysieke server dus, hoeveel software matige servers/virtuele omgevingen hierop staan interreseert me geen hol, 1 fysieke server, een moederbord, daar gaat het om.

Of zeg ik nu iets geks?

[Reactie gewijzigd door YungTosti op 7 januari 2014 15:48]

Alles is natuurlijk maar relatief. Zolang we geen exacte data hebben over die "single box" wil dit weinig zeggen. Hoeveel terraflops capaciteit heeft die ene box? Wie weet wel meer dan een paar honderd eenvoudige servers.

Mwah...

1 WhatsApp server met 2 miljoen verbindingen actief:

CPU: 37.9% user, 0.0% nice, 13.6% system, 6.6% interrupt, 41.9% idle
Mem: 35G Active, 14G Inact, 18G Wired, 4K Cache, 9838M Buf, 27G Free

Hardware en wat overig spul:

hw.machine: amd64
hw.model: Intel(R) Xeon(R) CPU X5675 @ 3.07GHz
hw.ncpu: 24
hw.physmem: 103062118400
hw.usermem: 100556451840


jkb@c123$ uname -rps
FreeBSD 8.2-STABLE amd64
jkb@c123$ cat /boot/loader.conf.local
boot_verbose=""
kern.hwpmc.nbuffers=32
kern.hwpmc.nsamples=64
kern.ipc.maxsockets=2400000
kern.maxfiles=3000000
kern.maxfilesperproc=2700000
kern.maxproc=16384
kern.timecounter.smp_tsc=1
net.inet.tcp.tcbhashsize=524288
net.inet.tcp.hostcache.hashsize=4096
net.inet.tcp.hostcache.cachelimit=131072
net.inet.tcp.hostcache.bucketlimit=120


8> erlang:system_info(system_version).
"Erlang R14B03 (erts-5.8.4) [source] [64-bit] [smp:24:24] [rq:24] [async-threads:0] [kernel-poll:false]\n"

Met "on a single box" wordt waarschijnlijk bedoeld, 1 miljoen connecties per fysieke server, waarvan ze er een x aantal hebben.

De waarde van x lijkt me geen informatie die ze zullen vrij geven.

[Reactie gewijzigd door werchter op 7 januari 2014 15:53]

Je moet het hele verhaal lezen... English, mofo!

Ze hebben het over de verbindingen die één (1) server aankan, maar dat zegt dus helemaal niets over het totaal aantal servers en ja: dat zijn er wel wat meer dan louter 1 server.

het gaat daar over meerdere servers die elk nu 2 miljoen tcp connecties aankunnen.

elke server kan dus nu verbinding houden met 2 miljoen gebruikers, maar whatsapp heeft ruim meer dan 2 miljoen gebruikers

dus 1 server is nog niet in de buurt van genoeg voor die 54 miljard berichten

[Reactie gewijzigd door henry906 op 7 januari 2014 15:55]

Er zijn hele volkeren die de Any key nog zoeken .To err is human.

Als het echt maar 1 server is, dan verklaart dat meteen waarom Whatsapp berichten af en toe met een paar uur vertraging binnen komen.

Nooit last van. Ik denk dat het probleem dan aan jou kant (of aan je ontvangers kant) ligt.

Lijkt me toch niet, Als die fysieke server eruit ligt dan ligt meteen de hele dienst plat dus ze hebben zeker wel meerdere servers.

nou, de ouders van mijn vriendin hadden een smsje gestuurt naar haar en die kwam 25 minuten later aan, dus dat klopt niet helemaal. en het was Vodafone > Vodafone.

Maar een SMS is geen Whats App, of heb ik het nou mis ?
En zolang hij nog steeds aankomt, ook al is het wat later, is het nog steeds goed dacht ik zo. In het verleden zijn er wel eens hele bericht nooit aangekomen, dus we zijn op de goede weg

Ik denk dat xFeverr probeert aan te geven dat nog genoeg mensen sms'jes hebben verstuurd met oud en nieuw.

Bellen naar vaste nummers van Tele2 gaf afgelopen oud-op-nieuw wel wat problemen, merkte ik. Meerdere vaste telefoonaansluitingen gaven een niet-bereikbaar melding. Mobiele nummers gaven geen problemen.

dit jaar oud en nieuw was volgens mij het eerste jaar dat niet alle berichtenservices er uit lagen!
en dat je nog normaal kon bellen

ik was zo slim om mijn telefoon aan de wifi te hangen om dát iig te voorkomen...

Dat helpt je weinig als het WhatsApp data center de drukte niet aan kan. Of je bericht nu via wifi of via 3g naar hen gestuurd wordt, als ze het niet kunnen verwerken, kunnen ze het niet verwerken.

Ik kan als vodafone gebruiker al een aantal jaar gewoon bellen/smsen in Regio Rotterdam tijdens de jaarwisseling.

Sterker nog, dit jaar was het de eerste keer dat ik weer gewoon iemand kon opbellen op het moment supreme

Het duurde soms nog wel even voordat het aankwam. En ik kon niet altijd bellen. Maar er zit verbetering in!

ik vind het knap van ze. ik heb namelijk niet gemerkt dat de service trager werd of zelfs stopte met werken. mag ook wel een prestatie genoemd worden. voor de duidelijkheid mijn gelukig nieuwsjaars appje ging om exact 00:00 de deur uit.

[Reactie gewijzigd door coolkil op 7 januari 2014 14:46]

Het knapste vind ik persoonlijk dat de service normaal op 1 server draait. Weet natuurlijk niet hoe dat met oud en nieuw was, maar voor zo'n populaire app als whatsapp is dat echt netjes.

Heb je daar een bron voor? Naar mijn weten draait Whatsapp op meerdere servers.

one server with 24 cores, 95 GB of RAM ANDDD with only 37% of CPU usage and tons of unused RAM

Bron: http://blog.whatsapp.com/.../01/1-million-is-so-2011/

Deze post bestaat blijkbaar wel niet meer, maar dit artikel verwijst er wel nog naar.

Er staat nergens dat het op 1 server draait. Er staat dat 1 server 2 miljoen TCP connecties heeft, wat heel veel is.

Maar het is natuurlijk niet zo dat whatsapp zijn diensten vanaf 1 server draait. Dit is voor continuïteit natuurlijk niet verstandig.

"and create this post to describe their environment (using one server with 24 cores, 95 GB of RAM ANDDD with only 37% of CPU usage"

Als ze het over een environment hebben dan lijkt het mij dat ze het over de "hele" omgeving hebben.. dus dat het maar 1 server zou zijn..

Dat het niet handig of verstandig is ben ik met je eens en Anno 2014 zal dat vast niet meer zo zijn maar het staat er wel

A few months ago we published a blog post that talked about our servers...

Servers, als in meervoud, tenminste zo lees ik het.

En

Over the past few months we have been making a lot of improvements to our servers to increase the performance, uptime and scalability. Today we have tuned some knobs, shifted some traffic around and achieved 1 million established tcp sessions on a single machine (and with memory and cpu to spare!)

bron: http://blog.whatsapp.com/index.php/2011/09/one-million/

[Reactie gewijzigd door aToMac op 7 januari 2014 15:40]

[...]


Servers, als in meervoud, tenminste zo lees ik het.

En


[...]


bron: http://blog.whatsapp.com/index.php/2011/09/one-million/

Lijkt mij ook heel sterk dat ze maar 1 bak hebben. Die server geplaatst in de VS zou veel langere round times geven voordat berichten aankomen voor users in Europa en Australië,
terwijl als je 'm hier aan de AIX hangt, zal 't voor de VS en Australië lang(er) kan duren.

ik zou daar niet zomaar vanuit gaan... ze praten op hun blog over +/- 2 miljoen actieve TCP connecties op 1 bak... 400 miljoen actieve gebruikers per maand gaat dan niet passen... nou wil dat niet zeggen dat er zoveel gebruikers daadwerkelijk tegelijk een actieve TCP connectie hebben, maar met slechts 1 server de hele meute bedienen is onwaarschijnlijk..

desalniettemin een hele prestatie om zoveel actieve TCP connecties op 1 bak te hebben, begrijp me niet verkeerd!

bron: http://blog.whatsapp.com/.../01/1-million-is-so-2011/

[Reactie gewijzigd door Carino op 7 januari 2014 15:10]

Hoe weet je dat dat zo is?
Ik meen ergens gelezen te hebben dat de server van WA in Erlang is geschreven, en dergelijke code schaalt moeiteloos naar meerdere machines, dus ik verwacht dat ze dus ook wel meerdere machines zullen gebruiken gezien de hoeveelheid data.

Welnee, die gasten hebben een aardige stack aan servers staan. Het is enorm light weight, 1 server kan heel veel hebben, maar met 1 servertje redden ze het niet... En zou er ook nul komma nul redundancy zijn hehe.

Je moet die 54 miljard wel over de verschillende tijdzones verdelen. Het is niet helemaal vergelijkbaar met de piek die bijv. KPN of Vodafone om 12 uur voor hun kiezen krijgen.

In 5 jaar dat ik whatsapp gebruik heb ik nog maar 1 x een server error gekregen, het is gebruiksvriendelijk, mooie UI, en nog gratis ook !! Blijft naar mijn wete de beste messenegr voor zowel IOS als Android !!

You go whatsapp !!

Dat "go" zal wel loslopen als het gratis blijft... En dat het gratis dan wel goedkoop kan is ook wel logisch: ze laten anderen opdraaien voor de hoge kosten. Als je een SMS stuurt zitten daar ook de kosten van het radio en core netwerk in. Whatsapp hoeft alleen de applicatie te hosten. Anderen doen de rest.

helemaal mee eens

Haha zo veel mensen op tweakers.net die allemaal netjes mededelen dat ze om 00:00 een bericht hebben gestuurd. GMT was dat gewoon 23:00u natuurlijk

Ja, dus hebben ze natuurlijk wel verspreid over de dag elk uur een piek gehad. Tijdzones enzo.

Nederland heeft dan natuurlijk maar weinig invloed alleen valt heel west-europa in deze tijdzone dus toch nog steeds groot aantal gebruikers. En als ze niet genoeg capaciteit hadden krijg je een backlog en ik kreeg niet de indruk dat deze er was. In mijn beleving maximaal 1 minuut.

Ja inderdaad ik vind het een knappe prestatie. Zal vast wel een grote dienstverlener bijgeschaald zijn (CloudFlare achtig?)

Dat valt eigenlijk nog best mee, 1 server kan een paar miljoen connecties tegelijk hebben en de servers staan voornamelijk opgesteld bij SoftLayer naar eigen software ontwerp op FreeBSD. Er is geen enorme CPU kracht nodig voor het verwerken van de grote aantallen berichten e.d.

Vergeet ook niet dat de berichtenstroom heel goed geografisch te partitioneren is. Daarmee wil ik zeggen dat als A een bericht naar B stuurt, dat A en B dan waarschijnlijk geografisch dichtbij elkaar zijn. Je kunt dan dus geografische gebieden toewijzen aan servers, en zo de benodigde throughput per server lekker laag houden. (Best simpel eigenlijk.)

Moet zeggen dat mijn whatsapp berichten ook goed doorkwamen zonder al teveel vertraging dus ze hebben wel lekker veel capaciteit.
In tegenstelling tot SMS.

Edit: typo

[Reactie gewijzigd door MarBee op 7 januari 2014 15:03]

Dat van vertraagde SMS is iets van een paar jaar geleden. Tegenwoordig is er meer dan genoeg capaciteit.

Verder is het voor Whatsapp natuurlijk ook een stuk makkelijker om veel capaciteit te leveren: het grootste deel van de afhandeling wordt door anderen gedaan. Zij leveren alleen de applicatieserver, niet de infrastructuur.

Mijn whatsapp ging er gelijk uit. Maar omdat meer mensen whatsapp gebruiken kon ik met Tele2 ook om 00:05 gewoon bellen!

Ik denk dat je Tele2 internet er dan uitklapte, want WhatsApp werkte constant en zonder onderbrekingen tijdens de jaarwisseling

''De dienst heeft naar eigen zeggen 400 miljoen actieve gebruikers.''

Volgens wikipedia ligt dit lager: ''As of November 10, 2013, WhatsApp has over 190 million monthly active users,''

http://en.wikipedia.org/wiki/WhatsApp

Mja, beetje stom, er staat 190 miljoen en vervolgens staat er in de 2 gelinkte bronnen minstens 350 miljoen Iemand heeft t fout op wikipedia gezet, tis ook zo betrouwbaar.
Gezien dat in November was kan t wel kloppen dat ze in December de 400 miljoen zijn gepaseerd.

Dat zijn er ongeveer drie keer zoveel als met oud en nieuw het jaar ervoor.

Is het aantal unieke ontvangers nu ook gestegen? Of hebben mensen meer berichten over en weer verstuurd via Whatsapp? Overigens moet ik zeggen dat ik vroeger meer smsjes kreeg dan nu via Whatsapp. Tegenwoordig worden er ook veel nieuwjaarswensen naar bekenden via Facebook gestuurd.

En berichten naar whatsapp groepen. Dat telt ook lekker door natuurlijk.