Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Studie: Apple Watch-notificaties voor hartproblemen zijn 84 procent accuraat

De Amerikaanse Stanford-universiteit heeft een onderzoek gedaan naar de mogelijkheden om de Apple Watch te gebruiken om onregelmatigheden in het hartritme te ontdekken. Uit de studie blijkt dat bij het 71 procent van de notificaties ging om een terechte waarschuwing.

De onderzoekers hebben de uitkomst van hun studie geplaatst op hun website. Dragers van de Apple Watch zijn een jaar lang gevolgd en de onderzoekers hebben gekeken naar de notificaties die het slimme horloge gaf als de software dacht dat de drager een onregelmatigheid in het hartritme had. Door vergelijking met een conventioneel hartfilmpje, of electrocardiogram, blijkt dat bij 84 procent van de notificaties door de Apple Watch, er een onregelmatigheid was in het hartritme.

Overigens bleek iets meer dan een derde van de mensen die een notificatie kregen ook daadwerkelijk vastgesteld atriumfibrilleren te hebben. Dat werd bepaald door de mensen een week lang te volgen met conventionele ecg. De onderzoekers wijzen er wel op dat atriumfibrilleren onregelmatig kan optreden; daardoor ligt het daadwerkelijke percentage mogelijk hoger, aangezien niet alle gevallen in de desbetreffende week opgepikt kunnen worden.

Daarnaast melden de onderzoekers dat in totaal 0,5 procent van de dragers een of meerdere notificaties heeft ontvangen over mogelijke problemen met het hartritme. Van de mensen die een melding kreeg meldden zich er iets meer dan de helft bij een dokter voor nader onderzoek.

In november gaf Stanford University al uitleg over de Apple Watch-studie. Daarbij liet het weten dat het meer dan 400.000 mensen bereid had gevonden om mee te doen in de studie, die volledig virtueel wordt uitgevoerd. Het doel van het onderzoek was om te bepalen of de Apple Watch een bijdrage kan leveren aan het detecteren van problemen in het hartritme, waaronder dus atriumfibrilleren. Een dergelijke aandoening blijft vaak onder de radar, omdat mensen de symptomen niet opmerken en de onregelmatigheden in het hartritme niet altijd optreden.

Door Bauke Schievink

Admin Mobile / Nieuwsposter

17-03-2019 • 10:05

114 Linkedin Google+

Reacties (114)

Wijzig sortering
Even voor de duidelijkheid, de studie was met iWatch 1 t/m 3 of iPhone. In de iWatch 4 zit een ECG, maar die kwam pas uit nadat het onderzoek al was gestart.

De resultaten zijn dus puur op een onregelmatige hartslag gebaseerd.
For the study, each participant was required to have an Apple Watch (series 1, 2 or 3) and an iPhone. The most recent Apple Watch, which features a built-in ECG, wasn’t part of the study, as it was released after the study’s launch. The Apple Heart Study app intermittently checked the heart-rate pulse sensor for measurements of an irregular pulse.
iWatch of Apple Watch?

84% vind ik een keurig percentage, 100% zal het niet snel worden.
Van de groep mensen die een notificatie kregen.

Het kan dus zo zijn dat dat 5% een notificatie kregen. Daar van was dan 84% terecht. Of te wel 4,2% van de totale groep.

Wat is hier mis: Hoeveel personen hebben geen notificatie ontvangen terwijl ze wel klachten hadden! Straks blijkt 40% van de populatie klachten te hebben terwijl 5% daarvan notificatie krijgt waarvan dan weer 84% juist is.

Doe je deze rekensom dan is de conclusie dat van de totale groep mensen met klachten maar 10,5% een notificatie kregen.

Wat dus eigenlijk ronduit slecht is.

Dus dit stuk zegt helemaal niks over de kwaliteit van de techniek er achter. Allemaal marketing.

[Reactie gewijzigd door BenVenNL op 17 maart 2019 11:54]

maakt dit uit?
van zodra er al 1 persoon hiermee gered is (uit alle duizenden klanten van de Apple Watch, maakt echt niet uit hoeveel), die anders misschien zou gestorven zijn zonder Apple Watch, is de missie toch een success?

ik denk dat [gezondheid + marketing + profit] beter is dan [marketing puur voor profit]

[Reactie gewijzigd door efari op 17 maart 2019 15:01]

Het maakt ook niks uit, Ik heb zelf hartritme storingen gehad en dit zelf ontdekt met een Hartband en Polar horloge (2015). Dat ding gaf aan dat er wat loos was.
Echter de grafieken spreken boekdelen. Hoge hartslag die je niet direct op de pols voelt en heel zwak is.
Ben 2x geopereerd (ablatie).
Punt is hier wel dat de cardiologen het zelf willen meten (wetenschap) en daar zit juist de crux. Hartritme stoornissen zijn sluipmoordenaars en moeilijk te registreren als ze maar eens in de maand voor komen. Die kastjes van de cardioloog krijg je vaak maar een paar dagen tot max een week.
Door trainingen en steeds een afwijking te registreren met mijn Polar wist ik hoe ik mijn hart tot Atriumfiblireren kon krijgen. Een cardioloog zal dit nooit accepteren. Maar kreeg de cardioloog wel zover dat ze me een meetkastje mee gaf voor een week en toen kon ik mijn bevindingen uitvoeren en was er eindelijk een diagnose. Heeft daarna nog 6 maanden geduurd voor ik in aanmerking kwam voor een operatie (ablatie).
De hele gang van zaken zal door onderzoek (ook smartphones) heel veel leven kunnen redden.
Echter wel onderzoek door Cardiologen uitgevoerd, het zal gezien worden als marketing, maar ik geloof dat een Apple en Microsoft (grote tech bedrijven) hier zoveel in investeren dat het een win win is.
Volgens mij kan bijna elke sporthorloge met met hartslagfunctie een indicatie geven dat het niet goed is, merkte zelf niets maar mijn tomtom sporthorloge gaf bij normaal wandelen 5 km p/u een hartslag aan die fluctueerde van 110 naar pieken van 180 wat ik wel vreemd vond.
Dacht eerst dat het aan het horloge lag maar bleef alsmaar die grote verschillen geven,na een bezoek bij de huisarts gaf ik deze ondervinding aan die mij voor de zekerheid doorstuurde naar een cardioloog
waar inderdaad boezemfibrilleren werd geconstateerd en heb een cardioversie gehad en nog steeds onder
behandeling.
Heb er uiteindelijk 2 gehad en na deze tweede 100% genezen en zonder medicatie, echt top. In Eindhoven behandeld 👍😁
Het gaat er om dat, net zoals ik dacht de eerste minuut na het lezen van het artikel, dat is best indrukwekkend hier kun je aardig op vertrouwen.

Maar de werkelijkheid is somberder, 84% van de notificaties is juist, niet 84% van de diagnoses.

Als je dit zou willen onderzoeken neem je een populatie waarvan je weet dat deze de klachten heeft om te checken of het algoritme dezelfde conclusies trekt. Maar dat hebben ze niet gedaan, en dat zal een reden hebben.

Men gaat te veel ten onrechte op deze techniek vertrouwen. "Mijn horloge verteld mij dat ik gezond ben, dan zal dat wel zo zijn." Terwijl de werkelijkheid anders ligt.
Aan het feit dat mensen gaan drogredeneren kun je helemaal niets doen, behalve een waarschuwing geven. De stelling dat een smartwatch de diagnose zou maken dat je gezond bent volgt nu eenmaal niet aan het feit dat als er een probleem met het hartritme wordt opgemerkt dat deze redelijk betrouwbaar is.
"Als je dit zou willen onderzoeken neem je een populatie waarvan je weet dat deze de klachten heeft om te checken of het algoritme dezelfde conclusies trekt."
Hoe test je dit op een betrouwbare en ethische manier? Mensen die hartklachten hebben zijn hopelijk in behandeling. Behandeling dan maar stopzetten? Vice versa hebben de onderzoekers vastgesteld dat maar in 1 op 3 gevallen atriumfibrilleren is vastgesteld in een ECG onderzoek. Dit is de kwestie die ze aanhalen, en waarop vooruitgang wordt geboekt: namelijk meer middelen hebben om hartproblemen te detecteren. Het is dus een perfect goede ontwikkeling dat in 71% van de gevallen dit een juiste voorspelling was.

Betreffende je eerdere rekensom ivm hartklachten waarvan er geen diagnose wordt gemaakt:
Het aantal personen met een niet gedetecteerd hartprobleem wordt geschat op 3,7 miljoen in de VS, op een populatie van 247,8 miljoen volwassenen. Dat is 1,5% van de populatie. In deze studie hebben 0,5% een notificatie gekregen. Dus ruwweg 1:4 van hartproblemen kunnen mogelijk worden ontdekt, of een kans van 1:5 dat atriumfibrillatie gedetecteerd wordt in de totale bevolking met ongekende hartproblemen. En de conclusie van deze studie is ook dat er 0,7 miljoen mensen AF hebben zonder diagnose. De smartmatches van Apple zouden dus in exact dezelfde verhouding waarschuwingen geven over AF, als er effectief gevallen zijn die niet eerder zijn vastgesteld.

Edit: Ik gooi het er even bij omdat deze comment redelijk hoog staat. Volgens mij worden de percentages worden verkeerd geïnterpreteerd in het artikel 84% → 71%
Comparisons between irregular pulse-detection on Apple Watch and simultaneous electrocardiography patch recordings showed the pulse detection algorithm (indicating a positive tachogram reading) has a 71 percent positive predictive value. Eighty-four percent of the time, participants who received irregular pulse notifications were found to be in atrial fibrillation at the time of the notification.

[Reactie gewijzigd door Mijiru op 17 maart 2019 16:01]

Mooie cijfers. En als meedenkertje: Als 1,5% (geschat) problemen heeft en 0,5% van populatie die de watch draagt een notificatie kreeg...

Er kan ook nog zoiets zijn als leeftijd die afwijkt. Wat als hartproblemen zich meer voordoen bij 60 plussers, en het vooral 20-50 jarigen zijn die de watch dragen?

Dan heb je een goede kans dat de score veeel rooskleuriger is dan je nu op basis van de totale populatie schat.

Dit kan echt enorm positief zijn al met al!
Dat is inderdaad zo.
The estimated prevalence of AF (diagnosed and undiagnosed) was 3,873,900 (95%CI: 3,675,200-4,702,600) elderly (65+) and 1,457,100 (95%CI: 1,218,500-1,695,800) working age adults (18-64)
De studie van Standford hangt af van vrijwilligers ouder dan 22 met een redelijk recent model van smartwatch (herfst 2016). De kans bestaat dat hier buitenproportioneel veel jongeren bij zijn. Langs de andere kant gaat het om Apple producten, dus het omgekeerde kan ook waar zijn. :P
https://photos5.appleinsi...180830-Cardiogram-2-l.jpg

25% van de dragers is onder de 29 jaar oud
30% is tussen de 30-39
21% is 40-49
15% is tussen de 50-59 jaar oud
9% van de dragers is 60+

Heb het toch kunnen vinden.

Ziet er inderdaad heeel erg goed uit eigenlijk.
Ik snap je punt. Er is wel een gevaar: mensen die gaan misschien minder gauw naar de dokter omdat hun Horloge niets vind. Dan zou je die mensen dom kunnen vinden, maar er zijn altijd gevallen waarin je twijfelt en zo'n horloge zou dan je overtuiging naar de verkeerde kant kunnen laten kantelen. Als die dingen op grote schaal worden ingezet lijkt me dat wel een dingetje om uit te zoeken.
Als je er 10 mensen mee redt en er gaat er 1 te veel dood, dna is dat voor je populatie bog steeds goed :-) wel kun je mensen 1x in de 3 maanden ofzo een notificatie sturen dat als ze iets voelen wat niet door de watch geregistreerd wordt, ze natuurlijk wel gewoon naar de dokter moeten gaan.
Ja dan kan je ook notificaties sturen over prostaatkanker naar oude mannen. Ik ben zeker dat daar ook een grote percentage juist zal zijn. Nutteloos
Ik denk dat dit soort dingen helemaal niet commercieel moeten zijn en dat is ook voor vele andere medische zaken al gebleken.
dus een thermometer om je lichaamstemperatuur te meten?
een hartslagmeter terwijl je aan het lopen bent?
een weegschaal om je elke dag te wegen?
een spiegel om te zien of je uitslag hebt op je vel?

vind je dit allemaal dingen die enkel voor dokters beschikbaar moeten zijn?

(ok die eerste 2 zijn mss niet voor dagelijks gebruik maar die laatste 2 ga je toch echt gebruiken zelfs zonder dat je klachten hebt, net zoals je uw apple watch dagelijks kunt gebruiken.)
Die thermometer is accuraat. De hartslagmeter en weegschaal zijn dat ook. Deze toepassing voor hartproblemen is dat helemaal niet. False positives zijn hier ook niet echt prettig, of wel?
als ik constant jeuk heb aan m'n gezicht, maar de spiegel zegt mij dat er niets te zien is, dan ga ik dat toch niet negeren?
idem met apple watch toch?
wie klachten negeert gaat sowieso in de fout, of het nu met apple watch is of "analoog"
Wat een onzin. Als ik pijn aan mijn kies heb maar ik zie niets, ga ik gewoon naar de tandarts.

Ik ben overigens 3x weggestuurd door de tandarts omdat er echt niets aan de hand was, ondanks de pijn. Ik ben toen naar andere tandarts gegaan, en die zag op de foto dat lijn kies aan de binnenkant een gaatje had wat van buiten onzichtbaar was.

Blij dat ik op mijn gevoel af bleef gaan.

Ieder weldenkend mens gaat met klachten naar een dokter. Als je je ziek voelt en de thermometer zegt gewoon 37 graden, is dat geen reden om geen paracetamolletje te nemen.
Dus dit stuk zegt helemaal niks over de kwaliteit van de techniek er achter. Allemaal marketing.
Wat een zure reactie. Deze techniek heeft hij een aantal mensen een sensor gebruikt om een medisch probleem aan te duiden. Dat is dus GEEN marketing maar harde data. en het was met verouderde techniek de nieuwe Apple Watches hebben duidelijk meer opties. Deze telefoon gaan levens redden en voor veel mensen grote problemen voorkomen. Als Apple dat als marketing wil gebruiken, mijn zegen hebben ze.

Waar jij zuur bent zijn de reacties uit de cardiovasculaire wereld ronduit positief. En met excuses maar ik neem de mening van professoren in deze wat serieuzer.

“The study’s findings have the potential to help patients and clinicians understand how devices like the Apple Watch can play a role in detecting conditions such as atrial fibrillation, a deadly and often undiagnosed disease,"

“The performance and accuracy we observed in this study provides important information as we seek to understand the potential impact of wearable technology on the health system,”
Aanvullend op @BenVenNL : mij heeft deze video geholpen om dit soort berichten wat beter te kunnen begrijpen : https://youtu.be/s0sv3Kuurhw
En jouw rekensom in op een aanname gebaseerd die uit de lucht gegrepen is (40%)

Vervolgens heb je een conclusie daarop... ‘ronduit slecht..’.. maar jouw conclusie is gebasseerd op eigen aanname..

Dus je hebt zojuist een 10 gescoord voor rekenen.. maar een 1 voor wetenschappelijk denken...
Je doet aannames die op niets gebaseerd zijn.
De enige die oordeelt en conclusies verbindt aan dit onderzoek ben jij.
Ik lees dat slechts 0,5% en melding kreeg.

Daarnaast melden de onderzoekers dat in totaal 0,5 procent van de dragers een of meerdere notificaties heeft ontvangen over mogelijke problemen met het hartritme. Van de mensen die een melding kreeg meldden zich er iets meer dan de helft bij een dokter voor nader onderzoek.

Ge zult nog iets strenger moeten zijn met uw berekeningen. :)
Apple kennende is je conclusie juist.
Als de scores van bij wel en niet melden hoog zijn dat had Apple twee percentages gegeven.
Ik zal nooit zo'n gimmick kopen, maar als ik wel zoiets zocht zou dit onderzoek voor mij voldoende informatie geven om Apple te mijden.
Andere merken kunnnen ook slecht presteren, maar dat is nog niet bewezen en goedkoper.
En hoeveel mensen zijn er ondertussen gered die geen geen watch droegen, geen notificatie kregen, niets voelden en daardoor overleden?

Elke tool om misstanden op te sporen is toch goed?
Lol, er is inderdaad ook een iWatch, maar die is niet van Apple. Ik bedoelde uiteraard Apple Watch :)

84% op basis van alleen het meten van hartslag, zonder functies voor ECG vindt ik ook een heel mooi percentage.

Moet je eens vergelijken met een NIPT-test (zwangerschapstest waarbij getest wordt op 2 dodelijke syndromen en syndroom van down):
Als de test negatief is (en dus goed) dan is de kans kans dat het toch fout zit 1%.
Als de test positief is, dan is de kans dat het alsnog negatief blijkt te zijn 75%! Dus eindresultaat is maar 25% juist.
Dat is heel erg kort door de bocht.

Tests hebben een sensitiviteit en een specificiteit. De sensitiviteit is de kans dat als er echt iets aan de hand is, de test positief is. Voor de NIPT is de zowel de sensitiviteit en specificiteit voor het van Down-syndroom, afhankelijk van de studie, ruim boven de 99%. De kans dat bij een NIPT die positief is voor Down-syndroom het kind ook echt Down-syndroom heeft, als de moeder in een hoog-risico groep valt, is ook ruim boven de 90%.

De NIPT kan ook andere aandoeningen aantonen, waarbij zowel de sensitiviteit en specificiteit substantieel lager is omdat het er niet voor gemaakt is. Echter, als deze afwijkingen gezien worden wordt er vaak wel verder onderzoek gedaan. Dat zorgt ervoor dat er heel wat verhalen over vals-positieve NIPT tests rondslingeren.

Deze studie, echter, is niet goed genoeg opgezet om de sensitiviteit en specificiteit te onderzoeken, en kan dus slechts beperkt wat zeggen over de test. We weten niet in hoeveel van de gevallen de Apple Watch een aritmie gemist heeft. Daarmee kan het dus dat de Apple Watch erg conservatief is afgesteld (lees: als de NIPT maar dan alle gegevens over andere aandoeningen de prullenbak in), en er bij een positieve uitslag wel iets gedaan moet worden, maar er ook een vals gevoel van zekerheid gecreeert wordt omdat er veel dingen gemist worden.
Off: het is Apple Watch, geen iWatch :)

Ot: ik snap de negativiteit hier niet, 84% vind ik zeer hoog. Het zal nooit of niet zo snel 100% worden.
1.000.000 mensen dragen een Watch, daarvan gaat bij 0,5% het horloge af, is 50.000, daarvan is 84% juist (42.000) en 16% niet juist (8.000).

8000 testen bij de huisarts van 30 min, is 4000 uur, gedeeld door 8 uur per dag, 500 dagen, gedeeld door 200-250 is 2.5-2 FTE.

Dus om 1.000.000 mensen te screenen en daar 42.000 probleemgevallen uit te halen heb je 2 à 3 extra artsen nodig. Dat is dus 1 arts extra per 400.000 inwoners, 40 voor heel Nederland.

Nou nou, wat een extra druk op de gezondheidszorg zeg, poeh.

De extra druk ligt er eerder in dat je nu 42.000 probleemgevallen gaat behandelen. Een deel daarvan zal nooit een probleem hebben en ooit ter plekke omvallen en relatief weinig kosten, maar een deel zal langere tijd behandeld moeten worden.

Maar dan nog is het de vraag of het niet goedkoper is als je er eerder bij bent en nog met medicijnen aan de slag kunt in plaats van opereren en zwaardere medicijnen.

[Reactie gewijzigd door White Feather op 17 maart 2019 12:38]

Dat laatste vooral. En je vergeet dat slechts de helft naar de arts gaat. En die test duurt maar 1 consult van 15 minuten als ik het mij goed herinner.

Dus 4000x15 minuten is 1000 uur, 125 dagen dus, wat nog een flink stuk onder 1 arts is voor 1 miljoen mensen.

En wat je zegt: Die andere mensen die je opspoort zorgt misschien wel voor een besparing van meer dan 1FTE van een specialist je je (per ambulance?) die je niet nodig hebt. Dat bespaart snel veeeeeel FT, want dat uitrukken is idioot veel duurder dan een huisartsbezoekje.
Die 16% false positives vind ik niet opwegen tegen 84% true positives.

De echte crux ligt em in de false negatives, het percentage mensen dat erop vertrouwt geen hartproblemen te hebben omdat de watch alles normaal vindt, maar toch stoornissen heeft.

[Reactie gewijzigd door Dashter op 17 maart 2019 11:23]

Die 16% false positives vind ik niet opwegen tegen 84% true positives.
En het hoeven geen werkelijke false positives te zijn. Als de sensor iets gemeten heeft dat mogelijk schadelijk is kan het best zijn dat je in vervolg onderzoek daar niets van vinden kan. Met het hart is dat zelfs een groot probleem. Als je een paar keer een dergelijke melding in een paar jaar krijgt dan kan je als arts bijvoorbeeld kiezen om een uitgebreider onderzoek te doen. Dat is iets wat in dit onderzoek niet gevangen is.

Een bevriende cardioloog raad al zijn patienter al maanden aan een een nieuwe Apple Watch te kopen. Als die zijn volledige potentieel kan gebruiken is dat volgens hem een volkomen verandering van het vak. Veel meer mensen die in een zeer vroeg stadium een diagnose kunnen krijgen.
Maar die mensen zouden anders ook niet zomaar voor een check naar een arts gaan denk ik. En als ze dat wél zouden doen dan zouden ze dat nu nog steeds wellicht doen.
16% false positieves is al een hele goede waarde for een gen1. Verbetering aan het software zal ook ea aan kunnen bijdragen.
Beter statistieken begrijpen denk ik. Van die miljoenen dragers gaat geen 16% onterecht naar de huisarts. Van de dragers die een melding kregen dat er iets mis was/is, was dat in 84% van de gevallen correct. Dus niet iedereen met een Apple watch kreeg een melding.
wat interessant is om te weten is hoeveel er problemen hebben die NIET zijn opgemerkt en dus een vals gevoel van veiligheid zouden hebben gehad. Het gaat tenslotte om een niet-medisch apparaat dat aan veel minder strenge eisen moet voldoen als een medisch apparaat dat door de cardioloog kan worden voorgeschreven en waarvan je bijna 100% nauwkeurigheid verwacht.
Dat is met alle zelfzorg dingen. Een bloeddrukmeter die je bij Blokker koopt, een alcoholtester van de ANWB kun je ook niet met de apparatuur op het politiebureau vergelijken.
wat interessant is om te weten is hoeveel er problemen hebben die NIET zijn opgemerkt en dus een vals gevoel van veiligheid zouden hebben gehad.
Als jij gelooft dat een Apple Watch een preventie is tegen hartproblemen en niet een toevallige extra methode om hartproblemen te ontdekken heb je helemaal gelijk.
het is een verkoopspraatje waar meer dan waarschijnlijk wel een deel waarheid en functionaliteit in zit, maar ik zou er nooit op vertrouwen, iets wat ze zelf waarschijnlijk ook in de kleine lettertjes zullen hebben gezet.
Zelf heb ik geen hartslagmeter, maar een bloeddrukmeter (die ook je hartslag meet) van een merk dat gespecialiseerd is in medische apparatuur, wat logischerwijs ook een veelvoud kost van dit soort gadget-functionaliteit.
ik snap ze prima... maar het was nog vroeg. ;)
Het gros van de consultaties bij huisartsen is compleet onnodig en gaat over kwaaltjes die vanzelf verdwijnen. Dus als je schrik hebt van de extra kosten, pleit dan voor het afschaffen van het verplicht ziekte attest voor werkgevers en scholen en je kan de consultaties + kosten verminderen met de helft.

Die enkele extra patiënten gaan het niet maken, zeker omdat een onderzoek vrij makkelijk kan gebeuren bij de huisarts en aan de hand van een mobiele EKG. Het grote risico bij de 16% is dat ze na een tijdje geen geloof meer hechten aan de waarschuwing en ze negeren, ondanks dat het bij een latere waarschuwing misschien wel terecht kan zijn.

Een ander en meer realistisch risico is dat mensen pijn signalen gaan negeren omdat het horloge geen melding geeft, zeker nu blijkt dat maar 1/3 van de waarneming door een EKG ook door een Apple Watch worden gedetecteerd.

Het is een leuke tool die zeker een echte meerwaarde kan betekenen, maar niet meer dan een tool. Het vervangt geen artsbezoek bij pijn in je borst of de jaarlijkse controle als top/actieve sporter, ondanks dat de marketing van Apple deze indruk wel geeft. Getuigen ook dit artikel dat zich focust op de 84 accurate waarnemingen i.p.v de 2/3 niet gedetecteerde waarnemingen.

Je moet het zo bekijken: Stel een airbag voor in een wagen. In 84% van de gevallen wanneer deze is afgegaan, is er ook spraken van een ongeval. Maar, in maar 1/3 van de ongevallen gaat de airbag af. Zou je dat als een betrouwbare airbag beschouwen?
Het vervangt geen artsbezoek bij pijn in je borst (...), ondanks dat de marketing van Apple deze indruk wel geeft.
Is dat ook echt zo? Heb je een voorbeeld dat de marketing van Apple beweert dat je niet naar de arts hoeft te gaan met pijn in je borst, omdat de watch geen signaal afgeeft? Dat geloof ik nog niet zomaar.
Ze hebben dat nooit beweerd en ik ben vrij zeker dat ze dat nooit zullen doen. De handleiding op hun website vermeld ook dat het geen dokter vervangt. Maar ze hebben die indruk wel gegeven tijdens hun event in september 2018.
Apple zegt dat de gadget problemen opspoort.
Uiteraard heeft die medaille twee zijdes. Als het apparaat een melding geeft heb je een probleem, bij geen melding heb je geen probleem.
Als ik lees dat mensen zo trouw hun Apple navigatie volgen dat een ritje van 10km in de stad een rit van 200km in de woestijn wordt, en dan toch niet effe nadenken en een gerenommeerde apps zoals Google Maps opstarten dan vrees ik dat die mensen ook met pijn in de borst naar de huisarts gaan.
De pijn moet dan wel een andere oorzaak hebben. Griepje, verslikt, gestoten, etc
Gerenomeerd zoals Google maps? Die app die je betaald hebt met je privacy? Veel mensen kiezen juist voor Apple in plaats van Google of Android alternatieven vanwege het verschil in hun verdienmodel

[Reactie gewijzigd door Steven.w op 18 maart 2019 17:28]

Opzich fijn dat het kan en dat het er is, maar 84% is een te laag percentage imho. Ja het is voldoende om bij een arts navraag te doen maar hier zou je als gebruiker geen conclusies uit mogen trekken. Maarja je eigen gezondheid Googlen en dergelijke raad ik sws persoonlijk af
84% is best wel hoog en in de tekst staat dat het percentage waarschijnlijk hoger is omdat de testmeting maar een week duurde.

Bij borstkankeronderzoek zijn de cijfers minder goed, daar levert de screening 30% false negatives op (mensen gerustgesteld maar ze hebben toch borstkanker zonder ze het weten) en 10% false positives. ( mensen zonder borstkanker die toch onterecht horen krijgen dat ze borstkanker hebben).

Hartritmestoornissen zijn wel degelijk een een sluipend gevaar.

Harrritmestoornissen zijn vaak niet goed op te merken omdat ze maar periodiek voorkomen en vaak zonder dat je het merkt en wanneer je er echt iets van merk is het vaak al heel erg ernstig en heb je bijv een beroerte.

Vooral effectief bij oudere mensen omdat daar een erg groot percentage van beroertes en infarkten kan vermeden worden, maar ook sporters hebben er baat bij.

ECG holtering is vaak duur en irritant, je moet een week rondlopen met kabeltjes en plakkertjes op uw borstkast. Een smartwacht maakt de screening veel toegangkelijker en de dataset veel omvangrijker.

[Reactie gewijzigd door Coolstart op 17 maart 2019 10:42]

Ik ga wat je zegt zeker niet geheel ontkennen, maar wel enigszins nuanceren. AF komt veelvuldig voor en mogelijke gevolgen (CVA) zijn niet mals. Echter van AF alleen krijg je niet zozeer direct een CVA. Om dat risico te berekenen is er de CHADSVASC-score zoals je misschien weet. Een aantal van de risicofactoren uit die lijst is natuurlijk flauw (vrouwelijk geslacht, leeftijd), maar vele patienten zijn bij andere risicofactoren zoals DM en HT wel bekend bij de huisarts of specialist, die dan ook vaak wel behandeling daarvoor inzet en daarbij ook wat verder kijkt dan z'n neus lang is en vaak dan ook wel een AF vindt. Hierdoor neemt het risico weer af. Tevens moeten we niet vergeten dat AF helemaal niet per se zo'n sluipmoordenaar is, je krijgt er zeker wel klachten van. Benauwdheid bij inspanning, hartkloppingen, misschien plots flauwvallen.. die mensen gáán al naar de HA waardoor je een AF vaak alsnog op het spoor komt. Je kunt je afvragen of mensen die met die klachten niet naar de HA gaan, dat ineens wel doen als hun horloge zegt dat ze iets onder de leden hebben. Als laatste is dit vooral een aandoenng van de 75-plussers. Misschien dat jij als tweaker ook ouders hebt die vroeger tweakten, maar ik heb bijna wekelijks contact met m'n grootouders als "Google niet meer werkt" en Firefox blijkbaar de laatst bezochte pagina opent in plaats van de startpagina. Die oudjes die er echt wat aan hebben zie ik niet met een digitaal horloge waar ze niet op kunnen kijken rondlopen.

Daarnaast lees ik reacties hierboven over dat de percentages gaan over mensen die een notificatie hebben gehad en dat dat dus niks zegt over mensen die de notificatie niet hebben gehad.
Mweh dit zal even mijn eigen mening zijn (paar keer neergegaan met bijna geen pols en idd ook 2keer met een kastje met plakkers mogen rondlopen waar idd uitkwam dat ik een hartritme stoornis heb). Ik vind 84% best hoog voor een smartwatch maar ik vind het telaag om conclusies eruit te trekken. Dit omdat ik 1 positive heb gekregen en 1 false van die 2keer (waar een paar maanden tussen zat) uiteindelijk via nog iets uitgebreider wel uitsluitsel gekregen maar zelfs een kastje kan er naast zitten terwijl die met z'n 5 6 plakkers me toch een stuk nauwkeuriger lijkt.
het gaat erom dat de meeste van die 84% niet weten dat ze een probleem hebben. Het is dus een extraatje, een feature die veel problemen kan voorkomen!
Niet helemaal waar dat het een leuk extraatje is: https://youtu.be/M8xlOm2wPAA

Diegene die het meest er mee opschieten: Apple en diegene die per patiënt betaald worden.

[Reactie gewijzigd door stefan70 op 17 maart 2019 10:35]

Ik heb er persoonlijk voordeel van, bijvoorbeeld. Ik heb namelijk AF en heb een paar jaar geleden een cardioversie ondergaan. Mijn AF is momenteel weg, maar het komt zeker weten terug, aldus de cardioloog. Kan maanden duren, kan jaren zijn, is niet te voorspellen.

Mijn Apple Watch gebruik ik als *extra* “early warning” systeem. Regelmatige controles bij de cardioloog, maar ook continue controle door mijn Watch. Reken maar dat ik direct de dokter bel als mijn watch een notificatie geeft, het kan mijn leven redden.

Let wel, de watch is alleen extra. Naast medicatie, normale controles en gewoon waakzaam zijn.
Voor mensen met aanleg of een historie, dan is het een uitkomst helemaal mee eens.

Echter, als er geen aanleiding is, dan is het beter om geen gebruik te maken van dit soort apparatuur.
Toch zal het goedkoper zijn om iemand in een vroeg stadium te helpen dan wanneer zich daadwerkelijk de gevolgen van afib hebben voorgedaan.
En je vergeet wie er het meeste baat heeft bij deze functionaliteit; de drager.
Kijk het filmpje maar eens goed. Het is niet goedkoper, het zorgt voor onnodige onrust. Als je echt bij de risicogroep hoort, dan is het een uitkomst.
Het filmpje gaat over een medische test die je iedereen, dus 100% gaat laten doen en die mensen gaan dan zenuwachtig op de uitslag zitten wachten terwijl maar 1% die ziekte heeft (allemaal voorbeeld-cijfers / aannames overigens). Dus ja, dan zit 99% 'voor niets' in de stress. Dit is nogal een theoretische situatie want in de praktijk ga je natuurlijk niet heel de bevolking zo'n test laten doen (of alle horlogedragers of zo).

Bovenstaand artikel gaat over een smart horloge wat dit in de achtergrond 'erbij' doet. Het is niet bedoelt als professioneel test-apparaat en geeft alleen het advies je door een specialist te laten checken als je een positieve test-uitslag scoort.

Van alle gevallen waarin het horloge dit advies geeft (0,5% van de horloge-dragers), heeft 1/3 ook daadwerkelijk zo'n hartritmestoornis, voor zover ze dat kunnen controleren want ze zeggen er duidelijk bij dat het met een specialistisch meetapparaat ook niet altijd goed te bepalen is.

Kortom van de 1.000 horlogedragers krijgen 50 dat advies en daarvan zitten er 33, oftewel 3,3% 'voor niets' in de stress, maar voor 17 oftewel 1,7% kan het een groot verschil maken. Ergens tussen het voorkomen van een operatie met medicijnen tot een vroegtijdige dood.

Daarbij hoef je de test niet aan te zetten hè? Het blijft een vrije keuze.
Het is juist een safeguard.
Er staat nergens hoeveel van die mensen het al wisten c.q. onder behandeling stonden.
Als ik het goed lees heeft slechts 16% van de deelnemers een vals positief signaal gekregen (waarbij 'positief' natuurlijk iets ellendig betekent). Ik denk dat het percentage vals negatief ook boeiend is om te ontdekken. Wat jij zegt is waar, mensen moeten er niet op gaan bouwen. Boy heeft ook gelijk, alle signalen die gebruikers ontvangen waarvan ze anders geen weet hadden gehad zijn pure winst. Zo lang mensen niet aannemen dat ze 'veilig' zijn met een smartwatch om klopt dit. Ik vind het eigenlijk schitterend: enorm veel mensen weten nu dat ze een probleem hebben met slechts een relatief laag percentage 'onterechte' artsbezoeken.
Neen, niet 16%. Die 16% slaat enkel op de personen die ook effectief een melding kregen. In het artikel staat al dat dat slechts 0.5% van de deelnemers was.

Hoedanook vind ik 84% dus ook wél een goed resultaat. Dat betekent dat slechts 1 op 7 ten onrechte gealarmeerd wordt. Of dus ook: dat als je een alarm krijgt, er 84% kans is dat er effectief iets aan de hand is. Ik vind het dan ook een beetje verontrustend dat slechts de helft dan ook effectief een dokter ging opzoeken. Zou interessant zijn om te weten waarom: wisten ze het al ? of betrouwen ze het resultaat niet ? Of onderschatten ze het probleem ?
Zo ligt het dus net niet. Hierboven word een yt filmpje aangehaald met de correcte statistiek.
Het apparaat waarschuwt zelf voordat je de functie ook maar geactiveerd hebt dat je geen conclusies mag trekken en bij positives een arts moet raadplegen.
Mensen trekken er ook geen conclusie uit: mensen gaan naar de dokter.
Comparisons between irregular pulse-detection on Apple Watch and simultaneous electrocardiography patch recordings showed the pulse detection algorithm (indicating a positive tachogram reading) has a 71 percent positive predictive value. Eighty-four percent of the time, participants who received irregular pulse notifications were found to be in atrial fibrillation at the time of the notification.
Het bijzonder knap dat dit nu te detecteren is door een "simpel" horloge.
Dat zou ik niet zo hard willen stellen.

Als we kijken naar apparaten zoals de MyDiagnoStick, komt de positief voorspellende waarde nagenoeg gelijk uit (72% bij MyDiagnoStick, 71% bij Apple Watch). En deze apparaten worden omarmd door artsen.

Wat meer van belang is, is de negatief voorspellende waarde (99,6% bij de MyDiagnoStick). Je wil natuurlijk zeker geen boezemfibrilanten ongedetecteerd wegsturen.

Zeker gezien de gelijkwaardigheid in prijs (MyDiagnoStick €800,00), denk ik dat hiermee Apple een hele grote kans maakt om als mainstream techbedrijf de gezondheidszorg een sprong voorwaarts te helpen.
Never ask Google for medical advice.
I have gone from mild headache to clinically dead in Three clicks :*)
Het grote gevaar bij dit soort apps zijn 'false positives'. Als je je vertrouwen in die app legt en deze geeft niet aan dat er iets aan de hand is bestaat het gevaar dat je daarin berust terwijl de watch in werkelijkheid een bestaand probleem niet herkent en dus een false positive geeft.

Dit is ook een grote zorg van de medische wereld en in het bijzonder cardiologen.
Het is en blijft een oplossing op huis tuin en keuken niveau.
Dat is meer een false negative. Maar er is toch een subtiel verschil. Als je het al niet wist en de watch herkent het niet, dan ben je niets opgeschoten maar ook niet achteruit gegaan. Het enige is dat er mogelijk een verhoogd risico is dat je bij milde klachten nog steeds geen contact opneemt met je arts als je de meting van de watch vertrouwt. Daarom waarschuwt het systeem waarschijnlijk ook als je ‘t activeert voor dat soort dingen.

[Reactie gewijzigd door WhatsappHack op 17 maart 2019 23:32]

Dan mis je alleen nog het % dat geen notificatie krijgt, maar die wel last hebben van onregelmatigheden. Als je dat niet weet en het is hoog, dan geeft het horloge een valse zekerheid. Een false positive in dit onder zoek is juist geen drama
Toch best mooi dat het ingebouwd zit, kan levens redden. Nu graag nog activeren in de EU zodat we er hier ook gebruik van kunnen maken. ;(
Ik vrees dat het nog wel even gaat duren voordat met name de ECG functie toegelaten wordt in de EU.

Ze brengen het als een medical device functie en daarom is het niet zo maar goedgekeurd.
Daar héb je er weer zo een hoor. Nee, Apple verkoopt je (medische) data niet. Punt.
Zekerheden heb je niet wat tech bedrijven doen. Maar Data handel is bij de een core business en bij de ander niet. Dan voel je bij apple toch wat veiliger dan google of facebook.

Als Apple dat ook nog als selling point ziet. En privacy ook nastreeft nog veiliger gevoel.
Oh ja, zodra je iemand ergens op aanspreekt is het "maar een voorbeeldje". Tuurlijk. Het is misschien gewoon gezonder om even na te denken.. en niet uit te gaan van de woorden van één of andere losgeslagen crimineel die alleen maar open deuren in heeft weten te trappen...

Ik dien helemaal niks. Het voorbeeld ging om het verkopen van data, dat gebeurt simpelweg niet. Het is héél simpel. Er. Wordt. Geen. Data. Verkocht.

[Reactie gewijzigd door DigitalExcorcist op 17 maart 2019 12:50]

Nou, als jij denkt dat de voorwaarden niet deugen, laat maar eens even zien dan 😊

Ik zie nergens ook maar enig bewijs dat m’n data verkocht is.
Noem alsjeblieft Facebook en Apple niet in één zin als het gaat om privacy.
Als ik u was zou ik eens onderzoek doen naar het privacybeleid van Apple. Zij zullen nooit je data aan derden verkopen. Sterker nog, je meest gevoelige data verlaat zelfs niet je telefoon/watch.

Als blijkt dat Apple wel data zou doorverkopen zijn ze in één klap hun geloofwaardigheid kwijt en kunnen ze hun merk opdoeken.

[Reactie gewijzigd door Wootism op 17 maart 2019 10:58]

Oh, het verkopen was maar een voorbeeld?
Dus nu gaan we het opeens hebben over Snowden en lekken in systemen.

Zo kan je bezig blijven natuurlijk.
Weinig zeggend resultaat. Hoeveel vals negatieven waren er?
Afib komt ongeveer voor bij 4 à 5% van de bevolking, dat zijn in de US - waar deze studie plaatsvond - ongeveer 15 miljoen mensen.
Ik trek nu conclusies die eigenlijk zonder meer info (negatieven!) niet kunnen getrokken worden, maar als we er even voor het gemak van uitgaan dat de apple watch perfect is op het vlak van negatieven (zowel vals als correct negatieven) gaat het hier om een miljoenen mensen die verkeerdelijk een diagnose van arrythmie zouden krijgen (16% van alle amerikanen die geen afib hebben: 285 miljoen mensen*0.16=45 miljoen).
Als die allemaal naar de dokter gaan (voor niets) is dat wel degelijk een enorme druk op het gezondheidssysteem en worden gelden die beter naar andere zaken gingen verspild.

We laten dan ook nog even buiten beschouwing dat het voorkomen van afib stijgt met de leeftijd en dat waarschijnlijk voornamelijk jonge mensen een apple watch dragen.

De hoera berichten hier over die 84% zijn wat mij betreft redelijk misplaatst.
De notificaties zijn voor 84% accuraat, dus niet de meting.
Comparisons between irregular pulse-detection on Apple Watch and simultaneous electrocardiography patch recordings showed the pulse detection algorithm (indicating a positive tachogram reading) has a 71 percent positive predictive value. Eighty-four percent of the time, participants who received irregular pulse notifications were found to be in atrial fibrillation at the time of the notification.
Betrouwbaarheidsonderzoek is lastig en taai omdat het vóórkomen van een ziekte belangrijk is bij de betrouwbaarheid. Daarnaast hebben False positives een grote dempende invloed op de kans dat er ook daadwerkelijk iets aan de hand is bij een positieve uitkomst van een test (Bayes).
Nu weet ik dat Apple van de techreuzen de meest integere is op het vlak van privacy, maar dat deze heel persoonlijke en gevoelige informatie zich desondanks in de cloudomgeving van een service provider terecht komt zet mij wel aan het denken waar dit gaat eindigen. Voordat dit aspect weer in een voor of tegen Apple discussie verwordt, wat ik in dit topic helaas al weer te veel zie gebeuren (mensen ga er nu toch eens een keer neutraal in zitten), dezelfde discussie kan je gaan voeren over partijen als Garmin en Fitbit. Apple is misschien verder op het vlak van de analyse van het hart, maar ook die partijen slaan veel heel persoonlijke informatie op waaruit veel is af te leiden over de gebruikers.

Maar los van deze afweging, die 84 procent score voor een terechte waarschuwing vind ik indrukwekkend. Zonder monitoring waren deze gebruikers misschien niet eens bij een huisarts terecht gekomen. Een mooi eerste waarschuwingsmechanisme. Ook dit is een gegeven waar we niet omheen kunnen. Ik zie dit nog maar als een begin.
Mee eens.
Indien de Apple watch idd zo accuraat is is Apple dan momenteel niet bezig met het verzamelen van medische data van personen in iCloud? Ik zie problemen met privacy opduiken.

Dit is niet strikt een Apple probleem, Android en Google fit icm de vele sport/health trackers van Fitbit, Garmin en Xiaomi lopen hier ook tegen op.

[Reactie gewijzigd door parryfiend op 17 maart 2019 16:53]

Gezondheidsdata wordt gebackupt in je extra beveiligde keychain, die vereist een extra code/wachtwoord om te unlocken. Maar als je het niet prettig vindt kan je het uitzetten in de iCloud-opties. Ik heb dat ook gedaan, die data wordt enkel lokaal geback-upt. Vertrouw Apple er best mee, maar je weet maar nooit. Niet dat het nou spectaculair interessante data is op dit moment, maar toch.
Nou, dat is mooi dat je het in ieder geval lokaal kan, dat duidt erop dat Apple zich ook heeft gerealiseerd dat deze informatie gevoelig ligt.

De betrouwbaarheid van het huidige Apple hoeft hierbij trouwens niet ter discussie te staan. We moeten alleen in het achterhoofd houden dat een derde partij in een of andere historische hack zich toegang kan verschaffen tot de Apple cloud, en dat die informatie (die dan eerst nog moet worden decrypted, verwacht ik) kan weghalen. Niet dat ik dat risico niet loop als ik die informatie bij mijzelf houdt. Al maakt de security by obscurity factor de kans hierop wel kleiner.

Een andere hazard is dat ieder bedrijf, ook Apple, haar organisatievorm in de toekomst kan veranderen. Zie dit dan getriggered door veranderingen als een fusie, een overname, of een verandering in de samenstelling van de aandeelhouders. Dit kan uiteindelijk repercussies hebben op hoe het bestuur zich opstelt ten opzichte van haar privacybeleid. Dit is trouwens niet iets wat wij ons bij bedrijven moeten realiseren, maar zelfs bij overheden kan je een discussie hebben over hoe veilig onze informatie daar eigenlijk is. Denk aan de hulp die de Nederlandse overheid heeft geboden om Joodse inwoners aan te wijzen tijdens de bezetting van Nederland gedurende de tweede wereldoorlog.

Eigenlijk kunnen we de vraag terugbrengen tot een kernvraag: is dergelijke, zo persoonlijke informatie als medische gegevens, wel te beheren in een cloudomgeving van wat voor organisatie dan ook? En zo ja, welke regie hebben wij dan over deze cloudinformatie nodig om onze privacy te waarborgen?

[Reactie gewijzigd door teacup op 17 maart 2019 21:59]

Ja, hacks, m’n account op de een of andere manier gehackt en dat soort shit is precies waarom het lokaal staat.
Met overheden ben ik helemaal met je eens al is de vergelijking met de joden ietwat out of range voor de huidige discussie. :P

Cloud is altijd een risico. (Lokaal opslaan ook overigens, maar dan heb je er zelf controle over.) Het kan zeker wel veilig, alleen niet gebruiksvriendelijk - en daar schuilt het probleem voor “jan en alleman”. Maar laat ik het zo stellen: Apple beveiligt en bewaakt m’n data, als ik die bij ze zou stallen, waarschijnlijk beter dan m’n huisarts/het ziekenhuis - mede omdat tegenwoordig de zorgverzekering volledige toegang tot je medisch dossier mag krijgen en het beroepsgeheim van de arts niet meer geldig is. ;( En gezien het apart opgeslagen was kan Apple er in theorie ook niet zomaar bij, al valt dat in de praktijk wel te bruteforcen natuurlijk.

[Reactie gewijzigd door WhatsappHack op 17 maart 2019 23:28]

Universiteiten worden gesponsord door bedrijven.
Ik heb altijd veel twijfel bij dit soort onderzoeken, waarvan Apple de hoofdsponsor is

Ik kan mij niet voorstellen, dat een Apple Watch even nauwkeurig is als een ECG onderzoek bij een cardioloog. Een ECG onderzoek maakt gebruik van tien afleidingen

Volgens mij doen cardiologen helemaal niets met de resultaten van de Apple Watch
De Apple Watch is een gimmick.
En heeft nog steeds geen EC keurmerk

Gr
Ik kan mij niet voorstellen, dat een Apple Watch even nauwkeurig is als een ECG onderzoek bij een cardioloog. Een ECG onderzoek maakt gebruik van tien afleidingen

Volgens mij doen cardiologen helemaal niets met de resultaten van de Apple Watch
Informatie opgedaan vanuit een punt op het lichaam is natuurlijk nooit zo precies als een ECG die in het ziekenhuis wordt opgenomen. Los hiervan kan ze we van nut zijn als indicatieve meting. Als mensen op medische indicatie een mobiele monitoring unit mee naar huis krijgen (hierbij gaat het niet over een Apple Watch), meet ook deze unit niet op tien meetpunten. Desondanks biedt de monitoring wel informatie over het gedrag van het hart over een langere periode. Zonder alle ins en out zelf te weten, weet ik wel dat deze monitoring technieken ook in onze medische zorg, helemaal los van Apple, een vlucht nemen. Dat mobile meting voor de ene hartafwijking meer van nut is als voor de andere mogen we daarbij wel verwachten.

Ik denk dat je de toepassingen meer naast elkaar moet beschouwen als dat het een een vervanging is voor het andere. Mobiele monitoring is simpelweg een uitbreiding op het meetinstrumentarium om het gedrag van het hart te kunnen interpreteren.
Dat doet het niet en zo wordt het ook niet geadverteerd. Het kan een indicatie geven. Om dit te onderzoeken moet je nog een “echte” ECG krijgen van de arts. Vaak een paar omdat dit probleem vervelend genoeg kan komen en gaan. De Watch is dus zeker geen zekere meting.

Cardiologen doen er wel degelijk iets mee trouwens, de Watch produceert de grafiek, die bekijken ze. Als ze er aanleiding toe zien in dat resultaat doen ze meteen een vervolgonderzoek. Zijn tig verhalen over te vinden vanuit de VS van mensen die op die manier heel vroeg erbij waren met een onderliggend hartprobleem. Dat is wel fijn, onopgemerkt kan je zomaar omvallen. Anderen hebben hun hele leven nergens last van. Maar voorkomen is beter dan reanimeren. :+
Tsja ik heb ook al jaren atrium fibrilleren. Heb er geen Apple hs meter voor nodig gehad om me dat te vertellen. Ik vind het trouwens ook niet zo bijzonder dat de Apple hs sensor dit redelijk goed kan oppikken. Of elke andere hs sensor.

Op dit item kan niet meer gereageerd worden.


Apple iPhone 11 Nintendo Switch Lite LG OLED C9 Google Pixel 4 FIFA 20 Samsung Galaxy S10 Sony PlayStation 5 Games

'14 '15 '16 '17 2018

Tweakers vormt samen met Tweakers Elect, Hardware Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True