Fitbit: trackers identificeren bijna helft coronagevallen een dag voor symptomen

Fitbit claimt in een vroeg onderzoeksverslag dat het in een deel van onderzochte gevallen van het coronavirus de verschijnselen van de ziekte met zijn fitnesstrackers kan identificeren voordat de drager symptomatisch is geworden.

In het verslag stelt de Amerikaanse maker van wearables als de Versa en Charge dat ademhalingssnelheid, hartslag in rust en hartslagvariabiliteit nuttige variabelen zijn om vroege stadia van het coronavirus te identificeren. Deze worden gemeten wanneer de gebruiker slaapt, om een beeld te krijgen met minder 'ruis'.

De eerste bevindingen laten zien dat in bijna de helft van de gevallen het virus een dag voor het aanbreken van symptomen al geïdentificeerd kan worden. In de meest gunstige gevallen is zelfs bijna een week voor het aanbreken van lichamelijke klachten aan deze cijfers te zien dat een gebruiker het coronavirus heeft.

Het vaststellen van de aanwezigheid van het coronavirus voordat de gebruiker klachten heeft, zal hem of haar niet zoveel helpen als andere, gezonde mensen om diegene heen. Zeker het veelvoorkomende symptoom 'hoesten' is natuurlijk een gevaarlijke, gezien de kans op verspreiding daarbij. Hoe vroeger een Fitbit het virus identificeert, hoe vroeger de gebruiker in quarantaine kan, hoe minder het virus zich verspreidt.

Fitbit heeft deze eerste bevindingen uiteengezet in een blogpost en het verslag van het onderzoek tot nu toe is ingezonden naar een niet bij naam genoemd peer reviewed wetenschappelijke publicatie. Fitbit wil een algoritme schrijven dat betrouwbaar het virus identificeert voordat symptomen zich voordoen. Het onderzoek loopt sinds mei, met proefpersonen uit de VS en Canada.

Reacties (167)

[Croga]

Het is leuk om te weten dat de gevallen van infectie herkend worden maar hoeveel false positives zitten er bij?

Ik kan ook een tool maken die 100% van de corona gevallen voortijdig identificeert. Tot maanden van te voren! Maar ja, als ik dat doe door iedere dag tegen iedereen te zeggen "Je bent besmet!!" dan heb ik dat bereikt zonder dat het enige waarde heeft...

[Mars Warrior]

Ik denk dat dit allemaal wat optimistisch is.

Op basis van mijn eigen zeven jaar aan FitBit data kan ik ook een griep of een ontsteking aan zien komen op basis van een zakkende HRV waarde - meer lichamelijke stress - en stijgende rust hartslag.

Oftewel: je hebt ‘iets’ onder de leden. Maar 0f dat nu een griep is, Covid 19, of een ontstoken schouder is volgens mij met enkel deze verzamelde data niet mogelijk.

Het lijkt een beetje op het meten van de ontsteking zwaarden eens in je bloed. Als die hoger zijn betekent het niet dat je direct COVID-19 hebt. Het kan van alles zijn.

[mphilipp]

Volgens mij is het verhaal van FitBit meer een promotie verhaal dan een serieus bedoelde bijdrage aan het ontdekken van Corona gevallen. Iedereen die een klein beetje serieus sport met een goede hartslagmeter weet dit eigenlijk al (tenzij je het ding voor de sier draagt en niet naar je resultaten kijkt). Het komt regelmatig voor dat je ineens niet goed presteert; je bent veel eerder moe, je hartslag is hoger dan normaal en je prestaties zijn ook minder. Soms is het gewoon één dag, maar soms komt het ook voor dat je daarna gewoon merkt dat je je ook naast het sporten niet helemaal 100% voelt.
Ik had bv twee weken geleden, toen het zo erg warm was, erg veel last van de smog. Dat had blijkbaar invloed op mijn zuurstofopname, want ik was lang voor mijn hartslag écht hoog was, al buiten adem. Heel gek, tot ik mij realiseerde dat het RIVM had gewaarschuwd voor veel ozon/smog. Ik heb daar vaker last van als het echt erg is.

Kortom: als je sport met een hartslagmeter en je kijkt ook naar je prestaties, weet je dit al lang. Je ziet gewoon dat je je veel meer moet inspannen voor een vergelijkbare prestatie, maar die valt dan altijd negatief op. Je kunt hier echt niet uit afleiden of iemand Corona heeft. En FitBit weet dit, maar lijkt een beetje mee te willen surfen op de publiciteit. Alsof een FitBit je leven kan redden...

[IvarMM]

Bijzonder dat men zo ver moet scrollen voordat dit pragmatische punt gemaakt wordt.

Deze medische data kan gebruikt worden om een infectie- of ontstekingsproces op te sporen, meer niet. De waarde daarvan is onduidelijk maar waarschijnlijk bijzonder klein. Het onderscheid is medisch gezien op basis van deze klinische gegevens niet te maken. Dat is sowieso één van de grote praktische problemen met deze virusinfectie. Er zijn geen duidelijke klinisch onderscheidende biometrische parameters.

Als Fitbit algemener had aangegeven te kunnen voorspellen dat men iets onder de leden heeft, dan is dat mooi, maar een geheel andere claim.

[alexiooo]

Het is geen vervanging voor een degelijke coronatest, maar wel een hele goede aanvulling.

Hoe ik het voor me zie is dat het horloge een notificatie geeft in de trant van "U vertoont ziekteverschijnselen, u kunt zicht het beste op corona laten testen".

[DaMonkey]

Hangt af van de false positives en negatives.

Wanneer de false positives te hoog zijn kunnen we (weer) zonder tests vallen, of worden mensen het beu en negeren ze het.

Ook false negatives (en deze zijn 50% en meer, want artikel spreekt van 1 dag tot 1 week) zijn slecht. Kijkende naar hoeveel mensen de andere maatregelen negeren sinds de mondmaskers verplicht zijn (in België) lijkt een dagelijkse vermelding "we hebben niks gevonden!" mij ook geen goed idee.

Dus nee, toch maar liever niet, tot we (officiële) volledige cijfers hebben, en niet de clickbait "met Fitbit waren 50% van de besmettingen eerder gevonden".

[alexiooo]

Heb je het artikel gelezen? Er is een onderzoek gedaan, en ingediend bij een journal. In de blogpost kun je het manuscript al lezen. Aangenomen dat Fitbit niet ronduit heeft gefraudeerd met dataverzameling, zijn die cijfers zo officieel als ze maar komen.

Om terug te komen op de false positives, de blog post geeft aan dat de 50% wordt gehaald met een 70% specificity (d.w.z. dat 70% van de negatieven daadwerkelijk negatief wordt voorspelt).

Toegegeven, 70% is lager dan je zou willen. Gelukkig zijn dergelijke algoritmen prima verstelbaar. In het manuscript rapporteren ze bijvoorbeeld ook dat ze 20% van gevallen een dag voor symptomen kunnen herkennen met 95% specificity.

Je scepsis richting de titel is gegrond, maar dat maakt het onderzoek zelf niet minder interessant.

[GertVA]

Of gewoon: "U bent ziek aan het worden -- hou afstand tot of blijf weg bij zwakke en kwetsbare mensen"

[mcerasmus]

False positives zullen er zeker bijzitten, maar het kan wel helpen door te zeggen: "blijf een dagje thuis en kijk of je vandaag of morgen symptomen ontwikkeld." Ik denk dat het in die vorm best een handig middel kan zijn.

[SpazzII]

Nee, dat hangt echt van het aantal false positives af. Als deze Fitbit 5 van de totaal 10 coronagevallen heeft voorspeld, maar ondertussen 900000 van de totaal 1000000 mensen waarschuwt om thuis te blijven terwijl die niks hebben is het geen handig middel; dan heb je er gewoon niets aan.

[PhatFish]

Hoezo? Je hebt er juist hartstikke veel aan omdat dit een ontzettend simpele test is. Al het gedoe om "false positives" snap ik niet. Je krijgt dus mogelijk een aantal mensen die het niet blijken te hebben. Als de test 50% betrouwbaar is, zitten je false positives daar netjes tussen. De mensen die gewaarschuwd worden, doen er goed aan om een betrouwbaardere test te doen.

Je krijgt zo echter een trechtermodel naar tests die steeds betrouwbaarder zijn terwijl je net zo een groter deel van de bevolking test.

False positives zie ik echt als het nieuwe buzzwoordje van Viruswaanzin ofzo. Vroeger werd het gebruikt door de voorstanders van softwarepiraterij om mensen de virusscanner te laten negeren. Het zijn potivieve gevallen die dus niet echt positief zijn. Meetfouten. Meer niet. Tot je in kaart hebt hoe groot die meetfouten zijn, is het een nogal zwak argument om die te gebruiken om de hele test dan maar te invalideren. Vrijwel iedere test kent een bepaalde onbetrouwbaarheid. Meestal is die onbetrouwbaarheid ook wel bekend. Maar goed, dan komt een groepje de mensen "informeren" dat die test dus niet perfect is (wisten we al, wordt ook gewoon erkend) en dat moet de hele test maar invalideren? Ik ga bijna schelden van zo'n middeleeuwse redenatie.

[FilipSP]

Het maakt wel degelijk uit als je (te) simpele parameters/indicatoren hanteert met een hele grote prevalentie in de totale populatie. De huidige indicatoren zijn al vrij algemeen, daarom krijgt ook slechts 3% een positieve test terug. Als de helft van de populatie de symptomen vertoont die fitbit gebruikt, dan is het geclaimde succes inderdaad niets anders dan het gooien van een munt. Nu zal dat wellicht beter zijn, maar laat ze daar dan transparenter in zijn, of aangeven dat dit gebeurt in het aangekondigde artikel.....

[bamboe]

@FilipSP @SpazzII Je hebt gelijk het maakt wel uit maar hier over hebben ze nog geen enkele informatie prijsgegeven dus niemand zal hier ook maar iets zinnig over kunnen zeggen.
Daarbij is fitbit een commercieel bedrijf en zullen ze niet zomaar deze data gaan gebruiken als ze niet binnen een x percentage false positives komen, Het is afwachten hoe hoog ze de lat leggen.

Als je verder kijkt dan kom je dit tegen:
The algorithm, still under development, worked with 70% specificity, or a 30% rate of false positives. However, the program could prove valuable in prompting people to seek COVID-19 testing earlier, and to isolate themselves sooner to avoid transmitting the virus
(bron: https://www.fiercebiotech...ify-cases-covid-19-before)

Bij een 70% daadwerkelijke kans op corona zou ik zeggen gooi het de wereld in en laat die personen testen of ze het hebben of niet, ik zou dat waarschijnlijk ook zeggen bij een 40 of 50% gezien alle andere signalen die er nu zijn om te testen hebben nog veel lagere kans op een corona besmetting.

[Reactie gewijzigd door bamboe op 24 juli 2024 13:26]

[SpazzII]

Je zou ook nog kunnen combieren. 50% sensitiviteit en 70% specificiteit is te laag voor een medische screenende test, maar het is inderdaad beter dan niets.

[FilipSP]

In het artikel doen ze daar ook geen verdere uitspraken over, maar stellen ze dat deze methode succesvolk is o.b.v. eerder onderzoek. Het was erg slecht te lezen en kreeg het niet groter (en heb er nu ook geen tijd en zin in om me verder te verdiepen), maar dat is de essentie.

Mijn punt is echter ten eerste dat het, ondanks veel tegenwerping, wel degelijk toe doet en dat de hoeveelheid data van Fitbit maakt dat ze hier iets duidelijker over hadden kunnen zijn, ook in hun ronkende blogpost.

[indigo79]

@FilipSP @SpazzII Je hebt gelijk het maakt wel uit maar hier over hebben ze nog geen enkele informatie prijsgegeven dus niemand zal hier ook maar iets zinnig over kunnen zeggen.
Daarbij is fitbit een commercieel bedrijf en zullen ze niet zomaar deze data gaan gebruiken als ze niet binnen een x percentage false positives komen, Het is afwachten hoe hoog ze de lat leggen.

Jawel toch, als je hier https://www.medrxiv.org/c...101/2020.08.14.20175265v1 de PDF downloadt, vind je in figuur 3 de ROC curve (hier https://www.displayr.com/...urve-how-to-interpret-it/ vind je wat uitleg over hoe je die moet interpreteren). Van daaruit kan je netjes berekenen hoe je confusion matrix er uit zou zien afhankelijk van de gevoeligheidsinstelling van het algoritme en de distributie in de populatie.

Ik heb het niet berekend, maar naar mijn gevoel zijn dat heel veel false positives als je een populatie met een zeer beperkt aantal besmettingen hebt. Maar desondanks kan dat denk ik wel nuttig zijn in combinatie met bijvoorbeeld contact tracing.

[PhatFish]

Sorry maar hier denk ik dat logisch nadenken en gezond verstand genoeg doen. Op het moment dat je FitBit begint te miepen, is het verstandig om te laten testen. Zo krijg je meer mensen naar de PCR-test (of bloedtest, nog beter) en de echte positieve testen kun je quarantine aanbevelen. Meer besmette gevallen in quarantine zorgt weer voor minder verspreiding en zo krijgen we de bende net iets sneller onder controle. Het is een beetje de middenweg van iedereen testen vs. de risicogevallen testen. En ze zeggen duidelijk dat de FitBit 50/50 is, wat betrouwbaarheid aangaat. Hoe transparant wil je het hebben?

Overigens, 50% betrouwbaarheid is iets HEEL anders dan het gooien van een munt. Het is meer een educated guess op basis van alle sensorische input die die FitBit krijgt. Dat gaat een heel stuk verder dan het gooien van een munt en ik zie ook echt niet waarom je dat tot zoiets zou willen bagatelliseren. Er gaan wat meer Bernoulli trials aan vooraf dan "FitBit gokt dat je Covid19-positief bent". De tweede alinea van het artikel geeft nota bene duidelijk aan welke indicatoren er gebruikt worden, dus ik vraag me een beetje af of je het wel gelezen hebt, of dat je gewoon de hele test wilt invalideren.

En wellicht kan die betrouwbaarheid nog omhoog en kan dit principe ook voor andere medische aandoeningen gebruikt worden (Apple doet het voor o.a. hartritmestoornissen al met hun Watch). We zijn ook niet opgehouden met het ontwikkelen van de verbrandingsmotor na de uitvinding van de 2-tak en de conclusie dat je er geen vrachtwagen mee kan aandrijven. Proof of concept is er nu, zegt een betrouwbaarheid van 50% en vanaf daar ga je dat verbeteren. Zo komen we aan vooruitgang

[oltk]

Met een munt gooien (ook toevallig een 50% kans op kop of munt) is volstrekt iets anders dan door middel van een proxy bepalen wat de kans is dat jij ziek bent.

Rekenvoorbeeld (dat vast ergens scherper kan, want ik ben geen volleerd statisticus)
Op dit moment zijn er 66000 besmetten, volgens de tests. Als we dat aannemen als het daadwerkelijk aantal besmetten is dat 66000 / 12 miljoen (inwoners > 18 jaar) = 0,55% kans dat jij de ziekte hebt. Als jouw fitbit zegt met 50% kans dat jij de ziekte hebt is dat een factor 100 x groter dan een munt gooien.

[PhatFish]

Ik noemde met een reden de Bernoulli trials. Mede omdat ik dus wel enig verstand heb van statistiek. Niet op niveau dat ik het voor medische doeleinden kan toepassen, maar voldoende voor Six Sigma procescontrole.

Dan nu even het rondje van betrouwbaarheid. Op dit moment zijn er (laten we inderdaad doen alsof) 66.000 besmettingen en (waarom zou je overigens inwoners < 18 uitsluiten? Het virus doet dat niet en die mensen kunnen net zo goed het virus verspreiden. Maar vooruit) is de kans dat jij het hebt 0,55%. Hier heb je echter nog niks getest of wat dan ook.

De FitBit houdt jouw variabelen (= meerdere trials) bij en geeft je een individuele diagnose met 50% betrouwbaarheid. Dit is al getrechterd. Je hebt nu een echte test, op basis van jouw persoonlijke situatie, die met 50% zekerheid zegt of jij tot die 0,55% behoort, of bij de overige 99,45% die gezond is.

Hierna kun je een PCR-test doen, voor meer zekerheid. Daarna heb je nog een bloedtest. En zo krijg je steeds meer zekerheid.


@oltk Thanks, ik ben zeker geen autoriteit op het gebied van statistiek, maar ik moet er echt wel genoeg van afweten om in te zien wanneer een Marketingjappie mij voor de gek probeert te houden, bijvoorbeeld. En wat ik enorm veel zie is het argument "false positives bestaan, dus de test is onzin". Zo werkt het niet. Blij dat je open staat voor discussie. Als we de bio-informatici hierop laten ingaan denk ik dat we beiden vanaf de zijlijn kunnen kijken. Uiteindelijk weet iemand anders altijd meer. Imo heeft die dan ook de verantwoordelijkheid om misstanden van anderen de wereld uit te helpen.

[Reactie gewijzigd door PhatFish op 24 juli 2024 13:26]

[MartijnHavinga]

Dat is allemaal leuk en aardig, maar zoals meerdere mensen hier zeggen is het belangrijk om het aantal false positives te weten. Stel dat het aantal false positives 90% is, dan blijft er voor iedereen die terecht een test laat doen en tot de uitslag thuis blijft 9 anderen onterecht thuis terwijl die prima had kunnen blijven werken en daarmee de economie draaiende had kunnen houden. Wederom: zonder het aantal false positives hebben we niet veel aan een 50% correct positive getal.

[PhatFish]

"Stel dat"

En daarmee valt of staat de rest van wat je zegt. Al wordt het door een miljard mensen geroepen, dat maakt het niet meteen correct of incorrect.

Maar we weten dus wel hoe betrouwbaar de FitBit-test is. 50% om precies te zijn. False positives zijn meegenomen, blijkt dus uit de mensen die zich daarna nog verder laten testen. Zo niet, dan kennen we de betrouwbaarheid van de test niet eens. False positives (noem het a.u.b. gewoon meetfouten, zodat de normale mensen het ook snappen) horen gewoon bekend te zijn wanneer je een uitspraak over de betrouwbaarheid van je test doet.

Dus wat is je punt? We kennen de betrouwbaarheid, dat is inclusief de false positives, een getal tussen de 0,0% en 100% en daarmee weten we dat 50% van de FitBit-diagnoses klopt. Dat is de zekerheid waarop je nu baseert dat mensen gewoon kunnen doen alsof er niks aan de hand is zoals we deden in Noord Italië en Spanje. Bleek dus toch wel iets aan de hand te zijn en reden voor enige voorzichtigheid.

Ik leest het artikel nog even terug. We hebben het hier zelfs over de symptomatische besmettingen die FitBit in slechts < 50% van de gevallen detecteert. Is het je bekend dat de asymptomatische besmettingen ca. 70% van het totaal lijkt te zijn? Deze mensen kunnen prima het virus verspreiden. FitBit noch die lui zelf zal ooit weten wat voor schade ze anderen daarmee hebben aangedaan.

FitBit begint te miepen en vanaf dat moment weet je dat je 50% kans hebt om tot de geïnfecteerden te behoren. Minstens, want misschien krijg je geen symptomen en ga je niet naar de dokter. Maar heb je het dus gewoon wel en verspreid je het lekker bij mensen die er behoorlijke, levensbedreigende of levenslange gevolgen aan over kunnen houden. Dus kom hier nog maar even tussen met je verhaal over false positives. Volgens het artikel in ieder geval, zijn die positives gewoon door symptomen gevalideerd. En die economie redden we wel weer een keer. Hebben we tien jaar geleden ook gedaan en toen was de boel er een stuk erger aan toe.

[MartijnHavinga]

Ik kan er overheen gelezen hebben, maar ik vind in het verhaal van FitBit nergens een melding van de hoeveelheid false positives.

[Terracotta]

Hoeveel zijn de 'false positives' van de 'testen' waar we ons nu op baseren om te bepalen of we een deftige test gaan laten uitvoeren.

Het enige dat die trackers kunnen doen is een indicatie geven dat je een check-up nodig hebt, gebaseerd op objectieve gegevens, wat mijlenver beter is dan het huidige 'gevoel', dat ofwel overreacties geeft (mensen die zich nooit gerust voelen en continu een test gaan vragen), ofwel gelatenheid (mensen die het zich niet meer aanraken en enkel nog naar spoed gaan wanneer het niet anders kan).

Daarmee: false positives zijn belangrijk, maar ze kunnen alleen omlaag door meer datagebruik, en de huidige false positives zijn geen excuus om terug te vallen op 'niets' doen.

[oltk]

Heel goede aanvulling. Doet niets af van het feit dat een muntje gooien NIET hetzelfde is als een inschatting op basis van (afwijkende) biometrische gegevens. Eens dat onder 18 ook besmet kan worden, maar die zijn niet getest. Dus die 66000 zijn de geteste gevallen.

Ik heb overigens niet gezegd dat ik niets van statistiek weet Maar iemand anders weet er altijd weer meer van, is mijn ervaring. En daarom ben ik blij met jouw aanscherping. Want laten we elkaar bij de les houden wat precies de zin en onzin is van dit soort zaken (en of het een verkooptruc is omdat mensen niet kunnen beredeneren of het onzin is). Dit is voor velen lastige materie.

[SillieWous]

Hier maak je een zeer grote fout. False possitive rate zegt iets over de accuratheid van de test, niet over het totale fout geidentificeerde uitslage.

Laten we voor het gemak aannemen dat Nederland 20 miljoen inwoners heeft en iedereen een Fitbit met false possitive rate 5% en kans dat je het hebt 1%. Er worden dus 20 miljoen metingen gedaan. Hiervan zouden 200 duizend possitief testen (aanname 100% detectie) en 19,8 miljoen personen die negatief zijn. Van deze 19,8 miljoen krijgt 5% een false possitive, dat zijn er 0.99 miljoen. Ik weet vrij zeker dat dit teveel is om allemaal te testen met een betere test (waar ook hetzelfde verhaal zal gelden).

Dit is ook de reden dat "jaarlijkse controle" en routine "lab testen" onverstandig zijn in de meeste gevallen. Daarbij verwacht ik ook dat de false possitive rate vele malen hoger is dan 5% aangezien de gebruikte variabelen zeer algemeen zijn en waarschijnlijk bij een griep o.i.d. ook af zal gaan.

[rodgaa]

Bij 50% van de mensen die symptomen ontwikkelde werd eerder door FitBit vastgesteld dat ze Corona hadden, dit is niet hetzelfde als zeggen dat FitBit met 50% zekerheid kan zeggen dat iemand Corona heeft. En het false positive verhaal uitgelegd in cijfers:
Van de 100 mensen getrackt door FitBit hebben 50 mensen tekenen van symptomen.
Van deze 50 mensen heeft1 iemand Corona.
Van de andere 50 mensen heeft 1 iemand Corona.
Dan kan Fitbit dus zeggen dat ze bij 50% van de mensen met Corona vroegtijdig kunnen vaststellen dat ze Corona hebben. In dit geval zijn er echter 98% van de mensen met deze vroege verschijnselen zonder Corona.
Dus false positives zeggen heel veel over in hoeverre iets bruikbaar is of niet. Nu zal het verhaal van fitbit wel iets genuanceerder liggen maar om het helemaal weg te wuiven is wel erg naïef.

[divvid]

Hmmm, volgens mij gebruikte defensie nog tweetakt vrachtwagens in de jaren tachtig.
Deze geloof ik

[eliasje]

Denk dat ze toch een vrij betrouwbaar beeld kunnen geven. Als je hartslag erg extreem veranderd in de verhouding tot de week ervoor.En als dat dan ook overeenkomt met de hartslag die Corona patiënt heeft. Het hangt beetje af welke gegevens ze met elkaar vergelijken en hoe betrouwbaar de fibit zelf is.Het is natuurlijk ook mooi marketing praat om meer te verkopen

[iPieter be]

Die redenering is op zich prima indien er veel besmettingen zijn. Dan is een trechtermodel zoals jij voorstelt best nuttig om te filteren. Dat is alleen met corona (nog) niet het geval. Een test die 50% betrouwbaar is (wat dat precies betekent is een andere vraag), gaat meer voor een overrompeling van de tweede test-fase in jouw trechter zorgen.

Als illustratie neem ik de cijfers uit de paper van Fitbit waarover dit artikel gaat. Om te beginnen, wat is de "betrouwbaarheid". Voor classificatie-problemen—wat dit probleem is—drukken we dat uit in specificity en sensitivity. Beiden zijn gebaseerd op verhoudingen, voor sensitivity is dit de verhouding van echt-positieven (TP) op alle positieven (P = TP + FN). Voor specificity is dit hetzelfde voor de echt-negatieven (TN) op alle negatieven (N = TN + FP), dus inclusief de vals-positieven (FP).

Nu, wat is de betrouwbaarheid van deze test? Uit de paper [1]:

At 95% specificity, the sensitivity averaged over 4 folds is 44% ± 2.3%.

Zoals deze quote al aanheeft, is er een trade-off. We kunnen kiezen voor een test met minder vals-positieven of minder vals-negatieven. Maar zolang we geen perfecte test hebben, kunnen we niet beiden hebben. Dat totaal ter zijde.

Helaas beschrijft de paper de resultaten op basis van percentages, wat de problematiek met een lage sensitivity kan verdoezelen. Er waren in hun studie 1.181 positieve gevallen en 13.662 negatieve (wat al een stuk meer is dan het huidige aantal cases bij ons). Dat betekent dus dat er 519 van de 1.181 gevallen gedetecteerd zullen worden door deze test, de andere 683 worden niét gedetecteerd en blijven dus wel rondlopen.

Maar ondertussen worden er ook nog 661 mensen voor een betere test naar een triage-centrum gestuurd die helemaal niet ziek zijn. Op het moment dat het scalen van PCR-tests niet vlot gaat (at least in België, ik weet niet hoe het bij onze noorderburen is), is het vrij jammer dat meer dan de helft van deze tweede tests zou gaan naar mensen die als hun smartwatch niets zei zelfs nooit een test zouden laten afnemen.

Met een realistischere baserate van besmettingen, is dit nog problematischer. Als voorbeeld neem ik het aantal besmettingen van de afgelopen 2 weken in Belgie [2]: 6.355 bevestigde besmettingen.

Als we dezelfde smartwatch-test gebruiken op de bijvoorbeeld halve Belgische bevolking, 5,8 miljoen mensen, dan zullen er maar 2796 besmette mensen een tweede test laten nemen en 3559 besmette mensen niet. Maar goed, misschien dat die zich wel om een andere reden laten testen.

Het probleem is dat er 290k (ja 290 duizend) mensen een false-positive gaan krijgen. Deze gaan allemaal naar een test-centrum gaan omdat ze denken dat ze COVID-19 hebben door hun smartwatch, terwijl dat helemaal niet zo is. Dit zou onze test-centra (helaas) compleet overwelmen.

Dat is dus het probleem met false positives: als het aantal positives klein is t.o.v. de volledige populatie moet je echt een goede test hebben. Dat is echt geen buzzword hoor.

[1] https://www.medrxiv.org/c...08.14.20175265v1.full.pdf
[2] https://covid-19.sciensan...ort_20200822%20-%20NL.pdf

[Reactie gewijzigd door iPieter be op 24 juli 2024 13:26]

[kodak]

Er is niet voor niets pas een oproep tot testen op basis van symptomen. Als deze fitbit controle met een te hoog false positive gehalte mensen aanzet om te gaan testen of zich te beperken heeft dat waarschijnlijk ook invloed op de capaciteit van de zorg of het dagelijks leven. Om het nog niet te hebben over de invloed van false negatives. Daarom is het ook zo belangrijk om niet zomaar false positives voor lief te nemen. Natuurlijk is het goed om meer te kunnen meten maar het moet ook niet te veel negatief effect hebben en betrouwbaar genoeg zijn.

[timberleek]

Dat inderdaad.

Zonder verdere info is het een waardeloos persbericht met enkel wat marketingwaarde.

En "even een dagje thuisblijven voor de zekerheid" gaat niet gebeuren als je er continu mee gebombardeerd wordt. Dan de 2e of 3e melding gaat de app gewoon "bij het grof vuil"

[i-chat]

Nee, dat hangt echt van het aantal false positives af. Als deze Fitbit 5 van de totaal 10 coronagevallen heeft voorspeld, maar ondertussen 900000 van de totaal 1000000 mensen waarschuwt om thuis te blijven terwijl die niks hebben is het geen handig middel; dan heb je er gewoon niets aan.

je weet natuurlijk weinig van de dataset maar je gaat tegelijkertijd ook geen publicatie doen bij zo’n scorde

Dus wat nu als dat tegen één op elke 250 mensen zegt Waarvan 25% de waarschuwing negeert en 2 op iedere drie getestten zijn negatief dan heb je nog steeds een aardige bijdrage geleverd aan de strijd tegen corona

Zelf als er dan ook nog 2 mensen onterecht niet worden gewaarschuwd die komen immers nog wel bij de teststraat wanneer ze klachten krijgen

[Luuk.vanRiel]

Is helaas precies het geval met de coronatesten die nu gedaan worden.

[Mastofun]

beter dan dat iedereen thuis moet blijven. Als dit effectief zo werkte.

[Sergelwd]

TL;DR

Je moet het RIVM/OMT/kabinet niet zo serieus nemen.

[Anoniem: 599181]

die groepsimmuniteit tactiek werkt niet in ieder zuid oost Aziatisch land:

https://en.wikipedia.org/...ndemic_in_Indonesia#Chart

In Indonesië blijft het gewoon stijgen, nu als 60% al eens moet in aanraking gekomen zijn met covid moet rond de 170 miljoen mensen besmet geweest zijn.

[Elefant]

Hoe weet jij dat 60% al besmet is? Hoe kun je dat zo even uit de losse pols beweren? Heb je daar bewijzen voor? In je link kan ik het niet vinden.

Indonesië heeft weliswaar geen lock down gedaan maar wel maatregelen genomen om het af te remmen. Dat is nu juist het rampscenario.

Er zijn twee wegen die je kan bewandelen op weg naar groepsimmumiteit.

• De onnatuurlijke weg: Je probeert de overdracht zo effectief mogelijk te voorkomen tot je een vaccin hebt. Dan moet je IEDEREEN een mondkapje omdoen. Dan houdt je je bevolking kwetsbaar tot je ze kunt vaccineren. Daardoor blijft het gevaar voor nieuwe uitbraken. Dat vereist grote discipline en voortvarende aanpak van de regering (Niet: We bekijken het van dag tot dag).
• De natuurlijke weg: Je laat mensen elkaar juist zo snel mogelijk besmetten waarbij je de kwetsbare groepen beschermt en isoleert. Hoe sneller hoe beter, want dan zijn ook de kwetsbare mensen veiliger. Dat is het Zweedse model.

Alles er tussenin is slechter. Onze aanpak is ook half-half omdat er geen mondkapjes worden gebruikt. In landen als Taiwan, Korea, China is de effectiviteit van mondkapjes meer dan bewezen. Taiwan met zijn 23,8 miljoen inwoners staat op 7 doden. In Taiwan deelt de regering juist grootschalig mondkapjes uit aan iedere burger. In Nederland werden door China geschonken mondkapjes lachend weggegooid. Hadden we niet nodig. Alleen voor medisch personeel. Niet alleen is dat uitermate beledigend, het is ook dom.

Er is maar één land dat het Zweedse model heeft gevolgd en dat is Zweden. Onze media vertellen regelmatig apekool. Zo lees ik eerst dat onze regering van dag tot dag reageert (Rutte zelf gezegd), later vertelt dezelfde krant doodleuk dat de regering vanaf dag één een draaiboek heeft gevolgd. Dat soort verhalen is dan het antwoord op verwijten dat de regering gééń draaiboek had klaarliggen, waar men die in Duitsland wel had gemaakt na Sars en Mers. Alles wat krom is, wordt recht gepraat op een wijze zoals jij hier ook doet. Loze beweringen. Maar bewijs? Ho maar.

Tegenwoordig is het net als in de VS: Liegen tegen de klippen op, en als mensen er tegenin gaan, wordt het weggedrukt. En toch komen steeds meer mensen in verzet, omdat ze echt wel aanvoelen dat dit niet is zoals het hoort te gaan. En die mensen zijn juist niet de gekken die ze er van willen maken, maar juist mensen in het vakgebied zelf. Zie "Brandbrief van 17000 burgers, medici en zorgpersoneel"

[Reactie gewijzigd door Elefant op 24 juli 2024 13:26]

[HMC]

Dat het aantal gevallen in Indonesië de laatste maand vrij hard stijgt (ik woon zelf al zo'n 18 jaar in Jakarta) is nogal simpel. Niemand volgt ook maar enige of iedere vorm van aanraden van de overheid. Afstand houden, nop. Lekker samen feesten, en vooral ook bidden in de moskee.

Dan is er ook nog het geval dat ze eindelijk veel testen. Voorheen niet. Meer testen is meer positieve gevallen.

Bovendien is het aantal mensen dat alweer genezen is en vrolijk door gaat vele malen groter dan het aantal mensen dat gestorven is.
Net zoals in de rest van de wereld.

Waar ik niet met m'n petje bij kan is dat men denkt dat dit over gaat waaien of zo.
Willen we deze semi-lockdown voor eeuwig door laten gaan?
Nee, dank je.
Dit virus blijft, net zoals andere virussen.

[Reactie gewijzigd door HMC op 24 juli 2024 13:26]

[Bert2000]

Misschien denkt men dat dit overwaait omdat er meerdere vaccin in ontwikkeling zijn?

Geen rare gedachte toch ? Dat een van die vaccin succesvol corona zal stoppen?

[F-I-X]

Kunnen de complot theoriëen lekker bewaren voor twitter enzo..
Heleboel aannames en blabla waar vast een redelijke verklaring voor is.

En Tweakers is niet het medium ervoor.

[field33P]

Of als coronatests ruim beschikbaar zijn kan er al een telefoontje naar de GGD gepleegd worden om zo voortijdig al een coronatest te kunnen draaien.

[Bert2000]

Met het risico dat de test nog niets oplevert omdat het een te vroeg stadium is.. blijft lastig.

[Ablaze]

Wat vooral interessant is, is dat er voor het eerst in de geschiedenis een gigantische groep mensen bereidwillig is om continu persoonlijke meetapparatuur te gebruiken en deze data te delen (met de fabrikant).
Uit zo'n populatie kun je vast een hoop verbanden halen, echter is een Fitbit natuurlijk behoorlijk beperkt op dit gebied. En hierdoor lijkt het mij haast ondoenlijk om nauwkeurig onderscheid te maken tussen iemand met een verkoudheid, iemand met een kater, iemand met Corona of iemand met een andere ziekte.
Maar Corona kan er best wel eens voor zorgen dat er vraag komt naar nieuwe horloges die veel meer kunnen meten en daardoor met genoeg nauwkeurigheid iemand kunnen waarschuwen voor een variëteit aan medische condities.

[J_van_Ekris]

In Duitsland kennen ze de DatenSpende, die exact hetzelfde doet maar dan ook met Garmin erbij.

Zo'n device ziet dingen eerder aankomen, een flinke griep weet mijn horloge zo'n dag vooruit (ja, N=1, ik weet het). Punt is dat ik het verschil niet zou kunnen maken tussen een stevige klap van een training (overtraind), griep of Corona. Ziet er op dat moment exact hetzelfde uit: het lichaam is gestressed terwijl het moet rusten. Nu was voor mij het effect hetzelfde: ik doe het rustig aan. Maar met Corona zou ik meer moeten gaan doen, bijvoorbeeld me isoleren van mijn gezin. En als het te vaak niet klopt, dan verliest het signaal zijn waarde.

[tweegroenethee]

Valse positieven kunnen er toch uitgefilterd worden door die gevallen te testen?

[FilipSP]

Je wilt toch niet elke keer naar de teststraat vanwege een droge keel door je katertje omdat de Fitbit aangeeft dat je Corona-symptomen hebt.

[The Third Man]

Hoe weet jij dan dat het door je kater komt en niet ook door een coronabesmetting die door je alcoholgebruik nu op gaat spelen?

[unilythe]

Je mist het punt wat hij maakt compleet - de kater was maar een voorbeeld wat je nu te specifiek op in gaat. Het grotere punt wat hij maakt gaat dus over false positives.

Punt is dus dat je 100% van de coronagevallen kan voorspellen door letterlijk tegen iedereen te zeggen dat ze corona hebben. Dan heb je tegen 100% van iedereen met corona gezegd dat ze corona hebben, dus je hebt een 100% success rate! Echter heb je ook 100% false positives, dus tegen 100% van iedereen die GEEN corona had gezegd dat ze het wel hebben. Dan is dit dus gewoon nutteloze info. Daarom is het altijd belangrijk om vragen te stellen over de false positives, wat @Croga dus deed, en waar @FilipSP alleen maar een klein voorbeeld voor gaf waarom false positives belangrijk zijn.

Hij had ook als voorbeeld kunnen geven dat je niet elke keer naar de teststraat wil moeten omdat je een vrij drukke dag hebt met ietswat meer inspanning, of omdat je gestressed bent, omdat je net hebt gefitnessed en je lichaam aan het herstellen is, etc. Er zijn veel redenen waardoor je hartslag iets hoger kan zijn voor een paar uur tot zelfs een paar dagen. Een kater was daar maar 1 voorbeeld van. Als je voor al die dingen naar de teststraat moet, dan zijn we ver van huis.

[Reactie gewijzigd door unilythe op 24 juli 2024 13:26]

[teacup]

Punt is dus dat je 100% van de coronagevallen kan voorspellen door letterlijk tegen iedereen te zeggen dat ze corona hebben.

Ook dan nog vertrek je vanuit de aanname dat 100% van de Corona gevallen is te detecteren aan een verhoogd hartritme en een verlaagde hartritme variatie.

Er blijken genoeg covid-19 geïnfecteerden te zijn die nagenoeg geen ziekte verschijnselen vertonen. Ook met een tracker haal je die groep dus waarschijnlijk niet naar boven.

Ondanks dat ik zelf een fanatiek gebruiker ben van zo'n tracker zie ik de resultaten van het ding op zijn best als een onderstreping van iets wat ik zelf vaak al weet. Als mens weet je heel goed of iets met je niet in de haak is. De enige voorspellende waarde die ik zelf heb kunnen vaststellen is dat enkele uren voor verkoudheid of griep die hartslag al omhoog gaat. Mogelijk is een subtieler effect met number crunching van veel data boven water te krijgen.

Waardeloos is de informatie misschien niet, maar interpretatie van dit soort informatie is zo'n enorm met zeep ingesmeerde helling. Al die andere ziektebeelden, al die variatie in hoe verschillende mensen op covid-19 reageren. Bovendien kijk je maar naar enkele facetten, of parameters. Al met al is de ruimte voor interpretatie gigantisch groot. Meetresultaten zijn op zijn best ondersteunend bewijs. Op deze informatie alleen zou je geen analyse moeten baseren.

[unilythe]

Er blijken genoeg covid-19 geïnfecteerden te zijn die nagenoeg geen ziekte verschijnselen vertonen. Ook met een tracker haal je die groep dus waarschijnlijk niet naar boven.

Jep, dan heb je het over de false negatives, wat ook nog een ding is, al was dat in deze discussie iets minder relevant omdat de hoeveelheid false negatives in principe gegeven was in de titel: ongeveer 50%. Als je de helft van de coronegevallen kan voorspellen, heeft je voorspelmechanisme dus een false negative percentage van 50%.

Waardeloos is de informatie misschien niet, maar interpretatie van dit soort informatie is zo'n enorm met zeep ingesmeerde helling

Dat ligt dus een beetje aan de hoeveelheid false positives. Als dat er relatief weinig zijn, denk ik dat dit nog best wel een handig dingetje kan zijn. Echter gok ik wel dat niet veel mensen naar de teststraat gaan om zich te laten testen alleen maar omdat fitbit zegt dat je misschien wel een vroeg stadium van corona hebt.

[Vizzie]

Zelfs dat nog niet vwb de false negatives.

50% van degenen met Corona die symptomen ontwikkelen halen ze eruit.

Mogelijk zijn er nog 10 keer of 100 keer of 1000 keer zoveel mensen besmet die geen symptomen ontwikkelen en zich dus nooit laten testen maar wel anderen kunnen besmetten.

[unilythe]

Jep, dat is zeker waar. Goed punt.

[teacup]

Als je de helft van de coronegevallen kan voorspellen, heeft je voorspelmechanisme dus een false negative percentage van 50%.

Ja natuurlijk. Misschien wat bezijden de discussie, een vraag die dan nog wel bij mij op komt is hoe ze dat percentage van 50% hebben kunnen vaststellen. Net even naar het onderzoek zelf gekeken maar ik kon mijn vinger daar niet goed achter krijgen, maar dat kan ook aan mij liggen.

Die voorspellende waarde van de informatie voegt misschien nog het meeste toe, en dan met name op de voor de eerste dag met symptomen. Dit kan de mensen alert maken. Misschien is dit nog van meer waarde dan een evaluerend onderzoek op zich. Wat dit onderzoek wel onderstreept is dat de tracker devices zo zijn te gebruiken.

[i-chat]

Dan heb je het artikel niet goed gelezen want daarin staat juist dat er gemeten wordt als je aan het slapen bent dat gedoe met fitness of stress of elke andere reden gaat in deze niet op. Er wordt een reden of indicatie gegeven die de gebruiker in staat stelt eerder in te grijpen en dus minder mensen te besmetten

[unilythe]

Ik had het wel gelezen. Stress en fitness kan wel degelijk je hartslag 's nachts verhogen. Een kater al helemaal.

[SunnieNL]

Die data kan Fitbit er waarschijnlijk zeer goed uitfilteren door al te kijken naar wat er overdag gebeurd is en de dagen ervoor. Uit het verleden weet Fitbit waarschijnlijk al of en wanneer je je het meest bezat. Stress symptomen bieden zich ook al eerder aan. Dat heb je niet ineens. En vermoedelijk sport je ook op dezelfde dagen.

Ik vermoed dat Fitbit met alle data heel goed al zaken kan voorspellen. Withings (Nokia health) doet dat bv ook al. Mijn slaapmat (of eigenlijk de app) kan op zondag ineens het advies geven voor een anti kater ontbijt of aangeven dat ik eerder naar bed moet die avond ivm zaken die zich overdag plaatsvinden. Die voedt zich met data van slapen, Google Fit (fossil sport watch) en de weegschaal die ik heb.

[The Third Man]

Daar ben ik het niet mee eens. Er wordt niet tegen iedereen gezegd dat ze corona hebben, alleen bij diegenen die symptomen vertonen die overeenkomsten hebben met corona-symptomen. Dat is hetzelfde als tegen iedereen met een hoestje of snotterneus dat zeggen. Dat heeft net zo goed false positives, maar dat is wel de status quo als aanleiding om je te laten testen: https://www.rijksoverheid...-19/testen/wanneer-testen

Aanmelding bij GGD voor coronatest

Maak zo snel mogelijk een afspraak bij de GGD om u te laten testen als u klachten heeft die kunnen passen bij het coronavirus.

Zoals:

verkoudheidsklachten;
neusverkouden;
loopneus;
niezen;
keelpijn;
hoesten;
verhoging of koorts;
of plotseling verlies van reuk of smaak.

Dus ja, je houdt altijd false positives, met welke symptoomdetectie dan ook. Het specifiek noemen van de fitbit in deze als minderwaardig 'omdat het false positives heeft' is naar mijn idee niet in verhouding ten opzichte van andere methodes.

[unilythe]

Er wordt niet tegen iedereen gezegd dat ze corona hebben

Je blijft constant te specifiek ingaan op voorbeelden die alleen gemaakt zijn om een concept uit te leggen.

Dus ja, je houdt altijd false positives, met welke symptoomdetectie dan ook

Dat klopt, de vraag was dan ook hoeveel false positives er zijn. Dat is weldegelijk belangrijke info.

[Reactie gewijzigd door unilythe op 24 juli 2024 13:26]

[The Third Man]

Dus een koortsthermometer is ook een nutteloos middel van het detecteren van een mogelijke coronabesmetting omdat het feit dat die koorts weer kan geven, wat een aanleiding is om je te laten testen, is specifiek ingaan op het voorbeeld wat het concept uitlegt waarvoor een koortsthermometer nuttig kan zijn? Wat is dat voor onzin? Zolang die fitbit niet voor iedereen zegt dat die corona-verschijnselen heeft, maar filtert op markers die daar in verhouding mee staan, wat is het dan wezenlijk anders dan de koortsthermometer? Natuurlijk is er voor elk detectiemiddel een andere verhouding qua false positives, maar het is niet zo zwart wit dat de fitbit per definitie onnuttig zou zijn. Daar zou die ongefilterd iedereen voor moeten waarschuwen.

Dat klopt, de vraag was dan ook hoeveel false positives er zijn. Dat is weldegelijk belangrijke info.

Dat ontken ik toch ook niet? Jij steekt hierboven van wal met "Je mist het punt wat hij maakt compleet -" maar daarmee ga je zelf aan het punt voorbij dat zijn voorbeeld een drogreden was van het wegwuiven van het nut:

Je wilt toch niet elke keer naar de teststraat vanwege een droge keel door je katertje omdat de Fitbit aangeeft dat je Corona-symptomen hebt.

Immers het feit dat je zelf denkt dat het door een katertje komt is dus ook net zo goed een mogelijke false negative.

[Reactie gewijzigd door The Third Man op 24 juli 2024 13:26]

[pepsiblik]

Maar het doel van de koortsthermometer is niet om specifiek vast te stellen dat je Corona hebt. Het is om vast te stellen dat je koorts hebt, net zoals een fitbit vast stelt dat er een vorm van inspanning plaatsvindt. Als je dan het doel van het instrument fitbit wilt aanpassen van inspanningsdetector tot Corona detector, dan moet je dat wel op een betrouwbaar niveau doen.

[The Third Man]

Echter niemand beweert dat de fitbit een corona detector zou worden, het is net zo goed lichaamsparameters aan het meten en gaat het melden als het die parameters een afwijking ziet vertonen. Precies als de koortsthermometer doet. Dat het in de huidige tijd in de eerste plaats zaak is om je dan voor corona te laten testen is de vervolgstap.

[pepsiblik]

Maar in dit artikel staat toch echt dat er gekeken wordt of van de fitbit een Corona detector gemaakt kan worden. De laatste zin in het artikel met name.

[unilythe]

Ok, prima ik geef een voorbeeld waar de fitbit inderdaad een problematische hoeveelheid false positives zou kunnen leveren.

Ze hebben het over dat ze dit baseren op ademhaling en hartslag.
Wat als iedereen met een kater, met stress, met inspanning (inspanning kan je hartslag ook uren tot een paar dagen na de inspanning verhogen, zeker als je de inspanning niet gewend bent) Dit systeem ook triggered? Dan krijg je misschien wel tienduizenden tot honderdduizende false positives per dag in NL. Daar valt niet mee te werken, dat is onhoudbaar. En dat zijn maar 3 voorbeelden waar ik even snel op kan komen.

Ik zeg niet dat dit sowieso gebeurd, maar dat is dus eigenlijk wat de vraag is. De vraag over false positives gaat dus precies daarover - hoeveel false positives zou dit opleveren?

Jouw punt is gebaseerd op aannames dat het goed genoeg is en dat de false positives niet een te hoog absoluut of relatief getal zal vormen, maar dit weet je dus niet.

Dus een koortsthermometer is ook een nutteloos middel van het detecteren van een mogelijke coronabesmetting omdat het feit dat die koorts weer kan geven, wat een aanleiding is om je te laten testen, is specifiek ingaan op het voorbeeld wat het concept uitlegt waarvoor een koortsthermometer nuttig kan zijn? Wat is dat voor onzin?

Echt op geen enkel moment heb ik dit beweerd. Ik zei dat het voorbeeld van tegen iedereen zeggen dat ze corona hebben, alleen een voorbeeld was om een concept uit te leggen. Het concept van false positives. Ik zie echt totaal niet hoe je daaruit, deze conclusie kan trekken.

Een koortsthermometer is een al bewezen methode waar de hoeveelheid false positives niet in zo'n mate veel is dat er niet mee valt te werken.

[Reactie gewijzigd door unilythe op 24 juli 2024 13:26]

[The Third Man]

Ik denk dat we het daar over eens kunnen zijn, want niemand zou willen beweren dat het percentage false positives niet nuttig zou zijn. Noch zou willen beweren dat dit hier al op voorhand te bepalen zou zijn als niet significant. Ik heb dan ook nergens de aanname gemaakt, ik heb alleen geen stelling genomen doordat simpelweg de false positives ratio op dit moment onbekend is. N.b. dat er niet mee eens zijn dat iets helder wit tot lichtgrijs is niet stellen dat het dus donker grijs tot diepzwart moet zijn.

Wat ik echter probeerde duidelijk te maken is dat op voorhand de discussie na de vraag 'hoe veel false positives zijn er dan' in te schieten als 'we kunnen ook een perfecte detector maken met iedereen aan te merken als potentieel patiënt' en dan te richten op de voorbeelden hoe het vooral niet goed zou werken, een eenzijdige argumentatie in een zogenaamd open vraagstelling betreft. Als je het daadwerkelijk wil bediscussiëren hoe de verhouding false positives van invloed zou zijn op de totale vraag hoe praktisch dit middel is, dan moet je van alle scenario's uit gaan en niet alleen de inkoppers van hoe het vooral nutteloos zou zijn. Waarheidsvinding werkt niet door alleen maar er van uit te gaan dat het wel niet goed zal werken en als dat bekritiseert wordt stellen 'ja maar het is toch belangrijk om vragen te stellen??', dat is de bias verbloemen.

De daadwerkelijke resultaten zullen eerder in het midden liggen, dus men zal niet over 1 nacht ijs gaan en puur een hoge hartslag + hoge ademhaling = corona. Men heeft immers al jarenlange slaapdata van miljoenen gebruikers inclusief fitnessprofielen en wat niet al. Of het dan nog nuttig wordt moet blijken, maar dat is op voorhand simpelweg niet te zeggen anders dan een hoop speculatie.

[Reactie gewijzigd door The Third Man op 24 juli 2024 13:26]

[unilythe]

ik heb alleen geen stelling genomen doordat simpelweg de false positives ratio op dit moment onbekend is. N.b. dat er niet mee eens zijn dat iets helder wit tot lichtgrijs is niet stellen dat het dus donker grijs tot diepzwart moet zijn.

Maar dat zei ook niemand, toch? Niemand waar jij op reageerde heeft een stelling over Fitbit gemaakt. Als dit jouw punt was, was dat mij niet echt duidelijk. Je leek eerder het met de stelling oneens te zijn dat de hoeveelheid false positives belangrijk zijn.

Wat ik echter probeerde duidelijk te maken is dat op voorhand de discussie na de vraag 'hoe veel false positives zijn er dan' in te schieten als 'we kunnen ook een perfecte detector maken met iedereen aan te merken als potentieel patiënt' en dan te richten op de voorbeelden hoe het vooral niet goed zou werken, een eenzijdige argumentatie in een zogenaamd open vraagstelling betreft

Dit was geen argumentatie van ons, dit was een uitleg over wat false positives zijn. Je kan dat concept toch verreweg het makkelijkst uitleggen op de manier waarop wij dat deden. Extreme voorbeelden zijn altijd de beste en makkelijkste voorbeelden om concepten uit te leggen, totdat iemand opeens beweert dat die voorbeelden gemaakt zijn om de realiteit weer te geven. Dat was dus niet het geval.

Als je het daadwerkelijk wil bediscussiëren hoe de verhouding false positives van invloed zou zijn op de totale vraag hoe praktisch dit middel is, dan moet je van alle scenario's uit gaan en niet alleen de inkoppers van hoe het vooral nutteloos zou zijn

Er was een reactie van tweegroenethee die duidelijk maakte dat hij het probleem met de mogelijke hoeveelheid false positives niet begreep, en dus reageerde iemand met een voorbeeld waarom dit wel een probleem zou kunnen zijn. In die reactie stond alleen een voorbeeld waarom het mogelijk een probleem zou kunnen zijn relevant, want dat is het enige wat hij daar wilde uitleggen. En dat was de reactie waar jij op reageerde. Doordat jij op die manier reageerde, wekte dit de indruk dat jij dus ook niet het probleem achter de de mogelijke hoeveelheid false positives erkende.

Ik vind het persoonlijk erg oneerlijk dat je nu zegt dat dit een eenzijdig argument is, wanneer we alleen probeerden uit te leggen waarom false positives weldegelijk belangrijk zijn. Niemand nam een eenzijdig argument tegen Fitbit. Niemand beargumenteerde dat Fitbit's systeem niet goed werkt, wat jij nu wel een soort van impliceert. De enige argumentatie die hier relevant vanuit onze kant is, is dat false positives een belangrijk statistiek is. Wij hadden het niet meer over specifiek Fitbit, wat ik een paar keer heb proberen aan te geven, maar omdat jij elke keer op Fitbit terug kwam werd ik constant weer dat hoekje in gedreven. En dan zeg jij dus daarna dat ik tegen Fitbit aan het argumenteren was met voorbeelden waarom Fitbit's systeem niet goed zou werken. Dit vind ik een oneerlijke blik op de discussie.

Het klopt natuurlijk dat deze discussie voortkwam uit de vraag wat de false positives van dit systeem van Fitbit zijn, maar die vraag alleen weergeeft niet een stelling dat we tegen het systeem zijn.

Waarheidsvinding werkt niet door alleen maar er van uit te gaan dat het wel niet goed zal werken en als dat bekritiseert wordt stellen 'ja maar het is toch belangrijk om vragen te stellen??', dat is de bias verbloemen.

Ook dit vind ik een volledig oneerlijke blik van deze discussie. Vragen wat de false positives zijn is niet een onredelijke vraag. Dat is altijd een belangrijke vraag. Het probleem is wanneer mensen belachelijke/manipulatieve vragen stellen om de discussie te verbloemen, wat erg vaak gebeurd. maar dat was hier niet het geval. Volgens deze logica kan je nooit meer belangrijke vragen stellen.

[Reactie gewijzigd door unilythe op 24 juli 2024 13:26]

[FilipSP]

Dat is makkelijk om de ander dan van bias te beschuldigen....maar dat andere is natuurlijk wel degelijk van belang.

Vooralsnog weten we weinig meer dan dat Fitbit bij de helft van de ziektegevallen een bepaald patroon van vrij algemene parameters herkent (ca. 24 uur) voordat de bekende symptomen beginnen. Dat zijn symptomen met een fors hogere prevalentie dan welke genoemd worden in het huidige testbeleid. Dat wil je ook, want natuurlijk wil je het liefst zo vroeg mogelijk de echte gevallen filteren en in quarantaine plaatsen, maar aan de andere kant zit je wel met een beperkte testcapaciteit. Dan dringt zich wel degelijk de vraag op in hoeverre deze algemene parameters nauwkeurig genoeg zijn en niet onevenredig veel false positives opleveren. We willen natuurlijk ook niet dat de teststraten vol zitten met ongeruste wearabledragers die een wilde avond met hun geliefde achter de rug hebben, terwijl een snotterende zorgverlener achteraan in de rij moet sluiten en lang moet wachten op het resultaat.

Fitbit verklaart nu slechts dat de parameters "nuttig" zijn, maar met al hun data moet het toch ook niet al te moeilijk zijn om, binnen de grenzen van hun eigen belangen, die nuttigheid iets meer te verklaren.

[FilipSP]

Natuurlijk houd je ook bij deze testmethode false positives, zelfs in een verhouding van 1:30 of zo, dus 30x zo veel mensen hebben wat anders onder de leden. Fitbit wil eventueel inzetbaar zijn nog voor deze symptomen zich manifesteren, omdat het virus dan ook besmettelijk is, en heeft nu ontdekt dat bij elke tweede patient zich voordien een bepaald patroon van diverse parameters voordeed. Dan is het aantal false positives wel degelijk van belang, want als dat patroon zich sowieso voordoet bij de helft van de populatie, dan stuur je dus bij inzet van dit instrument de helft van de populatie vrijwel zinloos naar de teststraat en mis je de gevallen in de andere helft van de populatie.

[bbob]

False positives zijn niet het probleem. Het probleem is dat deze "medische"voorspellingen gedaan worden door een commercieel bedrijf.
De vraag is dus is fibit aangemeld om medische gegevens van klanten te mogen verwerken ?
Wat gebeurt er verder met die data, in welke databank komt er er staan dat je misschien covid 19 hebt of een andere aandoening die je volgens het systeem hebt ?

[Horatius]

Dus wat helpt die Fitbit melding dan? Niks want je moet nog steeds door de straat.

False positives is iets dat je heel erg moet vermeiden omdat men het anders met een steeds grotere korrelzout neemt.

[dasiro]

Nee, false NEGATIVES wil je vermijden, want zij worden ten onrechte als veilig aangegeven en kunnen ondertussen anderen besmetten. Een false positive is geen gevaar, enkel een ongemak voor het individu en zijn directe omgeving, omdat ze dan in quarantaine en getest moeten worden.

[Horatius]

False negatives krijg je geen melding, dus het is niet echt een 'test resultaat' wat het al minder erg maakt.

Als je elke 2 weken een melding krijgt van je fitbit dat je besmet bent en dat is een paar keer niet zo gaan mensen niet meer en nemen ze het niet serieus.

Je moet ze beiden zeker vermeiden maar in dit geval zijn false positivies ook erg belangrijk want er is een inspanning vanuit de gebruiker nodig.

[dasiro]

False negatives krijg je geen melding, dus het is niet echt een 'test resultaat' wat het al minder erg maakt

dus jij vind het minder erg dat iemand in de waan is om negatief te zijn omdat fitbit geen indicatie geeft, dan dat iemand onnodig getest wordt?
Ignorance is in dit geval géén bliss, want als er iets is dat we hebben geleerd, dan is het dat meer testen meer dragers aan het licht brengen en er dus sneller ingegrepen wordt op de verspreiding.

volgens jouw logica klopt de volgende stelling: Als niemand getest wordt, dan heeft officieel niemand het virus, dus dan is er geen probleem.

[Horatius]

Je trekt conclusies die er absoluut niet staan.

Ik zeg alleen dat false positives erg belangrijk zijn om te vermijden en ik zeg ook dat Fitbit geen test is maar een extra indicatie om een test te laten doen.

[dasiro]

daarom dat ik je zelfs gequote heb: géén indicatie van je fitbit is WEL DEGELIJK een resultaat, je weet immers dat het ding bij positieve resultaten een melding geeft en daarom is het ERGER dan een false positive

[Jaco69]

Als false positives niet belangrijk zijn gooi dan maar een dobbelsteen, dat werkt dan beter dan 'identificeren bijna helft corona gevallen een dag voor symptomen' want het zal precies de helft zijn en je zou het ook meer dagen van tevoren kunnen doen.

[dasiro]

tuurlijk wel, maar die zijn minder gevaarlijk dan een false negative.

[Jaco69]

Leg dat eens uit? Waarom zijn false negatives op een extra test die misschien corona vroeg tijdig detecteert gevaarlijk?
False negatives zijn niet te voorkomen omdat symptomen niet bij iedereen met corona voorkomen.

[dasiro]

hoe moeilijk kan het zijn: je hebt corona, bent besmettelijk, maar hebt weinig of zelfs geen symptomen. Je weet het niet en denkt dat je fitbit wel zal waarschuwen mocht het zo ver zijn, dus blijft je vrolijk verder doen met het negeren van richtlijnen, omdat je toch negatief denkt te zijn.

[Jaco69]

In dat geval blijf je met of zonder de fitbit false negative [quote]vrolijk verder doen met het negeren van richtlijnen, omdat je toch negatief denkt te zijn.[\quote] dus nogmaals... Leg eens uit. Waarom zijn false negatives op een extra test die misschien corona vroeg tijdig detecteert gevaarlijk?

De fitbit test is alleen een extra indicatie dat je misschien corona hebt en dat je je moet laten testen. False positives zijn dus gevaarlijk omdat die indicatie dan minder waarde heeft en mensen dan minder geneigd zijn fitbit serieus te nemen hiervoor. False negatives veranderen iemands situatie niet dus hebben geen toegevoegde of negatieve waarde.

(Behalve als iemand er van uit gaat dat als fitbit zegt dat je geen corona hebt dat je het dan echt niet hebt en ook andere aanwijzingen die er wel zijn negeert.)

[Reactie gewijzigd door Jaco69 op 24 juli 2024 13:26]

[dasiro]

symptoomlozen zijn de gevaarlijkste verspreiders, net omdat er geen aanwijzing is, een fitbit zou dat kunnen zijn en een wake-up call kunnen zijn dat je je moet laten testen

[Groningerkoek]

Nee, hij wil aangeven dat als er te vaak een onterechte positieve melding wordt gemaakt dat gebruikers de app steeds minder serieus gaan nemen, als jij elke 2 weken voor Jan met de korte achternaam een test ondergaat ben je snel zat van die app en negeer je de meldingen.

[i-chat]

Fitbit geeft zoals jullie zelf ook al aangegeven eerder een melding van een verhoogde kans dan van een daadwerkelijke besmetting. Het is dus niet zozeer belangrijk of die melding inhoudelijk correct is, als je ervan uitgaat dat het in eerste instantie bij de gebruiker ligt om te bepalen of die corona indicatie terecht of onterecht is.

Zo zou je prima een melding kunnen geven ::: hé het lijkt alsof u op dit moment wat kort ademig bent dat kan een oorzaak hebben in -opsomming- maar ook door corona Ga bij uzelf na of blablablabla en neem zonodig contact op met uw huisarts

Probeer ondertussen zoveel mogelijk thuis te blijven, draag een mondkapje en houdt vooral extra afstand


Just in case


Hoe je zo’n text als false positive wilt interpreteren

[Reactie gewijzigd door i-chat op 24 juli 2024 13:26]

[The Third Man]

Het bepalen van de besmetting is een losse handeling van het aanleiding zien om je te laten testen. Dat iemand jou aanspreekt omdat je snottert en hoest en je daardoor naar de straat gaat, is ook een vorm van een nuttige aansporing. Of dat je weet dat je in contact bent geweest met iemand die besmet is. Dat zijn ook net zo goed onzekerheden 'want je moet nog steeds door de straat', maar dat is dan ook niet wat het vervangt, het is een extra hulpmiddel om te weten dat je verschijnselen aan het vertonen bent. Het werkt dus op een eerder moment in de keten van besmetting -> indicatie -> bepaling -> behandeling. Het door de straat moeten is een vorm van bepaling, wat volgt op de indicatie, waar de fitbit op zou moeten meehelpen.

[Reactie gewijzigd door The Third Man op 24 juli 2024 13:26]

[DaemonAngel]

In België kan het coronavirus de 1,5m barriere langs. In Nederland niet.
(even kleine irritatie van samenwerken met ziekenhuizen in Nederland uiten, sorry ).
Dus als je bent gaan drinken en mogelijks een katertje hebt, bestaat de kans ook altijd wel dat je covid opgelopen hebt.
Iedereen genoeg gedronken, wat in elkaars gezicht lopen heinsen.


Dat terzijde is er wel een punt van false positives. Die wouden ze door de beperkte testcapaciteit in het begin beperken. Maar nu de capaciteit hoog genoeg is maakt het al minder uit dat je je bij vermoedens laat testen. Je wilt natuurlijk niet overdrijven. Dus dit is iets waar ze naar gaan moeten kijken.
Als ze eenmaal een groot genoege dataset hebben en de testresultaten kunnen ze dit wel gemakkelijk doen.

[FilipSP]

Dat is dus exact mijn punt....

1) De parameters/symptomen die Fitbit zegt te gebruiken lijken mij behoorlijk algemeen, dat levert toch een boel false positives op, terwijl tegelijkertijd de helft van de daadwerkelijk geinfecteerden geen enkele waarschuwing laten zien.
2) de dataset van Fitbit zou toch groot genoeg moeten zijn om hier al enig inzicht in te geven

[ustinov]

Ze hebben alleen data gebruikt van mensen die (later) positief testten. Hun data zegt dus per definitie niets over de betrouwbaarheid om in een willekeurige troep mensen corona te detecteren.
Het is misschien Hypothesevormend onderzoek, maar men heeft nog niet de praktische toepassing onderzocht .

[Anoniem: 310408]

Je wilt toch niet elke keer naar de teststraat vanwege een droge keel door je katertje omdat de Fitbit aangeeft dat je Corona-symptomen hebt.

Als jij niet beseft dat je kakter komt door je eigen gedrag lijkt me een andere test meer op zijn plaatst. Het azijngehalte in dit topic is weer hoog.

Dit is een van de tientalle manieren om een mogelijke besmettibng te detecteren. Verre van feilloos maar dat is ook niet nodig. Als je met dit soort manieren 5% meer positieve tests kan bewerkstelligen is dat een goede stap. Dat je daarmee een hoeveelheid test voor niets doet is op dit moment gewoon geen probleem. De capaciteit is er en een negatieve test is ook een bruikbaar resultaat.

[FilipSP]

Die capaciteit neemt rap af en de mensen met echte klachten lang moeten wachten op een uitslag als iedereen die een katertje heeft, zijn koffers van de trap heeft getild of een romantische avond heeft gehad met zijn geliefde een bericht krijgt van zijn wearable dat er aanleiding is om je te laten testen.

Zonder aanvullende gegevens is dit ongeveer net zo zinnig als zeggen dat morgen iedereen met blauwe ogen zich moet laten testen.

[SpazzII]

Ja, dat kan, maar als je test te sensitief is en te weinig specifiek is de voorspellende waarde nog steeds belabberd.

Als voorbeeld zal ik jou op afstand, via Tweakers testen met mijn nieuwe test. Tumtiedum, simsalabim! De uitslag is positief: uit mijn test blijkt dat jij besmet bent. Ga je je nu laten testen om te zien of mijn test vals positief is? Of ga je tegen mij zeggen dat mijn test niet deugt? Mijn test kan namelijk wel alle coronagevallen herkennen, heeft nog geen enkel geval van Corona gemist (en is dus beter dan deze Fitbit!)

[i-chat]

De manier waarop men test is vrij evident

Meet de gemiddelde hartslag en het gemiddelde bloedsuiker level ik geloof dat ze die schatten door infrarood en het zien van kleuren van je bloed oid

Dan gaat ineens alles harder werken
En heb je dus een indicatie van een zuurstofprobleem dat kan evengoed een verkoudheid als een tumor als een infectie of een longziekte zijn

Maar in de huidige situatie is corona een logische stap

Het is dus ook verre van een corona meting maar wel een indicatie voor een verhoogde kans en dus ern reden voor zelf carantaine totdat je negatief getest bent

[Anoniem: 470811]

Zelf-quarantaine is leuk voor werknemers. Lekker even een dagje of twee vrij wachten op de uitslag.

De gemiddelde zelfstandige verliest echter gewoon inkomen. Je kunt de uren niet factureren, zeker niet wanneer je klant wilt dat je op locatie bent.

Dus een fitbit met 50% succeskans is een leuke gimmick, maar simpelweg te duur. Meer indicatoren zijn echt nodig om een betere risico inschatting (wel/niet testen en in quarantaine) te maken.

[AfroBob]

Ja, maar als Fitbit in 100% van de testen gewoon zegt dat het positief is (zonder naar data te kijken), hebben ze een detectie-rate van 100% maar een erg hoog foutpercentage en voegt hun melding eigenlijk niets toe.

Zo extreem is het in dit geval (vast) niet, maar zonder een uitspraak over hoe hoog de foutmarge is, kan je ook geen uitspraak doen over de waarde van de data die zij leveren.

[page404]

Dat vroeg ik me ook af, wat zijn de false positives. Zonder die informatie zegt het percentage van 50% helemaal niks. Sterker nog, het klinkt bijna als kop of munt, ofwel toeval

[WaterFire]

Nee, geen toeval.
Ik ben geen wiskundige dus wat ik schrijf kan een ander wellicht weer onderuithalen maar mijn redenatie:

Het kop/munt principe zou je kunnen toepassen op mensen die al een positieve Corona uitslag hebben. Zegt Fitbit daarvan 50% dan voegt het dus niets toe.
Maar nu zit je een dag voordat je logischerwijs kan weten dat je Corona hebt; het is nu eenmaal niet zo dat mensen zich zonder symptomen laten testen. De bekende uitzonderingen daargelaten natuurlijk.

Dus als 100 asymptomatische en daardoor eigenlijk willekeurige mensen zich een dag eerder laten testen en 50% krijgt daarvan een positieve uitslag, dan zit je ver boven de percentages die de tests vandaag aan het licht brengen.
En dus hebben die 50 mensen zich niet een dag langer onder de bevolking gemengd zonder zorgen dat ze misschien iemand aan het besmetten zijn. Daar zit winst in.

[AmazingDreams]

Voor zover ik het begrijp geeft het artikel geen uitsluitsel of de situatie die jij beschrijft mogelijk is (100 gevallen met indicatie waarvan 50% positief getest). Het is niet duidelijk of er bedoelt wordt dat van de 100 positieve gevallen er 50% van de tijd dit van te voren gemeten kon worden dat er corona aanwezig is. Of dat er van de 100 gevallen met indicaties 50% positief getest werden.

Misschien dat er uiteindelijk van de 100 gevallen met indicaties minder dan 1% positief getest worden. Dat is mij op dit moment niet duidelijk.

Maw om het concreter te maken: kan fitbit meten of je corona hebt, of kunnen ze alleen meten dat je niet helemaal fit bent.

[Reactie gewijzigd door AmazingDreams op 24 juli 2024 13:26]

[mark-k]

Je moet uiteraard wel nog echt een officiële test doen. Prima als die tracker zegt dat je verschijnselen hebt en het verstandig is je te laten testen toch?

[Caelorum]

Het heeft alleen geen meerwaarde als die dat elke dag gaat zeggen, of bij iedereen in het land.

[mark-k]

Klopt, maar dan was dit ook geen nieuws geweest.

[timberleek]

Dat is dus maar de vraag. In dit artikel staat er iig met een woord over gerept. Misschien dat ze zelf meer info hebben vrijgegeven (heb niet gekeken), maar nu kan het prima een inhoudelijke claim zijn voor marketing.

50% goed met mega veel false-positives is gewoon waardeloos. Dat kan de zwerver op de hoek vast ook.

[mark-k]

50 procent goed betekent dus 50 procent fout, aangezien er geen 3.5miljard mensen besmet zijn momenteel is dat een beter percentage dan die zwerver van je ooit kan halen.

Of heb je je bericht verkeerd geformuleerd?

[timberleek]

Was 50 procent van de detecties goed?

Of waren binnen een groep geïnfecteerde in 50% van de gevallen ook tekenen zichtbaar in de data?

Dat laatste laat keurig de deur open om nog een hele grote groep niet geïnfecteerde mensen als geïnfecteerd te zien.

[mark-k]

50 procent van de detecties waren voordat er symptomen waren, dus geen van beide situaties die jij schetst voor zover ik het kan zien. Mijn reactie was dus ook niet adhv het nieuwsbericht maar jouw reactie.

[watercoolertje]

In just over two months, more than 100,000 Fitbit users across the US and Canada have enrolled, with more than 1,000 positive cases of the virus reported.

Based on the findings of our study, we can detect nearly 50 percent of COVID-19 cases one day before participants reported

Zoals ik het lees hebben ze dus bij 50% van die 1.000, 1 dag voor de symptomen kunnen zeggen dat ze corona hebben. Maar ze zeggen niet hoeveel van die 99.000 er door fitbit onterecht gelabeled zijn voor het hebben van corona.

Die vraag is net zo belangrijk, misschien zelfs belangrijker, wat als ze tegen 50.000 mensen zeggen dat ze het hebben, dan heb je wss ook 50% van die 1.000 besmette kunnen labelen. Echter labelen ze dan ook 45.000 mensen onterecht.

Nu zal die false/positive wel wat minder fouten hebben (want die combi van factoren gebeurt zelden zonder reden), maar mogelijk geboeg mensen om de testlocaties te overbelasten waardoor besmette mensen juist later pas bevestiging krijgen dan dat ze op hun eigen symptomen af gaan. Dan maakt het de boel dus erger.

[Reactie gewijzigd door watercoolertje op 24 juli 2024 13:26]

[mark-k]

Als je een reactie verder gelezen had dan had je gezien dat ik dat zeker snapte. Echter was het bericht waar ik op reageerde zo geformuleerd dat het leek alsof hij het geïnterpreteerd had als een 50 procent successrate

[cPT.cAPSLOCK]

Op dit moment is het nog de maker zelf die claims maakt, en dat hun onderzoek "verstuurd is" naar een peer reviewed blad zegt niks tot het ook die review succesvol doorgekomen is én dat een beetje een respectabele publicatie is.

Momenteel hoog "wij van WC-Eend"-gehalte.

[AfroBob]

Klopt, met een hoog foutpercentage is het ook niet echt "nieuws" maar meer een verhaaltje dat leuk verkoopt. Daarom ook dat deze vraag komt en dat de verwachting eigenlijk was dat er hier iets over in het artikel (of in het rapport) zou staan, maar dat staat er niet (niet dat ik kon vinden).

Dus de vraag "Maar hoeveel false positives geeft dit?" is dus gewoon terecht en iets dat ik mij ook direct afvroeg. Het feit dat dit in in het nieuws komt betekent absoluut niet dat het ook daadwerkelijk nieuwswaardig is.

[D0gtag]

Misschien begrijp ik het verkeerd maar volgens mij hebben ze de data van n=x (~1200) gebruikers bekeken een tweetal methodes toegepast om de data te lezen om daar een voorspelling uit te laten rollen om vervolgens te kijken hoe dicht die data bij de werkelijkheid zat.

Data on 1,181 subjects diagnosed with COVID-19 (active infection, PCR test) were collected from May 21 - July 14, 2020.

Ze hebben dus naar mensen gekeken die positief getest zijn en gekeken wat deze mensen daarna gedaan hebben (thuis gezeten, ziekenhuis opname etc) en dan met die data van de persoon gekeken wanneer de algoritme een verandering kon waarnemen en met een %zekerheid kon geven. De onderzoek vraag was of Fitbit data voortijdig corona kon detecteren. Het is niet zo dat Fitbit corona heeft gedetecteerd en toen zei ga je testen.

[Reactie gewijzigd door D0gtag op 24 juli 2024 13:26]

[TheekAzzaBreek]

Het is leuk om te weten dat de gevallen van infectie herkend worden maar hoeveel false positives zitten er bij?

Als ik het goed lees (geen statistische achtergrond) komen ze op een accuratesse van 95% uit, dus 5% false positives en negatives totaal. Dat is niet slecht, maar het gaat hier alleen om mensen die echt symptomen hebben ontwikkeld, en dat is maar een bescheiden minderheid. Om de pandemie in te perken is dat veel te beperkt.

Edit: nog even wat doorgelezen: die 50% detectie 1 dag tevoren halen ze alleen door de specificiteit terug te schroeven naar 70%, dus door meer onjuiste uitslagen te accepteren. Bij 95% melden ze 21% detectie op D-1 en 25% op D0. D0 is de dag dat iemand zelf symptomen meldt.

[Reactie gewijzigd door TheekAzzaBreek op 24 juli 2024 13:26]

[dasiro]

dat staat in het verslag:
ik heb er even een screenshot van gemaakt om het sneller te zien:
https://i.imgur.com/ZjzcqIS.png

[Croga]

Dus als ik het goed lees:
- 1181 mensen volgens FitBit positief getest
- 625 daadwerkelijk besmet

Dat is dus 50% false positives. Dan vindt ik dat persoonlijk een abominabel slechte prestatie.

[D0gtag]

Nee, dat is niet wat er staat, van de ~132.000 participanten had ~1200 positief getest voor covid. (0.89%).
Mensen die het dachten te hebben of hadden en getest zijn.
~8000 heeft een serology test ondergaan, waarvan er dus 625 positief bevonden zijn met andere woorden ze hebben antilichamen van covid en zijn dus (recent) besmet geweest met covid. Hebben dus mogelijk ook een covid test gehad, positief of negatief bevonden (als het fout was) en alsnog met deze test aangegeven dat ze het hadden.

[Bert Gent]

Als 100% in quarantaine gaat is de epidemie over 3 weken volledig over. Good job zou ik zeggen

[Jeanpaul145]

Het is erger dan dat.
Dit herkenningspercentage is min of meer gelijk aan: pak een munt en voor elke gebruiker, flip een munt. Heads, de persoon heeft corona. Tails, de persoon heeft 't niet.

Met andere woorden dit is gewoon random chance, en daarmee is het compleet nutteloos nog voordat je false positives en false negatives bekijkt.

[gepebril]

Een rare vraag misschien, maar wat is Corona virus precies. ... een virus op PC?

[Energya]

In het artikel staan keurig waardes vermeld voor de zogenoemde 'sensitivity' en 'specificity', dus ze hebben hier wel degelijk naar gekeken. Bij 95% specificity rapporteren ze bijv. 44% sensitivity, wat volgens mij neerkomt op ~1/3e false positives.

Ipv een moeilijke uitleg over te typen, verwijs ik verder naar bijv. wikipedia voor exacte uitleg over deze termen

[King4589]

Ik heb de blog post even snel gelezen maar daar staat ook niets over false positives en zoals I'm het lees hoeft dat ook niet.
Ze hebben van veel gebruikers toestemming gekregen om gegevens te analyseren, van die groep zijn er 1000 mensen die daadwerkelijk besmet zijn geraakt. En die gegevens hebben ze achteraf gebruikt.

Ze voorspellen op basis van historische data waar ze de uitkomst al van hebben.

[Marzman]

Dat klinkt als het Belgische systeem in de rusthuizen

[JurGor]

Feitelijk zie je het metabolisme van je lichaam in rust toenemen, zonder dat het gepaard gaat met fysieke beweging.

Oftewel: je hebt verhoging/koorts.

Immers, als je metabolisme toeneemt maar je beweegt verder niet meer, en de externe thermische omstandigheden zijn identiek aan de nacht ervoor (je slaapt in bed), dan neemt dus je lichaamstemperatuur toe.

En laat koorts nou net een hele algemene afweerreactie zijn van het lichaam op allerhande lichaamsvreemde indringers van virale of bacteriële signatuur.

Toch wordt koorts ook gebruikt als scanningtool voor mogelijke Covid infecties. Dus je fitbit zou daar ondersteunend aan kunnen zijn. Niet op zichzelf staand, maar in combinatie met andere waarnemingen/metingen wel een bruikbare informatiebron.

[WhiteDog]

Het is natuurlijk geen geheim dat men al deze "gadgets" graag wil slijten aan de medische wereld. Exact dezelfde tracker met een "medically approved" sticker erop kan je 10x meer voor vangen...

Ben op zich ook niet tegen, hou maar is een kind van 3 een week rustig in een ziekenhuisbed met wat elektrodes opgeplakt en een saturatiemeter aan zijn teen... kan je zo vervangen door een armbandje.

[Sorcerer8472]

Gaat met Fitbit echt niet gebeuren. Ze adverteerden hun Charge 3 met de SpO2-sensor, uiteindelijk werd die pas na een update ruim een half jaar later actief en kun je nog steeds niet het echte SpO2-percentage uitlezen maar alleen een grafiek met een "high" en een "low" balk waarvan je niet weet wat het nou precies allemaal is

Ze zijn doodsbang om te proberen een medische uitspraak te doen of gegevens aan te geven die medisch zouden kunnen worden geïnterpreteerd. Zelfs hun resting heart rate berekening is altijd aan de zeer hoge kant, slaat nergens op. Maar dit kunnen ze blijkbaar nu wel?

[Reactie gewijzigd door Sorcerer8472 op 24 juli 2024 13:26]

[OxWax]

I wish maar ik denk niet dat je een ecg kan vervangen door een armbandje(althans, nog niet)

[bosskiss]

Het kan ook als de glucosemeter worden van de toekomst. Super duur apparaat in het begin, en nu kan je voor 2x tientjes er een op de kop tikken.

Tuurlijk de waardes zijn niet te vergelijken met een super duur en geavanceerd apparaat. Maar het neemt wel veel vragen weg.

[beerse]

Mijn grote vraag is of deze samenloop van gegevens al eerder is opgetreden. Ze hebben deze gegevens nu over het afgelopen half jaar bij elkaar gesprokkeld. Doe dat eens met de zelfde gegevens van vorig jaar? Hoeveel corona/covid19 kan je daar vinden? En over 2 jaar geleden?
En hoe zit het met de geografische verspreiding van deze gegevens? Ik maak me sterk dat ze in deze oudere gegevens vast ook 'corona' gevallen zullen vinden. Mijn eerste gok is dat die gerelateerd kunnen worden met griep of zo iets.

Mijn volgende gok is dat ze van sars en ebola geen gegevens hebben. Sars is iets te lang geleden en voor ebola hebben ze vast te weinig meet gegevens uit dat gebied.

[peter1980]

Helemaal mee eens. Hier dacht ik ook als eerste aan. Correlatie is iets anders dan causaal verband.
Daarnaast heeft dit op z'n minst de schijn tegen zich wat betreft onafhankelijkheid. Ik zou liever zien dat een onafhankelijk instituut dit onderzoekt ipv van een fabrikant

[multikoe]

Het gaat hier om correlatie en dat is op zich al voldoende om conclusies uit te trekken. Google weet uit de zoekopdrachten die het ontvangt ook al griepgolven te voorspellen voordat de officiele gegevens bekend worden. Daar zit geen causaal verband tussen (indirect natuurlijk wel).
Een verhoogde rusthartslag veroorzaakt geen Corona. Maar koorts ook niet. En hoesten zelf ook niet en een zere keel ook niet. Er is een correlatie, maar geen causaal verband en toch kunnen gebruiken we die symptomen kennelijk wel om de ziekte vast te stellen.

En ja, je mag je vraagtekens zetten bij de onafhankelijkheid, maar een peer reviewed publicatie geeft het geheel alvast wat meer body. En dit is natuurlijk een prachtig onderwerp voor vervolgonderzoek.

[beerse]

De afgelopen tijd heb ik een stuk gelezen waarbij ze de drukte op de parkeerplaats van de ziekenhuizen in Wuhan hebben bekeken. Op basis daarvan werd beweerd dat covid-19 al een half jaar eerder zou zijn begonnen omdat het toen (ook) druk was op die parkeerplaats. Het is maar wat je er in wilt zien. Geen bericht over de jaren ervoor, geen bericht over andere redenen, geen bericht over enig onderzoek naar de drukte in de ziekenhuizen, wel gewoon en conclusie trekken...

[JurGor]

Causaal verband? Ze meten gewoon in rust de verandering in metabolisme die het menselijk lichaam nodig heeft om de interne temperatuur te verhogen. Oftewel koorts.

[terabyte]

Mooi en eng tegelijkertijd.

Mooi dat ze data science inzetten voor verbeteren volksgezondheid
Eng dat een bedrijf straks op individueel niveau conclusies kan trekken over iemands gezondheid (evt. met effecten op verzekeringspremies, etc)

[J2pc]

Hangt er een beetje vanaf hoe het geïmplementeerd wordt. Als het algoritme bekend is kan dat mogelijk prima op je eigen app met je eigen data, zonder data centraal te delen.

[Kevinns]

Mja, zolang je niet verplicht wordt het te gebruiken lijkt het me voornamelijk voordelig. Als er verzekeringen gaan ontstaan waarbij zo’n tracker wel verplicht is dan gaan we heel gauw enorm de verkeerde kant op, zoals nu al trackers worden gebruikt voor sommige autoverzekeringen, ook in NL!

In de UK bijvoorbeeld is het praktisch onmogelijk om een autoverzekering zonder tracker te krijgen als beginnend automobilist. Daar MOET je nu dus je privacy opgeven om te beginnen met autorijden (of een 3-4x zo hoge premie kunnen opbrengen). Ik moet er niet aan denken dat zoiets ook voor gezondheidszorg gaat gelden, hoewel ik denk dat het in Nederland zo’n vaart niet zal lopen.

[Reactie gewijzigd door Kevinns op 24 juli 2024 13:26]

[timberleek]

Off topic, maar ik ben heel benieuwd of die tracker data nou echt nuttige info kan geven.

Plankgas geven om op de snelweg in te voegen is vast "gevaarlijk" terwijl invoegen als een bejaarde met 60 zonder te kijken als "rustig rijden" wordt gezien (en het lijkt wel alsof iedereen dat doet tegenwoordig). Dat er 7 auto's een noodstop of uitwijkmanoeuvre moeten maken is niet geregistreerd.

[Horatius]

In principe kan je deze data gewoon anoniem verzenden om een goed corona profiel maken (algemeen profiel welke waardes voor positieve corona) en dan lokaal kijken of jouw data voldoet aan dat profiel.

Ook kan Google volgens mij detecteren of iemand ziek is (of gaat worden) op basis van online gedrag, dat vind ik bizar. Dat Fitbit dat kan vind ik niet bijzonder, ze hebben gewicht, hartslag, lengte en fitheid.

[terabyte]

Dan begrijp je vast waarom ik het extra eng vind dat uitgerekend Google Fitbit overneemt...

[Cyberpuppy]

Grappig dat er vooral voorbij lijkt te worden gegaan aan het feit dat minder dan 1% van de geteste personen ook daadwerkelijk besmet blijkt. Die lijst met symptomen kan op allerlei ziektes duiden. Dus in het beste geval kun je iets roepen over een aankomende ziekte, maar dat hoeft dan nog echt geen Corona te zijn.

[ustinov]

Sterker nog, ze hebben alleen gekeken naar 1181 personen die op een gegeven moment een positieve PCR voor 2019-nCov hebben gehad.
Ze weten dus al dat iedereen op een moment besmet is, maar Fitbit probeert (achteraf) de dag van symptomen te voorspellen. Dit onderzoek zegt dus niets over voorspellende waarde in een willekeurige groep mensen.

Ze gaan ook nog uit van zelfgerapporteerde symptomen om het nog erger maken.

[Reactie gewijzigd door ustinov op 24 juli 2024 13:26]

[Andy Wachelder]

"in een vroeg onderzoeksverslag" en "in een deel van onderzochte gevallen"... Uiterst "relevante" data dus...

[MeMoRy]

Zo werkt het bij wetenschappelijk onderzoek. Als je maar iets van correlatie aan kan tonen, publiceren! "publish or perish".

[reneflo]

Het is logisch voor wetenschappers, want die moeten iets publiceren als het mogelijk interessant is zodat er geld vrij komt om verder onderzoek te doen. Het is ook logisch dat fitbit dit wat verder pusht als marketing. Het is een keuze van Tweakers.net om dit dan als nieuws te presenteren wat het eigenlijk niet is.

[Horatius]

Fitbit is een van de grootste wearable bedrijven dat zulke (hoeveelheden) data tot beschikking heeft, dus als ze echt iets kunnen betekenen met betrekking tot corona is dat heel interessant.

[CEx]

Goed dat ze dit verder onderzoeken in plaats van het te houden bij stoere uitspraken. Het roept legio aan vragen op, vooral nauwkeurigheid ten opzichte van ander afwijkend gedrag.

[koentjuh1987]

het concept zal nog niet helemaal waterdicht zijn maar als men hierdoor wel sneller de eerste symptomen kan herkennen dan kan de attentiewaarde om wellicht een test af te nemen wel gemeld worden. Die 2-3 dagen eerder kunnen net voldoende zijn en het aantal besmette mensen beperken. het is niet dat de persoon het wel/niet krijgt maar hij/zij kan wellicht wel eerder anderen waarschuwen of maatregelen in acht nemen...

de methode vraagt nog wat nader uitzoek werk maar wel mooi om te zien dat men met de bestaande sporthorloge (fitbit, apple watch etc) daar wellicht aan kan bijdragen..

[Sharkoon]

Hoe komt Fitbit aan die gegevens.. dat wordt dus gewoon allemaal gedeeld?

Een corona melder app willen we allemaal.niet installeren omdat privacy.. en een Fitbit kopen we en geven we d privacy weg. Ik snap het niet meer

[Reactie gewijzigd door Sharkoon op 24 juli 2024 13:26]

[Janar]

Ik zie met mijn Garmin vaak ook wanneer ik een griepje krijg. Bij griep stijgt mijn rusthartslag ongeveer 10 slagen naast dat stress niveau(hrv) hoog is.

Maar of dat COVID-19 is of andere griep; geen idee.

Bij normale verkoudheid stijgt de rusthartslag nauwelijks.

Maar bijna de helft correct hebben, vind ik nauw niet een doorslaggevende uitslag.

[Gerrit_v_B]

Ik denk dat dit een handige tool is. Het is geen corona test die aangeeft of je het wel of niet hebt, het is een indicator die je iets eerder aangeeft dat je mogelijk besmet bent.

Stel er lopen 10.000 mensen met zo'n fitbit en hij geeft op een dag 100 mensen een signaal dat ze mogelijk besmet zijn. Met de betrouwbaarheid van 50% zijn er dan in werkelijkheid 50 besmet. Als alle 100 een dag binnenblijven, zijn er 50 die het virus niet verspreiden en 50 die voor joker een dag binnen zitten. Bij de 50 besmette gevallen volgt al een voorlopige bevestiging de dag erna in de vorm van klachten en de andere helft de voorlopige bevestiging van een vals alarm.

Lijkt mij de moeite meer dan waard.

[Admiral Freebee]

Maar dat zegt het artikel niet volgens mij. Bij de helft van de mensen met een bevestigde corona infectie kon men aan de data voorop zien dat de infectie er zat aan te komen. Maar bij hoeveel mensen komt ditzelfde patroon voor die niet besmet zijn of een andere ziekte hebben?

Want zo kom je misschien aan een aanzienlijke hoeveelheid false positives en is de data minder nuttig omdat het eerder wijst op een infectie in het algemeen dan specifiek een infectie met het coronavirus.

[Reactie gewijzigd door Admiral Freebee op 24 juli 2024 13:26]