Rob: Dat 7% positief test betekent wat mij betreft niet dat bij 93% de waarschuwing onterecht is.
Medisch wel: achteraf zat je thuis in isolatie terwijl achteraf blijkt dat je niet besmet was. Dat noem ik onterecht oftewel een false positive.
Epidemiologisch is er wellicht wat voor te zeggen om 100 mensen thuisarrest te geven omdat gemiddeld 7 van hen besmet zijn, maar zodra je honderdduizenden landgenoten, vooral met veel "wisselende contacten" (zorg, politie, loodgieters, OV-personeel etc.) opsluit, betaal je een veel te hoge prijs.
Een algemeen verzoek (wellicht met enige dwang) om zoveel mogelijk thuis te blijven/werken en zo min mogelijk bezoek te ontvangen, is veel effectiever.
Rob: Als jij in de trein een half uur pal naast iemand zit die op dat moment besmettelijk was, dan vind ik het terecht als de app je een seintje geeft. Zelfs als na de test blijkt dat je niet besmet bent geraakt (omdat je simpelweg geluk hebt gehad).
M.i. moet je de volgende 3 problemen
samen in ogenschouw nemen:
1) Zeer veel false negatives: vanaf week 49 t/m 34 zijn er, aldus
RIVM,
1421418 mensen (met/zonder app) positief getest. Van hen hebben er
152612 gegevens uit CoronaMelder geüpload, dat is minder dan
10,8% (de afgelopen weken ca. 4%, trend dalend). Ik gok dat de helft van de mogelijk besmette Nederlanders zich
niet in een teststraat liet/laat testen (dit deel wordt groter met het aantal gevaccineerden en zelftests). Als mijn gok klopt was de
maximale kans dat jouw app een waarschuwing geeft na "contact" met een besmet persoon dus geen 10,8%, maar
5,4% (momenteel 2%).
Ik schreef "
maximale kans", want om een waarschuwing te kunnen krijgen moet jouw smartphone
minstens 15 minuten dicht genoeg bij de smartphone van de besmette persoon zijn geweest (vooral de Delta variant "doet het" in minder dan 15 minuten), met beide smartphones
in de juiste oriëntatie (PDF),
zonder significante RF-verstoringen (o.a. door interferentie t.g.v. reflecties en door andere 2,4GHz zenders) en
zonder 2,4GHz dempende objecten ertussen (menselijke lichamen - denk aan smartphone in kontzak). En natuurlijk moeten beiden hun
app en Bluetooth actief hebben gehad (niet uitgezet i.v.m. problemen met BLE "oortjes" of battery-drain). M.a.w. de kans dat jouw app jou waarschuwt nadat jij besmet bent geraakt, was waarschijnlijk
kleiner dan 5% en is momenteel waarschijnlijk kleiner dan 2%;
2) Zeer veel false positives: als jouw app jou waarschuwt, was (gemiddeld sinds week 49) de kans dat je besmet was, ongeacht door wie of wat, 7%. De kans dat CoronaMelder jou waarschuwde na daadwerkelijk te zijn besmet, is dus waarschijnlijk kleiner dan 5% van 7%, dus
waarschijnlijk kleiner dan 0,35% (m.i. verwaarloosbaar). En momenteel waarschijnlijk minder dan 2% van 7% = waarschijnlijk minder dan 0,14%.
3) Te grote doorlooptijd: als je besmet bent geraakt
én jouw app jou waarschuwt, gebeurt dat vaak pas op het moment dat je al besmettelijk bent of zelfs voorbij de piek daarvan (vooral bij de "snellere" Delta variant). Ik leg dit verderop uit.
Eén van de oorzaken van het grote aantal false positives
én false negatives is dat je met Bluetooth geen afstanden kunt meten; het is pure statistiek of twee smartphones op 1 tot meer dan 10 meter onderlinge afstand de sterkte van het ontvangen signaal als een "hit" beschouwen of niet (ondanks dat getracht wordt dit per merk en type te corrigeren); kijk maar eens goed naar bijv. de heatmap op pagina 7 in de (m.i. gepimpte)
rapportage van de veldtest in Vught).
In jouw voorbeeld van de trein is de situatie zo mogelijk
nog dramatischer:
in metalen rijtuigen is de relatie tussen afstand en signaalsterkte helemaal ver te zoeken.
Als je niet besmet wilt raken door een onbekende, kun je beter niet met het OV reizen i.p.v. hopen dat jouw app jou bijtijds waarschuwt (mocht je besmet zijn geraakt). Of na elke OV-reis een dag of 5 zo min mogelijk mensen zien en je dan laten testen.
Erik: "M.a.w. als al die app-gewaarschuwden meteen in zelfisolatie waren gegaan, had 93% dat voor niets gedaan."
Rob: Voor niets? Of voor voorzichtigheid?
Zoals ik eerder schreef: medisch voor niets, en als je dan toch in zelfisolatie gaat, moet je je afvragen tegen "welke prijs". In elk geval zitten werkgevers er niet op te wachten als personeel, dat niet thuis kan werken, thuis blijft "omdat zij heel misschien besmet zijn".
In de meeste landen met dit soort apps klaagden fans, ontwikkelaars en verantwoordelijke ministers dat "hun" app slecht werkte
door een te klein aantal gebruikers.
De pingdemic in Engeland heeft echter volstrekt helder gemaakt (in elk geval voor mij) dat dit soort apps
niet schalen.
Inderdaad zal een groter aantal actieve gebruikers het percentage false negatives flink verkleinen: adoptie x 2 betekent bijna 4 x zo weinig FN, dus bijna 4 x zoveel app-waarschuwingen.
Echter, de mate van adoptie verandert
niet het
percentage false positives, waardoor het
aantal mensen dat (al dan niet besmet) in thuisisolatie zou moeten gaan en blijven (totdat een test een
betrouwbare negatieve uitslag geeft, en dat is niet op dag 2), bijna verviervoudigt.
Als iedereen met zo'n app zou rondlopen, elke positief geteste persoon zou uploaden en elke app-gewaarschuwde meteen en onvoorwaardelijk in zelfisolatie zou gaan, zou dat de maatschappij volledig ontwrichten. Veel te veel mensen zouden dan in zelfisolatie zitten. En erg lang, omdat er dan onvoldoende testcapaciteit zal zijn om hen allemaal snel te testen, wat de doorlooptijd van app-waarschuwingen alleen maar verder vergroot. Een jojo effect ligt dan voor de hand.
App-fans zullen wellicht beredeneren dat het, bij zo'n maximale adoptie, niet tot zulke explosies van besmettingen zou kunnen komen. Daar geloof ik niks van, omdat enerzijds de doorlooptijd van de app sowieso te groot is (dat is niet de schuld van de app en servers) en anderzijds omdat veel Nederlanders het al snel niet meer zullen pikken om meerdere keren achter elkaar thuisarrest te krijgen, terwijl zij achteraf niet besmet blijken te zijn.
Erik: "Daarbij kan de aanleiding om zich te laten testen een app-waarschuwing zijn geweest, van een ander dan degene die hen feitelijk besmette.
Rob: Van de ene kant een geldig punt, van de andere kant lijkt het me wel mooi meegenomen dat die mensen toch eruit gepikt worden.
Het lijkt mij een stuk effectiever om, in een gebied met veel besmettingen, iedereen te testen - in plaats een relatief klein deel van hen ("gepingde" app-gebruikers waarvan een deel niet besmet is) in zelfisolatie te sturen, terwijl je het grootste deel van de besmettelijke mensen gewoon laat rondlopen.
Erik: "Ook bleef de NHS Covid app aangeven dat je in totaal 10 dagen in zelfisolatie moest blijven, ondanks een negatieve testuitslag tussendoor."
Rob: Dat is inderdaad slecht, maar dat is geen fout van het algorithme dat probeert te bepalen of je in contact bent geweest met een besmettelijke persoon én die fout is (voor zover ik weet) niet aanwezig in de Nederlandse CoronaMelder. Het is niet eerlijk om de Nederlandse app de schuld te geven van bugs in de Britse versie.
Het is geen bug maar opzet.
Een lastig probleem van Covid-19 is dat het bij sommige mensen vele dagen duurt voordat het virus zich zoveel vermenigvuldigd heeft dat een test het kan detecteren, terwijl anderen juist zeer snel besmettelijk worden.
Puur vanuit epidemiologisch oogpunt (en overschatting van de nauwkeurigheid van de app plus een self fulfilling prophecy van de wetenschappers en ministers hierachter, die geen geen gezichtsverlies willen leiden, en later willen kunnen claimen dat de app X besmettingen en Y doden heeft kunnen voorkomen) is het zinvol om app-gewaarschuwden zo lang mogelijk in zelfisolatie te laten blijven.
Rob: Het idee is altijd geweest dat de impact van een false-positive beperkt is: je blijft twee dagen thuis: op de eerste dag doe je een test (want er zou genoeg test-capaciteit moeten zijn om je meteen te testen), op de tweede dag krijg je een negatieve test terug en is je zelf-isolatie meteen afgelopen.
Dat klopt niet. Aanvankelijk kon je je niet eens laten testen na een app-waarschuwing, dat mocht pas vanaf week 49.
Momenteel, uit
de FAQ op CoronaMelder.nl:
Als uit een melding in de CoronaMelder-app blijkt dat je in de buurt bent geweest van een besmette persoon, blijf dan thuis en laat je op of na 5 dagen testen.
Een "voordeel" is dat de meeste app-waarschuwingen pas 3 à 4 dagen na de datum van mogelijke besmetting verschijnen, maar 5 dagen of meer komt ook voor. Een voordeel want app-gewaarschuwden kunnen zich daardoor meestal snel laten testen en uit zelfisolatie (indien negatief - in 93% van de gevallen). Een "voordeel" (tussen aanhalingstekens) want zij kunnen op het moment van hun app-waarschuwing al besmettelijk zijn, of zelfs over de piek daarvan heen zijn. Voor de doorlooptijd van app-meldingen is de eerste test pas 5 dagen na een "contact" uitvoeren natuurlijk dramatisch.
Helaas zijn er nog nauwelijks onderzoekresultaten van de Delta variant, maar op pagina 24 in de PDF die je
hier kunt downloaden staan m.i. interessante grafieken; de bovenste is de "latent period" in dit onderzoek naar de Delta variant. De latente periode is de tijd tussen besmetting en besmettelijk worden. In de onderste grafiek zie je dat in dit onderzoek bleek dat men gemiddeld meer dan 2 dagen vóór het optreden van symptomen maximaal besmettelijk is. App-waarschuwingen van mensen die zich pas laten testen als zij symptomen hebben komen dus ook vaak te laat. Overigens is dit onderzoek nog niet peer-reviewed dus niet enorm betrouwbaar.
(Nb. het eerste plaatje in
deze tweet van Ryan Imgrund geeft een overzicht van termen zoals latent period en serial interval).
Zelfs Hugo de Jonge begreep niet dat het essentieel is om je ASAP na een app-melding te laten testen. Niet voor jezelf, want een
negatieve testuitslag kort na een besmetting zegt
niets. Echter, een
positieve uitslag, zo snel als mogelijk na een besmetting, is essentieel om app-gebruikers
bijtijds te waarschuwen die ondertussen
door Hugo de Jonge zijn besmet.
Voorbeeld: stel jij wordt besmettelijk 2 dagen na een "contact" en ontvangt op dag 4 een app-waarschuwing. Je laat je testen op dag 5 (eerder mag niet), ziet op dag 6 online de uitslag en wordt op dag 7 gebeld door een GGD-er die zorgt dat jij kunt uploaden, en jij uploadt meteen: dan ontvangen de app-gebruikers die
jij mogelijk hebt besmet pas een app-waarschuwing als
ook zij allang besmettelijk kunnen zijn. Bezigheidstherapie en verspilling van belastinggeld, deze app.
Erger, er zullen mensen zijn die denken dat zij niet besmet en besmettelijk kunnen zijn zolang hun app niet waarschuwt, zelfs met symptomen - en daarom regels aan hun laars lappen. Dit naast de economische schade die onnodige zelfisolatie in een deel van de gevallen zal veroorzaken.
Door de te verwaarlozen positieve effecten en de (verzwegen) negatieve effecten, ben ik ervan overtuigd dat dit soort apps een averechts effect hebben op het bestrijden van de Covid-19 epidemie.
P.S. ik ben geen wappie (vaak mondkapjes gedragen en 2x AstraZeneca gehad) en ook zeker niet tegen ICT oplossingen - mits die positief bijdragen.
[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:17]