Corona-apps: aanbesteding is vooralsnog geen groot succes

Kritiek en harde conclusies

De kritiek

Op Goede Vrijdag aankondigen dat er 'een app' moet komen en daar liefst dezelfde maand al een eerste prototype van willen hebben, dat is een ambitieus doel. Er waren dan ook al snel softwareontwikkelaars die zich achter de schermen afvroegen of dat wel mogelijk is, zeker gezien de eerdere ervaringen rond ict-projecten van de overheid. Toch leek het aanbestedingsproces redelijk solide in elkaar te zitten. Alles zou zo veel mogelijk openbaar gebeuren, de 'appathon' zou een livestream krijgen en de apps zouden open source worden - al blijkt dat laatste begrip door sommige mensen anders te worden ingevuld dan door anderen.

De eerste kritiek kwam van experts die al bij de eerste ronde betrokken waren. Dat was de ronde waar volgens minister De Jonge meer dan 750 voorstellen in waren binnengekomen. Negen experts uit de beoordelende groep schreven een open brief op de site veiligtegencorona.nl. Eerder hadden ze samen met een groep burgerrechtenorganisaties een manifest opgesteld met daarin een eisenlijst. Nu schrijven deze experts zich 'niet achter de conclusies van het ministerie' te kunnen scharen.

Premier Mark Rutte en minister Hugo de Jonge tijdens de persconferentie waarop zij de corona-apps aankondigden.

Beoordelingen

Al tijdens de eerste beoordelingsronde bleken experts kritischUiteindelijk bleven er 63 apps over ter beoordeling. Die beoordeling gebeurde door teams van experts op allerlei verschillende vlakken. Naast ict'ers gaat het daarbij bijvoorbeeld om juristen en virologen. Er waren negen teams met in totaal 67 experts die verschillende apps beoordeelden. Het is niet duidelijk welke apps door welke teams zijn beoordeeld. Die informatie is 'vertrouwelijk', zegt het ministerie. Wel is duidelijk dat de experts niet tevreden waren met de voorstellen. De kritiek kwam daarbij niet van experts uit één specifieke groep. Sommige voorstellen werden door meerdere groepen beoordeeld. Zo was er één voorstel dat door drie verschillende teams negatief werd beoordeeld. Met name de app van Sia Partners bleek dubieus, zeiden bronnen later tegen de Volkskrant. Sia Partners wil, zoals we eerder schreven, een app maken die is gebaseerd op de Singaporese Trace Together-applicatie. Maar, zo concludeerden de experts, die app voldoet helemaal niet aan één van de basiseisen van de AVG, namelijk privacy by design. En buiten dat: was privacy niet één van de dingen waar minister De Jonge vooraf over zei dat het één van de belangrijkste pijlers van de 'appathon' zou worden? Het was reden te meer voor experts om zich al vóór het evenement af te vragen wat er precies was gebeurd. "We hebben geen flauw idee hoe deze lijst tot stand is gekomen", zei één van de experts in de Volkskrant.

Van al die beoordeelde applicaties bleven er uiteindelijk zeven over. Dat zijn de apps die we op de vorige pagina behandelden. Ook die zeven werden weer beoordeeld, maar nu verliep dat proces meer zichtbaar voor het publiek. Daarvoor werd de 'appathon' in het leven geroepen. Vooral in de communicatie verliep het niet helemaal vlekkeloos. Zo bleek de livestream losse interviews met de makers en af en toe een vragensessie te tonen, maar niet een volledig beeld van de dag. Ook De Jonges eis dat de code van de apps 'na de appathon' online zou verschijnen, bleek niet helemaal niet worden opgevolgd. Dat kwam mede doordat sommige app-makers geen eigen code hebben om te gebruiken. Andere partijen, zoals Accenture, zeggen dat hun code 'volgende week' open source wordt. Ook bleek al tijdens de appathon dat de app Covid-19 Alert veiligheidsissues heeft. RTL nieuws ontdekte dat een database met gegevens in de broncode van de app is te vinden.

Onbeantwoorde vragen

Tijdens de presentatie bleven nog veel vragen open, zowel over de techniek als over de werking in de praktijk. De hele appathon werd wat lastiger gemaakt door een aankondiging van Google en Apple, vlak ervoor. De bedrijven willen samenwerken aan een api die de data uit verschillende contactonderzoeks-apps aan elkaar moet koppelen en die het makkelijk maakt om zulke processen op te zetten. Het is niet zomaar één van de vele private initiatieven buiten de Nederlandse appathon om, maar lost een fundamenteel probleem op waar de Nederlandse app-makers niets over wilden zeggen: het iOS-issue. Apples besturingssysteem maakt het onmogelijk om bluetooth in te zetten om actief signalen te versturen, tenzij het scherm van de gebruiker permanent actief is. Hoewel de app-bouwers tijdens de appathon bijna allemaal uitwijdden over de mogelijkheden van bluetooth gaf niemand een oplossing voor dit specifieke probleem. Ook na de technische briefing in de Tweede Kamer van dinsdag is niet duidelijk hoe Nederland de rol van de twee techgiganten in het debat ziet.

De api die Google en Apple voorstellen.

Een ander technisch obstakel betreft de beperkingen van bluetooth in het exact meten van afstand. Want hoe kunnen de apps weten hoe veel ruimte er tussen de gebruiker en iemand anders is geweest? Ook op die vraag is nog geen antwoord gegeven. Topambtenaar van het ministerie Ron Roozendaal verwijst naar een Kamerbrief waar minister De Jonge dinsdagavond mee komt.

Praktisch nut

Buiten de technische oplossingen zijn er ook zorgen over de praktische effectiviteit van dergelijke apps. Die zorgen leunen tegen het 'technosolutionisme' waar de vele experts voor waarschuwen: er zou te veel worden gedacht dat technologie de situatie kan oplossen, zonder af te vragen hoe dat dan precies moet gebeuren. In vroege discussies werd vaak een getal aangehaald van 60 procent. Dat zou het minimale percentage app-gebruikers moeten zijn om deze vorm van contactonderzoek nuttig te maken. Maar dat getal wordt steeds vaker in twijfel getrokken. Er is namelijk maar één onderzoek, gepubliceerd in Science, waarin voorzichtig de schatting wordt gemaakt dat dit het magische percentage zou zijn. Het blijft echter bij een schatting. Inmiddels zijn er steeds meer wetenschappers, zoals Frank Dignum van de Universiteit Utrecht, die vraagtekens zetten bij het cijfer. Dignum voerde een simulatie uit van hoe contact-tracing-apps zouden werken en kwam daarbij tot een zorgwekkende conclusie. "Er wordt gesproken over een magische grens van 60 procent vrijwillig gebruik van de apps, waarboven het systeem effectief zou zijn. Een zekere mate van effectiviteit wordt echter alleen bereikt als deze 60 procent willekeurig over de bevolking is verspreid. In de praktijk zijn het eerder de mensen die voorzichtig zijn (en dus toch al minder kans hebben besmet te raken met het virus) die de app zullen gebruiken. Als we dit meenemen, zien we dat bij het gebruik van de app door 60 procent van de mensen het effect ongeveer nihil is."

Zowel op technisch als praktisch vlak bleven nog veel vragen open staanOok andere wetenschappers houden een slag om de arm. Als daadwerkelijk 60 procent van de Nederlandse bevolking de app zou installeren, zou naar verwachting hooguit een derde van de besmettingen in Nederland worden opgemerkt, zegt Peter Boncz van het Centrum voor Wiskunde & Informatica tegen de NOS.

Conclusies na de appathon

Ook het Ministerie van VWS
lijkt zich inmiddels te realiseren
dat er nog veel werk aan de winkel isDe appathon bleek dus niet het grote succes dat duidelijke antwoorden opleverde. Niet alleen de beoordelende experts stellen dat. De conclusie wordt ook getrokken door KPMG, dat een rapport schreef over de technische veiligheid en betrouwbaarheid van de apps die tijdens de appathon werden behandeld. Het rapport spreekt over 'ernstige kwetsbaarheden' die makkelijk te voorkomen waren, en de programmeurs hebben te weinig aan 'secure coding' gedaan. Eén van de conclusies is dat in minstens één app wachtwoorden hardcoded in de broncode waren te vinden, waarmee iemand toegang kon krijgen tot de database achter de app. Het rapport beschrijft geen specifieke apps, dus het is niet duidelijk of het gaat om het lek bij Covid-19 Alert waar RTL al over schreef.

Ook de Autoriteit Persoonsgegevens (AP) is niet mals over de apps. De privacywaakhond zou toezicht houden op de privacyvriendelijkheid van de apps. Meer specifiek beoordeelt de AP of ze de wet wel volgen. De conclusie van deze instantie is dat de eisen van de overheid zo vaag waren opgesteld dat het niet mogelijk is de apps goed te beoordelen. Later voegde de landsadvocaat zich bij die kritiek.

Ministerieel inzicht

Ook het Ministerie van VWS leek dinsdagmiddag tijdens een technische briefing over de apps te concluderen dat er nog een lange weg is te gaan voor ze klaar zijn. VWS lijkt ook wat terug te komen op de nogal ambitieuze wens dat er nog deze maand al een app moet liggen. "We hebben gekozen voor een korte marktconsultatie omdat het Outbreak Management Team vroeg om een snel onderzoek", zei VWS tijdens de briefing. Het was 'niet duidelijk wat precies mogelijk was, en onder welke voorwaarden'.

Het ministerie trekt inmiddels enkele conclusies. "Geen van de getoonde apps was ver genoeg om te voldoen aan de gestelde eisen", schrijft VWS. Daarmee onderschrijft het ministerie de conclusies van de landsadvocaat en de Autoriteit Persoonsgegevens. Het ministerie stelt daarom een stappenplan op voor de toekomst. Daarbij moeten eerst de 'epidemiologische eisen van digitale ondersteuning' beter worden geformuleerd. Vervolgens wil het ministerie 'de juiste mensen samenbrengen', 'zorg dragen voor waarborgen over beveiliging en privacy', en verder uitzoeken wat er 'gedragskundig nodig is voor zinvolle toepassing'.

Woensdag voert de Tweede Kamer een debat over de toekomst van de apps. Daarbij praat het parlement onder andere over de resultaten van de appathon, op basis van de technische briefing op dinsdag. Misschien is het debat wel overbodig. Op dinsdagavond praat premier Rutte het land bij over de vervolgmaatregelen van de intelligente lockdown. Daarbij benoemt hij waarschijnlijk ook de rol van de apps.

Reacties (70)

[Darkstriker]

Je had gerust kunnen zeggen dan het geen succes is. Geen groot succes suggereert dat het wel een succes is en dat is gewoon net zo min het geval. Er is niet eens een minimal viable product.

[Jeroenneman]

Inderdaad. "Geen groot succes" is wel een enorm eufemisme voor "lijkt weer uit te lopen op een totale mislukking".

Een minister met nul verstand van een app roept dat we binnen twee weken iets gaan regelen, terwijl alle experts hem vertellen: "doe het nou niet op deze manier".

Waar is die mooie zin van Rutte gebleven die ze in den treure herhalen "we varen op onze experts". Behalve als het om ICT gaat, dan doen we maar wat eigenlijk.

[Skit3000]

Er zijn 63 inzendingen gedaan voor deze eerste app en die zijn beoordeeld door experts. Of de beslissing om een app te gaan gebruiken gebaseerd is op een expert of niet weet ik niet, maar minister De Jonge is ook niet zo'n domme jongen als hier wordt gesuggereerd en begrijpt zelf ook wel dat je niet zomaar een app uit het niks kan maken.

Dat de 63 inzendingen achteraf gezien allemaal minderwaardig blijken heeft niks met de experts te maken die in het proces deel hebben genomen.

Edit:

Als alle mensen die kritiek hebben gehad op het proces nu eens samen hadden gewerkt om een app te maken, was die er al geweest. Sommige experts zijn er echter al met gestrekt been in gegaan door te stellen dat er überhaupt nooit een app moet komen en zij lijken nu in hun opzet te slagen. Als die discussie was gevoerd parallel aan het samenwerken om tot gedegen requirements te komen voor als er wél een app komt (die requirements liggen er ondertussen) en er daarna ook aan die app was gewerkt, lag die er ondertussen al en hadden we nu als samenleving kunnen kiezen tussen het best mogelijke product dat experts in Nederland in elkaar kunnen schroeven of verder gaan zonder app.

[Reactie gewijzigd door Skit3000 op 23 juli 2024 00:21]

[Darkstriker]

Als alle mensen die kritiek hebben gehad op het proces nu eens samen hadden gewerkt om een app te maken, was die er al geweest. Sommige experts zijn er echter al met gestrekt been in gegaan door te stellen dat er überhaupt nooit een app moet komen en zij lijken nu in hun opzet te slagen. Als die discussie was gevoerd parallel aan het samenwerken om tot gedegen requirements te komen voor als er wél een app komt (die requirements liggen er ondertussen) en er daarna ook aan die app was gewerkt, lag die er ondertussen al en hadden we nu als samenleving kunnen kiezen tussen het best mogelijke product dat experts in Nederland in elkaar kunnen schroeven of verder gaan zonder app.

Wat een onzinnig argumentatie is dit nou? Ooit iets van drogredenen gehoord. Ik ben management consultant en ik zie ook regelmatig managers die onze data en ook gewoon harde feiten opzij schuiven omdat ze hun eigen carriere willen bevorderen. Dat kan als het enige verschil een afrondingsverschil in de jaarwinst van je bedrijf is maar fouten in de coronacrises maken verschillen in de dimensie van percentages van ons bbp. In die situatie probeerde de minister zich te profileren als daadkrachtige politicus i.p.v. te luisteren naar zijn experts, een paar dagen/weken beter uit te zoeken hoe hij zo'n aanbesteding het best kan beramen en het dan uitvoeren. Op die misstap krijgt hij nu kritiek en die is gewoon terecht.

[Skit3000]

Wat is er verloren gegaan door die aanbesteding te houden? Als direct de perfect oplossing er uit was komen rollen dan hadden niemand kritiek gegeven. Ook heel naïef om te denken dat ministers in een crisis beslissingen maken om aan populariteit te winnen als ze bij voorbaat al weten dat géén oplossing bieden mensenlevens kost.

Maar goed, kijk naar de aankondiging van vandaag dat er een team wordt samengesteld waarin experts zitten op het gebied van ict, privacy, grondrechten en nationale veiligheid om een digitale oplossing te realiseren om bron- en contactopsporingsonderzoek te ondersteunen precies zoals ik in de post die jij aanhaalt zeg en de kritiek die dáár nu alweer op is.

Kortom: We willen geen openbare aanbesteding als partijen niet "ruim" de tijd krijgen een voorstel in te dienen. We willen ook geen groep van experts die samen met een oplossing komen, zelfs niet als hiervan alle broncode openbaar wordt omdat niet iedereen in Nederland z'n vingertje in de pap heeft kunnen steken.

Het staat trouwens nog steeds iedereen vrij om zelf een app te maken en alle Nederlanders daar warm voor te krijgen, buiten de overheid om.

[Gomez12]

Wat is er verloren gegaan door die aanbesteding te houden?

De mogelijkheid om een behoorlijk initiatief in te dienen.

Maar goed, kijk naar de aankondiging van vandaag dat er een team wordt samengesteld waarin experts zitten op het gebied van ict, privacy, grondrechten en nationale veiligheid om een digitale oplossing te realiseren om bron- en contactopsporingsonderzoek te ondersteunen precies zoals ik in de post die jij aanhaalt zeg en de kritiek die dáár nu alweer op is.

Oftewel we doen eerst een fake-aanbesteding want dat moet en daarna doen we waar we zelf zin in hebben, zodat we weer tig miljard over de balk kunnen gooien naar onze vriendjes...

Het staat trouwens nog steeds iedereen vrij om zelf een app te maken en alle Nederlanders daar warm voor te krijgen, buiten de overheid om.

Nope, dat is zinloos want je gaat actief geblokkeerd worden door de overheid.

[Skit3000]

Nope, dat is zinloos want je gaat actief geblokkeerd worden door de overheid.

Dit vat goed de bron van het al het wantrouwen dat de afgelopen weken op onder andere Tweakers is rondgepompt samen.

[Gomez12]

En dat wantrouwen komt voort uit : Jarenlange ervaring werken met de overheid.
En hoe ze dit gewoon weer aangepakt hebben toont exact aan dat ze niets willen veranderen.

En weet je wat nou het jammere is, dat wat jij wantrouwen noemt, dat zeggen de AP en veiligheidsdiensten ook gewoon openlijk.
Je mag als prive-persoon/bedrijf niet zomaar een app gaan lanceren die als doel heeft om 60% van alle NL'ers 24/7 te gaan tracken en tracen, daar blokkeert de overheid je 100% terecht in.

Feitelijk zijn alleen jij en een paar ministers ervan overtuigd dat het wel moet kunnen, iedereen die er maar een greintje verstand van heeft ziet en zegt dat het gaat falen.

[Skit3000]

Het AP en veiligheidsdiensten die jij aanhaalt hebben geen woord gezegd over dat ze denken dat de overheid "vriendjes voor gaat trekken". Daarnaast is het niemands bedoeling om een app te maken die constant de locatie van alle Nederlanders bijhoudt en doorstuurt aan de overheid. Ik heb er juist meerdere keren op gewezen dat een (juist uitgevoerde) app privacyvriendelijker is dan het contactonderzoek dat nu door de GGD wordt uitgevoerd.

Qua kosten, per onderzoek door een GGD-medewerker zou 16 uur nodig moeten zijn. Er wordt al weken dagelijks bij meer dan 700 mensen per dag door een test vastgesteld dat ze besmet zijn. We weten dat er selectief getest wordt, dus het daadwerkelijke aantal mensen die een besmetting heeft opgelopen ligt vele malen hoger. Zo lang er geen manier is om nieuwe besmettingen te stoppen, blijven deze nummers (als alle eerder besmette mensen immuun worden en het aantal nieuwe besmettingen stabiel) nog zeker langer dan een jaar doorlopen. Reken dat om naar alle manuren die hier in gaan zitten en je komt snel tot de conclusie dat een app (die werkt) vele malen minder kost.

Veel GGDs zijn hun onderzoeken al gestopt of voeren deze alleen nog uit voor mensen in bepaalde groepen, terwijl we weten dat hun werk bijdraagt aan het voorkomen van een versnelling van besmettingen.

[Gomez12]

Het AP en veiligheidsdiensten die jij aanhaalt hebben geen woord gezegd over dat ze denken dat de overheid "vriendjes voor gaat trekken".

Hmmm, even kijken... Je zet een complete nep-aanbesteding op, waarom zou je dat toch doen? Oh wacht dat linkje heb je zelf al gegeven, omdat de overheid toch liever zelf bepaalt wie het doet...

En er is wel zeker verwezen naar de farce van een aanbesteding.

[Jeroenneman]

Er zijn nu zeven inzendingen die zijn uitgekozen uit die 63. Verschillende experts hebben al te kennen gegeven dat tenminste één van die apps gewoon niet door de beugel kan (Sia).

Oftewel: advies vragen, en er vervolgens helemaal niks mee doen... Ik snap wel dat sommige experts zich hebben teruggetrokken. Waarom zou je nog iets beoordelen als je vervolgens toch wordt overruled?

[Skit3000]

Als Sia door de experts die er nu uit zijn gestapt is aangewezen als meest slechte van de shortlist van deze zeven, bedenk dan eens hoe deze experts over de overige 56 inzendingen dachten. Of er nu uiteindelijk 7 of 6 oplossingen waren gepresenteerd afgelopen weekend, er was er altijd één de slechtste geweest.

[Unsocial Pixel]

Volgens mij was de context meer dat sia al afgewezen was in de ronde van 750inzendingen en ook dat ze door meerdere groepen experts toen al waren afgewezen.

[Unsocial Pixel]

Ik deel je mening niet, zat stukken waren "te vertrouwelijk voor publiek" en ook de livestream was niet volledig live. Ik heb niet kunnen kiezen in welke kamer van welk panel ik wou bekijken op moment x van de ehum appathon. Nee de livestream waren voornamelijk praatjes vooraf. Of mensen alvast klaar gezet om een praatje te doen. Maybe dat ik 20seconden heb kunnen meeluisteren met wat er door het panel gevraagt werd op moment dat er een app voor hen kiezen lag.

Daarnaast, hoezo is het "eerlijker" dat er een app die al door meerdere partijen vooraf is afgewezen alsnog tot de laatste rondens komt? Waarom expres een dood kalf de fles geven? Geeft mij eerder de indruk dat sia wat connecties/vriendjes heeft dan dat het speelveld eerlijk is opgebouwd. Zelfde als dat we niet mogen weten waarom uitgerekend deze 7 doorzijn en een paar andere die meer hoop hadden volgens de experts er niet tussen zitten.

Sws in een weekend een volledig uitgedachte app hebben kan niet. Niet als het er 1 is die zo een enorme impact op onze privacy heeft. Want die is op moment dat die app verkeerd ontwikkeld word weg. Beter nog als het in verkeerde handen komt hebben we zelfs een heel groot probleem. Liever dat we er een weekje langer over doen en de boel even wat verder uitdiepen dan nu in alle haast de tools voor de volgende hitler te maken.

(Ja ik chargeer maar,, het zijn mogelijke uitwerkingen van een app als deze, dus naar mijn mening mag men best voorzichtig nadenken en zelfs de ongeloofwaardige opties afdekken)

[Reactie gewijzigd door Unsocial Pixel op 23 juli 2024 00:21]

[Tijs0289]

Samenwerken zou in inderdaad beter zijn, maar niet helemaal realistisch. Partijen hebben hun eigen systemen, processen, protocollen, standaarden, werkwijzen en er is concurrentie. Dan is er nog waarborging over de data en technische beperkingen in de systemen van deze partijen. Ze hebben dan ook nog nooit eerder samengewerkt, willen dat niet doen en dus zal het nooit gebeuren.

[TijsZonderH]

Ik had als werktitel 'Aanbesteding blijkt aanfluiting', maar hoewel dat lekker allitereert vond ik dat iets te gechargeerd. 'Succes' heeft immers verschillende definities. Zoals @badflower ook al aangeeft: dat de overheid het proces openbaar en transparant doet (of iig dat probeert) is een stap. Dat VWS zelf al concludeert dat 'de oplossing er nu nog niet is', is er ook een.

Als je 'succes' definieert als 'er had door dit proces een app moeten zijn, en dat is er niet', dan is dit inderdaad geen succes. Maar VWS weet nu wat er níét werkt, wat de argumenten van tegenstanders zijn, en hoe luid de kritiek is. Dat kun je successen noemen.

[WillySis]

De hele procedure is door de beoogde snelheid van de minister een aanfluiting is geworden. Hoewel ik ook reacties van Tweakers heb gezien die denken en app in no time in elkaar te kunnen timmeren, is de korte tijd gewoon verre van voldoende geweest.

De appathon is echter wel een mooi middel gebleken om de verschillen tussen de aanbieding op papier en de uitwerking in de praktijk aan het licht te brengen. De verschillen bleken soms zo groot dat je eerder op zoek moest naar de overeenkomsten. Het maakte ook pijnlijk duidelijk dat de mooie beloften van de verschillende bedrijven helemaal niet waargemaakt konden worden en dat eigenlijk geen van de apps aan de vooraf gestelde eisen kon voldoen. Hoewel de uitkomst van de appathon uiterst teleurstellend was, geld dat niet voor het idee appathon zelf.
Voor toekomstige IT projecten is zo'n openbare voordracht ronde misschien helemaal niet gek. Dat kan in de toekomst een aantal mislukkingen van dure projecten voorkomen. Wat mij betreft wordt de appathon in de toekomst vaker ingezet.

[P_Tingen]

Als noorderling zijnde snap ik precies, maar dan ook 100% precies, wat er wordt bedoeld als er wordt gezegd dat iets "niet een groot succes" was, al zouden we hier zeggen: "het kon beter"

Understatement is our middle name

[Reactie gewijzigd door P_Tingen op 23 juli 2024 00:21]

[Darkstriker]

Als je 'succes' definieert als 'er had door dit proces een app moeten zijn, en dat is er niet', dan is dit inderdaad geen succes. Maar VWS weet nu wat er níét werkt, wat de argumenten van tegenstanders zijn, en hoe luid de kritiek is. Dat kun je successen noemen.

Dan legt je de lat wel erg laag voor de term succes. We zijn bij lange na niet het eerste land dat zich aan een corona/tracking-app waagt. Sterker nog, Oostenrijk heeft er al bijna een maand eentje door het rode kruis. Daar had men veel meer van kunnen en moeten leren gezien de ernst van de situatie. Er zijn al goed onderbouwde whitepapers van prominente wetenschappers en experts verschenen omtrent privacy-issues en hoe men deze kan mitigeren. Ook daar heeft men in beginsel helemaal niks mee gedaan. En door die nalatigheid kwam er geen enkel concept voor een app uit die bruikbaar zou kunnen zijn.

Deze aanbesteding was geen succes omdat het er en niet in geslaagd is om een bruikbaar resultaat te leveren en omdat nagenoeg alle bezwaren en problemen die men nu als leermoment presenteert bij voorbaat al duidelijk waren en men gewoon niet de tijd heeft genomen om dit te onderzoeken. Daardoor hebben we nu niet alleen tijd verspilt op weg naar een bruikbare app maar ook de grondstoffen/tijd van honderden bedrijven verspilt die hoopten op een kans deze app te bouwen die nu allemaal terug naar het drawingboard moeten en nog steeds geen idee hebben wat er nou de eisen zijn aan zo'n app.

[Xirt]

De (gelukkig) werktitel "aanbesteding blijkt aanfluiting" klinkt in mijn ogen meer als een bias van de schrijver dan als een titel van een sterk artikel. Volgens mij is het proces eigenlijk best succesvol: zonder dit weekend was de kritiek ofwel onterecht, ofwel niet transparant (geen basis) ofwel niet aanwezig geweest. Tijdens het weekend is er veel feedback gekomen waar de ontwikkelaars wat mee kunnen. Ondanks dat heel Nederland zich expert noemt en het dus "beter" weet, hoop ik dat de ontwikkelaars met deze opbouwende kritiek verder kunnen werken aan een app die - mogelijk over meer dan twee weken - wel bruikbaar is en aan de eisen voldoet. Dan hebben we in ieder geval een app klaarstaan mocht dit een verijsde worden voor verdere versoepeling van de maatregelen.

De media is afgelopen tijd erg goed geworden in het slecht presenteren van informatie (met als prangend voorbeeld de rapportages van infecties zonder testaantallen te noemen): volgens mij was het nooit de bedoeling om afgelopen maandag een app klaar te hebben voor een go-live. Het weekend moest meedragen aan het verbeteren en uitkiezen / afwijzen van apps: op dit moment zijn alle apps afgewezen voor gebruik, maar dat kan natuurlijk nog veranderen na verbeteringen.

[Vizzie]

Haha als je ooit weggaat bij tweakers kan je altijd nog een “succesvolle” politicus worden

In de wetenschap is het zo dat elke uitkomst van een experiment waardevol is omdat het onze kennis vergroot of het je hypothese nu bevestigt of niet.

Politici hebben we om dingen geregeld te krijgen niet om bij te dragen aan de som der menselijke kennis.

[Frubelaar]

Erg rare redenening, een politicus in het nauw waardig :-)

Maar VWS weet nu wat er níét werkt, wat de argumenten van tegenstanders zijn, en hoe luid de kritiek is. Dat kun je successen noemen.

Nee, dat kun je alleen een succes noemen als er wat mee gedaan wordt.
En dat is een nieuwe appathon waarbij de apps die zware kritiek kregen v/d expert niet mee mogen doen.

Tijd, geld en levens verkwanselen is een leerpuntje in jouw ogen? Dus prima?

[Tijs0289]

De titel die wordt gesuggereerd heeft een inderdaad een negatieve lading.
Waar we zeker kritisch kunnen zijn, hoeft dat nog niet negatief te zijn.
In relatie tot overheid en ICT-projecten echter... tja we weten allemaal hoe het verleden is.

[dcm360]

Het hangt een beetje van het taalgebruik van de auteur af hoe de term 'geen groot succes' opgevat moet worden. Als ik ergens een proces het stempel 'geen groot succes' geef, mag er een grondige revisie plaatsvinden voordat ik ook maar de moeite waard vind om er meer tijd in te steken. Maar het is zeker een stijl die de lezer mogelijk ontgaat (en dat valt de auteur dan aan te rekenen, niet de lezer).

[badflower]

De uitkomst is geen succes, maar normaal zouden dit soort aanbestedingen achter gesloten deuren zijn. Veel erger!

Nu was het transparant, en hebben we A) allemaal kunnen zien hoe incapabel de overheid is met it projecten, maar ook b) er heel snel een stokje voor kunnen steken. Achter gesloten deuren waren hier waarschijnlijk weer miljoenen verbrand.

Ook biedt dit transparante proces hoop voor de toekomst. Experts en volk hebben massaal mee kunnen denken, en die input bleek extreem waardevol: terug naar de tekentafel, ga eerst nadenken en verspil ons belastinggeld niet.

Kortom, ik vind het proces juist wel een enorm succes. Van mij mag het altijd zo gaan bij publieke it projecten.

[Reactie gewijzigd door badflower op 23 juli 2024 00:21]

[Frubelaar]

De uitkomst is geen succes, maar normaal zouden dit soort aanbestedingen achter gesloten deuren zijn. Veel erger!

Nu was het transparant,

De feiten wijzen toch echt in een heel andere richting. De aanbesteding is op de golfbaan gedaan.
Het openbare deel/is slechts show voor de bunhe.

[dez11de]

Prachtig initiatief, eindelijk een aanbestedingsproces waarbij de hele bevolking mee kon kijken en kritiek kon leveren. De politiek werd live de huiskamers in gestreamd. Absoluut voor herhaling vatbaar, hopelijk onder minder pressende omstandigheden.

[Xtrafris]

Jammer dat het moet gebeuren met een project waar bij een succes letterlijk duizenden mensenlevens gered kunnen worden, maar je hebt gelijk, het is een schitterende inkijk in hoe openbare aanbesteding toch zo vaak tot enorme faalprojecten leidt.

[unglaublich]

Sommige mensen wordt liever de schijn opgehouden dat alles perfect gaat achter gesloten deuren dan dat ze openheid wordt geboden over problemen en moeilijkheden.
Daarnaast, het is openbaar, als jij een clubje weet dat het allemaal zo veel beter, geef ze een seintje dat ze mogen meedingen.

[Frubelaar]

Daarnaast, het is openbaar, als jij een clubje weet dat het allemaal zo veel beter, geef ze een seintje dat ze mogen meedingen.

Het hele leerpunt van deze aanbesteding is dat clubjes die het beter weten geen kans maken. Experts die deze clubjes spotten worden overruled.

[TheekAzzaBreek]

Het was geen aanbesteding met een contract in het vooruitzicht, het was een marktconsultatie.

De vraag was: wat hebben jullie te bieden? Het antwoord blijkt: nog niet genoeg.

We hebben een.helder antwoord, in relatieve openheid. We hebben ook gemerkt dat de officiële waakhonden (veiligheidsdiensten, expert panels, landsadvocaat, AP, ingehuurde expertise) zich weinig gelegen laten liggen aan politieke wenselijkheid.

Dat zijn toch zinvolle resultaten. Dat voedt bij mij de hoop dat er een systeem verzonnen gaat worden dat echt helpt. Maar misschien moesten we dat maar niet helemaal aan Hugo overlaten, ik denk dat hij daar wat hulp bij nodig heeft.

[strigi]

En er wordt ook opgelet of de code beschikbaar komt:

https://zijndecovidappsalopensource.nl/

https://www.rijksoverheid...avirus-app/app-informatie

[Anoniem: 413433]

Dat Capgemini zich uberhaupt nog durft te vertonen is mij al een raadsel na al die falende overheidsprojecten.
Ze zouden zich de ogen uit de kop moeten schamen.

[TheekAzzaBreek]

Ze zullen met nadruk uitgenodigd zijn, want ze zijn een van de weinige partijen die een corona app live hebben.

De Jonge gokte echt op een uitrol eind deze maand, 'bijna klaar' was een belangrijk criterium. Dat heeft beroerd uitgepakt. Ik hoop dat er voor een eventueel vervolg wat breder gekeken wordt dan deze zeven, want door deze nadruk blijven er mogelijk belangrijke ideeën buiten beeld.

[Anoniem: 604938]

Uitermate jammer wel dat het grootste succes van dit weekend onbelicht blijft. Over alles wat er fout is gegaan is al genoeg geschreven.

Dit is voor het eerst dat de overheid een deels openbare aanbesteding doet, waarbij iedereen kan meekijken in de pitches en brondcode van voorstellen.

Maar Ministerie van VWS, hulde voor de openheid en het afdwingen van het beschikbaar stellen van broncode! Hopelijk volgen er meer aanbestedingen zoals deze.

[hterhofte]

En hoe nu verder?

Vanuit het KIVI initiatief is gisteren een brief met suggesties hoe nu verder naar de commissie VWS van de Tweede Kamer gestuurd. Bij het KIVI initiatief ben ik ook nauw betrokken. Tijdens het appathon weekend via CODE for NL samen met vele, vele anderen de apps gevolgd en alles in kaart gebracht in een Google Sheet waar we met meer dan 90 mensen tegelijk in zaten te werken... bijzonder!

---- hieronder een quote uit de KIVI brief, inclusief bijlagen met meer detail.

Het is belangrijk dat nu eerst het internationale communicatieprotocol wordt afgerond. Dit is allesbepalend voor een goede privacyvriendelijke, doelgebonden en effectieve oplossing. Het pan-Europese DP^3T protocol past inhoudelijk nog steeds het beste bij de aanbevelingen van de Europese Commissie, de eisen van de regering en diverse maatschappelijke groeperingen. De ontwikkeling van deze internationale open standaard zal nog enkele dagen tot misschien weken duren. Vanuit Nederland kan dat proces wel worden gesteund en beïnvloed, maar Nederland kan er niet unilateraal over besluiten. De keuze van een protocol is echter van primair belang. Als er is gekozen en de apps zijn uitgerold, kan het moeilijk worden gewijzigd. Vanuit Nederland moeten we deze ontwikkeling volgen. Ook met het oog op de nationale veiligheid.
Uiteindelijk kan een goed protocol als resultaat hebben dat er binnen Nederland meerdere veilige en effectieve apps komen die naadloos met elkaar samenwerken.

Een lastig punt hierbij is nog de rol van Google en Apple. Een toekomstige app zal op de telefoons van beide organisaties moeten werken en zijn dus afhankelijk van goedkeuring door deze bedrijven. Zij kunnen als eis stellen dat hun, meer generieke, tracing protocol gebruikt wordt. Dit wordt echter pas mei 2020 of later bekend. Het is van belang dat de Europese Commissie de mogelijkheden en risico’s van het Google-Apple Contact Tracing platform (GACT) in relatie tot DP^3T afweegt en met beide bedrijven afstemt. Zie bijlage voor details.

Daarnaast zijn er nog enkele onzekerheden. Hier kan in Nederland parallel al aan worden gewerkt. Onder andere zijn dit:
(1) nauwkeurigheid van de bluetooth meting,
(2) inrichting van het ziekmeldproces,
(3) epidemiologische analyses op basis van de gegevens die mogen worden gedeeld,
(4) bilaterale data-uitwisseling bij gebruik van het protocol voor grensoverschrijdend verkeer.
Mogelijk komen hier nog meer onzekerheden bij als een ontwikkeling wordt gestart op basis van het fundament van het protocol.

Als er een app komt, moet deze naar onze mening een aantrekkelijke functionaliteit hebben voor iedere gebruiker. Individuen moeten een betere reden hebben om de app te downloaden dan het algemeen maatschappelijke belang. Persoonlijk belang, interesse en direct beschikbare nuttige informatie helpt die aantrekkelijkheid te verhogen.

Het proces van de appathon was een interessante methode om maatschappelijk draagvlak te creëren. Nu dit eenmaal is gedaan voor deze eerste poging om tot een app te komen, zal bij een volgende poging een gelijksoortig open proces moeten worden doorlopen om zoveel draagvlak te krijgen dat de app grootschalig wordt gebruikt. Alleen dan is deze pas zinvol.
Zoals eerder aangegeven is KIVI bereid een coördinerende en stimulerende rol te spelen om deze technologie met een enorm grote maatschappelijke impact te steunen. Een groot aantal universiteiten, hogescholen en bedrijven ondersteunt dit plan. De oprichting van een stichting lijkt ons daarvoor de meest geschikte route.

In zo’n stichting kan de denkkracht van Nederland wél worden gebundeld. Niet alleen van commerciële partijen, maar ook van universiteiten, hogescholen en andere organisaties met veel technische kennis op dit gebied. Het is echter van belang dat daaraan ook juridische en sociaal maatschappelijke denkkracht wordt toegevoegd.

[Reactie gewijzigd door hterhofte op 23 juli 2024 00:21]

[hterhofte]

Hmm ... context valt weg, merk ik.
Brief begon met iets van: appathon, op zich goed idee, maar véél te vroeg.
Later vanavond zet ik het er even bij.

[CypherMK]

Het IOS-issue. Leuk zo'n gesloten systeem

[analog_]

Het iOS issue hangt niet vast aan het feit dat het een gesloten systeem is.

Wat ik zelf een issue vindt is dat als bluetooth op moet staan. Hierdoor wordt het makkelijk om mensen te tracken (op basis van het BT protocol, niet de corona app-data die erover gaat).

[Milt]

Je weet nog niet dat zowel iOS als Android het MAC adres van de Bluetooh interface iedere 10 tot 20 minuten wijzigen in een random MAC adres? De Privacy-Preserving Contact Tracing die Apple en Google ontwikkeld hebben (en erg lijkt op het al eerder genoemde DP-3T protocol wat in het artikel ook genoemd wordt) doet daar nog een schepje bovenop door ook het ID wat je uitzendt iedere 10 minuten te wijzigen. Knap als je dat nog kan herleiden tot dezelfde telefoon of het moet letterlijk de enige persoon zijn waarmee je langer dan 20 minuten in dezelfde ruimte verblijft.

[Ootje70]

Niet zo moeilijk als die data per ID gekoppeld wordt aan het telefoonnummer dat je moet ingeven als je, jezelf registreert om de app te kunnen gebruiken.

[Milt]

Ja dat is ook belachelijk en onnodig. Ik viel bijna van mijn stoel van het lachen toen ik dat zaterdag voorbij horen komen in de live stream. Hoezo privacy...

[Ootje70]

Same here... insteek was dat ze je anders niet kunnen inlichten als je contact zou hebben :-) Nee hoor we doen alles nog met SMS tegenwoordig.

[FlyEragon]

Tja, wie had dat nou gedacht? Volgens mij is de aanbesteding sowieso hetgene wat het vaakst misgaat. Het begin van het eind zeg maar. Onrealistische eisen stellen en dan achteraf lopen miepen. Allemagies, waar blijft de ministerie van ICT met mensen uit de tech sector..

[Jeroenneman]

Was er niet een bureau opgericht om ICT-projecten te toetsen, waarbij eigenlijk na het eerste jaar al de kritiek was dat ze te streng waren?

https://www.trouw.nl/nieu...3A%2F%2Fwww.google.com%2F

"De kritische rapporten vallen niet altijd goed". Oftewel: laat ons lekker doormodderen zonder bemoeienis!

[Reactie gewijzigd door Jeroenneman op 23 juli 2024 00:21]

[debroervanhenk]

Om vervolgens na elk negatief advies een bureau in te huren om het door het BIT afgekeurde project nog maar eens door te lichten.

[FlyEragon]

Net op het moment dat je denkt dat het niet erger kan... . Wij vragen, overheid draait. Of niet eigenlijk..

[HoppyF]

Op zo’n korte termijn een perfecte app verwachten is niet ambitieus maar onrealistisch.
Zoveel eisen en waarborgen maakt even snel een app bouwen onmogelijk.
Misschien kunnen we nog wat leren van soortgelijke apps in andere landen maar lastig blijft het wel.

[Xtrafris]

In other news: water is still wet!

Hoeveel mensen hadden oprecht verwacht dat er goede, doordachte, technisch verantwoorde, AVG-proof, gebruiksvriendelijke kandidaten tussen zouden zitten? Oh, en dat die dan ook nog daadwerkelijk nuttig zouden kunnen zijn?

Héél misschien, als we er eens goed voor gaan zitten om na te denken over wat voor app we bij de vólgende pandemie zouden willen hebben, dat we dan tot een design kunnen komen dat in de buurt komt.

[Ms_Hyde]

Tevens voldoet geen enkele app aan de toegankelijkheid eisen. Dat is ook wettelijk verplicht. Daardoor kunnen naar schatting al 4.5 miljoen Nederlanders de app niet gebruiken. Dat is 26% van de bevolking.

[TheekAzzaBreek]

Hoe kom je aan dat getal?
Oh, en aan die wettelijke verplichting?

(Geen troll, oprecht nieuwsgierig)

[Ms_Hyde]

In 2016 werd het VN-verdrag handicap geratificeerd. Wat inhoud dat op termijn, nu dus. Dat iedereen recht heeft om mee te doen. Rolstoel toegankelijkheid, andere communicatie middel voor mensen die niet kunnen bellen, om een greep te doen naar voorbeelden.

Apps en websites valt ook onder de wet. Ze moeten toegankelijk zijn voor iedereen. Vooral gemeente en rijks websites/apps.

https://www.rijksoverheid...teren-vn-verdrag-handicap

Alleen hun cijfers zijn zeer terughoudend. Hier heb je een betere overzicht:

https://jeroenhulscher.nl...sen-hebben-een-beperking/

Helaas neemt men de AVG privacy wet veel serieuzer dan toegankelijkheid. Hoewel beide wettelijk vastgelegd zijn.

[TheekAzzaBreek]

Ja, als je laaggeletterden meetelt loopt het wel op, ja.

Maar als je mensen die slecht zijn opgeleid of in moeilijke sociale omstandigheden zijn opgegroeid gaat meetellen ben je de de definitie van handicap wel aan het oprekken. Ik geloof niet dat het VN verdrag zo bedoeld was.

Verder helemaal mee eens dat zeker de overheid de verplichting heeft hun spullen voor een zo groot mogelijke groep toegankelijk te maken, ook zonder zo'n verdrag, maar 100% ga je natuurlijk niet halen.
Had je trouwens gezien dat een van de 'zeven' een spraakinterface had? Was nog wat ruw, maar er was tenminste een beetje over nagedacht.

[Reactie gewijzigd door TheekAzzaBreek op 23 juli 2024 00:21]