Door Arnoud Wokke

Redacteur Tweakers

Achter het scherm

Ontwikkelaars over het nieuwe NPO Start

20-11-2023 • 05:59

256

NPO Start

"Het Sinterklaasjournaal wordt spannend." De laatste keer dat ik die zin hoorde, was het van een neefje van een jaar of zes. Hij zag in deze tijd van het jaar uit naar de dagelijkse serie waarin kinderen, en volwassenen, de gebeurtenissen rond de aankomst van Sinterklaas en de voorbereidingen voor pakjesavond volgen. Maar het is toch nét iets anders om het te horen van een volwassene.

NPO Start, november 2023
NPO Start, november 2023

Als je afgelopen twee weken een programma van de Nederlandse Publieke Omroep hebt teruggekeken, is je ongetwijfeld opgevallen dat er iets is veranderd. De site is gewijzigd en ook de player is anders. Aan de achterkant is nog veel meer veranderd. Douwe de Vries en Danny Eerens waren als architect en technical lead betrokken bij het nieuwe NPO Start.

Waarom er een nieuw NPO Start nodig was? De Vries: "Het oude NPO Start, of NPO Start Classic zoals we het intern zijn gaan noemen, voldeed niet aan de doelstellingen die we hebben. We wilden een stabiel platform bouwen, dat altijd bereikbaar is en áls het dan down is, moet het snel weer up and running zijn. Dan moet het zichzelf ook herstellen: design for failure."

Voor het project konden De Vries en Eerens met een schone lei beginnen. "We hebben intern een businessafdeling en die hebben we het plan uitgelegd", zegt Eerens. "Toen we tweeënhalf jaar geleden begonnen, waren er al stappen gezet en er waren ook al mock-ups voor hoe het eruit moest zien. We begonnen met 5 of 6 mensen, inmiddels is de afdeling gegroeid naar 20 tot 25."

De architectuur

MACH architectuur
MACH architectuur

Het basisidee was om te werken met mach-architectuur. Dat staat voor microservices, api first, cloud native en headless. Die microservices verwijzen naar een opbouw van een dienst met kleinere diensten die onafhankelijk van elkaar kunnen functioneren. Dat zijn bij het nieuwe NPO Start onder meer de tv-gids, series en de player. De Vries: "Daardoor kan het ene deel een storing hebben zonder dat het invloed heeft op de rest. Dus als de gids offline is, blijft on-demand terugkijken gewoon werken. Dat vonden wij belangrijk."

Api first verwijst ernaar dat alle streams via interne api's te benaderen zijn. Eerens: "We hebben natuurlijk veel verschillende platforms waarop we aanwezig zijn. Naast desktop en mobiel zijn dat smart-tv's en settopboxen bijvoorbeeld. Doordat de architectuur api first is, kunnen we de frontends van al die apps aanpassen aan het platform."

Bovendien is het hele platform cloud native. Dat is om verschillende redenen belangrijk. Eerens: "Als je op Play drukt, registreren we dat via Amazon AWS, maar de stream zelf komt bijvoorbeeld weer bij het cdn vandaan natuurlijk. Sommige dingen zijn toch al specialistisch. Zoals betalingen voor abonnementen: dat ligt gewoon bij een payment provider. Het is niet logisch om dat zelf helemaal op te bouwen."

Het voordeel van cloud native is natuurlijk dat het goed kan schalen. De Vries: "We draaien in verschillende datacenters, allemaal in Europa. Dat is natuurlijk belangrijk om te voldoen aan de Europese AVG-wetgeving op het gebied van privacy. Veel dingen, zoals betalingen en het cdn, liggen ook al bij Nederlandse partijen."

De laatste is headless en dat verwijst natuurlijk naar de ontkoppeling van de backend en de frontend. De Vries: "Een van de doelen die we hebben gehaald, is dat we het fundament hebben neergezet met technische standaarden, zodat we vernieuwingen in het systeem tot in het oneindige kunnen faciliteren. Mochten er dingen veranderen, zoals het cms aan de achterkant of de site aan de voorkant, dan kan dat fundament blijven staan. Het zijn dan modules die je verwisselt."

Hoe werken die modules? Eerens: "Die koppelingen werken via berichten en dat is gewoon json. Dat is natuurlijk een de facto standaard hiervoor. Dan kun je werken met verschillende talen en technieken. We kunnen geleidelijk met de hele stack over naar iets anders als dat nodig is."

De code is verder vooral NodeJS en PHP, zegt De Vries. "We ondersteunen ook Python en andere talen als dat makkelijker is voor de implementatie van features. Soms is een bepaalde taal gewoon heel geschikt. De api's die we hebben, werken met request en response, daarin is PHP al jarenlang best goed."

De player

Een van de belangrijkste onderdelen is de videospeler zelf. Ook die is niet helemaal zelf ontwikkeld. "Het is een andere leverancier", zegt Eerens. "Dat was een groot migratieproject. De focus lag op het zo snel mogelijk beginnen van de stream met zo laag mogelijke buffertijden, maar los van video afspelen moeten de video's ook veilig zijn."

NPO Start player, november 2023
NPO Start player, november 2023

Veilig? "Ja, die veiligheid ligt vooral bij beperkingen door rechten en wetgeving. Sommige series mogen we alleen in Nederland laten zien, andere programma's zijn in bepaalde landen wel en in andere niet beschikbaar. Bovendien is er een betaald product met NPO Plus, waarin je met hogere resolutie kunt kijken en programma's langer kunt terugkijken. Je wilt niet dat gratis gebruikers daar per ongeluk bij kunnen. Dat moet je goed kunnen afschermen, anders kom je in de problemen met de partijen waarvan je bijvoorbeeld series koopt." Op die lagere resolutie voor gratis gebruikers komen we straks terug.

Al die beperkingen zijn 'vinkjes' in het cms. De Vries: "Programmamakers kunnen dat aangeven en er is een afdeling die extra checkt of alle rechtenbeperkingen goed staan. Dat zijn opties voor in welke landen NPO Start de stream mag tonen, leeftijdsrestricties, de iconen voor de Kijkwijzer rondom bijvoorbeeld geweld of seks. Die metadata is belangrijk, want daarmee weet het systeem waar en wanneer het een stream mag laten zien."

NPO Start, snelheid in player, november 2023
NPO Start

De player zelf is nu nog rudimentair. "De leverancier heeft de kern van de player gemaakt, maar wij hebben onze eigen schil en de code zo ontkoppeld dat we geen lock-in hebben. Ook omroepen zelf gebruiken die player; het is dus niet alleen voor NPO Start. In die schil kunnen we nieuwe features gaan zetten." Nu zitten daar onder andere al de afspeelkwaliteit en afspeelsnelheid als opties in.

De player is serverless, zegt Eerens. "Die schaalt automatisch mee en de streams komen dus bij een externe partij vandaan. Daar zijn afgelopen jaren eigenlijk geen grote problemen mee geweest. De hele dienst NPO Start is grotendeels serverless met autoscaling. De systemen houden in de gaten hoe druk het is en als de drukte bepaalde drempels overschrijdt, komt er capaciteit bij."

Die piekmomenten zijn er op het moment van het interview, enkele dagen na de livegang, nog niet veel geweest. "Dan moet je denken aan grote sportevenementen. In een van de eerste dagen hadden we 500.000 requests in vijf minuten; dat was gewoon het achtuurjournaal. Boer Zoekt Vrouw zal wel een piek gaan opleveren en het Sinterklaasjournaal wordt spannend."

Ja, want gaan de intocht en pakjesavond wel door? "Nee, het gaat om terugkijken. Veel mensen zetten die stream binnen korte tijd aan en daarmee verwachten we dus echt wel een grote test voor het systeem. Blijft alles online en zo nee, herstelt het zich dan snel?" Tussen interview en publicatie begon het Sinterklaasjournaal. En inderdaad: de intocht kon doorgaan. En o ja, op de piek leverde de eerste aflevering 750.000 requests in vijf minuten op. Het systeem kon dat aan.

NPO Start in full hd, november 2023
NPO Start in full hd
NPO Start, maximaal 540p, november 2023
NPO Start, maximaal 540p

Dus komt het dan door piekdrukte dat gratis gebruikers zijn beperkt tot 960x540 pixels met 1,2Mbit/s, terwijl betalende klanten met 1920x1080 pixels met 5Mbit/s kunnen kijken? De Vries: "Nee hoor, die beperking is niet technisch. De architectuur is erop voorbereid en we hebben de capaciteit ervoor. Ik weet dat die vraag intern ook speelt. We kunnen het aan, maar ik wil geen verwachtingen scheppen; of dat gebeurt, is niet aan ons."

De diverse apps

Doordat de backend en frontend helemaal gesplitst zijn, zijn er mogelijkheden voor de apps om zich beter aan te passen per platform. Waar NPO zelf de site, de app voor telefoons en die voor Android TV en tvOS van Apple ontwikkelt, ligt de ontwikkeling van apps voor bijvoorbeeld Samsungs tv-platform Tizen extern. Eerens zegt dat die apps echt anders zijn. "Alle data komt uit de api's en vanwege beveiliging en zorgen rond reverse engineering wil je sommige dingen ook echt niet in die apps hebben."

NPO Start voor Android, november 2023NPO Start voor Android, november 2023
NPO Start voor Android, november 2023NPO Start voor Android, november 2023NPO Start voor Android, november 2023

Bovendien zijn apps nu per platform beter aan te passen. "In de Android-app wil je natuurlijk ondersteuning hebben voor Google Chromecast. Bij Android TV is dat niet logisch, want dan kijk je al op tv en hoef je niet meer te casten." Daarnaast kunnen ze nu een eigen tijdlijn volgen voor ontwikkeling, zegt De Vries. "Ze zitten aan elkaar vast. Als er nieuwe functies zijn, kunnen we die deels via de api aanbieden in alle apps, terwijl andere dingen juist alleen in de frontend kunnen."

Wie nu de dienst opent, ziet een bètalabel staan. "Dat is ons een beetje om het even, want het was al wel klaar om live te gaan voor ons." Er was een uitgebreid traject om te testen, zegt Eerens. "We zijn al sinds december vorig jaar bezig, eerst intern. Daarna volgden tests met groepen gebruikers van ongeveer duizend mensen. Ook hebben we intern getest met de omroepen erbij en er was een open bèta. Nu is het live voor iedereen."

Wat bij een dienst die voor iedereen beschikbaar moet zijn, belangrijk is, is toegankelijkheid. "We zijn wettelijk verplicht om te voldoen aan de laagste vorm van de WCAG-richtlijn", zegt De Vries. WCAG staat voor Web Content Accessibility Guidelines en moet ervoor zorgen dat ook onder meer slechtzienden de site kunnen bezoeken en gebruiken. "Wij willen een niveau hoger zitten dan wat we wettelijk moeten. Een belangrijk element is bijvoorbeeld audiodescriptie in de player, zodat mensen met een visuele beperking programma's ook goed kunnen volgen. We zijn continu aan het kijken naar wat redelijkerwijs kan."

De nabije en verre toekomst

Dat betekent niet dat het nieuwe NPO Start af is, zegt De Vries. "Het is echt een V1. We hebben in feedback gehoord dat mensen dingen missen of verwarrend vinden. Radio zit er nu niet meer in, maar dat komt er in een aparte dienst met podcasts bij: NPO Luister. We hebben live kijken samengevoegd met de gids, maar dat heet nu Live en het is niet voor iedereen duidelijk dat de gids daarin zit."

Maar het eerste project op de roadmap is het toevoegen van favorieten. "Dat is waar we de meeste feedback op kregen tot nu toe", zegt Eerens. "De oude NPO Start had dat wel en nu zit het er niet meer in. Veel mensen willen dat terug, dus daar gaan we mee bezig."

De reacties zijn niet mals. De listings van de app in de Play Store tonen veel negatieve reviews met klachten. Behalve dat ze favorieten missen, hebben sommige gebruikers moeite met de nieuwe interface zelf. "Ik ben digitaal niet vaardig en op hoge leeftijd", schrijft een gebruiker. "Bij iedere lay-outwissel ondervind ik problemen om de app te bedienen. Ik vind dat er geen rekening gehouden wordt met de oudere mens." Ook klagen mensen erover dat de volgende aflevering niet gelijk start. Een afdeling binnen NPO verzamelt en bundelt de feedback die overal online verschijnt, zodat De Vries en Eerens kunnen kijken welke zaken belangrijk zijn om te gaan ontwikkelen.

Favorieten en kunnen doorkijken staan daarbij vooraan. "Het is een bewuste keuze geweest om nu live te gaan met een iets mindere featureset en de focus te leggen op een solide en stabiele basis. We breiden gefaseerd uit om grip te houden en te allen tijde in de lucht te blijven."

De reacties waren niet onverwacht. De Vries: "We nemen alle klachten serieus, tegelijk horen klachten bij verandering. Dit zien we ook bij nieuwe releases van andere partijen. Het aantal klachten is ook relatief klein als je kijkt naar het totale gebruik; er is een stille meerderheid. We vinden het mooi om te zien dat mensen de NPO-app gebruiken en genoeg betrokken zijn om ons via de reviews feedback te geven om de app te verbeteren. Het is nu aan ons om deze mensen te helpen en zo de beoordeling bij volgende versies hopelijk te zien verbeteren."

Daarnaast hebben ze op persoonlijke titel ook nog wel dingen waaraan ze zouden willen werken. De Vries: "Wat me mooi lijkt, is dat we live persconferenties bijvoorbeeld realtime kunnen vertalen in heel veel talen. Met kunstmatige intelligentie lijkt dat nu goed mogelijk te worden. Er zijn veel mensen voor wie informatie in bijvoorbeeld de coronapersconferenties belangrijk was, maar dat zouden ze beter begrijpen met een vertaling in het Duits, Turks of Arabisch. Op die manier kunnen we meer mensen in Nederland bereiken dan we nu doen."

Reacties (256)

256
255
126
16
0
92
Wijzig sortering
Ik zit dit te lezen vanuit een technisch oogpunt, maar sommige opmerkingen vind ik toch apart;
Bovendien is het hele platform cloud native. Dat is om verschillende redenen belangrijk. Eerens: "Als je op Play drukt, registreren we dat via Amazon AWS, maar de stream zelf komt bijvoorbeeld weer bij het cdn vandaan natuurlijk. Sommige dingen zijn toch al specialistisch. Zoals betalingen voor abonnementen: dat ligt gewoon bij een payment provider. Het is niet logisch om dat zelf helemaal op te bouwen."
Wat staat hier eigenlijk? Als je op play drukt gebruik je verschillende services binnen het systeem? Lijkt me wiedes. Zoals het hier staat, cloud native, klinkt het als bijzonder, maar het scheiden van de API die je de metainfo voor je stream geeft, en dat serveren via een CDN is natuurlijk een complete open deur.
De code is verder vooral NodeJS en PHP, zegt De Vries. "We ondersteunen ook Python en andere talen als dat makkelijker is voor de implementatie van features. Soms is een bepaalde taal gewoon heel geschikt. De api's die we hebben, werken met request en response, daarin is PHP al jarenlang best goed."
Ben ik nu gek, of bedoelen ze hier letterlijk het network request en de response vanuit PHP mee? Is dit een verwijzing naar dat ze geen websockets gebruiken, en websockets meer gedoe met PHP zijn, maar het gene wat het al vanaf dag 0 doet, wel werkt?
De player is serverless, zegt Eerens. "Die schaalt automatisch mee en de streams komen dus bij een externe partij vandaan. Daar zijn afgelopen jaren eigenlijk geen grote problemen mee geweest. De hele dienst NPO Start is grotendeels serverless met autoscaling. De systemen houden in de gaten hoe druk het is en als de drukte bepaalde drempels overschrijdt, komt er capaciteit bij."
Wat bedoelen ze hier met serverless, bedoelen ze hier een AWS Lambda achtige setup? En wat bedoelen ze met 'de player', ik neem aan dat de ze niet letterlijk enkel de player bedoelen, wat dat is gewoon een stuk JS wat op de client draait.

Serverless is mooi, maar het hoeft niet serverless te zijn om betaalbaar een UI te scalen. In mijn ervaring levert Serverless ook gewoon een bak kosten op als je veel op moet schalen.

Allemaal geen totaal gekke keuzes hoor, maar voor een streaming platform eigenlijk nogal bread & butter.
Ik zat met exact dezelfde vragen. De api werkt op basis van HTTP requests en daarom gebruiken ze PHP? De client-side player is serverless? WTF?

Dit klinkt inderdaad als "Ik heb een hoop buzzwords gehoord en begrijp half wat ze betekenen dus ik roep maar wat", of het is héél erg slecht opgeschreven door de betreffende redacteur. Bizar verhaal en ik hoop dat er een opvolgartikel komt om de (niet malse) commentaren te beantwoorden hier.
Hij had net zo goed kunnen vertellen over het CMS systeem achter de websites van verschillende televisie-programma's. Zelfde buzzwords toepasbaar :+

[Reactie gewijzigd door MrCuddles op 22 juli 2024 15:02]

Ik vind het een beetje jammer dat dit verhaal meer overkomt als een poging om de zaak in een positief daglicht te zetten dan iets om mee uit te leggen wat er nou echt mis is gegaan.

Want met zoveel ontbrekende features en een app die eigenlijk geen beta genoemd mag worden kun je voor de gemiddelde gebruiker echt niet spreken van een groot succes.

Zoiets als dit bijvoorbeeld:
"Het aantal klachten is ook relatief klein als je kijkt naar het totale gebruik; er is een stille meerderheid."
Als je op Android TV niet eens meer de optie hebt om live mee te kijken (hiervoor moet je nu, voor zover ik kan zien, casten vanaf een ander apparaat) dan kun je niet echt spreken van gebruik omdat er niets is om te gebruiken voor mensen die technisch wat minder begaafd zijn. Die zitten nu waarschijnlijk stilletjes slechte uitspraken te mompelen in de hoop dat Sint hen niet hoort bij het missen van live TV.
edit:
Dit kan wel. Zie reactie van @sapphire hieronder.


Citaten zoals de volgende zijn voor de gemiddelde ontwikkelaar tevens redelijk holle uitspraken en zeggen niets over wat er nu echt veranderd is. Hoe zat het oude systeem in elkaar? Geef eens links naar wat je dan hebt gebruikt? Welke inzichten kwamen eruit? Wat waren de knelpunten?
"Hoe werken die modules? Eerens: "Die koppelingen werken via berichten en dat is gewoon json. Dat is natuurlijk een defactostandaard hiervoor. Dan kun je werken met verschillende talen en technieken. We kunnen geleidelijk met de hele stack over naar iets anders als dat nodig is.""
Ik geloof écht dat de ontwikkelaars blij zijn met wat er nu staat, en ik feliciteer hen bij dezen graag met een ongetwijfeld mooi stuk werk op de achtergrond wat als mede-devver inderdaad leuk klinkt, maar qua organisatie is dit een schoolvoorbeeld van hoe je het niet zou moeten doen.

Met name het doen alsof de neus bloedt op een site als Tweakers is storend. Gebruikers hier verwachten meer diepgang dan "we gebruiken JSON en alles is eigenlijk echt heel goed".

[Reactie gewijzigd door Stukfruit op 22 juli 2024 15:02]

Je kan op AndroidTV nog wel live TV kijken maar het menu zit op een onlogische plaats. Startscherm en dan naar links navigeren en er komt een menu tevoorschijn waar je live TV kunt kijken.
Kijk, dat wist ik dus niet. Bedankt :)

Wel vreemd omdat ik behoorlijk wat heb geprobeerd. Bijna tot aan de Konami-code aan toe :+

Misschien heb ik het niet gezien omdat menu's soms sowieso dubbel aangeklikt moeten worden voordat er iets tevoorschijn komt. Dit is bijvoorbeeld te zien bij het selecteren van de seizoenen van een programma. Geen idee of dat ook zo is bij dit menu (ik heb het nog niet geprobeerd), maar dat zou het eventueel kunnen verklaren.

[Reactie gewijzigd door Stukfruit op 22 juli 2024 15:02]

Als je op Android TV niet eens meer de optie hebt om live mee te kijken (hiervoor moet je nu, voor zover ik kan zien, casten vanaf een ander apparaat) dan kun je niet echt spreken van gebruik omdat er niets is om te gebruiken voor mensen die technisch wat minder begaafd zijn.
Dat is gewoon niet waar. Je kunt zeker nog live meekijken, maar het menu is verplaatst en je moet echt wel eventjes zoeken. Dat is pas slecht.
Dan moet je dat menu inderdaad wel kunnen openen en vinden ;)

Ik had wel gezien dat het nu (deels) één codebase lijkt te zijn en de functionaliteit vast ergens aanwezig moest zijn, maar als er geen hint of andere aanwijzing is of als dingen nét niet soepel genoeg werken, dan is het niet moeilijk om zoiets te missen.

edit:
Na nog eens goed kijken zie ik nu dat er een iets donkerdere streep langs de linkerzijde van het scherm te zien is, wat een hint voor de aanwezigheid van het menu zou moeten zijn.

Om eerlijk te zijn kan ik me deze streep niet herinneren van vorige keren dat ik de app opende, maar mocht het er wel zijn geweest: het is behoorlijk subtiel.

[Reactie gewijzigd door Stukfruit op 22 juli 2024 15:02]

Precies wat ik dacht, ik ben dan geen devver, maar hobbiest, en. Wat er nu ongeveer staat is dat we alles op aws hebben gepleurt, de app een json request naar een control panel stuurt of de feed en in welke resolutie bekeken mag worden, waardoor een json request de de stream ophaalt, en verassend, het werkt zowaar allemaal best goed.
Ja dat dus, de nieuwe app is werkelijk onbruikbaar. Het zou beter zijn als de NPO het hele team eruit gooit. Hun werk lijkt meer op het werk van mijn mede studenten op software engineering jaar 2 op Fontys Eindhoven. Dan dat van professionals. Het is onbruikbaar, er is duidelijk geen User Centered Design toegepast...
De reacties waren niet onverwacht. De Vries: "We nemen alle klachten serieus, tegelijk horen klachten bij verandering. Dit zien we ook bij nieuwe releases van andere partijen. Het aantal klachten is ook relatief klein als je kijkt naar het totale gebruik; er is een stille meerderheid.
M.a.w., die klagers moeten niet zo zeuren. Ik ben van mening dat ze toch echt eerst een beter werkend product hadden moeten ontwikkelen, alvorens ze de oude verwijderen.

@arnoudwokke leuk dat je hier op zo'n korte termijn na lancering aandacht aan besteed hebt. Alleen lees ik niets terug over het verminderd ondersteunen van platforms. Zo komen native apps te vervallen, wat voor sommigen toch echt een tegenvaller zal zijn. Is dat wel aan bod gekomen?

[Reactie gewijzigd door segil op 22 juli 2024 15:02]

M.a.w., die klagers moeten niet zo zeuren.
Nee, dat zegt hij helemaal niet. Iedereen die in de software ontwikkeling werkt, of applicatiebeheerder is, weet dat elke verandering in de GUI klachten oplevert. Gebruikers zijn een divers gezelschap. Tussen mijn gebruikers zitten mensen die bij wijzigingen even de tijd nemen om te kijken wat er aan de hand is en dan (eventueel) met constructieve feedback komen. Veel van de punten die daar uit komen zijn valide en moet je serieus nemen. Deze feedback kun (en moet!) je verwachten en dat is waar De Vries het over heeft.
Er is echter ook een groep die vrijwel meteen de handdoek in de ring gooit en roept dat het allemaal weer kut is. Je kunt veel van die drama-queens binnen boord houden door vooraf en achteraf goed te communiceren.
Bottom line: de Vries heeft het hier over een hele normale gang van zaken rond een release.
Ze hadden misschien wel een uitgebreidere bètatest kunnen doen onder het grote publiek. Ik denk dat dat een hoop van de klachten had kunnen voorkomen.
Meer testen nog dan dit?
"Dat is ons een beetje om het even, want het was al wel klaar om live te gaan voor ons." Er was een uitgebreid traject om te testen, zegt Eerens. "We zijn al sinds december vorig jaar bezig, eerst intern. Daarna volgden tests met groepen gebruikers van ongeveer duizend mensen. Ook hebben we intern getest met de omroepen erbij en er was een open bèta. Nu is het live voor iedereen."
Wat hadden ze dan nog extra moeten doen?
Wat hadden ze dan nog extra moeten doen?
Een open bèta houden die langer duurt dan 3 weken. Grondig evalueren. Er was gevraagd om feedback en die heb ik zoals veel anderen ook uitgebreid gegeven via de servicepagina. Publiceren met welke feedback je iets gaat doen voordat je live gaat. Tevoren aankondigen wanneer je de knop om zet en met welke functiewijzigingen.
Ze hebben kennelijk de infrastructuur om aan alle accounts een mail te sturen, want over die bèta kwam op 20 okt. een mail.
Kijk, dit is tenminste kritiek die niet uit de onderbuik komt. Kennelijk heb jij meegedaan aan de beta, heb je feedback aangeleverd.
Toch ook hier weer een aanname: dat er niet grondig geevalueerd zou zijn. Waarom denk je dat? Omdat je je feedback niet gehonoreerd zag? Dat kan toch? Je kunt als ontwikkelteam toch gewoon kiezen om feedback als niet kritisch te zien en je voornemen om daar in een volgende release wat mee te doen?

Het tweede stuk van je post is duidelijk: er is naar de beta-deelnemers geen terugkoppeling gedaan over de evaluatie van die feedback. Hoewel ze dat niet verplicht zijn, was dat wel netjes geweest.
Maar ook hier: het was volstrekt normaal geweest als jouw punten van kritiek niet bij de eerste release opgelost zouden zijn geweest (afhankelijk natuurlijk van hoe kritisch die punten waren).

Communicatie is altijd een belangrijk punt als het gaat om softwarewijzigingen en niet alle IT'ers zijn daar goed in. Aan de andere kant zie je nu hier in deze draad heel mooi wat er gebeurt als gebruikers onvoldoende informatie (denken te) hebben: ze gaan de gaatjes in die informatie zelf invullen en dat doen ze bijna altijd met bagger.
dat er niet grondig geevalueerd zou zijn. Waarom denk je dat?
Als gepensioneerd ITer en consument van online services acht ik het onmogelijk om in 3 weken voldoende feedback te vangen, verwerken, evalueren en een plan te maken voor de volgende stap.
Je wijdt niet uit over de exacte planning van beta-test en de uiteindelijke release, dus mijn eigen advies volgend ga ik daar geen conclusies aan verbinden.
Maar als nog actieve applicatiebeheerder bij een internationaal commercieel bedrijf en projectteam lid van verschillende softwaremigraties (zo, nu jij weer) vermoed ik dat er aan die drie weken testen een paar weken voorbereiding vooraf zijn gegaan, gevolgd door een paar weken evaluatie en het vullen van de backlog voor de volgende release. Maar ik geef toe: dat zijn aannames. Laat maar weten of ik dat fout heb.

Daarnaast, als nauwkeurige lezer van het artikel zie ik dit: "Daarna volgden tests met groepen gebruikers van ongeveer duizend mensen". Dat is dus apart van de beta-test.
Als ik dat zo lees dan denk ik: ze hebben zich helemaal het schompus getest. Hartstikke goed!

Ik snap dus nog steeds niet goed waar dat idee vandaan komt dat er niet voldoende getest zou zijn.
Nee, de Apple TV app is totaal niet getest op minimale functionaliteit. Als je niet kunt inloggen met je account en er geen menu is, dan is sprake van een beta 0.1 versie.
[quot]
Nee, de Apple TV app is totaal niet getest op minimale functionaliteit.
[/quote]
Dus, die testen met duizenden groepen gebruikers hebben niet plaatsgevonden? Of neem jij aan dat ze wel veel getest hebben maar toevallig niet voor Apple TV?

Of (iets waarschijnlijker) roep jij "totaal niet getest" maar bedoel je eigenlijk "niet voldoende getest"?

En "Als je niet kunt inloggen met je account", was dat het geval voor elke individuele Apple TV gebruiker? Of waren het er een paar? In het eerste geval kan het zijn dat ze het inderdaad niet getest hebben. In het tweede geval bedoelde je dus inderdaad dat er niet *voldoende* is getest?

En beweer je nu werkelijk dat ze een Beta 0.1 versie hebben gereleased naar een productie-omgeving? Of overdrijf je ook hier weer?

Zoveel vragen.....
Op de nieuwe app van NPO voor de Apple TV kun je je niet aanmelden. Als je een abonnement hebt op NPO plus kun je dat dus niet meer gebruiken op de Apple TV. Kennelijk is dit een weloverwogen beslissing van de NPO geweest.
Gezien de belabberde staat waarin de Apple TV app is opgeleverd lijkt stevige taal op zijn plaats waarbij (verdedigbaar) voor nuances even geen plaats is, temeer de NPO betalende gebruikers niet kort informeert over de problemen ( e-mail
aan hele klantenbestand moet kunnen). Aspecten van de app zijn vast getest, essentiële aspecten die normaal gebruik aan de voorkant mogelijk moeten maken zijn simpelweg niet aanwezig. Dan zijn of die aspecten niet getest, of wat ook mogelijk is dat er een zeer bewuste keuze is gemaakt de app ondanks deze (zeer zware) beperkingen toch in de appstore te zetten omdat de vorige versie door technische wijzigingen aan de achterkant van het proces helemaal niet meer werkt. Inloggen is trouwens nodig om van NPO plus voordelen gebruik te kunnen maken.
why not? beta cycli van apple duren gemiddeld ook 3 weken van beta 1 tot beta 2 etc.
Omdat de NPO geen appel is en zelfs geen peer.
Want kritiek die niet bevalt komt allemaal “uit de onderbuik”? Als iemand iets zegt wat niet helemaal overeenkomt met hoe het ging “vullen ze de gaten met bagger”? Hautain zeg.

[Reactie gewijzigd door HooksForFeet op 22 juli 2024 15:02]

@willemb2 was de enige die meer informatie gaat dan wat er in het artikel stond. Ik was het niet met hem eens, maar dat mag.
En ja, de rest van de kritiek kwam uit de onderbuik. Ook nadat ik er de vinger op legde kwam er niets los waaruit zou moeten blijken dat de kritiek terecht was.
Je hebt testen en je hebt testen. Het interview gaat er nergens op in wat de focus was met al die testen, maar het lijkt er sterk op dat het absoluut niet gefocused was op daadwerkelijk gebruik, eerder alsof de focus vooral lag op breaking bugs.
De enige tekst in het artikel over testen is de tekst die ik quote. Uit die tekst kun je halen dat ze uitgebreid getest hebben, op verschillende manieren, met verschillende gebruikersgroepen. Er is zelfs (@TheVivaldi ) een open beta geweest.

Waar baseer jij op dat er niet gefocused is op gebruik?
De daadwerkelijke feedback in o.a. de playstore laat toch duidelijk zien dat mensen bepaalde functionaliteiten, zeker favorieten, gewoon verwachten. Als je daadwerkelijk test op gebruik krijg je dat ook als eerste als feedback.

In dit geval is er gewoon of heel slecht getest, of veels te laat. Beide lijken helaas ook schering en inslag te zijn wat Software Development betreft de laatste jaren.

Wat die open beta betreft ook, zonder daadwerkelijke cijfers zegt dat natuurlijk helemaal niets.
Wat die open beta betreft ook, zonder daadwerkelijke cijfers zegt dat natuurlijk helemaal niets.
Yep, maar kennelijk heb jij die cijfers ook niet nodig om een oordeel te vellen....
Als je daadwerkelijk test op gebruik krijg je dat ook als eerste als feedback.
En waarom ga je er van uit dat die feedback er niet was tijdens het testen? Er wordt gezegd dat de feedback die ze ontvingen ook de favorieten betrof, maar dan kan heel goed nog tijdens het testen zijn geweest. Dan hebben ze de beslissing genomen om te releasen zonder de favorieten en die als eerste op de backlog te zetten voor een volgende release. Allemaal volstrekt normaal en gebruikelijk.

Jij zit vol met aannames en als je al verschillende verklaringen hebt gezocht voor wat je leest, dan kies je kennelijk steeds de meest negatieve. Waarom?
Ben als ontwikkelaar al vaak genoeg bij dit soort projecten betrokken geweest en is altijd hetzelfde liedje, echt een klassiek geval maken wat je denk wat je gebruikers willen zonder het echt te weten. En tegen de tijd dat je de feedback van de gebruiker krijgt dat ze wat anders willen is de deadline te dicht bij om nog bij te sturen.

Is ook wel een beetje één van mijn grootste frustraties in de software wereld, (gebruikers) testen komt zo vaak pas aan het eind van het traject in plaats van continue vanaf het begin en meestal ook nog eens door een ander team dan het daadwerkelijke ontwikkel team dat je dit soort zooi gewoon in de hand speelt. Lijkt wel een complete blinde vlek voor veel bedrijven.
Fatsoenlijk gebruikerstesten is ook gewoon een vak apart, en helaas zie je nog steeds te veel bedrijven die niet eens weten wat een UX designer is.
Ben als ontwikkelaar al vaak genoeg bij dit soort projecten betrokken geweest en is altijd hetzelfde liedje, echt een klassiek geval maken wat je denk wat je gebruikers willen zonder het echt te weten
Oeh, dat is wel heel erg old-scool. Ik neem aan dat je daar snel bent vertrokken? Wat jij beschrijft is de waterval methode en die wordt alleen nog maar in heel specifieke gevallen aangeraden.

Wij werken al een tijdje agile en dat betekent dat je: 1. De gebruikerswensen gedurende het hele traject voorop zet en ook constant toetst en bijstelt. En 2. dat je heel, heel regelmatig test. Zelf en met gebruikers.
Waar tegenwoordig naar wordt gerefereerd als de 'watervalmethode' is eigenlijk uit de context getrokken. Het paper waar deze methode op gebaseerd is beargumenteerde juist een iteratieve ontwikkelbenadering!
Zie: https://toolsforthought.rocks/@absamma/111000164898619616:
Here's the thing: the "original waterfall methodology paper" (which does not even use the word Waterfall) advocated for an iterative approach to software development. Unfortunately, nobody got past figure 2 of 10 and the DOD compounded the problem by turning the misconception into a standard. In other words, Agile is nothing new. It is a rediscovery borne out of not practicing RTFM.
De Apple TV app is totaal niet bruikbaar omdat het menu ontbreekt. Je kunt niet eens inloggen met je account. Terecht dat honderden (!) mensen hierover klagen in de app store. Een totaal onaf product zo uitrollen is absurd.
Dit is gewoon een achteruitgang, Ziggo heeft een soort gelijk gids design geprobeerd, maar binnen no time terug gedraaid omdat het NIET werkt, het zijn letterlijk een aantal simpele lijstjes die niet makelijk te lezen zijn.

Mensen lezen van links naar rechts, een tijdlijn is standaard ook links naar rechts, niet van boven naar onder. Het is gewoon tegen de gewoontes van de mens.

En nu niet komen met: "Ja maar sommige mensen lezen rechts naar links" want dit is een minderheid in Nederland en dus irrelevant. Mocht het toch zo belangrijk zijn had je een feature kunnen inbouwen die de boel andersom had gerenderd.
Ja, die native apps die komen te vervallen vind ik ook enorm storend. Juist de NPO moet voor iedereen overal redelijkerwijze bereikbaar zijn, we betalen de NPO vanuit de belastingen voor een reden, anders hadden we er wel een commerciële omroep van gemaakt, of gewoon opgeheven.
Niet, van uw TV van 4 jaar oud wordt de app verwijderd want niet meer ondersteunt, regel maar iets anders.
Het is een bewuste keuze geweest om nu live te gaan met een iets mindere featureset en de focus te leggen op een solide en stabiele basis.
En dat zonder die keuze tevoren met de (betalende NPO Plus) gebruikers te communiceren. Zoiets heb ik in 42 jaar in de ICT, waarvan 21 in de online dienstverlening nooit meegemaakt.
De reacties zijn niet mals
Dat is een zware understatement. Op Twitter, Trustpilot, in de Play Store en hier op het forum staat een stortvloed van klachten. Op service.npo.nl staat nu een waarschuwing "vanwege grote drukte...."
De reacties waren niet onverwacht.
Aan alles zie je dat ze zich rotgeschrokken zijn. Er zijn duidelijk haastig plannen gemaakt voor damage control en een charme offensief. Dat kwam na 5 à 6 dagen op gang. Tweakers had wel wat scherper mogen zijn in dit interview! Je ziet dat NPO medewerkers overal consequent reageren op ernstige klachten met "hartelijk dank voor je feedback, je helpt ons om de service verder te verbeteren". De FAQ op service.npo.nl wordt dagelijks uitgebreid met heel erg defensieve uitleg.
Wie nu de dienst opent, ziet een bètalabel staan
Nee, dat bèta labeltje is er al een paar dagen geleden afgehaald, zonder dat het ook maar iets minder bèta (of eigenlijk alpha) is. Het hielp duidelijk niet bij het imago.
De player zelf is nu nog rudimentair
En dat is te merken. Ik moet de pagina soms 3x herladen voor ik kan afspelen, toetsenbord-snelkoppelingen zoals spatiebalk voor play/pauze werken vrijwel nooit, knopje voor fullscreen zit soms boven, soms onder het thumbnail beeld.
Daarna volgden tests met groepen gebruikers van ongeveer duizend mensen.
Ik heb echt moeite dat te geloven. Hebben ze evaluaties laten zien? De publieke bèta kwam ongeveer 20 oktober beschikbaar op nieuwestart.npo.nl parallel aan de oude live site npostart.nl. Ze hebben inmiddels begrepen dat ze die Favorieten functie er nooit uit hadden mogen laten, maar er is ook heel veel kritiek op de gids waarin je totaal verdwaalt. Je kan niet meer naar een bepaalde datum springen en je moet per kanaal apart (eindeloos) scrollen. Live is naar de voorgrond gehaald, maar NPO Start is juist niet geschikt voor Live. Dat krijg je (ook met een Plus abonnement) in 540p, wat er niet uitziet op een doorsnee TV. Uit dit interview begrijp ik dat daar geen technische reden voor is maar beleid van de powers that be. Wel alle $%^&*&^%!
Verder zitten er ontzettend veel andere kleine bugs in die ieder apart geen showstopper hoeven te zijn, maar tezamen wel. En waren er onder die groepen gebruikers mensen met redelijk recente en gangbare TV modellen waarvan de ondersteuning vervallen is?

In een video op npo.nl praat de baas van deze heren over NPO Plus als 'een merk' en over ons burgers als 'een markt'. Ik denk dat daar het wezenlijke probleem zit. Dat de NPO denkt dat Start/Plus een nice to have extraatje is dat op een markt moet concurreren met andere apps. In mijn ogen is het een nutsvoorziening. Als je zoals ik niet aan Ziggo of KPN wilt betalen voor een kastje met 68 kanalen terwijl je alleen NPO kijkt, of als je hoort tot de 1 à 2 miljoen Nederlanders (mijn schatting) die dat niet kunnen betalen is NPO Start de enige optie om TV te kijken. Digitenne is gratis voor de NPO kanalen, maar werkt vreselijk onbetrouwbaar als je wat verder van een zendmast woont en/of HR++ glas hebt.
Als software engineering student is het duidelijk dat er geen User Centered Design is toegepast. Er is niet gekeken vanuit het oog van de gebruiker.
De Apple TV app kent geen menu meer. Inloggen kan niet. Dat is minimale basisfunctionaliteit. Waardeloos product.
Abo stopgezet, hier betaal ik niet (meer) voor.
Back to the old days en zoals nu bij de BBC: opnemen wat je wil zien...

[Reactie gewijzigd door triumph_st op 22 juli 2024 15:02]

Wat is er nu weer met die app? Op appletv niet eens een menu meer mogelijk en kan ook mijn atv nog steeds niet koppelen aan npo plus… kan tweakers dit artikel niet verwijderen wegens wanprestatie ? Is echt niks om trots op te zijn, wat een bagger
Het geeft inderdaad een beetje een absurdistisch gevoel om dit artikel nu terug te lezen, en daar allerlei gewazel in terug te zien over microservices en JSON messages en toegankelijkheid voor mensen met een beperking, etc. Schaalbaarheid en stabiliteit staan op 1 zodat als een van de onderdelen plat gaat dan blijft de rest gewoon werken, maar ondertussen zijn er in de AppleTV app sinds een paar dagen gewoon zo'n beetje alle functies van de app verdwenen behalve het starten van 1 van de streams die er in de 'aanbevolen' lijstjes voor elk genre staan 8)7 :+

[Reactie gewijzigd door johnbetonschaar op 22 juli 2024 15:02]

Vind het belachelijk dat als je wat terug wilt kijken via npo(plus) we weer moeten betallen.

We betalen al een godsvermogen aan belastingen(ongeveer 200€ jaar p/p) en dan mogen we weer betalen om terug tekijken.
De content van de NPO is echt onwijs waardevol. Teveel om op te noemen: dagelijks/wekelijkse journalistiek (Nieuwsuur, Buitenhof, etc.), onderzoeksjournalistiek (Argos, Pointer), consumentenprogramma's (Kassa, Opgelicht), kinderprogramma's (heel Zapp/Zappelin, maar ook Sinterklaasjournaal, erg gelachen om Speculasies), alle documentaires van 2/3doc, die zou ik echt voor geen goud bij de commerciëlen willen hebben. We mogen als land blij zijn met zo'n fantastische publieke omroep.

De echte schande is niet dat het wat geld kost, maar dat we zo weinig investeren waardoor het zo slecht toegankelijk is. Zo erg dat mensen nu Netflix-documentaires kijken omdat de NPO-app werkelijk onbruikbaar is geworden, nadat deze na jarenlange ontwikkeling eindelijk op een enigszins acceptabel niveau was.
Ik snap je argument niet. Ik ben het met je eens dat wat de Publieke Omroep produceert een maatschappelijke waarde heeft, maar dat is geen argument om terugkijken tegen betaling te verantwoorden.

De reden waarom de Publieke Omroep hiermee begonnen is, is precies het omgekeerde: Men vond een aantal jaar terug dat de PO in zijn eigen inkomsten moest voorzien. De overheid miskende dus de waarde van de PO. De Nederlandse publieke omroep is internationaal gezien een vrij armlastige omroep. We betalen in Nederland per persoon minder aan televisie dan in het buitenland, maar omdat we een relatief klein land zijn, zou het logisch zijn dat we per persoon juist meer betalen dan grotere landen.
De Npo zou gewoon alles op youtube moeten flikkeren om van het gezeik af te zijn :)
Maar eigenlijk zeg je dat je meer belasting wilt betalen? Dat je voor deze extra opties bij moet betalen is toch alleen maar prettig voor de mensen die het niet hoeven. Ander zou iedereen er aan meebetalen (zoals aan de basis).

Ik snap overigens dat gezeik op de NPO en belasting nooit helemaal. Voor mij schaf je een belangrijk deel van de Nederlandse identiteit, cultuur en informatievoorziening af als je de NPO gaat wegbezuinigen.
Waarom zou een commerciële omroep bijvoorbeeld een kritisch consumentenprogramma gaan maken bijvoorbeeld? Mensen weten niet wat ze stuk gaan maken.

[Reactie gewijzigd door RoelRoel op 22 juli 2024 15:02]

Kranten zijn ook commerciële bedrijven en zijn daar ook prima toe in staat kritisch onderzoek te doen.
Ik ben niet tegen een NPO. Maar ik was in het verleden meer voorstander dan tegenwoordig. Een hoop van die identiteit, cultuur en informatievoorziening is door de jaren heen geschrapt, terwijl de het aantal kanalen gelijk gebleven is. Ik zie liever dat ze op dat vlak weer terug gaan. Maar met het huidige aanbod vind ik de NPO niet meer zo relevant. Vroeger had ik het erg gevonden als ze een kanaal zouden schrappen, tergenwoordig haal ik mijn schouders er over op.

Overigens goed dat nog energie in NPO start wordt gestoken. In kabeltv zie ik sowieso weinig toekomst voor de lange termijn. Als je relevant wilt blijven voor nieuwe generaties moet je juist inzetten op zo'n NPO start, of iig streaming van je content. En aangezien er belastinggeld naar die omroep gaat vind ik het goed dat ze ook proberen aan te sluiten op de manier waarop belastingbetalers hun content kunnen bekijken. NPO is geen dienst waar je je als belastingbetaler op kunt uitschrijven.
Blijft toch wel een beetje raar, er is voor iets vanuit belastingen betaald maar bepaalde features komen achter slot. Welke features wel, welke houden we in de basis? Is in dit geval gezien hoe het wordt gefinancieerd enkel dezelfde pakket voor iedereen te leveren? En als het budgetair niet past om bijvoorbeeld een hogere resolutie/bit rate te versturen, so be it? Wellicht op termijn wanneer de kosten van data nog verder omlaag gaan krijgen we allemaal wel meer.

Ik ben het met je eens dit soort zenders hebben we gewoon nodig, sterker nog enkel meer met Amerikaanse streamers die enkel buitenlandse producties hier streamen.
Waar praten we over? NPO plus is 2,95 per maand. Daarvoor krijg je programma's waar veel meer dan die 2,95 aan rechten voor betaald moeten worden aan de programma makers.
Waar we in ieder geval niet over praten is minima voor wie 3 EUR in de maand veel geld is. Minima die verder ook geen andere streaming services kunnen betalen. Die bijvoorbeeld doen aan account sharing, die een studentenleventje leiden, of een lichamelijke of geestelijke handicap hebben. Die moeten het doen met SD kwaliteit. Maar ook op bijvoorbeeld vakantie op Texel is dat ook de geleverde kwaliteit.

Anyway, voor die minima had je deze hele app niet hoeven te ontwikkelen. Je moet gewoon de content leveren in een gebruikersvriendelijke interface. De klanten volgen dan vanzelf. Nu betaal ik 3 EUR in de maand voor de ontwikkeling van een product dat basis features mist, en vervolgens mogen de minima niet meegenieten van 1080p. Terwijl de infra nauwelijks meer kost. Maar ja, prijsdifferentiatie heeft ook hier weer toe moeten slaan.
Bron? Een groot deel van die rechten heb je al betaald via de omroepbijdrage in de belastingen. Die 2,95 is volgens mij om die programma's tot langer terug in de tijd te kunnen bekijken.
Dat komt omdat de grootste criticasters van de NPO hun identiteit, cultuur en informatievooriening af laten hangen van campingzenders als SBS6. Die zijn allergisch voor kritische programma's zolang het niet kritisch is over iets waar ze zelf al tegen zijn.
Hoe kom je uit op 200€ jaar p/p? Er gaat zo'n 850 miljoen euro per jaar naar de NPO aan belastinggeld. Dan kom je uit op 50 euro per persoon, of 90 als je alleen uitgaat van de beroepsbevolking.
Ik vind het raar dat een nieuwe versie minder features heeft en vraag me af waarom ze met hun half affe beta live zijn gegaan.
Precies dit. Zowel kinderprofiel als ook favorieten zijn niet beschikbaar. Voor ons erg belangrijke functies om de kinderen op tv te laten kijken.

[Reactie gewijzigd door jordy5 op 22 juli 2024 15:02]

kindprofielen zijn nu inderdaad even niet beschikbaar, maar je kunt wel via ontdek naar kinderprogramma's klikken.
Het idee is dat kinderen niet programma’s kiezen welke niet geschikt zijn voor kinderen, maar ook dat mijn eigen lijsten niet vervuilen.

Daarbij is op een smart tv met afstandsbediening, juist favorieten e.d. makkelijker dan door alles heen gaan klikken elke keer. Je kan in de app op je mobiel favorieten aanmaken e.d. en op de tv snel er heen.

Mijn abbo voor npo heb ik opgezegd, dan maar weer NLZiet.
NLziet is helaas 3x zo duur (3 vs 9 EUR), en daarbij heb je ook de commerciële omroepen. Terwijl ik die kwaliteit juist bedroevend laag vind (plus de afschuwelijke reclames), dat ik daar geen geld aan uit wens te geven. Het is simpel: mijn kinderen kijken geen reclames. Klaar. Ja, natuurlijk wel product placement en andere sluikreclames, ja ze zien ook de M van McDonald's wel eens in de auto, maar geen verder geen reclame op TV. Niet op YouTube. Niet op Netflix. Niet op Disney+ en dus ook niet op de publieke omroep. Desnoods download ik hun series, genereer ik met Whisper zelf subs, en dan host ik het zelf wel. Maar reclame gaan ze niet zien.
En dan zijn je kinderen straks 12+ en dan hebben ze geen filter opgebouwd voor reclames en komt alles 10X zo hard binnen omdat ze gewend zijn dat alles wat ze qua beeld en geluid consumeren kwalitatief de moeite waard is...
Hoezo, het filter draait hier op de internetverbinding :+ filteren / begrijpend lezen leren ze pas als ze ouder zijn. Al krijgen ze nu ook reclame te zien zoals de M van McDonald's of product placement.
Yariva Moderator internet & netwerken @jordy520 november 2023 08:06
Dat favorieten nu niet meer beschikbaar is slaat echt nergens op. Tijd om over te schakelen naar NLZiet.
Eigenlijk is het goed om met een basis product, een MVP, live te gaan. Als je wacht tot je opnieuw feature complete bent met je nieuwe implementatie ben je een jaar of 2 verder. Als je daarop wacht heb je weinig input ontvangen (usability, performance,...) en bestaat de kans dat je 2 jaar voor niks hebt gewerkt. Zo zijn al veel software projecten mislukt. Nu kan je snel bijsturen en feature per feature snel live zetten.
Maar dan draai je het paralel. Een opt-in beta eerst, eventueel een opt-out release candidate. Nu haal je veel gebruikte features weg en bent dan verrast dat mensen blijkbaar de features die ze veel gebruiken ook willen gebruiken?
Parallel draaien betekend dus ook 2 systemen onderhouden en live houden, de kosten lopen dan flink op en dat is natuurlijk sowieso wat bij de NPO enorm onder druk staat.
En dat is dus een goede prikkel om functionaltiteiten aan de nieuwe app te blijven toevoegen.
Dat onderhoud hangt er natuurlijk vanaf wat er precies onderhouden moet worden. Als de oorspronkelijke app behoorlijk ‘af’ (om het maar even grofweg zo te noemen) is, dan is het onderhoud relatief minimaal.
Het probleem is dat ik nu features mis, juist de dingen die ik gebruik. Ik kan nu mijn gevolgde programma's niet meer zien. Terwijl dit de enige programma's waren waar ik in geïnteresseerd was. Oftewel, om te zien of er iets is wat ik wil kijken, moet ik de stuk voor stuk handmatig opzoeken. Ik zit hierdoor serieus te overwegen om op te zeggen.
Ik snap je frustraties, maar favorieten staan enorm hoog op de backlog, en ik denk dat je er niet zo lang op hoeft te wachten.
Nee, jij en jouw team snappen de frustraties niet. Het is niet bij je opgekomen dat je zoiets niet uit hoort te rollen als je basis features mist.
Wie nu de dienst opent, ziet een bètalabel staan. "Dat is ons een beetje om het even, want het was al wel klaar om live te gaan voor ons." Er was een uitgebreid traject om te testen, zegt Eerens. "We zijn al sinds december vorig jaar bezig, eerst intern. Daarna volgden tests met groepen gebruikers van ongeveer duizend mensen. Ook hebben we intern getest met de omroepen erbij en er was een open bèta. Nu is het live voor iedereen."
Wat een ongelooflijke arrogantie is dit zeg.

Voorheen keken mijn kinderen een aantal favoriete series in de avond. De een mag één serie/aflevering kiezen, de ander ook, en daarna gaan ze richting bed (tenzij de ene aflevering heel kort is wat nog wel eens het geval is met series voor peuters, dan mag die er nog eentje kiezen of we lezen een extra boekje want dat doen we ook nog).

Die favoriete series stonden dan netjes in een volgorde.

Dat kan nu niet meer. Ik moet op ambiance iets uitkiezen. Kindprofielen werken niet eens. Ik moet dus door allerlei zooi bladeren die niet eens voor kinderen geschikt zijn. Om dan toch meerdere keren dat vergrootglas te moeten missen dat op zo'n onlogische plaats staat.

En dan ga jij mij vertellen dat ik een luidruchtige minderheid ben? Dat deze app niet in beta hoeft te zitten? Notabene de kindprofielen werken niet. En wij ouders die daar behoefte aan hebben zijn dan een luidruchtige minderheid? Mijn vrouw is zo stil hierover als het maar zijn kan. Afgelopen weken heb ik meermaals haar gezeur over deze nieuwe app aan moeten horen. Ik heb haar zojuist verteld dat de makers van dit wanproduct het lef hebben een artikel te schrijven waar ze de lofzang over hun wanproduct durven te uiten. Haar reactie? Vandaar de 1,3/5 rating.

Ik heb geen behoefte aan ambiances (gejat van Spotify zeker?). Maar uitzetten kan ik dat niet. Ik gebruik het bij Spotify ook niet. Ik heb een bepaald liedje in mijn hoofd en van daar uit krijg ik weer andere inspiratie. Als je mij de context kunt geven van dat liedje (waar staat het in mijn fav playlist, welke liedjes favde ik nog meer rond die tijd, wat is er nog meer van die producer) dan kom je al een heel eind. Zo moeilijk is het niet.

Hetzelfde hier. Kijk gewoon wat de kinderen iedere avond kijken als ze naar bed gaan en geef dat als suggestie op. Dan zijn we al klaar. Want jullie zien ook wel dat de kinderen de hoofdzakelijke afnemer van ons profiel zijn.

Maar boven alles is dat je niet een downgrade forceert uitrolt als upgrade en beter, en dan ook nog op een techsite doubling down en degenen met kritiek pareert met beledigende uitspraken als luidruchtige minderheid. Dit is de eerste keer dat ik publiekelijk acteer op mijn frustraties, en de enige anderen met wie ik hierover heb gesproken zijn mijn vrouw en moeder (die heeft NLziet), in huishoudelijke kring. Hoe haal je het in je hoofd man.
Ik onderschrijf dit ook.
De update had niet geforceerd moeten zijn (maar met opt-in of opt-out) voor deze vrij basale functionaliteit voor gezinnen.

De use-case van kindprofielen, en favorieten is erg gangbaar voor ouders met kinderen (een toch vrij grote groep huishoudens in Nederland).
Op dit moment ben ik al mijn persoonlijke favorieten kwijt (ik kijk vaak pas op een later moment bepaalde series terug, zoals Keuringsdienst van Waarde).
En het lijstje goed bevonden programma's voor mijn jonge kinderen, is kwijt, en als zij nu de NPO-app openen, worden zij geconfronteerd met content die niet voor hun leeftijd bedoelt is.

Dit had echt geregeld moeten zijn, voordat je een update forceert.
Helemaal met deze view eens, alsof wij het zelf geschreven hebben. Triest…
Onze kinderen snappen er niets van en moeder van 78 ook
Het probleem hier is dat deze "update" geforceerd is terwijl het simpelweg niet eens de basis functionaliteit heeft. Als ik hier een developer van was, dan had ik toch echt ten zeerste aangeraden om dit niet zo te lanceren. Dit had een aparte app moeten zijn voor nu.
Dan ben je een enorm slechte developer die denkt te weten wat de eindgebruiker wil. Als developer ben ik er om de business over de techniek te adviseren. Niet om de business over de gebruiker te adviseren.
Als developer ben je er ook om de business over de functionaliteit te adviseren en om te priorisieren. Als je een migratie doet en je weet dat je product niet een mimimal viable product is, dan hoor je aan de bel te trekken.

Als je al in de FAQ zet dat de kindfunctionaliteit en favorieten later komen, dan weet je al dat dit belangrijke functionaliteit is en had je toch al achter de oren moeten krabben of dit wel naar buiten had moeten gaan.
Dat vind ik niet in de publieke sector. Het is nu verkiezingstijd en de publieke functie werkt niet goed.
En dan noemen ze het een succes....
Staat helemaal los van publieke sector. Meer de IT sector is de enige waar ze features verwijderen als upgrade kunnen presenteren.
NPO is toch geen IT sector?
Dus de afdeling die aan de apps, websites, etc. werkt bestaat enkel uit administratief medewerkers?
Nee, maar zo werkt een sector toch.. ieder bedrijf heeft wel een vorm van IT nodig, maar dat is vaak niet de business.
In dit geval een goed voorbeeld van hoe IT andere prioriteiten heeft dan de afnemers van de dienst. Ik zou liever zien dat npo focussed op content (daar zijn ze goed in) en het platform ergens afneemt.
Ik hoop iig dat de blijven bestaan..

[Reactie gewijzigd door sjongenelen op 22 juli 2024 15:02]

En dat is nu precies waar je de fout ingaat: NPO heeft zich nooit op content maken gefocust, want dat is aan de onderliggende omroepen. Dus ja, NPO valt wel degelijk onder de IT-sector, want een groot deel van hun business ligt in díe sector.

[Reactie gewijzigd door TheVivaldi op 22 juli 2024 15:02]

Met alle respect: volgens mij zit je niet juist en is de missie van NPO content/programmas maken
Met alle respect, maar de taken van de NPO bestaan uit “het bevorderen van de samenwerking en cohesie tussen de landelijke omroepen, de programmering van het media-aanbod, het verdelen van de budgetten voor de verschillende omroepen, het verzorgen van distributie, het ondersteunen van omroepen bij de ondertiteling, aankoop en verkoop van programma’s en tot slot het uitvoeren van zelfstandig onderzoek naar de kwaliteit en het imago van de platforms radio, televisie en internet.”

En ook de Mediawet bevestigt dat de omroepen de programma’s maken en verantwoordelijk zijn voor de inhoud daarvan.

Kortom: NPO doet dus wel dingen met content, maar content maken valt daar niet onder. Oftewel: hun core business is dus niet content maken, maar dingen achter de schermen, waar de IT ook een grote rol speelt.

[Reactie gewijzigd door TheVivaldi op 22 juli 2024 15:02]

Ik zie dat was jij zegt als 'hoe' ze het doen; npo maakt het beleid en de omroepen voeren het uit.

Anyway, mijn punt was in ieder geval dat ik dat deel, als Nederlander, belangrijk vind. Het stream platform zelf ontwikkelen vind ik een serieuze stap
Degene die de app maken zijn wel uit de IT sector...
Vanuit het oogpunt van de gebruiker heb je natuurlijk helemaal gelijk. En ik denk in een ideale wereld dat je eerst iets helemaal volledig perfect af maakt voordat het live gaat. Maar in de echte wereld heb je nog veel meer belangen. Software moet je blijven onderhouden en soms is het nou eenmaal nodig om flink te vernieuwen. Dat is ook een moment om alle features weer eens tegen het licht te houden. Moet het nieuwe product überhaupt wel alles kunnen wat het oude product ook kon? Worden features überhaupt veel gebruikt, of kost het alleen maar geld ze te onderhouden? Daarnaast heb je natuurlijk de gebruikelijke zaken als budgetten en deadlines.

Wat altijd een lastige vraag is, is wanneer iets goed genoeg is om live te gaan. Daar heb ik in dit geval niet echt een mening over. Feit is dat mensen ook niet tegen veranderingen kunnen. Een knopje op een andere plek kan al genoeg reden zijn voor een negatieve review. Wanneer iets 'echt' niet goed is en wanneer iets simpelweg wennen is, is ook weer een lastige vraag.

Ik ben zelf ook developer en de moeilijkste opdrachten zijn de opdrachten waarbij klanten aan het einde van een project veel geld uitgegeven hebben en eigenlijk niks nieuws hebben, of zelfs minder qua features. Het feit dat hun CMS/Platform/product veel robuuster en toekomstbestendiger is zie je er dan totaal niet aan de buitenkant.

En dat is de moeilijke balans tussen features, techniek, kosten en tijd. Het is nooit perfect. Je kan alleen achteraf zeggen of je het goed gedaan hebt of niet.
Anoniem: 363533 @Baffel20 november 2023 08:14
Dat is leuk als je iets compleet nieuws introduceert. Niet als je iets wat al bestaat aan het vervangen bent. Dan moet je toch wel minimaal ongeveer hetzelfde aanbieden.

Geen favorieten en kinderprofiel, sorry hoor maar pardon? En voor zoiets als de publieke omroep waar dit hoog op de lijst zou moeten staan?

Zal wel een gevalletje 'Projectmanager die een deadline moet halen op een Agile/Scrum project weer zijn die voor veel centjes is ingehuurd (van ons belastinggeld)'.

'Operation failed successfully, well done.'
Nee je praat echt onzin, als je iets vervangt kan je rustig een stap terug doen. Een Minimal viable Product is prima, oftewel wat heb je minimaal nodig om de service te laten werken. Ja het is vervelend, maar als je direct 100% van alle functionaliteit terug wil kom je nooit live want dat krijg je A niet in een fatsoenlijke tijd gebouwd en B krijg je dat nooit goed doorgetest. En zoiets agile terugbouwen is een prima development methode.
Niemand praat hier onzin. Nuttige en veelgebruikte functionaliteit uitzetten voor de eindgebruiker is een uiterst noodmiddel en zou geen gebruikelijke gang van zaken moeten zijn.
Maar toch zul je ook aan de wet moeten voldoen. En de overheid gaat echt niet blij zijn als ze horen dat kinderen volwassen inhoud kunnen zien, omdat het kinderprofiel ineens niet meer in de nieuwe app beschikbaar is.
Wettelijke vereisten hadden in het MVP moeten zitten dat ben ik met je eens, echter blijf ik wel bij mijn standpunt. En ik viel met name over die Projectmanager opmerking dat is behoorlijk beneden peil. Alsof de mensen die dat doen niet gedreven zijn om iets goeds/moois te maken. Als je daar inzicht in wil verkrijgen dan zal het management dat er boven hangt ook eens onder de loep moeten nemen voor je een oordeel velt.
Mag toch hopen dat de meeste versie upgrades niet zo werken. Zou wat zijn als Netflix het op deze manier had aangepakt. Of dat Windows 12 komt, opnieuw opgebouwd, en in eerste instantie heb je alleen maar een Core OS zonder iets.
Er lijkt er wel een vraag te bestaan voor een Core-Only versie van windows als je de microsoft/windows artikelen en commentaren leest dus eigenlijk ben ik best benieuwd naar hoe men zou reageren op zoiets... :D
Geen zorgen, ook bij Windows 12 met alleen een Core OS zullen er weer tweakers zijn die het goedpraten. :P :+
Live gaan met de beta is prima, maar draai dan niet gelijk de oude versie de nek om wat ze hier gedaan hebben.

Eigenlijk leest het interview alsof een onervaren persoon de aansturing/besluitvorming gedaan heeft van het project. Gewoon zaken de nek omdraaien, geen rekening houden met diversiteit in leeftijdsgroepen, veranderen om te veranderen, schrappen van ondersteunde platformen, de gemiste functionaliteit komt wel een keertje.

Als je een klant kwijt raakt kost het heel veel moeite om die klant weer terug te krijgen. Dus door radio uit de app te halen raak je luisteraars kwijt, door platformen niet meer te ondersteunen raak je kijkers kwijt.

Iemand had een 60 plusser ervaren persoon als mentor moeten toewijzen met veto mogelijkheid om de onervarenheid van diegene die dit aanstuurde te compenseren, en die persoon verder te helpen ontwikkelen. Ten minste, als die nog werken bij de NPO want daar wordt ok constant gereorganiseerd, alleen omroep Max lijkt er te zijn voor de oudere TV medewerker.
Eigenlijk is het goed om met een basis product, een MVP, live te gaan.
Nee, dat is het niet. Als je met een minimum product komt dan jaag je juist je potentiële klanten weg. Die proberen je product omdat het iets dat mogelijk in een van hun behoeftes voorziet, zien hoe beperkt het is en gaan vervolgens gefrustreerd weg. Die gaan echt niet over lange tijd elke minor update volgen tot het eindelijk op het niveau is dat ze er echt iets aan hebben.

Waar je live mee moet gaan is een MLP: Minimum Lovable Product. Niet een absoluut basis product maar juist een product dat op z'n minst goed genoeg is dat gebruikers er echt blij mee zijn.
Het andere voordeel van het vervangen van een bestaand product door nieuwe code, is dat je legacy functionaliteit achterwege kunt laten. Bij een videospeler zoals NPO Start speelt dit misschien niet zo erg, maar als je bijvoorbeeld boekhoudsoftware maakt met daarin nog business rules voor landen waar je al geeneens meer aan levert maar die té veel verweeft zijn met de rest van je codebase en waar je meer last dan profijt van hebt, dan is zoiets het ideale moment om de support daarvan te stoppen (al zal het wellicht een paar klanten/gebruikers kosten).
An sich een goed punt, maar bij een bestaand product kun je goed zien welke features veel gebruikt worden en welke niet. Je hoeft niet te wachten tot je volledig feature-complete bent, maar voor de veel-gebruikte features (zoals favorieten en doorkijken) hoefde je niet live te gaan met de nieuwe versie om te weten dat ze veel gebruikt worden.
Dat is waar voor een nieuw product. Maar het is heel raar om bij een dienst veel betalende abonnees te hebben en vervolgens veel features bij ze weg te halen. En dit gaat niet om nice-to-haves maar echt om absolute basisfeatures zoals favorites of het fatsoenlijk onthouden waar ik gebleven ben halverwege een aflevering.

Ik gebruik dit op Andoid TV en nu is de enige manier om verder te gaan met een serie telkens deze opnieuw te zoeken in de zoekbalk (en dan dus tekstinvoer met een afstandbediening). Ik kijk veel NPO, meer dan Netflix, Disney of HBO en ik vind dit echt heel vervelend.

[Reactie gewijzigd door remcos2 op 22 juli 2024 15:02]

Dat kan ik me goed voorstellen voor een geheel nieuwe dienst. Dit is een bestaande dienst waar een kleine miljoen mensen voor betalen. Daar ga je niet t.b.v. een update volledig onaangekondigd essentiële functionaliteit uit verwijderen. Dat kun je niet maken. Dat is simpelweg wanprestatie.
Laat ze dan ook eens kijken naar de UX, ik ben niet oud en digitaal wel vaardig maar we hebben de eerste keer (vrouw en ik) zitten zoeken om het heel onnatuurlijke menu links buiten beeld te vinden. Je komt op een start scherm en dan moet je zomaar weten dat er links buiten beeld en menu zit :?

Ook het inloggen is een drama, met de oude app 1x ingelogd 2 jaar geleden en nooit problemen. Nu elke paar dagen moeten we de Shield opnieuw koppelen.

Ja het ziet er gelikt uit en zal technisch prima werken maar logica is af af en toe ver te zoeken.
[...] We hebben de eerste keer (vrouw en ik) zitten zoeken om het heel onnatuurlijke menu links buiten beeld te vinden. Je komt op een start scherm en dan moet je zomaar weten dat er links buiten beeld en menu zit :?
Haha, +1, deze situatie heeft zich hier precies zo afgespeeld.

Verder begrijp ik dat er onder water in de 'back end' zaken moesten wijzigen. Waarom neem je echter ook de UI volledig op de schop. UI is meestal al een aparte repository en ontkoppeld van de 'backend' via een API. Die kan (dus) prima met rust gelaten worden.

Uiteindelijk is UI smaak en belangrijker nog: gewenning. Als je user base gewend is aan je UI, ben dan voorzichtig: evoluties in plaats van revoluties. Kijk bijvoorbeeld naar auto's. Zeker bij dit soort publieke apps snap ik niet dat je 'breaking' UI changes doorvoert.
De oude UX/UI was wat mij betreft dramatisch, dus ik hoop van harte dat deze op de schop is gegaan.

Wat je volgt soms wel/soms niet op homepage. Niet vaak gebruikte acties op prominente plaats. Sortering van afleveringen ging alle kanten op. Player die direct begint te spelen terwijl je eerst de beschijving wilt lezen. Te weinig nuttige info in overview, terwijl er een zee van screen real estate beschikbaar is. Bijvoorbeeld 3 keer titel getoond, maar geen datum of andere informatie. De lijst met bad practices gaat nog wel even door.

Iets wat zo slecht is doordacht, daar kan ik niet aan wennen.

Bovendien hoop ik dat de kwaliteit van live kijken eens wat wordt opgeschroefd. Dat is niet om aan te zien. Wij keken daardoor alleen maar terug omdat de kwaliteit dan iets beter is.
De oude UI had wat domme dingen, true. Zoals dat er ineens bepaalde zaken af worden gehaald (rechten :Z) maar dit vervolgens niet als zodanig te sorteren is.

Echter nu wordt je geforceerd om door ambiances heen te werken, en die interesseren mij niet. Bij muziek ook niet, al is het daar wel logischer omdat je zoiets makkelijker op de achtergrond kunt bingen.

Wat betreft de kwaliteit van NPO Plus die vond ik prima, behalve bij balsporten zoals voetbal/tennis.
Technisch gezien is de frontend en backend inderdaad ontkoppeld en logisch gezien zou dit ook volledig zo moeten zijn. Echter zie je vaak in de praktijk dat een frontend volledig gemaakt wordt "op" de API, en dus als je de API vernieuwt moet de hele frontend op de schop. Dat hoeft niet te betekenen dat je ook de UX aanpast, natuurlijk, maar in de praktijk gebeurd dat wel vaak.
Mee eens; ik zocht het programma "Van onschatbare waarde", maar ik kon niet bedenken onder wat voor categorie dat zou moeten vallen: human interest?, vermaak?, cultuur?, documentaire?, real life? WTF is er mis met een gewone niks-aan-de-hand alfabetische lijst?
Snap nu ook waarom mijn dochter zo aan het klagen was over de "kapotte tv".
Ik denk dat ze zich hebben vergist en vooral hebben gefocust op mobiel/tablet met touch en eenvoudige toetsenbordinvoer. Terwijl een goede UX op TV ook essentieel is. Dat is nu waardeloos vergeleken met de oude app.
Ik vind dit artikel echt interessant. Goed dat ze de hele boel beter bereikbaar gemaakt hebben :)

Maar dit wordt betaald met belastinggeld en dus stoot mij die “veiligheid” mij enorm tegen de schenen. Maar dat ligt niet aan het ontwikkelteam, maar meer aan de wetgeving.

Kan die copyright-wetgeving niet gewoon op de schop? Het gaat toch niet om wie iets kopieert, maar om dat de boel gewoon betaald moet worden?

Men kan toch ook gewoon hardware-hooks verplichten op de framebuffer en de audio-socket plaatsen, de bende hashen en periodiek kijken of er iets betaald moet worden? Als er dan ook nog netjes een overzicht hiervan gegeven wordt en een linkje naar afnemers (markt), zodat ik de bende kan betalen wordt ik een stuk blijer. Kan ik gewoon doen waar ik zin in heb.
Wanneer je alles onbeperkt gaat streamen, moet je of voor alles dat de NPO uitzend meteen de wereldwijde rechten betalen (waardoor er veelvoud aan belastinggeld voor betaald moet worden) of je kan niets meer afnemen van externe producenten/ leveranciers.

De NPO is nu vaak juist goedkoop uit (betalen dus minder belastinggeld aan producenten) doordat ze opdracht geven voor een programma en enkel voor de directe uitzendrechten betalen. Het produceren van het programma is dan duurder, maar de producent kan dan internationaal het programma of het format aan de man brengen of bij een streamingdienst als Netflix aanbieden voor extra inkomsten om uit de kosten te raken.

Het wijzigen van copyright wetgeving helpt hier niet bij. Producenten willen dan gewoon volledig door NPO betaald worden, inclusief alle inkomsten die ze internationaal eventueel mis zouden kunnen lopen wanneer NPO de programma's ongelimiteerd beschikbaar stelt.
Het hele mooie eraan is dat er in dezen geen kosten meer misgelopen worden door piraterij. Kopieerbeveiligingen kunnen en worden gewoon gekraakt.

Dan komen dus de kosten bij mij, als kijker, te liggen. Oké, dan kan ik dat óf helemaal zelf betalen, óf er wordt deels meebetaald door reclame-leveranciers en deels nog een beetje belastinggeld.

Misschien kan de copyright-wetgeving omgevormt worden. Ik ben helaas geen rechtsgeleerde, maar er moet toch iets te doen zijn met het concept van “financieel rechthebbende eigenaren”. (PS: oftewel betalen voor kijken en voor gebruiken van intellectueel eigendom)

[Reactie gewijzigd door Some12 op 22 juli 2024 15:02]

"Wereldwijde rechten" klinkt heel eng, maar is het niet, want verreweg de meeste programma's op de PO zijn eigen producties, of producties mogelijk gemaakt met geld van de PO. Rechten om ongecodeerd in de lineaire uitzendingen te mogen zitten is dan een regeltje in het contract zetten.

Is geen sprake van eigen of gefinanceerde producties, dan zijn ze vaak overgenomen van collega publieke omroepen als de VRT, die in hetzelfde schuitje zitten. Doorgaans ook geen drama, omdat die omroepen ook een zo groot mogelijk publiek willen bereiken.

Wat overblijft zijn doorgaans grote productiehuizen en sportuitzendingen waarbij de PO in de onderhandelingen de zwakkere partij is. Een filmproducent als Warner Bros kan wel een hogere prijs rekenen voor een ongecodeerde uitzending. Dat zijn nog steeds geen wereldwijde rechten, want de NPO past behalve DRM ook nog eens geoblocking toe. Maar er kan hier een meerprijs van toepassing zijn.

Wat je in het buitenland ziet is dat bijvoorbeeld op ARD/ZDF nog steeds buitenlandse films en series te zien zijn (veel meer dan op de NPO, want de NPO zendt amper films en buitenlandse series uit), maar de omroep ook wel eens geen rechten kan krijgen. Dat zij dan zo.

Moraal van het verhaal is: Als je de rechthebbenden voor het blok zet, kan er heel veel. Niet alles, soms is een compromis nodig, maar er zijn simpelweg te veel tegenvoorbeelden om mee te gaan in het argument van "wereldwijde rechten moeten kopen".
Je hebt het over de DRM? Ik begrijp ook slecht waarom dat toegepast wordt, er worden geen inkomsten misgelopen want er is al voor betaald met belastinggeld. Ik kijk zelf regelmatige de Noorse publieke omroep (NRK) en daar kan ik gewoon zonder DRM naar kijken. Nog beter, voor de meeste van hun programma's hoef je niet eens in Noorwegen te zijn, dat is ook bij de NPO wel anders. Vreemd.

Op dit item kan niet meer gereageerd worden.