Gebrek aan testen bedreigt mogelijk Linux-stabiliteit

Een van de Linux-programmeurs heeft gewaarschuwd voor de toekomst van de stabiliteit van Linux. Door gebrek aan beloning voor de testers zou dit op de lange termijn wel eens een probleem kunnen worden. Andrew Morton heeft dit verklaard op de Linux.conf.au in Australie. Er moet meer aandacht worden besteed aan het testen. Op dit moment wordt er door vrijwilligers veel tijd in tests gestoken. Zij doen dit werk zonder dat er beloning tegenover staat.

Morton heeft ook kritiek op de Bugzilla tool, deze zou het één-op-één communicatie stimuleren. Hierdoor blijven potentiële problemen onbekend binnen de grotere groep. Morton wijdt ook nog wat woorden aan de discussie rond BitKeeper: hij geeft aan geen voorstander te zijn geweest van deze proprietary-software. Het was misschien beter geweest als een groep open-source ontwikkelaars was gaan werken aan een eigen tool.

Reacties (45)

[HarmoniousVibe]

Merk op dat hij het heeft over stabiliteit op de lange termijn. Op korte en middellange termijn is er (nog) niks aan de hand. Zelf denk ik dat het niet in zo'n vaart zal lopen. Immers, Linux is juist door deze vrijwilligers gekomen waar het nu is, en het ziet er niet naar uit dat deze groei gaat stagneren.

Daarnaast zijn er een aantal bedrijven dat geld of andersinds resources in de kernel pompen. Dit zal zeker leiden tot het nog volwassener worden van de kernel. Of de bedrijven ook inversteren in de features die voor de consument interessant zijn is een heel ander verhaal, maar qua stabiliteit zal het er niet op achteruitgaan.

[Verwijderd]

Het gaat erom dat testen niet sexy is. Geef toe: Je contribute naar de community voor de eeuwige roem Voor minder sexy dingen, zoals testen en testen en testen en nog eens testen van de kernel krijg je gewoon geen erkenning. En dus is het niet leuk om te doen, en dus doet niemand het. Geld is wel een oplossing, natuurlijk

hier een quote uit het artikel

A key challenge is the lack of recognition for people who spend hours testing new kernel releases.

"They get no thanks or credit or money... or anything," he said.

@poisonous: Natuurlijk is dat een manier om bugs te vinden, maar, vaak wordt er ook gericht naar bugs gezocht, en dit is zeker nodig als je echt stabiele software wilt.

[sopsop]

Het gaat erom dat testen niet sexy is

Testen is niet sexy voor ontwikkelaars. Dat is wat anders. Testen is namelijk een vak. En wel een vak apart. Testen wordt altijd schromelijk ondergewaardeerd en dan met name door de ontwikkelaars (omdat het vanuit hun oogpunt niet sexy is) en door het management (omdat de ontwikkelaars dat vertellen en omdat het vanuit hun visie een omweg naar het uiteindelijke product is).

Een goede tester is geen ontwikkelaar.

[Verwijderd]

Je hebt gelijk; maar dat is het punt niet. Diegenen die om wat voor reden dan ook ooit als Linux-enthousiastelingen aan het testen zijn gegaan, worden een relatief steeds kleinere groep, omdat de meeste enthousiastelingen uit de ontwikkel-hoek komen. Linux gaat steeds sneller in ontwikkeling, maar de groep testers groeit niet evenredig.

Wat Morton waarschijnlijk wil, is dat testers ook in dienst kunnen of iets dergelijks, net als ontwikkelaars die allen onder contract staan bij IBM, OSDL, RedHat, Novell en dergelijke; op die manier blijft er een gezond evenwicht in testen vs. ontwikkelen, wat ervoor zorgt dat Linux "gezond" blijft.

[PoisonouZ]

Maar wat ik dan niet echt begrijp...

De meeste Linux gebruikers zullen wel meer verstand hebben, anders installeer je het vaak niet. Die melden toch vanzelf wel de bugs die ze tegen komen? Blijf ook rekening houden met de versienummer addicts, die installeren puur om een nieuw versie nummer, dus zullen ze ook beta's vanzelf installeren en dan hun bugs wel melden.

Of zit ik nu weer helemaal fout?

[Superstoned]

like me
ja, als ik een bug tegen kom, rapporteer ik em, maar alleen als ik enigszins weet uit te vogelen wat de fout is - het hoeft de kernel zelf niet te zijn. het is erg lastig, zeker als je geen hacker bent, om uit te zoeken wat er mis is. Vaak kan ik er weinig mee, om eerlijk te zijn.

[kidde]

Veruit de meerderheid van de Linux-gebruikers post geen bugs, en de meerderheid van de distro's kiezen ervoor alleen stabiele software te distribueren, gezien het feit dat de eindgebruikers nou eenmaal stabiele software willen.
Kortom, om nieuwe experimentele versies te testen moet je toch echt zelf actief aan de slag, ze komen zeker niet vanzelf naar je toe. Om dit te veranderen is de kernelnummering aangepast, ipv 2.7 heb je nu 2.6.x.y, en als y oneven is gaat het om een experimentele versie.
Mijns inziens heb je er nog niks aan, want de distro's laten de experimentele versies nog steeds links liggen, en de nieuwe nummering zorgt alleen maar voor verwarring, mensen die het niet weten kunnen per ongeluk een experimentele versie downloaden terwijl ze dit helemaal niet willen, en alleen maar een grotere afkeer van testen krijgen.

[Verwijderd]

Testen is meer dan toevallig een bug vinden en een fout rapporteren. Testen houd in dat je doelbewust en systematisch op zoek gaat naar potentiele bugs en dat je bij elke kernel update weer alle potentiele bugs gaat testen (en niet alleen kijkt naar of iets waarvan je wist dat het kapot was nu wel werkt)

Testen kost dan ook heel veel tijd.
Iets simpels als

Geef mij de waarde z(=x/y) als x<=7 en x>= 2, y>=1 of y<=-1 In het geval x >7 dan z =1, x<2 dan z = -1, -1<y<1 dan z=0. Als -1<y<1 en (x>7 of x<2) dan z=100

is al heel lastig testen. Allemaal leuke >=, <= tekens en het delen door 0. Moet je in theorie allemaal afgaan.
Bedenk nu dat een programma duizenden regels code heeft en je als tester geen flauw idee hebt hoe het geprogrameerd is.

[LollieStick]

@kidde

incorrect. 2.6.11.7 is stable terwijl het toch een, volgens jou, oneven nummering is

[Ghost(NL)]

Ja dit is mischien wel de achilleshiel aan open source in het algemeen en linux in het bijzonder. Wel jammer maar ik ben bang dat dit alleen maar erger wordt naarmate het project groter en groter wordt.

Ik heb het idee dat doordat "iedereen" aan de source werkt het testen redelijk arbeidsintensief is zonder dat dit echt gestructureerd gebeurt. Een update van deel x, testen maar. Dag later, update van deel y, weer testen of het nieuwe deel x wel werkt met het nieuwe deel y.

Verder is natuurlijk het continu onderhouden van oudere kernels, waarvoor niets minder dan veel lof natuurlijk, een behoorlijke aanslag op de beschikbare capaciteit.

Ik hoop dat ze er iig iets aan gaan/kunnen doen om te zorgen dat linux gewoon door kan gaan.

Ik gebruik Windows en Linux ( Of Linux en Windows ) met zeer veel plezier naast elkaar en ze bieden samen voor mij een ideale situatie. Los van elkaar is het toch niet helemaal compleet voor mijzelf.

[n4m3l355]

het is de achillushiel van linux dat het OOS is? kan aan mij liggen maar tevens onder windows heeft men hetzelfde probleem dat het getest wordt door de gemeenschap. ik denk ook als je een tijdje terug de fouten lijst van zowel windows als linux bleek dat er in linux minder fouten op hetzelfde tijdsbestek gevonden worden. misschien dat dit afhankelijk van het aantal gebruikers echter als je dan kijkt naar het aantal kritieke fouten blijkt dat MS juist de koploper is. maw op het moment is linux nog koploper.
ik ben juist bang als men fouten gaat waarderen met geld dat het juist de gemeenschap tegenwerkt omdat diegene die niet betaald worden dan ook zoiets hebben van 'waarom zoek ik uberhaubt als ik niet erkent wordt'

[El Cid]

Vrijwilligers doen vaak wat ze willen doen, betaalde krachten doen wat ze moeten doen.

En helaas is dit probleem bij de ontwikkeling van OSS veel breder dan testen alleen.

[Rembert]

Bugzilla tool stimuleert 1-op-1 communciatie? Ik ervaar bugzilla toch meer als een forum achtig systeem waarbij bugs worden toegewezen aan specifieke personen. Ik ben er altijd van uit gegaan dat bij de fix van een bug of bij escalatie van een bug, er altijd een terugkoppeling werd gedaan naar de sourcetree.

Inderdaad is het vaak erg complex om op jacht te gaan waar de door jou waargenomen bug nu werkelijk wordt veroorzaakt. Bij OOo begin ik er niet eens aan. Maar met sommige andere pakketten ga ik wel op zoek en soms weet ik wel de plek op de zere vinger te leggen. En die probeer ik dan naar de juiste persoon terug te communiceren, in de hoop dat de fix zijn weg weet te vinden naar de sourcetree.

Het lijkt me dat testers wel beter beloond mogen worden. Het is een behoorlijk pittige klus om iets systematisch te testen. Als je een server inzet op een mission critical spot, dan lijkt grondig testen me toch wel belangrijk, of het nou windows of linux betreft zou niet uit mogen maken - ik neem daarom ook aan dat ook het microsoft windows os te lijden heeft onder het gebrek aan testen (intern testen is een goed idee, maar we weten allemaal dat in de boze wereld buiten de gebouwen van microsoft pas de werkelijke test plaatsvindt).

[_JGC_]

Als package maintainer kan ik dit zelf ook wel merken. Je draait tijdens de beta/RC cycle van een gnome release aan een stuk door prerelease packages uit, om, zodra dat ding stable is, dat ding meteen te kunnen releasen zonder al te veel package bugs.
Hele testperiode, je krijgt misschien 1 of 2 bugs...
Vervolgens los je die op en gooi je de boel in je normale branch... Ineens barst de hel los, blijkbaar ben je zelf de enige die aan het testen is geweest en test je alleen die dingen die je zelf gebruikt.

Persoonlijk denk ik ook dat de achtergrond van de linux gebruiker hier veel mee te maken heeft. De gemiddelde linux gebruiker submit geen bugs, die probeert gewoon iets en als het niet werkt, proberen ze wel wat anders.
De professionele gebruiker gebruikt een conservatieve distributie als Redhat Enterprise Linux en hebben helemaal niets te maken met bugs in upstream software: ze draaien 7 jaar lang dezelfde software waarbij alleen evt bugs naar Redhat gereport worden. Al dat mooie nieuwe spul blijft ongetest door deze toch wel grote groep gebruikers.

[Verwijderd]

het blijft een eeuwig terugkerend probleem natuurlijk , je kan testers betalen maar dan krijg je altijd te maken met een niet-betaalde tester en zo ontstaat ruzie...

[Verwijderd]

niet betaalde testers? je doet tog gewoon dat je pas betaalt wordt als je een bug vind. net zoals schat zoeken je hebt je beloning pas als je de schat hebt gevonden en dan gaan mensen automatisch wel testen als de beloning hoog genoeg is

[twan1]

Inderdaad..Dat klinkt naar wat The Mozilla Foundation doet met haar security bugs..

[Verwijderd]

...en zo ontstaat ruzie...

Ach welnee joh, of vechten de betaalde en niet-betaalde ontwikkelaars de hele dag met elkaar? Nee joh; de besten, zij die het hoogste in aanzien staan, krijgen de banen het eerst, en de rest heeft daar bewondering voor en vindt 't verdiend. En doen hun best om ook ergens aan de slag te kunnen.

[Verwijderd]

Tja. Als ze de testers gaan moeten vergoeden krijg je een probleem.
Ik zou momenteel enkel voor de prijs naar Linux overschakelen. Mijn windows XP workstation is uiterst stabiel en meer dan snel genoeg. Met Linux zou ik op dat vlak geen vooruitgang boeken. In het bijzonder omdat ik van Linux minder kennis heb en het maanden zou vergen voor ik mijn systeem even ver kan optimaliseren dan ik nu in 2 dagen met Windows doe.
Maar de prijs : een windows licentie kost me €150 (momenteel veel minder want ik ben student). Linux kan ik in principe volledig gratis krijgen (een niet commerciële distro). Dat maakt op pakweg 4 jaar €37.5/jaar.
Als Linux tester beloond moeten worden gaat er vaak dat bedrag per jaar op tafel moeten komen en kan Linux (de kernel) volgens mij niet meer gratis worden aangeboden zoals nu het geval is.
Toen Linux nog klein was (lees eenvoudig) was het mooi. Er waren veel enthousiastellingen. Maar dat is een uitstervend ras en maar weinig jongeren zien het zitten om aan een dergelijke hoeveelheid code te beginnen. De programmeurs die er geschikt voor zijn worden door grote bedrijven ingelijfd met een rijkelijk salaris. Als ze dan hun vrije tijd aan een sociaal leven willen spenderen ipv aan een open bron project blijft er helaas weinig potentieel over.
Op zich vind ik het heel jammer. Maar de prijs van een Linux distro zal even hoog komen als dat bij Microsoft of Apple producten het geval is. Let wel : Microsoft Windows uitgerust met Open Office oid.

[kidde]

Als Linux tester beloond moeten worden gaat er vaak dat bedrag per jaar op tafel moeten komen en kan Linux (de kernel) volgens mij niet meer gratis worden aangeboden

??? Niet mee eens.

Linus en Andrew, en het merendeel van de kernel-ontwikkelaars worden momenteel al betaald, en de bron is nog steeds gratis.
Bedrijven als IBM, Novell en Red Hat maken op het moment winst met Linux (vooral voor het helpen van bedrijven), en kunnen een hoop meer winst maken door een stabielere versie te leveren (dat is waar bedrijven op Linux gebied 't meest om vragen). Kortom, het is een investering die meer klanten (bedrijven) dus geld oplevert, en dus geen geld kost, dus hoeven de kosten van de bron niet omhoog.
Om niet de goodwill van de rest van de community te verliezen, de kernel is immers ook gratis naar hun toegekomen, zullen ze mijns inziens zeker proberen de boel gratis te houden.

[Verwijderd]

Nu is het mooi meegenomen voor de bedrijven die jij noemt dat er een hoop mensen er (gratis) voor zorgt dat de code op stabiliteit, veiligheid,... getest wordt. Mijn vraag is alleen of het op termijn kan blijven duren.
Allerhande open bron projecten kampen momenteel met een tekort aan ontwikkelaars/testers.....

[Olaf van der Spek]

Als Linux tester beloond moeten worden gaat er vaak dat bedrag

Beloning is noet equivalent met geld. Bijvoorbeeld een vermelding in de credits is ook een beloning en voor de programmeurs werkt dat uitstekend.

[Verwijderd]

Zo had ik het nog niet bekeken.
Mijn computerkennis beperkt zich dan ook tot CAD tekenen en Windows optimaliseren voor mijn eigen gebruik.
OK nu kan ik ook wel met veel andere software pakketen om (waaronder ook Linux) maar daar is mijn kennis beperkt tot het hoogst noodzakelijke.
Heeft het ook niet wat te maken met het feit dat je zo weinig resultaat ziet als tester/ontwikkelaar? De good-will van 3the party bedrijven is vaak ondermaats waardoor het me niet onlogisch lijkt dat sommige mensen de moed verliezen..... Zelf heb ik een hele tijd gezocht om Autocad op een min of meer fatsoenlijke manier via Wine te draaien. Maar sinds Autodesk met versie 2004 van hun producten naar .net is overgeschakeld is het een bijna onmogelijke zaak geworden op een stabiele en snelle manier Autocad te gebruiken in Linux

[Akino]

Tja......vroeger toen er nog weinig MS gebruikers waren viel het allemaal wel mee,hoe meer er bijkwamen,des te meer ellende kwam er bij.
Tja....t'is zonde dat onze pinguin misschien het zelfde lot boven z'n hoofd hangt.
Maja,meestal wel zo,als iets door de massa ondekt word,na jaren negeren,is er meestal de lol al snel vanaf.

[Superstoned]

het verschil voor de pinguin is dat hoe meer mensen het gebruiken, hoe beter het word. bij windows is dat andersom - zodra ze een (bijna) monopoliepositie hebben, is de innovatiedrang weg. Bij linux houd je altijd al die verschillende distributies (daar je altijd een fork kunt maken is een monopolie niet mogelijk - daar is de GPL ook voor ontwikkeld).

[kimborntobewild]

MS ziet het vijandig overnemen van bedrijven als innovatie. En dat gaat totnutoe héél goed (voor MS, dan).

[well0549]

Ik denk niet dat MicroSoft voor niets 20.000 man op het testen van bijvoorbeeld Whidbey zet. Ik heb er ooit es wat over geblogd waarom MS het pleit uiteindelijk gaat winnen....

zie http://bloggingabout.net/wellink/archive/2004/12/17/1726.aspx

[kidde]

Hopelijk vind je 't niet erg als ik er commentaar op lever:

Ten eerste is het zo dat in de plaats van testen, het geld steeds meer naar volledig ongeteste nieuwe ontwikkelingen gaat, zoals .NET. Dat VB6 niet meer ondersteund wordt is hier een voorbeeld van.
Dit is een interne machtstrijd in Microsoft zelf:
-T ene kamp wil de 'huidige' software zo goed mogelijk testen, en besteed er, zoals jij waarschijnlijk bedoelt, zelfs tijd aan om als er in 3de partij software een bug zit, Microsofts software zo te fixen dat de bug 'omzeild' wordt.
-T andere kamp heeft lak aan 3de partij software, en denkt: geld zat, we kunnen alles zelf, we geven de huidige programmeertalen op en zetten in op .NET, dat alle andere mensen nu een nieuwe programmeertaal moeten leren hebben we lak aan.
Het tweede kamp is op het moment aan de winnende hand, kijk maar naar Longhorn, en de korte ondersteuningstermijn voor bijv. VB6, Win98 en WinNT, en de switch naar .NET (wat feitelijk een aantal nieuwe programmertalen zijn).

Uit je blog:

I don't think the open source community can make such an investment in new products.

Nee, de community niet, maar IBM maakt MEER winst dan MS. IBM is er zeer bij gebaat dat 't goed gaat met Open Source, omdat het een groot deel van hun inkomsten bepaald.
Verder betalen op dit moment de Koreaanse, Chinese en Japanse overheid ook geld aan 't ontwikkelen van Linux (Asianux), dus kortom, de community investeert niet, bedrijven en overheden doen dat.

edit: typo's
edit2: Om nog even op het eigenlijke onderwerp terug te komen, anders wordt het nogal offtopic, precies dezelfde strijd van stabiliteit versus nieuwe features is ook binnen Linux gaande.
Veel bedrijven willen al hun drivers voor bijzondere gadgets in de LinKernel opgenomen hebben, terwijl het andere kamp dat niet wil omdat 't de kernel onstabiel maakt, zij willen niet allerlei extra features maar juist gewoon stabiliteit.

[Digihans]

Wellicht zie ik zaken in een ander perspectief.

Testen van linux, de kernel zelf dus, gaat toch iets anders dan commerciele producten, waar fabrikant X een grote batterij aan testers ter beschikking hebben die functionele of regressie testen uitvoeren enerzijds onder druk van commerciele afdeling die het produkt gisteren, zo niet vorige week al op de markt hadden willen zien, en anderzijds de ontwikkelaars die vinden dat de test-specificaties op een andere manier geinterpreteerd moeten worden (been there too many years, seen both sides..)

Echt belangrijke zaken, die een ieder aangaan (proc of mem management) worden echt gedetaileerd regel voor regel gereviewd. Half goden zoals Alan, Dave, Andrea en de rest zullen echt geen bagger naar "boven" aanbieden.
Verder, de kernel bestaat uit duizenden (en de rest) kleine modules die door kleine groepjes getest worden. Zelf zat ik ooit eens in een groepje dat de isdn-drivers voor sparc-hardware testen.

Nee, testen wordt er wel gedaan, dat is het probleem niet.
De betrouwbaarheid van somige testen is wat anders. Als hardware producenten niet (op tijd) specs publiceren, en drivers gebaseerd zijn op reversed-enginering ben je nooit 100% zeker of iets correct werkt, of je binnen de specificaties ben gebleven.

Hans