Beta testen door gebruikers is in mijn ogen ook iets wat je niet moet doen. Je bezuinigd op je development team en laat gebruikers het spel (in buggy versie) spelen omdat het jou beter uit komt.
Nee, dat is niet hoe het gaat. Volgens mij halen jullie alpha en beta testen door elkaar.
-
Alpha testen: Testers (maw: "de professionals") doen op basis van het testplan tests. Dat is meestal een combinatie van (automatische) unit-tests, integration tests en (handmatige) functionele tests. Alpha testen = steriel, gecontroleerd testen.
-
Beta testen: Gebruikers (maw: "de leken") spelen het spel (meestal met extra flags bij het compileren zodat de feedback 'completer' is bij errors). Fouten komen in deze fase meestal automatisch in het issue tracking systeem en worden opgelost voor de release. Beta testen = chaos, ongecontroleerd testen.
Dit is wel een aardige vergelijking:
http://www.centercode.com...01/alpha-vs-beta-testing/
Dat is niets nieuws, zo ongeveer ieder professioneel bedrijf doet het al tientallen jaren zo. Er is niets mis met community beta testen - het enige verschil met de "oude" beta testing is dat je de mensen uit de "community" haalt ipv. ze zelf selecteert (in dat laatste geval is het vaak ook vrienden, kennissen, etc, etc). Het voordeel van community beta testing is dat de schaal vaak groter is en er dus *minder bugs* in de uiteindelijke versie komen.
Enige kanttekening die ik hierbij wil maken is het puntje "professioneel bedrijf". Ik twijfel er absoluut niet aan dat Ubisoft professioneel test; ik twijfel er wel aan of Indie game dev op de hoek van de straat professioneel test.
Kortom, zowel alpha als beta testing moet je juist *WEL* doen.
Wat er wel vaak mis gaat in een project is de planning. Vaak kom je daar helaas bij software pas richting het einde achter. Dat lijkt hier aan de hand te zijn - als je uit de planning loopt, gaan er allerlei andere dingen mis die ook gepland waren. Wat je dan kan proberen is kwaliteit (beta testing) opofferen om toch de rest van de planning (marketing, release feestje, events, reclame, etc) te halen waar al reserveringen voor staan (maw: kost veel geld om uit te stellen). Ik vermoed dat dat hier aan de hand is. Is dat een goed idee? Antwoord: nee, die bugs krijg je dubbel zo hard weer terug over een maand en ze doen pijn aan de verkoopcijfers.