Advertorial

Door Tweakers Partners

MLops helpt machinelearning in te passen in industriële omgeving

25-04-2022 • 08:00

1 Linkedin

Slechts 53 procent van de AI-toepassingen in een productieomgeving redt het op de lange termijn, blijkt uit onderzoek van Gartner. Waarom is dat eigenlijk en wat is er nodig om een robuust MLops-proces op te zetten? Thomas Woudsma (Prodrive Technologies) gaat hier op 23 juni 2022 op in, tijdens de Developers Summit. “MLops is een interessante mix van devops, datascience en ML.”

Een wijdverspreid misverstand is dat het implementeren van machinelearning (ML) als verschijningsvorm van artificial intelligence (AI) vergelijkbaar is met het uitrollen van software. Thomas, Systems Architect en Competence Owner AI bij Prodrive Technologies, komt het veel tegen. “Ook binnen industriële bedrijven denken mensen toch snel: ‘We trainen een model en daarna kunnen we het in principe uitrollen in de productie’. Helaas is dat niet helemaal waar.”

Om te beginnen zijn er geen tools om generiek ML mee ‘te doen’, merkt Thomas op. “Dat moet ik wel even toelichten”, zegt hij er direct bij. “Natuurlijk heb je libraries zoals TensorFlow en Keras waarmee je modellen kunt trainen. In die zin is er dus wel ML-tooling. Maar het is allemaal nog aardig low-level, je kunt er niet op een productiewaardig niveau modellen mee uitrollen. Je hebt dan wel zo’n tool, maar nog niet de toepassing voor jouw specifieke doel.” Met name het trainen met de juiste data is een belangrijk element. Een voorbeeld daarvan is een door Prodrive Technologies ontwikkelde applicatie voor automatische visuele inspecties. “Deze applicatie is getraind op specifieke foto’s, om te controleren of er fouten zitten in producten. Maar stel dat een product verandert, of zelfs maar de belichting van de omgeving, dan houdt het model daar in de basis geen rekening mee. Je moet je modellen dus blijven beheren, monitoren en aanpassen.”

Prodrive Technologies

Thomas werkt sinds 2015 bij Prodrive Technologies, waar hij aan de slag ging na zijn afstuderen aan de Technische Universiteit Eindhoven. “Ik studeerde af op beeldanalyse. Bij Prodrive Technologies ben ik begonnen met het automatiseren van defectenherkenning, daarna ben ik software architect geworden.” Het automatiseren van productie, waaronder de inzet van robots en het inrichten van productielijnen, is het vakgebied van Thomas, waarbij hij veel bezig is met het onderwerp computervision. “Visuele inspecties voor kwaliteitscontroles willen we zoveel mogelijk oplossen met ML en deeplearning. Daarvoor hebben we een project opgezet dat bestaat uit twee delen: het eerste is de toepassing zelf en het andere is de tooling - het AI-framework - daarachter. Voor beide ben ik verantwoordelijk. Daarnaast ben ik de competence owner voor AI/ML bij Prodrive, met als doel het uitbreiden van de kennis op dit gebied en het actief op zoek gaan naar nieuwe applicaties voor ML.”

Prodrive Technologies is een elektronicabedrijf dat technologie zowel ontwerpt als produceert. “We zitten in Son, vlakbij Eindhoven. De afgelopen jaren zijn we hard gegroeid, van ongeveer achthonderd medewerkers in 2015 naar inmiddels meer dan tweeduizend. We maken van alles, van medische apparaten tot toepassingen voor de automotive sector, en van elektronica tot sensortechnologie en computing-componenten.” Als Thomas om zich heen kijkt in de markt ziet hij veel suboptimale of zelfs ronduit falende ML-projecten. “Gartner noemt een percentage van 53 procent van de modellen die het op de lange termijn niet redden. Ik denk dat dit wel klopt. Het komt voornamelijk doordat er niet wordt doorontwikkeld. Een model doet het de eerste maanden goed, maar als het op een gegeven moment fouten gaat maken, wordt er niet bijgestuurd. Je hebt een constante feedback-loop nodig. Juist als een model foute keuzes gaat maken en dan ook nog eens gaat hertrainen op die foute keuzes, gaat het van kwaad tot erger.”

Data onder controle

“Beschikbare ML-tooling is nog aardig low level, en niet meteen geschikt voor productieomgevingen”

Met MLops komen de werelden van devops en ML in productieomgevingen bij elkaar. Op ml-ops.org is veel informatie te vinden die voor developers en industriële bedrijven die nadenken over ML heel interessant is. “Daar staan ook de principes waarover je moet nadenken. Heel belangrijk is bijvoorbeeld de standaardisatie van input: hoe ziet je data eruit en waar komt hij vandaan? In het geval van foto’s moet ook metadata juist zijn. Het is goed om dat allemaal bij elkaar te houden, zodat je altijd weet met welke data je hebt getraind. Als je je data onder controle hebt, zijn de volgende stappen het standaardiseren en het automatiseren van het trainingsproces. Heel interessant is dat je bijvoorbeeld automatisch kunt gaan selecteren welke getrainde modellen je steeds gaat gebruiken, waarbij je ook goed weet met welke data ze zijn getraind en met welke parameters. Versiebeheer hoort daar ook bij; net als bij devops in Git heb je bij ML te maken met verschillende versies van modellen. De traceerbaarheid daarvan moet op orde zijn.”

“De ‘human-in-the-loop’ blijft onmisbaar bij ML”

Voor een robuust MLops-proces is naast de standaardisatie van dataverzameling en automatisering van de modeltraining (inclusief versiebeheer) ook constante prestatiemonitoring nodig. “Fouten maken komt voor, zeker als een model gaat trainen met verkeerde resultaten. Het is belangrijk dat je steeds de juiste feedback hebt en dat proces ook met de ‘human-in-the-loop’ inricht; iemand die de fouten er steeds uit kan halen.” Als de ML-toepassing, in het voorbeeld van de visuele kwaliteitscontrole, bepaalde producten afkeurt, moet zo’n keuze bovendien kunnen worden uitgelegd. “Wat je vaak ziet, is dat er twijfels ontstaan bij het uitrollen van ML-modellen in productieomgevingen. Je hebt dan een ‘black box’ die getraind is op foto’s, een model waar veel logica en functies in zitten maar waarvan je de keuzes nog steeds moeilijk kunt verklaren. Dat geeft veel huivering in de fabriek, vooral bij de afdeling quality control. We onderzoeken dit nog, maar we hebben er wel concrete ideeën voor. We zitten onder meer in het Europese project Explain, waarin we samen met andere organisaties op zoek gaan naar de beste AI-explainers voor verschillende toepassingen.”

Prodrive Technologies - Data-annotatietool die gebruikt wordt voor het leveren van feedback aan modellen.

Inspiratie en onderzoek

Thomas is benieuwd naar het publiek tijdens zijn talk in het kader van de Tweakers Developers Summit. “Ik vermoed dat er MLops-mensen bij zitten die al heel ver zijn, maar misschien ook wel software-engineers die er nog weinig mee te maken hebben gehad. Wat ik wil bespreken, is in ieder geval wat er nodig is om een robuuste, productiewaardige ML-omgeving te bouwen. Het zou mooi zijn als ik hier en daar mensen aan het denken kan zetten, bijvoorbeeld over welke onderdelen van het proces al volwassen zijn en in eigen beheer kunnen worden uitgevoerd, maar ook welke ze misschien beter kunnen uitbesteden.”

Bij Prodrive Technologies werkt Thomas samen met verschillende soorten AI-specialisten. “Van specialisten die modellen trainen en kijken welke data daarvoor nodig is, tot datascientists en afstudeerders van de Technische Universiteit Eindhoven die bij ons onderzoek doen. We zijn een projectgericht bedrijf en als we zelf toepassingen ontwikkelen, moeten we blijven innoveren. Daarom zijn we bijvoorbeeld ook blij met de nieuwe master die op de Universiteit Eindhoven begint op het gebied van AI en system engineering. Dat is een mooie combinatie van ML met systemen en processen. Hoe dan ook moeten we naar het hele plaatje kijken. De toepassing is belangrijk, maar dat geldt ook voor de verschillende processen. Dit werk bestaat uit een interessante combinatie van ML, datascience en devops. We hebben echt een breed scala aan competenties nodig."

Meer weten over MLops en benieuwd naar de talk van Thomas? Check hier het programma van de Developers Summit.

Dit artikel is geen redactioneel artikel, maar een advertorial en tot stand gekomen dankzij Prodrive Technologies en Tweakers Partners. Dit is de afdeling binnen Tweakers die verantwoordelijk is voor commerciële samenwerkingen, winacties en Tweakers-events zoals Meet-ups, Developers Summit, Testfest en meer. Kijk hier voor een overzicht van alle acties en events. Mocht je ideeën met ons willen delen over deze vorm van adverteren, dan horen wij dat graag. Hierover kun je met ons in gesprek via [Discussie] Reclame algemeen].

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (1)

1
1
1
0
0
0
Wijzig sortering
Nice, klinkt heel tof allemaal 8-)

Ik ben zelf volledig werkzaam in de (multi-)Cloud / DevOps / DevSecOps wereld en vind het daarom tof om dit te lezen. Echter krijg al het verwijt veel te veel buzzwords gebruik, maar hier mag je de AI en ML buzzer ook nog bijschakelen ;)

Op dit item kan niet meer gereageerd worden.

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee