Hogeschool Fontys test eigen AI-platform met privacyfilters voor studenten

Hogeschool Fontys start een pilot met een eigen AI-platform voor studenten en docenten. Het uitgangspunt van de makers is om 'controle en privacy' te behouden. Het platform van Fontys ICT kan op eigen hardware draaien en biedt gebruikers ook toegang tot api's van modellen.

Het platform beschikt volgens de organisatie over 'veiligheidsmaatregelen' waarmee eventuele gevoelige informatie uit gesprekken vervangen kan worden door placeholders, alvorens het met partijen zoals Azure AI Foundry, Anthropic en OpenAI gedeeld wordt. “Recente discussies over de rol van data en privacy bij chatbots, zoals het advies van SURF om geen gebruik meer te maken van Copilot, hebben ons extra gemotiveerd om dit project te versnellen”, aldus Koen Suilen, een van de bedenkers van het project.

In principe gebruikt het platform een basisset van bekende AI-modellen als fundament, met daarbovenop de opensource-interface OpenWebUI op basis van de MIT-licentie. In een gesprek met Tweakers laten Suilen en medebedenker Ruud Huijts weten dat het platform berust op een 'gateway', een manier om eventuele gevoelige informatie uit gesprekken te filteren. Deze tool is van een derde partij en volgens de makers voldoet dat bedrijf aan alle wettelijke en privacyeisen. "In sommige gevallen, bijvoorbeeld als onderzoekers met een gevoelig onderzoek bezig zijn, worden de gateway en servers van derden omzeild. Modellen worden dan lokaal op eigen hardware gedraaid."

Het platform ondersteunt onder meer 'custom GPT’s, projectbeheer, visualisaties, code-interpretatie en beeldgeneratie'. Wat het concept volgens de makers onderscheidt van vergelijkbare platformen, is dat studenten ook toegang tot api's van de betreffende AI-modellen kunnen krijgen, niet alleen tot de userinterface die de eindgebruiker te zien krijgt. Dit is handig voor studenten van Fontys ICT die zelf een AI-toepassing willen maken.

De komende maanden test een beperkte groep docenten en studenten van de opleiding Fontys ICT het platform. Daarvoor verzamelen de makers gegevens over het 'gebruik, betrouwbaarheid en schaalbaarheid'. De makers kijken per toepassing of er extra privacymaatregelen nodig zijn en behandelen aanvragen van studenten voor bijvoorbeeld api-toegang. Het is nog niet bekend of en wanneer er een bredere uitrol van het systeem gaat komen.

Reacties (17)

[Wayed]

Ligt het aan mij of staat hier gewoon nergens in de tekst wat deze tool is en doet?

[Rackoen]

In een notedop doen we 2 dingen:

• Via OpenWebUI doelgroepgericht diverse modellen ontsluiten, met de mogelijkheden die de geselecteerde modellen en OpenWebUI bieden. Dat komt in de praktijk in de meeste gevallen neer op bv tekst & code generatie, custom GPT achtige functionaliteit met een knowledge base en web artefacten.
• Studenten en medewerkers rechtstreeks API toegang geven tot de beschikbare modellen tbv hun projecten. vaak wordt er bv lokaal met Ollama oid gewerkt, maar als ze willen opschalen of grotere modellen willen gebruiken kunnen ze een key & budget krijgen daarvoor.

(Koen, een van de intiatiefnemers)

[xbeam]

En wat verbeter je nu precies zonder zelf lokaal de LLM te draai?

OpenwebGui is leuk maar dan moet niet als nog ChatGPT gebruiken. Ander schiet er als privacy en Data stommiteit helemaal niets mee op.

[djwice]

Ollama is een tool die offline werkt en waar je modellen in het GGUF formaat in kunt draaien, modellen in safetensors kunnen worden omgezet.

Ollama biedt een API en deze wordt door OpenWebUI geconsumeerd.

Met simpelweg een pull request haal je modellen uit deze lijst https://ollama.com/search binnen.

Dit kan op je laptop en PC. Als je het op een GPU server draait, kun je typisch grotere modellen draaien wat betere kwaliteit van de uitvoer kan opleveren. Ook als de laptop geen krachtige GPU heeft, is het een voordeel als de modellen op de server draaien.

Extra voordeel van een server is natuurlijk dat die standaard geen toegang heeft tot bestanden en credentials die op de pc van de gebruiker aanwezig zijn.

Extra voordeel van de server is natuurlijk dat de beheerder de modellen kiest.

Je kunt ook modellen buiten de lijst hierboven gebruiken:
https://huggingface.co/docs/hub/ollama

Ollama draait modellen in een eigen docker container, zo kan het beheersbaar blijven waar het model bij kan.

Omdat ollama een API biedt, kunnen studenten die in hun software gebruiken zoals bijvoorbeeld zo https://ollama.com/blog/structured-outputs

Of zelfs de llm je eigen API laten gebruiken:
https://ollama.com/blog/functions-as-tools

[Reactie gewijzigd door djwice op 4 april 2025 07:12]

[xbeam]

Ollama ken ik. Dat is lokale AI en draai ik hier ook op mijn Laptop en implementeren we bij klanten.

Welk model draai je bij fonty’s Mistral? Hoop ik (Europese/france ethiek) en hoeveel B? (model grote)

Het artikel heeft enkel over een API en die heeft ChatGPT en wordt vaak gebruikt om openwebui te koppelen.

Waarom zou je huging face gebruiken als je Ollama draait?

[Reactie gewijzigd door xbeam op 4 april 2025 11:42]

[djwice]

Je kunt daar modellen halen die nog niet op de ollama site staan. Maar ik zou het niet doen

Bij overheden hoor ik Mistral, in combinatie met ollama, soms in combinatie met een RAG.

Lokaal is gemma3:1b heel snel en die kun je met parameters een context window van 32k geven.

Uit het artikel lees ik dat Fonty’s je een model laat selecteren, dus wellicht ondersteunen ze ook andere modellen dan Mistral.

[Reactie gewijzigd door djwice op 4 april 2025 17:52]

[xbeam]

Ow sorry, dacht dat jij fonty’s student was die het daar draait en aan opzetten was. .

Ik ben een beetje bang dat ze gewoon de chatGPT api met opwebui gebruiken. Gebeurt best vaak denkende dat enkel alleen de prompts filteren op eigen verboden woorden genoeg is

Jammer dat artikel niet in gaat op de gebruikte modellen enz

[Reactie gewijzigd door xbeam op 8 april 2025 11:19]

[djwice]

Mijn indruk is dat Fonty’s het gewoon op eigen (of gehuurde) servers draait.

[Knetterhard]

Ik weet niet hoe OpenWebGui werkt, maar OpenAI/ChatGPT gebruikt de data niet voor trainingsdoeleinden wanneer het via de API loopt.

[xbeam]

Ok Check. Maar hoe zeker ben je daarvan de ervaring leert dat bijna geen enkele Amerikaanse eerlijke is in de algemene voorwaarden. Vandaag staat er dit en morgen in iets anders omdat het toch handig bleek iets toe doen met die data?

De lijst met Amerikaanse GDPR boetes is niet voor bijna oneindig (veel te lang)

[codeeraapje]

Wat leuk om dit te lezen!

Zelf ben ik namelijk ook met een soortgelijk initiatief bezig op onze MBO maar dat zit nog in de oriënterende fase.

Voor ons lijkt het vooral interessant om lokaal een model te draaien zodat studenten (voor hun kosteloos) ervaring kunnen opdoen met AI integratie in projecten en het leren aanspreken van een API.

Kan/mag je wat kwijt over de details, zoals welke hardware hebben jullie draaien voor de AI?

En heb je eventueel wat tips waar op te letten?

Alvast bedankt!

[Rackoen]

dubbelpost

[Reactie gewijzigd door Rackoen op 4 april 2025 13:57]

[Rackoen]

Als je studenten lokaal op eigen hardware aan de slag wil laten gaan, zou ik qua eenvoud eens kijken naar jan.ai of LMStudio. Heel laagdrempelig en bv Jan.AI heeft de mogelijkheid om ook de modellen die je daar in hebt draaien via een API te benaderen tbv local development.
Over de setup in ons eigen datacentrum wet ik dat er oa A6000 en A100 in hangen en dat je zelf VPS'en aan kan maken met een x behoefte aan compute.
We kijken of we in een latere fase een wat meer technische update kunnen geven wellicht.

[Webgnome]

'veiligheidsmaatregelen' waarmee eventuele gevoelige informatie uit gesprekken vervangen kan worden door placeholders, alvorens het met partijen zoals Azure AI Foundry, Anthropic en OpenAI gedeeld wordt.

[Orangelights23]

Klinkt interessant! Goed om te lezen hoe het onderwijs omgaat met deze nieuwe technologie, aangezien men verwacht dat dit de wereld gaat veranderen. Liever een experiment wat niet slaagt dan structureel achterlopen op de rest.

[enetrati]

Het is een voorbeeld binnen het onderwijs hoe er ook omgesprongen kan worden met AI. Er zijn genoeg onderwijsinstellingen die vrij rigide beeld hebben of gewoon de kennis en kunde niet in huis hebben om er anders mee om te gaan.

[AEIOU]

ik had niet verwacht n oud leraar van me op tweakers te zien vandaag.