OpenAI introduceert ChatGPT Gov voor overheidsinstellingen

OpenAI heeft een variant van ChatGPT aangekondigd die specifiek ontwikkeld is voor overheidsinstanties. ChatGPT Gov draait in Microsoft Azure en ondersteunt diverse beveiligingscertificeringen.

De software is gebaseerd op ChatGPT Enterprise en biedt toegang tot het GPT-4o-taalmodel. Dat laat OpenAI weten in een blogpost. Overheidsinstellingen kunnen de software zelf hosten in Azure Commercial Cloud of Azure Government Cloud via Microsoft's OpenAI Service. Dit moet het makkelijker maken om aan interne beveiligingseisen te voldoen. Uit testgegevens blijkt volgens OpenAI dat meer dan 90.000 Amerikaanse ambtenaren bij 3.500 overheidsinstanties ChatGPT regelmatig gebruiken. ChatGPT wordt onder meer gebruikt voor onderzoek, administratieve taken en als programmeertool.

Reacties (45)

[Pasteis]

Ik vind dat we als Nederlandse inwoner meer recht moeten krijgen op wat er met onze data gebeurd en hoe het verwerkt wordt door overheden.

Ik wil niet dat overheden mijn data in AI stopt of in een non-EU cloud. Helaas is dat laatste al in gang gezet, en het eerste zeer waarschijnlijk ookal door nietswetende ambtenaren

[Frituurman]

Zelf werk ik voor een ZBO en ik kan je vertellen dat de regels ontzettend strikt zijn. Zo worden er hooguit POC's gedaan met dummy data als het om AI gaat en is het letterlijk verboden om in een non-EU (sterker nog, alleen Noord- en West-Europa wordt als veilig beschouwd) cloud te werken. Voor elk iets, hoe klein ook, moet een GEB (Gegevensbeschermingseffectbeoordeling) worden opgetuigd, waar naast knappe koppen qua techniek (ja, die hebben we bij de overheid) ook privacy, security en JZ naar moeten kijken, om vervolgens toestemming te vragen bij de Autoriteit Persoonsgegevens. En als die beoordeling (na maanden aan hoor en wederhoor) niet ondubbelzinnig positief is, dan gaat het hele ding (of het nu een POC is of iets groters) niet door.

[familyman]

Gegevensbeschermingseffectbeoordeling is echt een schitterend scrabble woord

[Snow_King]

Ik ben het niet met je eens. Gemeentes gebruiken gewoon MS365 en dat staat bij Microsoft. Mag dan in een datacenter in de EU staan, maar dat is met de Cloud Act ook een wassen neus.

Papieren werkelijkheden zijn we heel goed in, maar de praktijk zegt gewoon dat mr Trump er bij kan als hij wil.

[familyman]

Nog los van erbij kunnen, die stekker gaat er echt wel uit (of wordt geknepen), als hij dat wil.

In mijn ogen is er geen enkele beoordeling die tot ok kan leiden, als we een risico toevoegen van een buitenlandse (niet-EU) partij in de uitvoering van onze autonomie.

Het wordt (zeer) hoog tijd dat we, tegen onze gebruiken in, een eigen cloud oplossing in de lucht brengen.

Het wordt vanzelf een standaard als alle overheidsapparaten in de EU erop over gaan.

[Frituurman]

De CLOUD-act is natuurlijk geïmplementeerd nadat een hoop overheidsorganisaties al 'over' waren naar 365. Dat blijft eens te meer ook een reden dat het devies is dat er in Excel of andersoortige Office-programma's géén privacy gevoelige data mag staan (maar dat was vóór de CLOUD-act ook al het geval). Voor allerlei andere technologieën wordt (bewust en eigenlijk min of meer verplicht) geen gebruik gemaakt van de producten van Amerikaanse bedrijven. Mochten de bedrijven waar we wél gebruik van maken ooit in Amerikaanse handen vallen (of Chinese? Russische?), dan is het in elk geval fijn om te weten dat we met Europese software en zelfgebouwd maatwerk géén tot de persoon herleidbare gegevens 'in de cloud' hebben staan, waarmee we voldoen aan de AVG.

[Oon]

In principe heb je dat recht, je kunt gewoon bij iedere overheidsinstantie een verzoek tot inzage van je gegevens doen.
Of dat verzoek beantwoord wordt met een volledig overzicht is een tweede, maar je hebt wel onder de Europese GDPR en Nederlandse AVG het recht om dat in te zien.

Zie https://www.autoriteitper...-privacyrechten-gebruiken

[Lisadr]

Veel onderdelen binnen de overheid (zoals kleinere gemeentes) hebben zelf geen idee wat er met onze data gebeurt en hoe het verwerkt wordt. Het is niet ongebruikelijk dat een ambtenaar 1 dag per week de gehele security afdeling is en een andere ambtenaar 1 dag per week de gehele privacy afdeling is.

[hoeksmarp]

Hoe zie je dat voor je? Dmv een wet en een toezichthouder?

[slijkie]

Herkenbaar, ik wil dat mij data hier in Noorwegen ook lokaal staat en niet in de cloud, en ook niet in de EU.

[MehHuntah]

Privacy en AI learning zijn 2 compleet verschillende dingen..

Wat nu heel hard aan het gebeuren is, is dat AI niet getrained wordt in al die mooie dingen die Nederlanders fijn vinden, omdat ze onze gegevens niet mogen gebruiken, daardoor krijgen ze een verwrongen beeld van de mensheid, en denken ze dat de mensheid alleen uit Amerikaanse ideeen en gewoontes bestaan.. Dus ze leren een onnodig beperkt beeld van de werkelijkheid.

Dus uiteindelijk schieten we ons zelf in de voet. Want we gebruiken de AI tools wel waardoor we door de antwoorden van de LLM's steeds Amerikaanser gaan denken.

[familyman]

Hier maak ik me ook zorgen over. Dit, icm de context die de LLMs wordt meegegeven door de Big Tech die ze uitrolt.

Het is volgens mij een groot risico, dat deze partijen, zichtbaar of onzichtbaar, sturing kunnen geven aan de toon van de antwoorden.

Alles zonder controle, maar we gaan er wel als schapen achteraan.

[brammetje1994]

Je bedoeld de AVG en AI Act?

[NCSmits]

Bij TNO wordt momenteel aan een eigen, GPT-NL model gewerkt, waarop nationale overheidsdiensten hun eigen platformen kunnen bouwen. Dit lijkt me een betere optie voor NL'se overheden. Moet dit jaar beschikbaar komen.

[Reactie gewijzigd door NCSmits op 28 januari 2025 20:18]

[djwice]

CGI heeft ook al zo'n model dat draait in de data centra van CGI in Nederland, maar ook kan draaien indien gewenst in een data centrum van de overheid zelf.

[Julianvvz]

Hoe is GPT-NL te vergelijken met open source varianten zoals DeepSeek V3/R1 of Llama 3.2? Het gaat hier om privacy toch, en niet per se de performance op het gebied van 'nederlandse' context? Waarom niet de beste open source modellen draaien i.p.v. zelf wat maken?
Edit: Net even gekeken op de website van GPT-NL. Nergens staat iets over benchmarks met andere modellen. Dan verwacht ik er nog niet veel van. Hun selling point is het leren op goede Nederlands data en context. Dat lijkt me een goed streven!

[Reactie gewijzigd door Julianvvz op 29 januari 2025 14:47]

[Dick Ravestein]

Wat vind je dan van de EU digitale ID + wallet en de CBDC?
Je zegt "niet in een non-EU cloud" maar er zijn genoeg landen binnen de EU die uw en mijn data ook kunnen "misbruiken"
Zeker als Oekraïne daar nog bij komt (nog niet zo lang geleden "het meest corrupte land" genoemd).

[Reactie gewijzigd door Dick Ravestein op 28 januari 2025 19:58]

[GameNympho]

Wat vind je dan van de EU digitale ID + wallet en de CBDC? Grootste farce en dan ook nog door ene Maxima vertegenwoordigd en alle economen zeggen duidelijk, niet doen.

Oorlog met Oekraïne, hypocriet gedrag van weer Amerika en ene mevr. Harris
Rusland wil een bepaalde stad terug hebben, en rara wie dat wil, hij staat achter Poetin met een hoge tulband/muts en dan het economische spel erachter, rara van wie dat afkomt (kuch kuch Amer kuch ika)

Cloud? Overheidsdata/bankzaken is eigen hand, dus server hier in NL opzetten voor dat.

De economische oorlog die nu gaande is, laat zien wat men met je voorheeft.

Edit; cursief

[Reactie gewijzigd door GameNympho op 28 januari 2025 22:32]

[mlt]

Nou, ik vind het maar doodenge ontwikkelingen allemaal. De concurrentiestrijd om AI is sinds gisteren ineens in alle hevigheid losgebarsten. Deepseek zal zich nog moeten bewijzen maar duidelijk is wel dat deze zeer goed opgewassen lijkt te zijn tegen ChatGPT. Met als Ultieme USP: Het is gratis ! Eat that OpenAI, nVidia, Microsoft.... en de rest !

Zijn het toch weer de Chinezen die het flikken, en de timing is ook uitstekend. 1 week na aantreden van een nieuwe president in Amerika die o.a. op AI gebied flink wil investeren. Ik vrees dat Amerika nu al achterloopt. De reactie van Amerika zal zonder twijfel zijn dat er nog véél méér geld en middelen naar de AI industrie gaat, dat hebben ze in de 'Spoetnik tijd' ook gedaan met ruimtevaart onderzoek en ik denk dat dat met AI weer gaat gebeuren.

Oftewel: AI gaat straks onhoudbaar worden, voor zover dat al niet het geval is. En Europa loopt hopeloos achter de ontwikkelingen aan. Wetgeving maken tegen Big-Tech praktijken is ontzettend moeilijk en tijdrovend. Tegen de tijd dat er iets van wetgeving bestaat is de (tech)wereld alweer helemaal veranderd en zijn de wetten reeds verouderd.

Wij moeten echt uitkijken dat we geen slachtoffer worden van het AI geweld en de concurrentiestrijd tussen de VS en China. Data/Informatie is de nieuwe goudmijn, en er zal de komende tijd nog veel meer data gedolven gaan worden. De AI machine moet leren...leren...leren... Waar komt die data vandaan ? Vul maar in, ik denk dat niks te gek is om op te noemen. Camera's en microfoons van Chinese makelij, netwerkapparatuur, smartphones, goedkope tablets... alles van AliExpress en dat soort Chinese megabedrijven. Om nog maar te zwijgen van inbraakacties door vreemde mogendheden op Nederlandse overheidsinstellingen en bedrijven. Zero Day exploits bestaan gewoon.

Ik zie het somber in, Europa zal heel snel met een concurrerend systeem op de proppen moeten komen om dit het hoofd te bieden. Dat is mijn ogen de enige manier. Ik besef me dat dat een hoop geld, inspanning en bloed en zweet en tranen zal kosten. Ik denk dat het onontkomelijk is als we stand willen houden in Europa.

Gewoon geschreven door HI (Human 'Intelligence' :-) )

[Emielio]

Nou, ik vind het maar doodenge ontwikkelingen allemaal. De concurrentiestrijd om AI is sinds gisteren ineens in alle hevigheid losgebarsten.

Nou die concurentiestrijd vind al minstens een jaar plaats in alle hevigheid!! Het stond alleen nog niet zo op nu.nl omdat tot nu toe nog geen slecht geinformeerde beleggers met panische reacties kwamen op een overhyped model.

Deepseek zal zich nog moeten bewijzen maar duidelijk is wel dat deze zeer goed opgewassen lijkt te zijn tegen ChatGPT. Met als Ultieme USP: Het is gratis ! Eat that OpenAI, nVidia, Microsoft.... en de rest !

Deepseek is leuk, maar de prestaties zijn nog niet zo fantastisch hoor! Zeker in andere talen is het behoorlijk matig. Ik heb bij mij thuis de lokale modellen Deepseek R1 vergeleken met een evengrote QwQ model, en QwQ dat al enkele weken oud is, presteert met het zelfde aantal parameters veel beter in het Nederlands.

[wizzkizz]

Een distilled model met 7B of 8B parameters gebruiken om het grote model met 641B parameters af te kraken is....een beetje kort door de bocht.

Om het grote model thuis te draaien heb je wel een redelijke setup aan GPUs nodig, maar de online gehoste versies zijn dan weer relatief goedkoop om te gebruiken.

[Emielio]

Nee, ik vergelijk precies even grote modellen. Dus een 32B variant van de Deepseek R1 met een QwQ 32B variant. En dan wint de QwQ met flag en wimpel. Even snel, maar QwQ heeft veel betere antwoorden, en kan gewoon serieus Nederlandse teksten schrijven, waar Deepseek R1 echt heel slecht nederlands spreekt. Het 32B R1 model, schrijft slecht Nederlands, en de 7B variant schrijft in totale brabbeltaal.

Ik kan dus met QwQ 32B veel betere resultaten krijgen dan met R1 32B, op de zelfde hardware met de zelfde snelheid. (Mac Mini M4 Pro nonbinned 64GiB, 9tok/sec)

[dmantione]

Ze zijn even groot, maar wel nog gereduceerde modellen, de on-line versie spreekt prima Nederlands. Bovendien snap ik je punt niet: Omdat Deepseek open-source is, kan een klein model eenvoudig hertraind worden: Het unieke van Deepseek is niet het alleen model zelf, maar de techniek waarmee het getraind is. Voor een overheid is het nu een koud kunstje om een eigen model te gaan draaien.

Tot slot, de kwestie is bij Deepseek bekend, er staat op hun website dat ze het nog gaan verbeteren.

[MennoE]

Ik zou niet weten waarom je dit nieuws somber vindt. Het is juist goed nieuws voor Europa. Deepseek heeft duidelijk gemaakt dat je geen supertech nodig hebt om met de AI race mee te doen. We hebben dus prima kansen. Zie ook het artikel dat hierover in het FD verscheen vandaag: 'AI-bommetje DeepSeek mogelijk een zegen voor Europa: ‘rekenkracht blijkt niet bepalend’' https://fd.nl/tech-en-inn...20250128&utm_term=app-ios

[mlt]

Ik moet het nog maar zien of Europa hier de vruchten van gaat plukken. De samenwerking tussen de lidstaten van de EU is volgens mij nou niet dusdanig dat zo'n project snel van de grond gaat komen. Daar heeft China of de VS geen (of minder) last van, Europa is wat dat betreft te versnipperd. Een internationale trein laten rijden kost al jaren om voor elkaar te krijgen, zelfs over bestaand spoor.

Het zou al fijn zijn als we een centrale Europese Cloud oplossing zouden hebben, waar data zeker weten veilig opgeslagen is ónder EU wetgeving. Er zijn er wel een paar, maar die halen het nooit bij de grote Amerikaanse Cloud providers. Zowel bedrijven als overheden kiezen voor hun Cloud zaken toch echt een grote speler uit. Gaat nog wel even duren voordat gevoelige data gegarandeerd in Europa blijft. Een Europees Cloud systeem is in mijn ogen de enige manier om garantie af te kunnen geven op ónze data.

Wat mij somber stemt is het idee dat het buiten(EU)land nu zo hard gaat met concurrentie op AI, die allemaal steeds dieper en verder getraind worden. Die honger kan maar op één manier gestild worden: Data, data en nog eens data. En die data komt óveral vandaan, en ja, die geven we voor een groot deel helemaal zelf uit handen, maar data die jij toevertrouwt aan je gemeente waar je in woont...daarover heb jijzelf géén zeggenschap waar dat terecht komt.

Europa loopt al achter, ik vrees dat dat zo blijft als er niet een radicale verandering plaatsvindt in de houding van de lidstaten.

En precies nu staat deze headline op Tweakers, dat stemt me dan weer vrolijk : nieuws: Nederlandse overheid en bedrijfsleven beginnen overlegplatform chipin...

[Reactie gewijzigd door mlt op 29 januari 2025 15:22]

[Onileva]

Gratis is alleen niet mogelijk. Meestal ben jij of je data het product. Wat de betere optie is, is dan de vraag...

[djwice]

Dat is wat kort door de bocht. Gratis kan wel. Doe ik ook. Doet Meta ook (Llama) Doet Google ook (Gemini) etc.

Soms willen mensen gewoon de balans in de wereld veranderen. En jonge mensen aan iets laten werken waar ze enthousiast van worden. Die paar miljoen maakt voor een miljardair echt niet uit. Afgelopen jaar groeide kapitaal met bijna 40%.
Als je daarvan nog geen 1% inzet in dit project, voelt de eigenaar daar echt niet van, maar ziet wel meer blije en enthousiaste mensen op de wereld. Dat is echt veel meer waard dan die paar miljoen euro.

[Onileva]

Misschien ben ik wel een pessimist maar zulke grote multinationals en miljardairs doen het echt niet alleen voor een betere wereld. Uiteindelijk moet iedereen brood op tafel hebben, moeten aandeelhouders tevreden gesteld worden, of de eigen ego gestreeld worden.

Ik hoop wel dat de concurrentie op AI-vlak zo actief is en blijft want daar komen alleen maar betere producten uit voort.

[djwice]

Hangt af van het testosteron niveau wellicht en de culturele omgeving ook.

Er zijn mensen die zo veel geld hebben dat er nooit meer nagedacht hoeft te worden over brood op de tafel. En ook niet of ze tien of tweehonderd sport auto's of super cars kopen.

[Reactie gewijzigd door djwice op 29 januari 2025 18:12]

[Skear]

Hier moet Europa helemaal niet in willen concurreren. Daar zijn we te laat mee en is een onhaalbare inhaalslag, gemiste boot. Helemaal gezien het geld dat de VS erin pompt en de Chinese efficiëntie.

We kunnen minstens de vruchten plukken van de gaande machtsstrijd. En zelf Europese of lokale varianten ontwikkelen, via opensource projecten... zoals bijvoorbeeld Deepseek. Die zullen technologisch dan wel een stapje achterlopen, maar het ligt er maar aan hoe je het inzet. En hoe je het reguleert.

[armageddon_2k1]

Beste inwoner,

Wat SUPER dat je contact met ons opneemt! Wij waarderen het enorm dat je de tijd neemt om jouw situatie met ons te delen. We staan klaar voor iedereen – ongeacht achtergrond, identiteit of persoonlijke omstandigheden – en luisteren graag naar jouw verhaal. ✨

Wij zijn altijd blij om onze inwoners te helpen, dus superbedankt dat u ons laat weten hoe u over de boete denkt. Helaas moeten we u meedelen dat de boete écht betaald dient te worden. 💰✉️

Geen zorgen, we staan voor u klaar als u nog vragen heeft! 🙋‍♂️🙋‍♀️ Wij adviseren u wel om het bedrag zo snel mogelijk te voldoen om extra kosten te voorkomen. Zo houden we het voor iedereen gezellig en eerlijk! 🌈✨

Mocht u toch niet overtuigd zijn, of denkt u dat er een fout is gemaakt? Dan kunt u altijd een bezwaar indienen. Wij beloven uw bezwaar met de grootst mogelijke glimlach te beoordelen! 🤗

Heel veel succes en bedankt voor uw medewerking!

Leuker kunnen we het niet maken, wel kleurrijker! 🌈✨

Met enthousiaste groet,
Kees de AI Inspecteur
Afdeling Handhaving & Incasso
Gemeente [X] ✨

[Reactie gewijzigd door armageddon_2k1 op 28 januari 2025 19:09]

[snellehenkie]

je vergat nog te zeggen "mij niet bellen" ;-)

[Luminair]

Tegelijkertijd hilarisch en ook doodeng. Ik zie dit nog wel gebeuren.

[flurb]

En dit is exact wat de EU-Act in Europa wil voorkomen.

[Emielio]

Even los van alle politieke en bestuurskundige overwegingen, snap ik niet wat je hier aan zou hebben?
4o is een vrij basic LLM, dat in de praktijk niet zo heel nuttig is. Ik gebruik ChatGPT veel, maar gebruik 4o zelden omdat het "te dom" is voor de meeste use-cases. Ik gebruik dus minstens 80% van de tijd o1.
En dit is een sessie die dan draait buiten de hardware van OpenAI zelf. Dat is dan het voordeel. Maar dan kun je veel beter de opensource modellen zelf draaien. Die zijn in de praktijk vaak beter dan 4o.
Ik draai lokaal op een Mac mini, qwq-32b-preview, en die geeft betere antwoorden dan 4o. En als je meer resources hebt, kun je nog grotere modellen draaien, die nog beter presteren.

[djwice]

Hoe draai je "qwq-32b-preview" op een Mac mini?
Heeft dat model niet ~64GB GPU geheugen nodig?

Of gebruik je een bepaalde gekwantificeerde versie?

[Emielio]

Ik heb een volledig uitgespecte Mac Mini, gekocht om lokaal modellen mee te draaien. Een Mac mini is in de praktijk een veel geschiktere machine dan hele dikke Nvidia gamerskaarten. Juist omdat die gamerskaarten, hoe duur ook, relatief weinig VRAM hebben.

De mac mini heeft dus 64GiB ram, dat hij voor een heel groot deel aan de GPU toewijst. Ik haal ongeveer 9 tokens per seconde, met het 32B model. Dat is een snelheid die heel bruikbaar is, en de antwoorden zijn echt goed. Niet o1 niveau, maar dichterbij o1 dan bij 4o.

[djwice]

Eerder begreep ik dat het GPU geheugen op een Mac M4 beperkt was tot 20GB, klopt dat? Of kan het gewoon tot 32GB of zelfs 48GB (of nog meer) door de GPU gebruikt worden?

[Emielio]

In LM studio geeft die aan dat 48GiB aan de GPU is toegewezen. Ik heb er nog niet mee gespeeld of er meer kan. Want op reddit zie ik verhalen dat men op 8GiB na de rest aan de GPU zou moeten kunnen toewijzen. Immers zou macos niet meer dan 8GiB nodig moeten hebben. Maar een 32B model draait soepel met 9tok/sec. 70B model wordt echt wel sloom.

Maar de Mac mini m4 staat er om bekend LLM's goed te draaien. Op dit prijspeil denk ik dat je geen beter alternatief hebt. Want die nvidia gamers kaarten hebben weinig vram per gespendeerde euro.

[djwice]

Cool, gaaf hoor, dank je voor de info 48GB "VRAM" is nice!

[Emielio]

Ja vind ik ook. Ik heb inmiddels een truk gevonden om nog meer toe te wijzen: https://www.reddit.com/r/...ocation_with_sudo_sysctl/
Ik heb nu 56GiB van de 64GiB aan toegewezen.

[Weltschmerz]

@Andrei Stiru Link in de tekst leidt nergens heen. Of ja, technisch gezien leidt het naar "technisch".

[Reactie gewijzigd door Weltschmerz op 28 januari 2025 19:12]

[Andrei Stiru]

Aangepast, dank je!

[Ras]

Ik mag hopen dat we in Nederland geen Amerikaans gesloten AI model onze overheidstaken af laten handelen/ondersteunen.

Deepseek R1 heeft wel aangetoond dat we daarvoor geen chatGPT nodig hebben. Bouw voort op een open source model, of start een nieuwe met de learnings van Deepseek. Wees transparant over elke stap die genomen is om het model voor een bepaalde taak in te kunnen zetten. Dan heb je een goed llm voor overheidsdoeleinden die op dit moment niet onderdoet voor chatGPT.

[Nielssss]

Waarom zouden overheden data bij nog meer bedrijven willen hebben? Zelfs als de bedrijven de data niet gebruiken voor eigen doeleinden, het risico dat het lekt wordt dan alleen maar groter.