Britse overheid wil meer inzage in werking large language models

De Britse overheid wil meer inzage in de werking van de Large Language Models, zoals ChatGPT van OpenAI en LaMda van Google. AI-bedrijven zouden voorlopig nog niet happig zijn om gevoelige bedrijfsinformatie te delen, omdat er heel wat risico's aan verbonden zijn.

Volgens de Britse zakenkrant The Financial Times wil de overheid beter begrijpen hoe de large language models werken en op die manier ook kunnen anticiperen op de risico’s die aan de technologie verbonden zijn. De overheid zou vooral meer informatie willen over de zogenaamde model weights die de bedrijven gebruiken in hun AI-modellen; dat zijn bepalende factoren in een taalmodel die de uitkomst van een AI-berekening kunnen beïnvloeden. Bedrijven zoals OpenAI zouden momenteel nog geen inzage hoeven te geven in hoe hun taalmodellen functioneren.

Volgens een afgevaardigde van de Britse overheid zouden de bedrijven zich niet weerbarstig opstellen, maar betreft het een delicate oefening en zijn er heel wat beveiligingsrisico’s om rekening mee te houden. The Financial Times stelt dat DeepMind, OpenAI en AI-bedrijf Anthropic in juni van dit jaar al hadden aangegeven meer details te zullen delen met de Britse overheid over de werking van hun AI-modellen, maar in welke mate er bedrijfsinformatie zal worden gedeeld, is nog niet duidelijk.

Begin november vindt in het Verenigd Koninkrijk een AI-top plaats. Die samenkomst zal in Bletchley Park zijn, een landgoed tussen de universiteiten van Cambridge en Oxford waar de Britse wiskundigen, waaronder Alan Turing, de gecodeerde berichten van onder andere nazi-Duitsland hebben kunnen ontcijferen tijdens de Tweede Wereldoorlog. Tijdens de top zullen politici, academici en bestuursleden van AI-bedrijven met elkaar in gesprek gaan over het gebruik en eventuele regulering van kunstmatige intelligentie. Tweakers maakte enkele maanden geleden een video over de werking van AI-taalmodellen.

Reacties (107)

[Maurits van Baerle]

Het is in deze context best interessant dat de Britse overheid net stiekem de expertraad van hun Centre for Data Ethics and Innovation (CDEI) heeft ontbonden (UK quietly dismisses independent AI advisory board, alarming tech sector) en ze woord voor woord flauwekul teksten van OpenAI en andere schimmige clubs overnemen die in beleidsdocumenten opduiken (How Silicon Valley doomers are shaping Rishi Sunak’s AI plans) (en voor het verschil tussen AI Boosters en AI Doomers is dit wel een aardige introductie: TESCREAL: The Acronym Behind Our Wildest AI Dreams and Nightmares)

[Reactie gewijzigd door Maurits van Baerle op 23 juli 2024 05:24]

[tw_gotcha]

ik weet niet hoeveel beleidsteksten je leest, maar ook zonder AI lijken die enorm op elkaar en er staat meestal bijzonder wwinig in. Een hoop kreten en wensdenken. AI is uitstekent om beleid te schrijven, er zijn weinig teksten waar zoveel plagiaat is als beleid.

[Maurits van Baerle]

Ik heb het er niet over dat beleidsteksten met een chatbot geschreven zijn. Ik heb het er over dat overheden en beleidsmakers helemaal platgelobbied worden door clubs als Microsoft/OpenAI en Google/Deepmind om hun idiote filosofieën over het uitsterven van de mensheid als reëel gevaar te laten zien ter afleiding van de top 50 echte risico’s van AI (waar dat soort clubs wel iets aan zouden kunnen doen maar niet willen).

[ultimasnake]

50 echte risico’s van AI? Benieuwd wat die zijn

[Maurits van Baerle]

Hier heb je er alvast een paar waar ik me zorgen om maak.

Even vooropgesteld, ik geloof niet dat LLM’s tot AI behoren en ik geloof ook niet dat ze dat ooit kunnen worden omdat LLM’s gebaseerd zijn op kansberekening en niet op begrijpen (On the dangers of stochastic parrots). Maar, omdat buiten de wetenschap, bijvoorbeeld in beleid maken, die twee op één hoop gegooid worden doe ik dat hier ook even. Dit zijn nog geen volledig uitgekristalliseerde gedachten van mij, ik heb dit even bij elkaar geschreven op een zondagochtend.

Problemen
De concentratie van LLM technologie die overal (of het nou zin heeft of niet) ingepropt moet worden maar die grotendeels gecontroleerd wordt door een heel klein groepje mannen uit de elite met extreem dubieuze denkbeelden op het vlak van racisme, eugenetica, het ongelukkig (of in sommige gevallen bewust) laten omkomen van delen van de wereldbevolking als/omdat dat nodig is om de toekomstige aardebewoners te laten voortbestaan en allemaal gepropt in enge religies als Effective Altruism of Longtermism overgoten met een sausje van pseudowetenschap, zie TESCREAL. Een soort Scientology maar dan met invloed.

De ‘enshittification’ van zoekmachines die op zich niet slecht werkten maar die nu kapot gemaakt moeten worden door ze te vervuilen met LLM resultaten waarvan iedereen kan zien dat de kwaliteit achteruit holt maar wat moet omdat ze de aandeelhouders wijs hebben gemaakt dat “AI” moet. Daarom maakt Google Search nu aan de lopende band enorme zeperds met volstrekte flauwekulresultaten (er is geen land in Afrika wiens naam begint met een K en Kenia telt niet want dat begint met een K en niet met een K of Je kunt eieren laten smelten) die bij elkaar gekotst zijn door een LLM.

De enorme toename aan energieverbruik om die slechtere resultaten te bereiken (Energy consumption 'to dramatically increase' because of AI). Het waterverbruik van Microsoft is gigantisch toegenomen (A.I. tools fueled a 34% spike in Microsoft’s water consumption, and one city with its data centers is concerned about the effect on residential supply). We maakten ons zorgen om het energieverbruik van bitcoinminig, nu zijn de meesten van de bitcointypes overgestapt op LLM’s en het energieverbruik ook (hoewel OpenAI nog wel een voet in die wereld heeft door een irisscan van iedereen op de wereld te verzamelen in ruil voor hun eigen shitcoin).

Het directe gevaar voor volksgezondheid met chatbot hulplijnen die gevaarlijk advies geven (US eating disorder helpline takes down AI chatbot over harmful advice), of allemaal beloftes doen die ze helemaal niet kunnen waarmaken maar wel budget weghalen bij echte gezondheidszorg. (The Fall of Babylon Is a Warning for AI Unicorns)

Mensen die hun hele levenswerk opgezogen zien worden door datastofzuigers die auteursrechteninbreuk plegen op industriële schaal waarbij vergeleken The Pirate Bay een soort kwajongensstreek was (George RR Martin and John Grisham among group of authors suing OpenAI)

Het hijgerige enthousiasme dat allemaal werk dat van een afstand heel makkelijk lijkt als je het nog nooit hebt gedaan nu uitbesteed kan worden aan "AI" zodat je al die mensen die voorheen je illustraties maakten, je teksten schreven, enorme hoeveelheid informatie doorspitten op zoek naar twee of drie waardevolle dingetjes, of je code schreven nu allemaal ontslagen kunnen worden. Omdat die mensen het lef hadden om te vragen om een beloning, of af en toe vrije tijd. Het zijn eigenlijk nooit de CEO's die vervangen zouden kunnen worden door "AI", altijd de mensen die het feitelijke werk doen.

Dat een heel groot deel van de echte AI systemen ingezet worden voor surveillancedoeleinden (When AI systems are used, they are usually used for surveillance), heel gevaarlijk als je bedenkt dat ze stijf staan van de vooroordelen en heel lastig te controleren zijn.

De suggestie dat AI chatbots ingezet kunnen worden om juridisch advies te geven aan mensen, in plaats van echte advocaten (Forum: There’s potential for AI chatbots to increase access to justice). Drie keer raden wat er gebeurt in een juridisch conflict tussen iemand die zich alleen zo'n chatbot kan veroorloven en iemand die zich wél een echte advocaat kan veroorloven. En de fouten die chatbots maken met juridische informatie zijn schrikbarend (Lawyer cited 6 fake cases made up by ChatGPT; judge calls it “unprecedented”).

Het verdwijnen van objectief correcte informatie achter betaalmuren terwijl de LLM diarree met grote zelfverzekerdheid verzonnen feiten geschreven in matig taalgebruik de wereld vóór de betaalmuur in spuwt zodat veel objectieve informatie alleen nog voor mensen met geld toegankelijk wordt.

Maar, al dat bovenstaande is geen bezwaar voor de AI pushing billionaires die een soort schijnwerkelijkheid proberen te creëren (How Musk, Thiel, Zuckerberg, and Andreessen—Four Billionaire Techno-Oligarchs—Are Creating an Alternate, Autocratic Reality) want als je veel geld hebt en aan de knoppen zit dan heb je er allemaal geen last van. Niet van autoritaire regimes, niet van stijging van de zeespiegel, niet van op een chatbot te moeten leunen voor juridisch advies, niet van surveillance, niet van slechte toegang tot objectieve feiten.

Ik zie het waarschuwen voor het uitsterven van de mensheid als gevaar van AI dan ook als een bewuste poging om af te leiden van de werkelijke gevaren.

[Reactie gewijzigd door Maurits van Baerle op 23 juli 2024 05:24]

[Botmeister]

De ‘enshittification’ van zoekmachines die op zich niet slecht werkten maar die nu kapot gemaakt moeten worden door ze te vervuilen met LLM resultaten waarvan iedereen kan zien dat de kwaliteit achteruit holt maar wat moet omdat ze de aandeelhouders wijs hebben gemaakt dat “AI” moet. Daarom maakt Google Search nu aan de lopende band enorme zeperds met volstrekte flauwekulresultaten (er is geen land in Afrika dat begint met een K en Kenia telt niet want dat begint met een K en niet met een K of Je kunt eieren laten smelten) die bij elkaar gekotst zijn door een LLM.

Dus dat zou de reden kunnen zijn dat google geen contextuele resultaten meer laat zien, waardoor ik sinds kort google search helemaal niet meer gebruik? Mijn oren klapperen ervan!

[Maurits van Baerle]

Nou ja, er is veel geschreven over hoe Google Search enorm achteruit is gegaan in grofweg de afgelopen twee jaar. Bing trouwens ook.

Een deel daarvan zal te maken hebben met de integratie met LLMs, een deel zal ook te maken hebben met dat het extreem moeilijk is om de meeste populaire (niet noodzakelijkerwijs de beste, het gaat om meestgebruikt) zoekmachine goed te laten functioneren. Er is in feite een miljardenindustrie ontstaan die maar één doel heeft en dat is het beïnvloeden van het zoekcorpus van Google Search. Die industrie noemen we SEO. Je kunt nog zo'n goed algoritme ontwikkelen, als er miljarden tegenaan gegooid worden om je data te vervuilen dan is dat erg lastig om dat effectief te houden.

Ik vraag me overig af of dit niet hét moment is voor een bestaande zoekmachine die niet Google of Bing heet om te ontwikkelen tot de beste zoekmachine (hopelijk niet de meest populaire want dan trekken ze de aandacht van de SEO industrie en begint de vervuiling weer van voren af aan).

[Reactie gewijzigd door Maurits van Baerle op 23 juli 2024 05:24]

[PuzzleSolver]

Als ik de laatste jaren iets moet weten over oudere kennis dan stel ik op google een filter in op b.v. voor 2005. Ineens heb je wel were kwalitatieve resultaten. Het is de kwantiteit van slechte/halve/commerciele informatie die de afgelopen 2 decenia het internet vult die het bijna onmogelijk maakt om nog zinnige info te vinden. De LLM's gaan dat exponentieel verergeren.

[Maurits van Baerle]

Ik heb wel eens kritiek gelezen dat het een stuk lastiger is geworden om bijvoorbeeld de uitslag Real Madrid - Barcelona uit februari 2019 te vinden omdat Google Search je altijd alleen maar de meest recente uitslag wil laten zien. Dat onderschrijft jouw ervaring.

[BramVroy]

Grotendeels akkoord met al je punten! Alleen met je eerste zin niet:

Even vooropgesteld, ik geloof niet dat LLM’s tot AI behoren en ik geloof ook niet dat ze dat ooit kunnen worden omdat LLM’s gebaseerd zijn op kansberekening en niet op begrijpen

Uiteraard. Maar je kan nu eenmaal niet om de definitie van AI heen. Het is uiteraard geen intelligentie maar je mag de term AI dan ook niet letterlijk interpreteren - en daarnaast kan je heel wat discussieren over wat "intelligentie" is. Maar binnen het werkveld vallen LLMs zeker en vast wel onder de noemer AI. Binnen een letterlijke lezing van de term "Artificial Intelligence" dan misschien weer niet.

[Maurits van Baerle]

De reden waarom ik graag dat onderscheid maak is omdat ik denk dat het verwarren van die twee verantwoordelijk is voor een deel van de problemen.

Als je enerzijds zegt dat AI binnenkort auto’s kan besturen, chirurgische operaties kan uitvoeren of boeven kan vangen en anderzijds zegt dat LLMs ook AI zijn dan creëer je, bewust of onbewust, een slechte discussie.

Een LLM werkt alleen in het taaldomein en kan dus alleen werken in zaken die om taal draaien. Je kunt, tot op zekere hoogte, betogen dat het recht een taal is waar een LLM een bijdrage kan leveren maar je zult nooit een auto kunnen besturen, chirurgische operaties kunnen uitvoeren of boeven kunnen vangen met een LLM.

Kortom, ofwel je tekent vergezichten over wat kunstmatige intelligentie ooit voor ons zal kunnen doen ofwel je hebt het over LLMs. Mensen die zich nu met een grote mond in het debat mengen en die LLMs als iets anders afschilderen dan een doodlopende weg in de zoektocht naar kunstmatige intelligentie weten ofwel niet waar ze het over hebben of hebben twijfelachtige bedoelingen. Soms is dat niets meer dan investeerders belazeren met beloftes dat hun LLM systeem straks chirurgische operaties kan uitvoeren, soms zijn dat schimmigere bedoelingen. Een vervelend neveneffect kan zijn dat allemaal geld en talent dat ooit richting echt AI onderzoek ging nu opgeslokt wordt door LLM hype machines.

Ik denk dat we pas over een paar jaar, als de LLM types weer iets nieuws hebben gevonden (Quantum computing?) om te bejubelen dat we kunnen zien of deze hype per saldo een positief of negatief op AI onderzoek en ontwikkeling heeft gehad.

Kortom, als je het mij vraagt kunnen LLM's een nuttige bijdrage leveren in een beperkt aantal gevallen maar is het nuttig in het debat over AI beloftes en risico's om dat onderscheid te maken omdat het AI en "AI" veld veel groter is dan alleen LLM's.

[Reactie gewijzigd door Maurits van Baerle op 23 juli 2024 05:24]

[BramVroy]

AI is de overkoepelende term hierbij, als je het hebt over LLMs, auto's besturen, en automatische chirurgie. Ik zie geen probleem om hen onder dezelfde noemer te plaatsen. Je argument lijkt te zijn dat LLMs niet nuttig genoeg zijn in vergelijking met real-world toepassingen. Daar ben ik helemaal niet mee akkoord. Uiteraard zijn ze anders dan doelen als automatisch auto's besturen of chirurgie uitvoeren, maar dat maakt hen nog niet nutteloos. Qua technische achtergrond liggen ze ook enorm dicht bij andere soorten AI - zeker als je denkt aan multimodale LLMs, die dus zeker ook bestaan (denk Flamingo/IDEFICS). Of denk aan het werk waar multimodale LLMs gebruikt worden om robots instructies te geven (https://www.deepmind.com/...-and-language-into-action).

Uiteraard akkoord dat AI veel meer is dan enkel LLMs, en dat er tegenwoordig te vaak restrictief gesproken wordt over AI. Ik werkte vroeger op machinevertaling - ook dat is AI. Hedendaagse machinevertaalsystemene gebruiken exact dezelfde onderliggende techniek als LLMs, maar toch denken mensen er niet snel aan als het om AI gaat. Het is dus meer een hype- of marketingsprobleem wat er beschouwd wordt als AI.

[MSalters]

Een LLM is een AI net zoals een schaak-AI dat is. Beiden werken in hun eigen domein. En voor een LLM is dat domein - het zit al in de tweede L - simpelweg taal. De 2023 generatie generatieve AI's kan ook met beeld omgaan; hun domein groeit wel snel.

En onderliggend is er wel degelijk een fundamenteel AI probleem opgelost. LLM's werken doordat we enorme modellen kunnen trainen. Dat is meer dan pure rekenkracht; de algoritmes en topologieën zijn ook fundamenteel beter dan vroeger. Dat is alles behalve een "doodlopende weg".

[Jorgen]

'De elite' en wat je daarna zegt, klinkt nogal samenzweerderig en is al wel heel vaak gedebunkt. Waarom zou dat nu ineens wel waar zijn?

[Maurits van Baerle]

Zou je een paar betrokkenen kunnen noemen die niet multimiljonair zijn? Wij hebben het hier over groepen mensen die elkaar allemaal kennen van Stanford of de kringen er omheen, waar je eigenlijk amper tussen komt als je ouders niet al miljonair waren. Ik reken mensen als Marc Andreessen, David Sacks, Mark Zuckerberg, Sam Altman, Peter Thiel, Sam Bankman-Fried of Elon Musk zeker tot de elite.

[MSalters]

Eh, ja, duh. Begging the question. Als je in Silicon Valley bij een succesvol AI bedrijf werkt, dan ben je vanwege je aandelenopties al multimiljonair (op papier, uiteraard).

En zullen we naar Stanford kijken? Hun MOOC AI cursus werd gegeven door Andrew Ng, Peter Norvig, Sebastian Thrun, en Jennifer Widom. Kinderen van miljonairs? Waar haal je dat vandaan?

[Jorgen]

Dat ze tot de financiële elite behoren, gestudeerd hebben of zich begeven in de jetset van Monaco, Aspen of Amsterdam, maakt iemand alleen niet perse slecht voor de wereld. Doordat je het hebt over een combinatie van elite met eugenetica, racisme, ontvolking en andere termen, klinkt het alsof je oude complotten afstoft.

[Superstoned]

Privacy violaties, bias, fake news, het is nogal een lijstje… al zal de 50 wel een mooi getal zijn om een punt te maken.

Ben het zeker met Maurits eens dat de lobbyisten er hard aan werken om te voorkomen dat de overheden iets aan de echte problemen rond ai doen - de eu gaat desondanks door met de ai act. Goede zaak.

[Maurits van Baerle]

Ik denk inderdaad dat voor het grootste deel de AI Act een goede zaak gaat zijn om een eerste begin te maken in de wereld met het serieus nemen van potentiële gevaren.

Maar ook daar moeten we oppassen omdat zowel bij de Europese Commissie als bij Europarlementariërs ideeen van onder andere OpenAI integraal worden overgenomen: https://dair-community.so...tGebru/111088797515443688

Ik juich de ontwikkeling van de AI Act toe maar laten we dat wel in de gaten houden.

[Superstoned]

Oh zeker het wetgevingsprocess is messy. Maar als ze genoeg naar experts luisteren en wat minder naar Big Tech komt het wel goed.

[berchtold]

Lijkt me heel lastig. Zeker ook omdat niemand weet hoe de modellen exact “werken”

[BramVroy]

Sorry maar dat klopt niet. Ik werk in dit veld. Heb verscheidene modellen zelf getraind. Iedereen weet hoe de modellen werken. Je kan exact nagaan waarom een gegeven input x een output y geeft. Neurale netwerken zijn niet meer dan wiskundige functies in wiskundige functies met hier een daar een non-lineariteit. Heel simpelweg voorgesteld, stel dat je neurale netwerk y=ax is, en x is een gegeven input en y is de output, dan is "a" het gewicht in het netwerk dat de uitkomst bepaalt. Dat geldt zo ook voor large language models.

Het probleem is niet dat we niet weten hoe de modellen werken. Het probleem is dat de modellen zo groot zijn (miljarden van die "a" variabelen) en dat het dus moeilijk is om terug te vinden welk deeltje van het model problematisch is. Ook is het niet eenvoudig om informatie uit de modellen te halen. Het is een fabeltje dat alsmaar wordt doorverteld door mensen die er geen ervaring mee hebben (n/o) en de media, maar die theoretische achtergrond is zeker wel bekend.

[berchtold]

Dus het klopt wel. Het probleem is dus ook gewoon dat je niet kan zien hoe werkt inderaad omdat er zoveel in zit. Je kan onmogelijk zeggen wat de output gaat zijn zonder het uit te proberen. Het bedrijf dat neurale netwerken begrijpbaar kan maken wordt automatisch miljardair

[BramVroy]

Dan heb jij een andere definitie van "hoe het werkt". Want de "hoe" weten we zoals ik zei dus wel degelijk.

Ik vind het een gek statement om te zeggen dat je de output pas weet als je het uitprobeert. Dat is toch zo bij alle wiskundige functies? Je weet pas hoeveel y=0.6*4 is als je het effectief uitrekent.

Neurale netwerken begrijpbaar maken is ook, nogmaals, een vreemd statement als je echt technisch bekijkt. Kan je duidelijker zeggen wat je wil zeggen? Wat moet er "begrijpbaar" zijn?

[tw_gotcha]

ik denk dat men wil weten welke invoer variabelen de uitkomst het meest beïnvloeden.

[BramVroy]

Bij large language models (en andere attention-modellen) doen we dat typisch door een analyse van de attention. Dit blijft wel ietwat arbitrair omdat je moet beslissen hoe je de attention aggregeert over de heads/layers heen. Hier alvast een voorbeeld https://github.com/jessevig/bertviz. Andere manieren bestaan ook, zoals saliency of integrated gradients. Hier meer: https://github.com/inseq-team/inseq.

Ook dat kan dus.

[MrMonkE]

Je model is gequantisized door theBloke.
https://huggingface.co/TheBloke/Llama-2-13B-Chat-Dutch-GGUF

[BramVroy]

Jup! Heb met hem op Discord erover gepraat ik had ook m'n hulp aangeboden voor quantization maar dat was niet nodig. Via zijn Patreon haalt hij veel geld binnen - terecht, zijn werk is enorm nuttig. De demo draait op de GPTQ quantized versie. https://huggingface.co/sp...utch-space?logs=container

[MrMonkE]

Ja, hail to TheBloke.

[_Pussycat_]

Ik denk dat wat men wil is een menselijk begrijpbare uitkomst. Als ik ChatGPT een mop laat vertellen, en hij vertelt een grap over een hond, dat hij uit kan leggen waarom vandaag de grap over een hond is en niet over een kat.

[BramVroy]

Dat kan dus, op basis van de technieken die ik hierboven voorstelde. De tijd (vandaag of gisteren) doet er niet toe. De input is de verklarende factor. (En wat extra parameters zoals random sampling en temperature.)

[Superstoned]

Mooi om te horen dat er vooruitgang zit in de ontwikkeling op dat vlak. Kunnen we nu ook al zeggen of een bepaalde uitput ook onzin is of klopt (feitelijkheid van de modellen) en een correcte bronvermelding geven? Het citeren van niet bestaande bronnen enzo is wel heel ergerlijk… en meer dan dat natuurlijk, mensen geloven vaak wat zo’n ai zegt.

[BramVroy]

100% akkoord! Als je een taalnodrl op zichzelf beschouwt is dat niet verbonden met het internet. Het "weet" dus enkel wat er in z'n parameters (of "model weights") verborgen zit. Door bias en onjuistheden die in de data zit waarop het getraind is (of zelfs tegenstrijdige data) kan het model zeker fouten maken. Goede data is dus een belangrijk startpunt. Maar zelfs op excellente data is het belangrijk te weten dat een taalmodel geen database is. Het heeft niet elk feitje uit de data "opgeslagen" en kan dat dus niet exact herhalen zodat het altijd juiste info geeft. Soms verzint (hallucineert) het dus wat op basis van wat de meest waarschijnlijke mogelijkheden zijn volgens z'n gewichten. Qua bronvermelding is dit dus allemaal heel moeilijk. Ten eerste moet het al het juiste feit weergeven. En ten tweede daaraan de juiste bron linken. En dat zonder gebruik te maken van een expliciete kennisdatabank (knowledge base)!

Tegenwoordig zien we hier bv. twee manieren omheen. Enerzijds worden de taalmodellen verbonden met het internet. Wat er eigenlijk gebeurt, is dat ze jouw vraag herformuleren tot een goede zoekopdracht, dan bv. Google raadplegen en de top k (bv. Beste 5) bronnen bekijken. Dan doen ze wat heuristieken (bv. Meeste overlap tussen top 5 resultaten, of de resultaten die het best overeenkomen met de probabikiteit van het model zelf). Dat antwoord geven ze dan aan jou terug, meestal anders geformuleerd, en zetten er de bronnen bij die ze hiervoor gebruikt hebben. Dat is op zich goed: je kan de bronnen zelf opzoeken! Een tweede manier is eigenkijk hetzelfde, maar met je eigen lokale database. Dat is nuttig voor bedrijven of overheden. Zo lazen we laatst dat een Nederlandse partij deze systemen koppelt aan hun interne databank zodat werknemers snel zaken kunnen opzoeken door middel van natuurlijke taal, en dus geen database kennis nodig hebben. Als je meer wil weten kan je ook RAG opzoeken (retriever augmented generation).

[Aldy]

Ik vraag mij af hoe AI omgaat met voortschrijdend inzicht. Een voorbeeld: De Russen hebben de Nord Stream pijpleiding opgeblazen. Een heleboel bronnen, ik noem ze 1,2,3,4, en 5. Na een jaar is de kans groot dat Oekraïne erachter zit, bron 6,7 en 8. Over een paar maanden is dit zeker, bron 9 en 10. Hoe gaat AI daarmee om?

[Superstoned]

Niet, op dit moment, lijkt me. Maar er zal vast al wel over worden nagedacht.

[oktoberpaard]

Ik ben absoluut geen expert in dit veld, maar ik vind je reactie een beetje flauw. Dat neuronen niets anders zijn dat wiskundige functies is duidelijk. Dat je, gegeven oneindig veel tijd, iedere input met je rekenmachine kunt omrekenen tot een output ook. Het concept van een neuraal netwerk trainen en hoe een getraind model werkt, is voor velen ook prima te begrijpen. In je laatste alinea laat laat je zien dat je best weet waar de uitdaging zit: bij deze grote modellen is het niet eenvoudig te doorgronden hoe een antwoord tot stand komt. Als mensen zeggen dat de werking van een neuraal model niet te doorgronden is, dan doelen ze hierop en niet op de technische werking ervan. Ik quote OpenAI:

Language models have become more capable and more broadly deployed, but our understanding of how they work internally is still very limited. For example, it might be difficult to detect from their outputs whether they use biased heuristics or engage in deception.

[...]

We focused on short natural language explanations, but neurons may have very complex behavior that is impossible to describe succinctly. For example, neurons could be highly polysemantic (representing many distinct concepts) or could represent single concepts that humans don't understand or have words for.

Bron: https://openai.com/resear...eurons-in-language-models. Interessant artikel trouwens.

[BramVroy]

Dat is een verschil met waar het hierboven over gaat. De definities van "hoe iets werkt" verschilt ken in deze comments enorm. Als je in de media of in de volksmond hoort dat een neuraal netwerk een black box is, dan verstaan de meeste mensen dat als een soort magie. "Er is iets waar we data in stoppen en dat dan leert wat er in de data zit maar we weten niet hoe of waarom dat werkt." Alsof we de theorie en implementatie niet zelf hebben gemaakt. De frustratie die ik heb is dus dat dat niet klopt.

Als je zegt dat je niet weet hoe iets werkt is dat niet hetzelfde als zeggen dat iets erg complex is en moeilijk te doorgronden. Dat klinkt misschien hetzelfde voor Jan Modaal maar als wetenschapper is dat een enorm verschil. Dat zie je ook in het citaat van OpenAI. "It is difficult" wil dus niet zeggen dat we iets niet weten of niet kunnen achterhalen. Dat kan "flauw" zijn voor jou, maar is een belangrijk verschil in wetenschappelijke realiteit.

Met mijn comments probeer ik dus te verduidelijken wat we dus wel weten en waar de moeilijkheden zitten, dat onderscheid is niet voor iedereen even duidelijk.

[Aldy]

Nu wil ik even niet flauw zijn. Ik ben ook een leek en als ik jouw taalgebruik lees, dan blijf ik ook een leek. Even een voorbeeld: "omdat je moet beslissen hoe je de attention aggregeert over de heads/layers heen".
Desondanks heb ik er toch wel iets van opgestoken, maar soms denk ik echt: waar hebben ze het over?

[MarkHart]

Sorry, maar ik ben het niet helemaal met je eens en praat hier niet als leek over. Theorie die echt goed in gaat op waarom het werkt ontbreekt, we kunnen dit net heel oppervlakkig beschrijven. En van te voren voorspellen adhv theorie wat de uitkomst gaat zijn is al helemaal onmogelijk. Het blijft een heel praktisch veld.

Ja, we kunnen precies zeggen hoe het rekenkundig werkt. Nee, we kunnen niet uitleggen waarom dit er nou echt uitkomt, dus waarom antwoord A ipv antwoord B. Ja, we kunnen het resultaat narekenen (dus nog een keer uitvoeren) en zien dat er hetzelfde uit komt en je kan inderdaad beargumenteren dat dit een vorm van waarom antwoord A is.

Ik snap ook dat er bepaalde heuristics voor attention zijn die we kunnen gebruiken om heel grof te bepalen welke dingen met elkaar verband kunnen hebben. Net zoals je een heel klein model op dezelfde data kan trainen en dat model beter kan uitleggen, of kan kijken naar vergelijkbare (weer: bepaal maar zelf hoe) trainingsdata. Alle methodes leggen, naar mijn mening, niet uit waarom het grote model dit nou als output geeft en laten vooral aan de menselijke kant over om overal patronen in te zien en het als uitleg te accepteren.

[BramVroy]

Ik kijk hier misschien van een te technische blik naar, maar ik weet nog steeds niet wat je eigenlijk als "uitleg" wil. Als ik de vraag stel "Waarom geeft dit model output Y als ik input x geef?", wat zou voor jou dan een goede/voldoening gevende uitleg zijn om het probleem hier op te lossen?

[MarkHart]

Uitstekende vraag! Om eerlijk te zijn ben ik hier nog niet 100% over uit, maar ik zie graag hetzelfde als wat ik van een menselijke expert als uitleg zou willen nadat ik een vraag stel over iets wat die net gezegd heeft. Waarom dit antwoord? Waarom niet een van de redelijke alternatieven of maakt het niet echt uit? Hoe verdedig je dit antwoord tegenover een andere expert (of slachtoffer) die er niet mee eens is?

Of waarom ik jouw voorbeeld van uitleg geen uitleg vind: bij een klassieke software is de assembly (model weights) overdragen toch ook niet wat men voor een uitleg wil? Maakt unit tests (trainingsdata) er bij die uitleg naar jouw mening wel compleet? Volgens mij wil men bij uitleg veeeeel meer onderbouwing en context.


Dus wat voor een uitleg wil ik, met de huidige mogelijkheden waarvan ik bekend ben? Geen. Alle technieken die ik heb gelezen/gezien ben ik totaal niet van overtuigd en kan ik volgens mij heel goed onderbouwen op welke vlakken het er flink naast zit. Op moment van spreken is het een black box en ik accepteer dat. Het is duidelijk een black box dat voor heel veel beter lijkt te werken dat wat wij als mensen anders zouden kunnen maken. Doen of men het dieper dan het oppervlak doorgrond is volgens mij contraproductief.

[BadRespawn]

Het probleem is niet dat we niet weten hoe de modellen werken.
Het probleem is dat de modellen zo groot zijn (miljarden van die "a" variabelen) en dat het dus moeilijk is om terug te vinden welk deeltje van het model problematisch is. Ook is het niet eenvoudig om informatie uit de modellen te halen.

Dat is zo'n beetje wat wordt bedoeld met "we weten niet hoe de modellen werken".
Natuurlijk weten we wel hoe de modellen in principe werken, want die zijn door mensen gemaakt.

Een ander (mogelijk gerelateerd) fenomeen is dat - vermoedelijk vanwege de 'creativiteit' (random variaties van gewichten?) van de modellen - die vaak niet iedere keer met dezelfde input ook dezelfde output leveren, vaak in grote lijnen wel maar vaak op details niet, en soms zijn die details belangrijk maar daar heeft het model kennelijk geen benul van. Dat maakt het nog lastiger te achterhalen waarom een bepaalde input een bepaalde output levert.

[Reactie gewijzigd door BadRespawn op 23 juli 2024 05:24]

[Bor]

Is dat wel zo? Degene die het model en algoritme ontwerpt en bouwt weet echt wel hoe het werkt. Dat op een gegeven moment misschien niet meer exact duidelijk is waar output vandaan komt (en dat betwijfel ik ook) is wat anders.

[jaapzb]

Dat ligt aan wat je definitie is van weten hoe iets werkt. We weten wel hoe we deze modellen moeten maken, hoe we training kunnen opzetten en wat de werkingsprincipes zijn van de verschillende types modellen. Maar wat de overheid wil weten is "waarom komt X er uit als ik Y er in stop?", en dat kan niemand je vertellen.

[kodak]

Als bedrijf heb je verantwoordelijkheid over de werking. Je verschuilen achter we weten het niet precies is dan geen redelijke uitleg. En dat lijkt precies waarom de overheid meer inzicht wil om een grens van detail te bepalen, anders blijven bedrijven zich mogelijk te makkelijk verschuilen achter onwetendheid en afschuiven zolang het kan.

Een ai is geen magische werking, hooguit een uitwerking met keuzes om transparantie niet belangrijk genoeg te vinden tegenover winst van tijd, geld. Als ontwerper kan je prima genoeg controle inbouwen door af te zien van vrijheden voor de werking.

Gewoonlijk hoor je ook voldoende transparantie te tonen, maar daar lijkt men in het VK nog niet aan toe bij voorkeur voor financiele winst.

[OverSoft]

Een AI is niet magisch, nee, maar een large language model is wel heel groot en gecompliceerd.

Uiteraard kun je precies aanwijzen welke keuzes er gemaakt worden in het model, maar deze keuzes zijn niet "logisch" voor ons. Deze modellen (welke volgen uit trainings sessies op gigantische hoeveelheden data) zijn niets anders dan een gigantische boomstructuren met kanswaardes. Afhankelijk van wat je op dit model invoert wordt een keuze gemaakt in ieder knooppunt van die boom en het "blaadje" van die boom is dan de uitkomst. In het geval van LLMs wordt er per "prompt" vele malen door de boom heen gelopen.

De logica zit ook niet in dat model, de logica zit er al voor, bij het "trainen" van het model op de input data. Hierin worden logische keuzes gemaakt bij de invoer (welke vaak vooraf ingevoerd worden, bijvoorbeeld waar prioriteit aan gegeven wordt en aan wat niet). Dit trainen kan maanden of soms zelfs jaren in beslag nemen en kost veel processor/GPU kracht (om niet te diep op het onderwerp in te gaan: dit is vergelijkbaar met het bruteforcen van wachtwoorden, alleen probeer je hier de boomstructuur van het model passend te maken op data).

Omdat er in feite twee verschillende stappen zijn (het trainen en het uitvoeren van het model) kun je niet logisch meer terug halen waarom een bepaalde keuze gemaakt wordt.
Ja, je kan in de boom wel aanwijzen exact welk pad gevolgd is, maar het is niet direct terug te halen WAAROM dat pad zo bepaald is. Dat is een gevolg van de trainings sessie.

Dus nee: je kan dit niet verantwoorden. Dat is simpelweg rekenkundig onmogelijk.
We moeten ook niet willen dat dit verplicht wordt, want dan komt een hele hoop technologische ontwikkeling direct stil te staan.

[bskibinski]

Ben je echt zo zeker dat het "simpelweg rekenkundig onmogelijk" is om meer "transparantie tools" in te bouwen in AI?

Wat Kodak bedoelt is dat de prioriteit bij deze bedrijven vooral ligt op resultaten leveren, en niet niet altijd om de beste morele en ethische keuzes te maken. Daarvoor hoor je een overheid te hebben die dan gaat kijken of alles wel door de bocht kan.

Als die bedrijven dan hun schouders ophalen, en zeggen "wij weten het eigenlijk ook niet", dan is het toch niet gek dat een overheid gaat vragen of het überhaupt mogelijk is om hier dan wel meer inzicht in te krijgen.

Daarbij lees ik uit het artikel niet "dat ze het niet weten" maar dat ze de kennis liever niet willen delen wegens bedrijfsgeheimen.

Je laatste zin, dat als iets verplicht wordt, dat dan de ontwikkeling direct stil staat is ook wat overtrokken vind ik. Ze zullen dan juist verder ontwikkelen om aan verplichtingen te voldoen, wat het product dan hoogstwaarschijnlijk alleen maar beter maakt. Misschien dat een volgende versie dan wat langer op zich laat wachten.

Dit is gewoon hoe het hoort te gaan met nieuwe technologieën die we nog niet goed begrijpen, er moet een balans zijn tussen "bedrijfsgeheimen" en "publieke veiligheid", en dat hoort de overheid te regelen.
(en even erbuiten laten dat ze het niet altijd goed doen, zoals encryptie verbieden. In dit geval vind ik niet dat ze rare vragen stellen)

[OverSoft]

Ik studeer voor mijn master AI, dus ik heb er een redelijke kijk op hoe deze modellen werken.

Nee, de manier waarop verreweg de meeste "lerende" AI werkt is niet omkeerbaar.
Het is ook vrijwel onmogelijk om transparantie tools in te bouwen, simpelweg vanwege de verschillende stappen in het proces tot het bouwen en trainen van een dergelijk model.
Je kunt geen "breakpoints" aanbrengen die achteraf getriggered worden, simpelweg omdat het proces om door het model heen te lopen compleet anders is als het proces om het model te bouwen.

Het doorlopen van het model (of uitvoeren van het model) is eigenlijk niets anders als kansberekening. Een model kiest de meest waarschijnlijk uitkomst van de vraag die gesteld wordt, maar weet zelf ook niet waarom dit de meeste waarschijnlijk uitkomst is. Sterker nog, het model "weet" helemaal niet wat taal is, of waar het mee bezig is. Het is simpelweg dom door een boom lopen op zoek naar de beste uitkomst.

Sommige mensen gebruiken hier de term neuraal netwerk voor, anderen noemen het een bayesiaans netwerk, in feite in het niets anders dan het een kansenboom waar keuzes in gemaakt worden om tot de meest waarschijnlijk uitkomst te komen.

Als je verplichtingen in wil gaan bouwen om logische uitleg te kunnen geven over waarom een bepaalde keuze gemaakt is, dan kun je deze hele techniek direct in de prullenbak gooien, omdat het simpelweg onmogelijk is omdat logisch te doen. Ja, daarmee zeg ik dus dat de ontwikkeling direct staakt: het is NIET mogelijk.

Er is geen alternatief beschikbaar voor deze techniek om dat met (voor mensen) wel te begrijpen logische keuzes te doen. De enige manier om dat te doen is om iedere stap handmatig te labelen, iets wat simpelweg onmogelijk is zonder deze boom compleet zelf te ontwikkelen (ipv te trainen), waardoor het geen AI is, maar simpelweg een dom software programma met de bias van de maker en missende data voor alles waar de ontwikkelaar niet over nagedacht heeft. Oftewel, een 20 jaar oude chatbot.

[bskibinski]

Volgens mij praten we niet precies over hetzelfde. Jij hebt het over de "laatste stap", en het "precies willen weten hoe hij tot zijn antwoord komt".

Dat is volgens mij niet waar het artikel het over heeft, of wat de Britse overheid wil weten.
Zij willen weten hoe dat "random pad" beïnvloed wordt door de weights van het bedrijf zelf.
De meeste mensen snappen ondertussen dat het precieze gegeneerde antwoord een "black box" is.

Maar een AI is meer dan die laatste stap alleen, en ze kunnen het weldegelijk 'sturen' (de model weights uit het artikel) en het is dus niet gek dat de overheid wil weten hoe die bestuurd wordt, en of hier mogelijk niet bepaalde regels voor nodig zijn.

Om even een stom/simpel voorbeeld te geven: een AI adviseert liever producten van fabrikant X omdat ze bepaalde bedrijven een hogere waarde geven.
Wie weet is het dan slim om te regulieren dat ze bepaalde dingen niet mogen voortrekken.

Hetzelfde wat we ook eisen van Google's zoekmachine, dat het allemaal zo objectief mogelijk blijft en ze niet hun eigen diensten voortrekken.

Deze bedrijven gaan waarschijnlijk heel veel macht krijgen met hun systemen en ons leven beïnvloeden, dat doen ze al. Het is niet verkeerd om te vragen hoe ze indirect dus ook ons 'sturen'.

[OverSoft]

Uiteraard kunnen ze sturen, dat zei ik ook eerder:

Hierin worden logische keuzes gemaakt bij de invoer (welke vaak vooraf ingevoerd worden, bijvoorbeeld waar prioriteit aan gegeven wordt en aan wat niet).

Maar deze weights zijn nou net HET bedrijfsgeheim. Daarnaast is het niet zo simpel als: "als in het artikel merk X voorkomt dan is deze belangrijker dan merk Y". Veel van deze weights worden zelfs ook al gegenereerd met een simpeler model, welke dan toegepast worden op het productie model.

Ze kunnen waarschijnlijk een bron model geven, zeg maar de "oergeneratie" welke hun initiële gewichten bevat, maar dit model is het absolute bedrijfsgeheim, het gene wat hun LLM laat werken.
Ik snap wel dat dat niet zomaar vrijgegeven wordt, ook omdat het niet altijd direct terug te voeren is naar de latere productie generaties en dus niet altijd iets zegt.

De gewichten zijn in verreweg de meeste gevallen ook niet bedoeld tot sturen van aanbevelingen, maar meer tot het sturen van gedrag. Iets wat ook niet altijd op te maken is uit de gewichten, maar wat door jarenlang onderzoek tot stand is gekomen.

[Ossebol]

Mmm. Je zou toch ook op basis van observaties van het gedrag van een model kunnen deduceren dat bepaalde gewichten zijn gebruikt? Als ik op Google met verschillende agents op verschillende fysieke en virtuele locaties zoek naar 'cloud services' en ik krijg voor bijna alle keren 'Google Cloud' als hoogste resultaat, dan kan ik daaruit toch opmaken dat Google zijn eigen diensten op z'n minst opvallend vaak aanbeveelt?

[OverSoft]

Niet helemaal, want je weet niet op welke set data ze getrained hebben. Als die set toevallig meer data bevat van X dan van Y, maar het gewicht ligt zwaarder op Y dan op X, dan kun je dat niet afleiden uit de uitkomst.

Daarnaast loopt de set specifiek gegeven gewichten waarschijnlijk richting de 10.000+, wellicht wel 100.000+. Ook worden gewichten meestal niet te zwaar op te licht ingegeven, aangezien dat een harde bias en onbetrouwbaarheid van het model vormt. Denk dus eerder aan tussen 40% en 60% en niet 0% of 100%.

Bij het aanbieden van diensten (zoals Google Cloud) is het natuurlijk wat duidelijker waar heviger op geleund wordt, maar dat is bij een taalmodel lang niet zo duidelijk.

[Kevinp]

Precies,

je stopt A en B er in. Dat is de enige input die het programma heeft. Elke vraag zal dus (zolang er niets geleerd wordt) eindigen met het antwoord A of B (of eventueel ik weet het niet hier heb je beide).

Nu is de vraag, welke kiest het programma. En als ik dan zeg, tegen zo'n AI bot. Dank je ik heb B gebruikt, hoe komt zo'n programma weer op "A" uit want je kansenboom is nu 100% B.

De vraag die er komt hoe leert het. En dat is interessant want MS had er last van dan hun AI tool racistisch werd. En dat willen we niet (hoewel ik niet goed weet of dat een juiste keuze was/is immers is dit de input en zou zoiets juist iets kunnen zijn waar we van leren als mens).

[jpsch]

Is het niet zo dat ze de instellingen elke keer niet iets veranderen, juist om niet te kunnen achterhalen waar op gescoord wordt?

[divvid]

Om even een stom/simpel voorbeeld te geven: een AI adviseert liever producten van fabrikant X omdat ze bepaalde bedrijven een hogere waarde geven.

Wie weet is het dan slim om te regulieren dat ze bepaalde dingen niet mogen voortrekken.

Is dat zo? Wij mensen doen dat ook, soms bewust, soms onbewust. Voorbeeld: procurement vond dat we teveel stuurde op de aankoop van laboratorium buisjes van merk X. Nadat procurement ons dwong om de op papier identieke producten van Y te kopen ging er veel mis in het lab. De buisjes van Y waren toch niet helemaal identiek en dat beïnvloedde de resultaten. Een AI model ‘weet’ niet altijd waarom iets een hogere waarde heeft, het bedrijf erachter ook niet

[kodak]

De concepten van ai beperken zich niet tot het bekijken vanuit het standpunt dat er alleen mogelijkheden zijn met zwaar beperkt inzicht en gebrek aan controle. Hooguit kun je stellen dat zulke concepten een keuze zijn om met ai te experimenteren en er vorm aan te geven binnen de wetenschap en bedrijfsleven.

Het lijkt me daarbij ook een taak van de wetenschap en bedrijven die zich bezig houden met ontwikkeling van AI om zich niet blind te staren op concepten die doorborduren op gebrek aan transparantie en controle. En dit is nu juist wetenschap die geschikt is om zich aan te passen ook andere concepten te bedenken en toe te passen.

[OverSoft]

Dat ligt er volledig aan welke transparantie je wil van een AI.

Wil je transparantie over welke stappen zijn uitgevoerd om tot één specifieke keuze te komen bij één specifieke prompt, dan kan direct alle huidige ontwikkeling van AI de prullenbak in, want zo werken Bayesiaanse netwerken simpelweg niet. Ook niet "omdat wij het heel graag willen vanuit de overheid".

Er is ook geen alternatief voor welke WEL voor ons logische stappen uitvoert. Dat is een human construct, niet iets wat in de wetenschap aanwezig is. De reden dat de ontwikkeling van AI in de laatste 60 jaar deze kant op is gegroeid, is omdat dit min of meer werkt. Dit is een manier waarop we eentjes en nulletjes schijnbaar kunnen laten "denken". (Dat doen ze niet, maar het lijkt er wel op)

Dat een aantal beleidsmakers dat niet leuk vinden, doet daar niets aan af. Er is simpelweg geen manier om een AI te ontwikkelen die exact dezelfde redeneringen maakt als een mens en daar ook nog uitleg over kan geven. Want als dat wel zou kunnen, hoe weet je dan dat dit model niet liegt of iedere keer dezelfde weg zou volgen?

Wil je transparantie over bias, dan kun je daar wel in voorzien met behulp van informatie over de trainingsdata en prioriteiten die gesteld zijn. Iets wat veel bedrijven niet happig op zullen zijn, omdat dat de kern van hun bedrijf is.

[kodak]

Ik lees in de vraag om transparantie niet dat er geen grens getrokken zal worden aan de details van transparantie en controle. De personen die het inzicht eisen hebben immers ook hun grenzen aan wat ze kunnen begrijpen en vertalen naar de maatschappij.
Het enige wat ik stel is dat de gemaakte keuzes vanuit het bedrijfsleven daarop niet genoeg inzicht kunnen tonen, wat dan het risico van die bedrijven is om te verantwoorden. Waarbij het kan zijn dat de overheid daarmee tevreden is, of extra grenzen gaat stellen. Voorlopig lijkt men er omheen te draaien door te beroepen op belang van winst boven transparantie. Maar dat is niet zomaar houdbaar met de problemen die ai oplevert.

[OverSoft]

Iets kapot reguleren/"transparantie eisen" tot het punt dat het niet meer werkt, werkt niet, dan verplaatst het bedrijf gewoon naar een land waar het niet gereguleerd is en gaat rustig verder en heb je er helemaal geen grip meer op.
Dit is hetzelfde als een aantal weken geleden toen de Britse overheid het briljante idee had om end-to-end encryptie te gaan verbieden. Dan trekken de bedrijven zich gewoon terug, doei!

Daarnaast hebben vrijwel ALLE bedrijven ter wereld een belang van winst boven transparantie. Het zijn namelijk geen publieke instellingen...

/offtopic:
Ik denk juist dat AI heel veel zal gaan brengen, maar mensen verwachten er wonderen van.
Een taal model is nog steeds MAAR een taalmodel. Dat het reageert als een mens, maakt het nog niet slim. Ja, het zal zeker een aantal beroepen overbodig maken (zoals vertalers), maar het zal ook heel veel productiviteit gaan opleveren.
Ja, er zal gewaakt moeten worden voor een bepaalde bias binnen een model (bewust of onbewust aangebracht door een ontwikkelaar), maar ik denk dat eerder de markt dit op zal moeten lossen, dan de overheid.

[kodak]

Het kapot reguleren of te veek transparantie eisen lijkt me heel wat anders dan verwachten dat er hoe dan ook duidelijkheid en controle is. Natuurlijk kunnen bedrijven alle beetjes extra transparantie en controlen al te veel vinden als ontwerpen gebruiken die er niet geschikt voor zijn, maar dat is meestal eerder een teken dat ze andere prioriteiten hebben dan transparantie en controle. Zoals winst boven verantwoordelijkheid. En hoewel winst voor bedrijven vaak belangrijk kan een moder land het zich meestal niet veroorloven om te veel risico te nemen. Het dreigen met vertrek helpt daarbij vooral voor hele grote spelers, niet voor willekeurige bedrijven met populistische winst. Dan is het wel moeten voldoen of verboden te leveren. En aangezien deze discussie voor AI in heel veel landen speelt lijkt het me eerder realistisch dat de bedrijven en wetenschap zich niet blind blijven staren op een gekozen doodlopende weg. Ik verwacht dat de bedrijven allang bewust zijn dat ze niet onder transparantie en controle uit kunnen, en aan het lobbyen zijn wat aan details en controle haalbaar is.

[kodak]

De bedrijven hebben er zelf voor gekozen om het groot en gecompliceerd te laten zijn. Dat is dus niet zomaar een excuus, dan hadden ze zich eerder moeten (en ook kunnen) bedenken dat ze met die keuze voor zichzelf en anderen problemen veroorzaken. Want transparantie voor tonen van verantwoordelijkheid val inmiddels al ruim een eeuw te verwachten als eis.

[OverSoft]

Dat hebben bedrijven niet bedacht. Dit is niet iets van nu, LLMs bestaan al sinds de jaren 60 en zijn ontwikkeld in universiteiten. AI wordt al meer dan een halve eeuw ontwikkeld.

Het enige verschil is dat de laatste jaren computers snel genoeg zijn om zo'n bak data te berekenen en te verwerken, het principe is al heel oud en niet ontwikkeld door deze bedrijven.

Daarnaast: als we alle on-omkeerbare wiskundige principes willen verbieden is effectief het hele internet verboden. SSL/TLS is ook onomkeerbaar, net zoals de opslag van wachtwoorden doormiddel van hashes (ook onomkeerbaar).

Transparantie is helemaal geen eis voor niet-publieke bedrijven, dus ook die vlieger gaat niet op...

[Reactie gewijzigd door OverSoft op 23 juli 2024 05:24]

[kodak]

Waar ik op doel is dat de bedrijven bedacht hebben dat het ze een goed idee leek om ai op deze manier te gebruiken. En veel van wat bedacht is komt net zo goed uit sponsering of medewerking door bedrijven, dus het afschuiven op vooral de wetenschap lijkt me ongepast. Daarbij stelt de wetenschap niet dat je het dus maar geschikt kan overnemen alsof de er geen transparantie en controle nodig is. Eerder is er al sinds de ontwikkeling duidelijke zorg dat het gebrek er aan niet zomaar redelijk is. Dat de wetenschap de vrijheid heeft om concepten te tonen doet dus niets af aan de keuzes die een bedrijf maakt.

[OverSoft]

Maar bedrijven mogen deze algoritmes gewoon gebruiken. Transparantie is helemaal geen verplichting in bedrijfsvoering. Sterker nog, de meeste bedrijven draaien juist bij gratie van in-transparantie.

Google's algoritme is geheim.
ASML's algoritmes zijn geheim.
Siri's AI is geheim.
De meeste tradinghouses gebruiken machine learning algoritmes die geheim zijn.

Het enige wat OpenAI hier geheim houdt, is hun model (welke getrained is) en de gewichten die het model gedrag sturen. Iets waar letterlijk de hele waarde van hun bedrijf in zit.
Ik snap wel dat ze dat niet zomaar vrij geven.

En transparantie voor individuele keuzes zijn zowel onmogelijk als niet verplicht.

[kodak]

Of ze het mogen gebruiken is nu net de vraag wegens gebrek aan transparantie en controle. Ze hebben het tot nu toe kunnen gebruiken maakt niet dat het dus maar een acceptabele weg was of is. Hooguit dat het mogelijk was. Regulering en beperking komt vaak voort uit het hebben van vrijheid en dan geen of te langzaam tonen daar ook verantwoordelijkheid voor te dragen.

[MarkHart]

De grote doorbraak van LLMs en machine learning afgelopen 5 jaar IS dat ze groot en gecompliceerd zijn. Dat is precies de eigenschap die zo goed lijkt te werken dat het nu bruikbaar is ipv een leuke wetenschappelijke hobby.

[Osiummaster]

Als je een taxi chauffeur inhuurt weet je dan precies hoe die werkt?

Bij mensen lijkt het nooit een probleem te zijn dat we geen idee hebben hoe het brein echt werkt. Beste wat we kunnen doen is de mens het zelf uit te laten leggen in woorden waarom ze iets doen.

[kodak]

Het verschil is dat ai een product zonder eigen verantwoordelijkheid is en ook wettelijk niet heeft. Dus zelfs al zou je willen dat het vergelijkbaar is, dan zul je eerst moeten aantonen hoe dat redelijk is. Dat doet een bedrijf niet door simpel te stellen dat men zelf een grens toepast die ze om winst liever niet laten controleren.

[Osiummaster]

Mensen hebben helemaal niet altijd verantwoordelijkheid in dit geval, bedrijven hebben verantwoordelijkheid. Genoeg mensen die schimmige dingen doen en daarna een bedrijfje laten klappen en er zelf wrijvend in de handjes van door lopen.

Chemours, Shell, Tata Steel..

[kodak]

Dat komt omdat er op menselijke persoonlijke verantwoordelijkheid uitzonderingen zijn. Dat wijzigt niets aan de situatie dat een bedrijf over producten of diensten inzicht hoort te hebben en al helemaal niet dat het de eigen verantwoordelijkheid dus maar op een product of dienst kan afschuiven.

[Grimm]

Een taxi chauffeur kan ter verantwoording worden geroepen wanneer er iets mis gaat en wanneer hij de wet overtreedt kan hij bestraft worden. Dat werkt als een stok achter de deur voor de meeste mensen.

Een programmeur van AI staat veel verder af van de gebruiker. Ik heb er persoonlijk ook geen vertrouwen in.

[nullbyte]

Een taxi chauffeur is geen AI en ook geen menselijk brein. Sterker nog, er is geen passend vergelijkingsmateriaal.

[jaapzb]

Ook al zouden bedrijven dat willen inbouwen, uiteindelijk kan je technisch gezien gewoon niet weten waarom een model een nepaalde keuze maakt. Dan kan jij nog zo graag willen dat dat wel moet kunnen, daar verandert regelgeving helemaal niks aan.

[kodak]

Aangezien de keuze op invoer en afweging met grenzen is kan dat wel degelijk. Je hebt namelijk als bedrijf de keuze hoe je die invoer vorm geeft en kan controleren, hetzelfde gaat op voor de afweging en grenzen. Dat je als ontwerper ook kan kiezen dat zo vrij mogelijk te laten wijzigt dat niet. Hooguit kun je dan een voorkeur hebben voor een ontwerp dat je daarin zo vrij mogelijk laat om als ai te beschouwen.

[Rutje!]

Opzich is de training gewoon te reproduceren als je alle random seeds en dergelijke gelijk zet.

Algoritmes als pseudo-random number generators of hash functies zijn vergelijkbaar in de zin dat je daarvan ook niet "begrijpt" waar de uitvoer X vandaan komt bij invoer Y. Dat is ook zo ongeveer de essentie van dergelijke algoritmes.

Dat betekent niet per definitie dat het daarom gevaarlijk is.

[ronaldmathies]

Zelfs dan kan het bog lastig zijn, bijvoorbeeld het shuffelen van data kan onafhankelijk zijn van de seed. Maar schakel je shuffeling uit dan kan het zijn dat je een slechter werkend model krijgt.

Zelfde met data augmentation, dit heeft iedere keer andere uitkomsten onafhankelijk van de seed omdat je bijvoorbeeld geen seed kan opgeven.

Maar dan nog is de training minder relevant bij de vraag waarom een bepaalde uitkomst er is.

Bij CNN’s kan je de weights nog gebruiken op het te classificeren plaatje om te kijken waar het model op triggerd.

Maar bij LLM’s is dit een stuk lastiger.

[AbuFalafel]

Maar wat de overheid wil weten is "waarom komt X er uit als ik Y er in stop?", en dat kan niemand je vertellen.

Dit is ook een beetje de essentie van Deep Learning. De patronen tussen X en Y zijn zo complex dat we een enorm model (ChatGPT-3.5 is rond de 180 miljard parameters) gebruiken om ze te vinden. Als we precies zouden kunnen defineren hoe je uit pixels kan opmaken of iets een kat of hond is dan zouden we het zelf wel programmeren ipv DL.

[Cambionn]

En ook dat is niet helemaal waar. Je kán gewoon terug zien wat de computer heeft gedaan om tot bepaalde conclussies te komen. Ik weet dat ze jaren terug in Japan op die manier bezig waren met AI leren zich menselijk te gedragen door mensen obseveren, en dan de gemaakte algoritmes te analyseren om een feitelijke objectieve data te krijgen over menselijk gedrag. Dit omdat zelfs de beste mensen een deel subjectieve interpretatie zullen hebben.

Dat gezegd hebbende, het probleem is dat de computers algoritmes maken die zo extreem complex zijn, en vaak op het eerste oog enorm onlogisch lijken (want uiteindelijk zijn ze wel logisch, ander kon het niet gemaakt worden. Maar niet logisch in de manier hoe wij mensen nornaal denken), dat dat analyseren enorm lastig is en echt een veld aan zich. Daar heb je ook echt een bepaald soort dedicated knappe kopen voor nodig. Het verslaat ook een beetje het punt van zulke AI, gezien het gebruikt wordt omdat zelf uitvogelen en verzinnen op dat niveau niet te doen lang duurt tot het punt dat het langer kan zijn dan je carierre. Die computer is daar zo veel efficienter in. Dat reverse-engineren is sneller dan maken natuurlijk, maar kost nogsteeds zo extreem veel tijd dat het zelden interesant is in kosten-baten en tegen de tijd dat je antwoorden hebt, dat algoritme zichzelf al weer tich keer complexer heeft gemaakt. Dat onderzoeken is dus alleen interesant in specefieke gevallen en niet te doen als standaard.

[Reactie gewijzigd door Cambionn op 23 juli 2024 05:24]

[Mania-92]

Ik kan je precies vertellen waarom er X uit komt als iemand er Y in stopt. Namelijk omdat als je de rekenregels van het model volgt (en dat kun je gewoon op een héél groot vel papier doen als je genoeg tijd hebt) en je begint bij X dan kom je bij Y uit. Gaandeweg kom je (afhankelijk van het model enkele tot miljoenen) parameters tegen die dusdanig gekozen zijn dat ze een bepaalde target functie minimaliseren.

Inference is gewoon hetzelfde als een (potentieel complex) excel model.

[jaapzb]

Je kan prima nalopen welke route een bepaalde input loopt door het model heen, maar dat zegt helemaal niks over waarom het model die route zo geleerd heeft.

[Mania-92]

Omdat die route de target functie waar op getraind is minimaliseert.

Niet anders dan waarom een voorspeller in een lineaire regressie een bepaald gewicht krijgt.

[Reactie gewijzigd door Mania-92 op 23 juli 2024 05:24]

[Floris4970]

Dan moet je je maar eens verdiepen in AI. Dit is een serie video's waarin her best goed wordt uitgelegd. youtube.com/watch?v=aircAruvnKk
Best een eye opener, ik dacht altijd dat het een soort algoritme waren. Maar het is uiteindelijk echt een zwarte doos met een input en output. Je kneed en rekent zoveel aan die data dat je uiteindelijk niet meer kan vertellen wat nou waar vandaan komt en überhaupt hoe een model tot zijn output komt.

[Mayonaise]

De black box is gewoon een mythe.

Dat mensen de hidden layers niet kunnen uitleggen, begrijpen of zien betekent niet dat we niet kunnen achterhalen hoe een AI tot zijn output komt. Het is enkel complex en tijdrovend om dat te doen.

Wel hebben we de laatste jaren een aantal tools om de werking van een neurale netwerk te visualiseren, wat helpt bij het begrijpen van de hidden layer.

[Fornoo]

Voor een superintelligent wezen is een LLM als chatGPT wellicht geen black box.

Voor ons als mens (en mensheid), is een dergelijke LLM wel degelijk een black box. Knappe koppen geven aan het reverse-engineren van een LLM als chatGPT, alle knappe koppen ter wereld kost en dat het vele decennia aan tijd kost. Dit dus om te achterhalen wat elk stukje code precies doet, en we zo begrijpen waarom input X, output Y oplevert.

In feite hetzelfde probleem wat we hebben met het ontrafelen van ons eigen brein, wat ook niets meer dan een gigantisch matrix is (alleen dan nog een stapje complexer).

[Oon]

Ik denk dat dat het punt ook is, achteraf achterhalen waar het allemaal vandaan komt is lastig, maar de Britse overheid verplicht mee laten kijken met je ontwikkelproces lijkt me nog veel lastiger

[OverSoft]

Dat kun je betwijfelen, maar dat is niet zo.

Een getrained model is een bak data waar je met didactische redenering echt niets mee kan.
Je kan wel de stapjes in dat trainingsmodel backtracken en zo exact nagaan waar een keus is gemaakt en waarom, maar die keuzes worden gemaakt vanwege een (voor ons) bak onlogische data (die gevolg is van een trainingssessie).

De relatie tussen de input-data van een training, en het getrainde model wat er uiteindelijk uitrolt is vrijwel niet terug te halen.

Dus ja, je kan zeker logisch denken waarom bepaalde keuzes genomen zijn. Echter (ook vanwege de gigantische grootte van een getrained model) is het zelfs voor de makers van dat model niet terug te halen waarom "de knopjes in het model" zo gedraaid zijn.

[Vaevictis_]

Dit gaat natuurlijk nooit werken, politiek/overheid ziet risico's en wil daarom begrijpen hoe dit werkt. Deze modellen zijn zo groot dat je dit niet als mens of organisatie kunt doorgronden. Je kunt wel bepaald beleid opstellen van ongewenste uitkomsten. Daar zou ik me op richten.

Overheid gaat over het WAT niet het HOE.

[nullbyte]

Overheid gaat over het WAT niet het HOE.

Lariekoek, een overheid gaat over alles wat zich in een land afspeelt. Zo'n beetje de definitie van soevereiniteit. Dat gezag bepaalt ook hoe zaken uitgevoerd worden.

[Vaevictis_]

Je zegt het zelf al wat er in een land afspeelt. Het hoe is voor bedrijven.

[nullbyte]

Ik zeg het verkeerd, een overheid bepaalt WAT en HOE zaken uitgevoerd worden op het soevereine grondgebied. Het is echt niet meer dan logisch.

Neem het transport van gevaarlijke stoffen. De overheid bepaalt WAT onder de noemer gevaarlijke stoffen valt en zij bepaalt exact HOE gevaarlijke stoffen getransporteerd MOETEN worden middels regelgeving. Een bedrijf mag dit vervoer uitvoeren maar moet dit doen volgens de regelgeving van de overheid.

En zo kan ik nog wel meer voorbeelden geven uit de wegenverkeerswet, het WvSr enz enz enz

[Reactie gewijzigd door nullbyte op 23 juli 2024 05:24]

[oltk]

Dus je zegt dat onze regering ASML verplicht exact te vertellen HOE ze EUV machines maken?

[nullbyte]

Nope, ik reageer op:

Overheid gaat over het WAT niet het HOE.

Dit lijkt leuk bedacht tijdens een zondagmiddag borrel of onder het genot van een sterke kop koffie in een puur Hollandse koffie winkel. Maar dit klopt absoluut niet. Indien gewenst/noodzakelijk kan een overheid exact bepalen hoe iets gebeurt.

Twee vraagwoorden uit een taal nemen en daar een scheiding op het gebied van regelgeving mee maken lijkt mij een vreemde onrealistische manier van bestuur.

Om je vraag te beantwoorden, er zijn regels die aangeven hoe EUV machines of welk product dan ook gemaakt mogen worden. Als dit op een manier gebeurt die gevaarlijke werkomstandigheden veroorzaakt of het milieu vervuilt dan is daar regelgeving voor.

[Reactie gewijzigd door nullbyte op 23 juli 2024 05:24]

[blorf]

Zolang er alleen maar binarie bewerkingen op bitreeksen worden gedaan, en je kent de exacte architectuur van de hardware, is alles in theorie terug te rekenen. Ze moeten alleen dan niet ergens een RNG gebruiken die ervoor zorgt dat alles is vertroebeld met willekeurige data zonder iets daarvan te registreren. AI machines geven naar mijn ervaring telkens andere antwoorden op hetzelfde dus dat is wel een probleempje.

[BezurK]

Je slaat de spijker op zn kop. Dit is waar veel overheden en ook organisaties mee worstelen. Ook al kun je in technische zin uitleggen hoe het model in elkaar zit, na training is het toch een black box met enige gebrek aan determinisme wat het dus bijna onmogelijk uit te leggen maakt.

Kan een overheid best tekst en uitleg eisen... maar of je dat krijgt?

[Caelorum]

Nouja deterministisch is het wel. Alleen dusdanig complex dat het niet meer te achterhalen is. Dat is met relatief eenvoudige neurale netwerken al niet eens mogelijk, laat staan met een miljard keer meer parameters.

[Reactie gewijzigd door Caelorum op 23 juli 2024 05:24]

[humptiedumptie]

Omdat de black in staat is tot conversatie, kun je het de LLM zelf vragen.
Dat is geen korte directe deterministische relatie maar je kunt wel achterhalen waar het antwoord vandaan komt.

Dit is toch ook een beetje zoals de mens, die ook niet deterministisch is.
Als we een vraag krijgen en vandaag moeten beantwoorden en volgende week dezelfde vraag, dan krijgen we niet per definitie hetzelfde antwoord. Als we meermaals moeten uitleggen waarom we iets vinden, dan is de redenering ook niet hetzelfde. Alles wat we vinden is in meer of mindere mate afhankelijk van de context, wat je vanochtend gegeten hebt, wie je onderweg bent tegengekomen, het weer, je leeftijd, huisgenoten etc.

Dus waarom vinden we het eigenlijk belangrijk dat een LLM wel helemaal deterministisch is?
Is het niet beter om er naar een andere manier heen te kijken, door bv een serie vragen te stellen en kijken of het antwoord maatschappelijk acceptabel is?

[Cowamundo]

Je kan prima een decision tree laten opmaken van jouw input > output. Natuurlijk kan dit bij grote modellen complex worden maar er is wel degelijk terug te leiden hoe een betaalde output tot stand is gekomen

[klonic]

waarschijnlijk is zo’n model getraind middels Machine Learning. Dus je gooit er grote sets data in, en hebt een algoritme om het model voorspellingen te laten doen, testen en dan zichzelf bij te schaven. Zodra dat ding start met ML, is het min of meer onmogelijk te achterhalen wat er nou precies gebeurd. Ga als mens bijvoorbeeld eens een miljoen scenario’s bestuderen.

Het makkelijkste is om bij fouten gewoon bepaalde ankerpunten of kaders de maken.

Maar goed als jij zo’n heel model overhandigd dan begrijpt de lezer er waarschijnlijk toch niets van. Daarnaast zie je dat commerciële partijen (Apple, Tesla, Google, Microsoft) veeeeeeeel verder zijn dan universiteiten.

[Reactie gewijzigd door klonic op 23 juli 2024 05:24]

[BramVroy]

De overheid zou vooral meer informatie willen over de zogenaamde model weights die de bedrijven gebruiken in hun AI-modellen; dat zijn bepalende factoren in een taalmodel die de uitkomst van een AI-berekening kunnen beïnvloeden.

Dit is redelijk vaag. Model weights zijn de gewichten die het model maken tot wat het is. Simpel voorgesteld, stel dat je model een opeenstapeling is van functies zoals y=ax, waar "x' de user input is en y wat je eruitkrijgt. De "model weights" zijn de de gewichten in al die functies, dus alle "a"'s. Je kan dus wel de juiste structuur/architectuur hebben (juiste soort van formules, dus bv. "y=ax") maar als je niet weet wat de exacte waarde van alle "a"'s is, dan ben je daar nog niets mee. Als a=0.45 in plaats van a=0.63 Dan krijg je totaal andere uitkomsten! Daarom wil de overheid dus ook weten wat de gewichten zijn, zodat ze zelf alle resultaten/meldingen beter kunnen reproduceren tor op zekere hoogte.

Tl;dr model weights zijn DE KERN van neurale netwerken. Zonder hen ben je er niets mee. Ze "beïnvloeden" de uitkomst dus niet alleen, ze bepalen specifiek de uitkomst.

[ALittleTooLate]

Dan trekken ze toch een ai wetenschapper van de lokale univeriteit en vragen ze die hoe LLM's werken?

[Swamswam]

Een opmerkelijke gedachtengang. Dus als een bedrijf ‘zomaar’ iets loslaat op de samenleving met onbekende en mogelijk verstrekkende gevolgen - in een reeks van eerdere ontwikkelingen die op zijn zachtst gezegd ook donkere kanten hebben - en met zowat enkel financieel gewin als insteek dan moeten we dat als samenleving en overheid dan maar z’n gang laten gaan? En dan stel jij voor dat de bewijslast voor schade en inzet tegen mogelijke nadelige effecten als daar tijdens het ontwikkelproces naar gevraagd wordt maar bij de samenleving moet liggen?

“Hier, heb je een pilletje. We denken dat het heel fijne eigenschappen heeft en we maken het gratis beschikbaar voor iedereen. Ja, nadelige eigenschappen…. Geen idee, het is zo complex dat we ook niet precies weten wat het doet. Wel wat we er in gedaan hebben, in grote lijnen althans. En als je wilt weten hoe het werkt en wat de gevolgen zijn dan moet je je er maar in verdiepen en een expert inhuren die iets weet over pillen fabriceren. En wij zijn natuurlijk niet verantwoordelijk hè, want dat doet het pilletje”. Gechargeerd en niet helemaal correct, maar dat is waar we nu tegenaan lopen. Dus zo vreemd is het niet om te willen weten hoe en wat. En als het antwoord dan is: ‘ja dat weten we ook niet, want dat is precies zoals we het gebouwd hebben’, dan kan je je afvragen of het wel een ontwikkeling is die je zomaar op de samenleving moet willen loslaten.

[ALittleTooLate]

Hoe naief ben jij? Als je grote bedrijven vraagt hoe het zit dan is het regenbogen, sterrenstof en snoezige konijntjes. Je wil een onafhankelijke partij die je uitlegt hoe het zit.

Anders krijg je hetzelfde met het toelaten van kansspelen op de nederlandse markt. Toen zaten ook die grote bedrijven aan tafel en geen onafhankelijke partijen. En nu hebben we 100.000 gokverslaafden erbij.

[Swamswam]

Nou, niet echt naïef. Ik begrijp ook niet waar je dat uit mijn post haalt.
Uiteraard is het niet een kwestie van marketingpraat aannemen als waarheid. Daar gaat dit namelijk om: de regenboogjes en konijntjes lezen we iedere dag en in toenemende mate. Maar je snapt neem ik aan ook wel dat zolang als je niet in onder de motorkap mag kijken of kritische vragen kan stellen over wat er onder de motorkap gebeurt je er sowieso niet komt. Vandaar de vraag aan deze bedrijven: leg uit, laat ons zien. IS het echt wel een black box of zit je stiekem toch te manipuleren (google zoekmachine-resultaten/input bias / versterkende waarden / ... whatever), hoe waarborg je dingen, hoe voorkom je zaken... net als wat je bij de toeslagenaffaire zag: Nee, we discrimineren niet, want we selecteren niet op nationaliteit. "If ((paspoort_aantal > 1) EN (naam is onderdeel van "lijst met buitenlandse namen")) => selecteer client". Zie je wel, komt geen veldje 'Nationaliteit" aan te pas.

En wat die onderzoeker qua onafhankelijk zou moeten zijn, daar kan je nog een boom over opzetten. Wat je niet wilt is dat er een onderzoeker/medewerker/lobbyist van die bedrijven meekijkt. Maar als het een - al dan niet ingehuurde - expert (team) van/namens de overheid is, dan is dat prima. lijkt me duidelijk dat behalve google en meta en co. niemand geïnteresseerd is in de 'wij van wc-eend'. Die horen we namelijk dag in, dag uit al.

p.s. die kansspelen, breek me de bek niet open, wat een achterlijk en voorspelbaar drama is dat...

[justinkb]

neurale netwerken zijn zwarte dozen bestaande uit matrices aan cijfers waar een mens niks mee kan

[Deleon78]

Het lijkt mij erg inzichtelijk als je de trainingsdata inzichtelijk maakt. Ik snap dat de modellen en gewichten veel bepalen, maar volgens mij bepaalt de trainingsdata voor een groot deel bv de bias.

[MrMonkE]

"Britse overheid wil meer inzage in werking large language models"
"Britse overheid wil meer inzage"
"overheid wil meer inzage"

Altijd maar meer inzage. Meer controle uitoefenen over ons. Meer macht over ons om ons te onderdrukken onder het mom van ons te beschermen.